数据处理方法、装置、电子设备、介质及程序产品与流程
1.本说明书涉及计算机技术领域，尤其涉及一种数据处理方法、装置、电子设备、介质及程序产品。
背景技术：
2.随着互联网的迅速普及和发展，各种各样的数据源(平台或公司)在生产、经营和决策过程都会产生或使用的该数据源内部或外部的各类数据。由于数据源(平台或公司)内部需求，需要从与该数据源(平台或公司)合作的其它外部数据源中采集外部数据，并将采集回来的外部数据分门别类的进行存储，以保证采集回来的外部数据能够在该数据源内部查看和管理。
技术实现要素：
3.本说明书实施例提供了一种数据处理方法、装置、电子设备、介质及程序产品，通过各内部元数据和外部数据源中各外部数据对应的外部元数据之间的对应关系(目标数据关系)，将各外部数据源的外部数据对应的外部定义标准(外部元数据)关联到公司内部数据对应的内部定义标准(内部元数据)中，实现更高效准确地将来自外部数据源的外部数据按照内部数据分类要求进行分类并关联存储。上述技术方案如下：
4.第一方面，本说明书实施例提供了一种数据处理方法，包括：
5.从外部数据源中采集目标外部数据集；上述目标外部数据集包括至少一个目标外部数据；
6.抽取上述目标外部数据集中各目标外部数据各自对应的目标外部元数据；
7.基于上述目标外部数据集中各目标外部数据各自对应的目标外部元数据，按照目标数据关系将上述至少一个目标外部数据分类存储至各内部元数据关联的外部元数据的存储空间中；上述目标数据关系用于表征各内部元数据和上述外部数据源中各外部数据对应的外部元数据之间的对应关系。
8.在一种可能的实现方式中，上述基于上述目标外部数据集中各目标外部数据各自对应的目标外部元数据，按照目标数据关系将上述至少一个目标外部数据分类存储至各内部元数据关联的外部元数据的存储空间中之前，上述方法还包括:
9.抽取内部数据资产中各内部数据对应的内部元数据，以及抽取外部数据源中各外部数据对应的外部元数据；
10.建立上述内部元数据与上述外部元数据之间的关联，生成目标数据关系。
11.在一种可能的实现方式中，上述抽取外部数据源中各外部数据对应的外部元数据，包括：
12.基于预设数据源数据模板从外部数据源中抽取各外部数据对应的外部元数据；上述预设数据源数据模板表征不同的外部数据源各自对应的不同行业所定义的外部数据标准。
13.在一种可能的实现方式中，上述目标外部数据集来自一个或多个上述外部数据源。
14.在一种可能的实现方式中，上述目标外部数据包括以下至少一种：文本数据、音频数据、影像数据、图像数据。
15.在一种可能的实现方式中，上述内部元数据以及上述内部元数据对应关联的外部元数据的类别相同。
16.在一种可能的实现方式中，上述基于上述目标外部数据集中各目标外部数据各自对应的目标外部元数据，按照目标数据关系将上述至少一个目标外部数据分类存储至各内部元数据关联的外部元数据的存储空间中之后，上述方法还包括：
17.接收调用上述目标外部数据的调用指令；
18.响应于上述调用指令，基于与上述目标外部元数据关联的内部元数据，调用对应目标外部元数据的存储空间中的上述目标外部数据。
19.第二方面，本说明书实施例提供了一种数据处理装置，所述装置包括：
20.采集模块，用于从外部数据源中采集目标外部数据集；上述目标外部数据集包括至少一个目标外部数据；
21.第一抽取模块，用于抽取上述目标外部数据集中各目标外部数据各自对应的目标外部元数据；
22.分类存储模块，用于基于上述目标外部数据集中各目标外部数据各自对应的目标外部元数据，按照目标数据关系将上述至少一个目标外部数据分类存储至各内部元数据关联的外部元数据的存储空间中；上述目标数据关系用于表征各内部元数据和上述外部数据源中各外部数据对应的外部元数据之间的对应关系。
23.在一种可能的实现方式中，上述数据处理装置还包括:
24.第二抽取模块，用于抽取内部数据资产中各内部数据对应的内部元数据，以及抽取外部数据源中各外部数据对应的外部元数据；
25.生成模块，用于建立上述内部元数据与上述外部元数据之间的关联，生成目标数据关系。
26.在一种可能的实现方式中，上述第二抽取模块具体用于：基于预设数据源数据模板从外部数据源中抽取各外部数据对应的外部元数据；上述预设数据源数据模板表征不同的外部数据源各自对应的不同行业所定义的外部数据标准。
27.在一种可能的实现方式中，上述目标外部数据集来自一个或多个上述外部数据源。
28.在一种可能的实现方式中，上述目标外部数据包括以下至少一种：文本数据、音频数据、影像数据、图像数据。
29.在一种可能的实现方式中，上述内部元数据以及上述内部元数据对应关联的外部元数据的类别相同。
30.在一种可能的实现方式中，上述数据处理装置还包括：
31.接收模块，用于接收调用上述目标外部数据的调用指令；
32.调用模块，用于响应于上述调用指令，基于与上述目标外部元数据关联的内部元数据，调用对应目标外部元数据的存储空间中的上述目标外部数据。
33.第三方面，本说明书实施例提供了一种电子设备，包括：处理器以及存储器；
34.上述处理器与上述存储器相连；
35.上述存储器，用于存储可执行程序代码；
36.上述处理器通过读取上述存储器中存储的可执行程序代码来运行与上述可执行程序代码对应的程序，以用于执行本说明书实施例第一方面或第一方面的任意一种可能的实现方式提供的方法。
37.第四方面，本说明书实施例提供了一种计算机存储介质，上述计算机存储介质存储有多条指令，上述指令适于由处理器加载并执行本说明书实施例第一方面或第一方面的任意一种可能的实现方式提供的方法。
38.第五方面，本说明书实施例提供了一种包含指令的计算机程序产品，当上述计算机程序产品在计算机或处理器上运行时，使得上述计算机或上述处理器执行本说明书实施例第一方面或第一方面的任意一种可能的实现方式提供的数据处理方法。
39.本说明书实施例通过抽取从外部数据源采集的目标外部数据集中各目标外部数据各自对应的目标外部元数据，目标外部数据集包括至少一个目标外部数据，并基于上述目标外部数据集中各目标外部数据各自对应的目标外部元数据，按照目标数据关系将上述至少一个目标外部数据分类存储至各内部元数据关联的外部元数据的存储空间中，上述目标数据关系用于表征各内部元数据和上述外部数据源中各外部数据对应的外部元数据之间的对应关系，从而通过各内部元数据和外部数据源中各外部数据对应的外部元数据之间的对应关系(目标数据关系)，将各外部数据源的外部数据对应的外部定义标准(外部元数据)关联到公司内部数据对应的内部定义标准(内部元数据)中，从而直接按照目标数据关系将目标外部数据分类存储至各内部元数据关联的外部元数据的存储空间中，减少了人工对各外部数据源的外部数据进行打标分类的过程，既可以大量地节省处理外部数据过程中所需的人力资源，实现更高效准确地将来自外部数据源的外部数据按照内部数据分类要求进行分类并关联存储，又确保了分类存储后的外部数据可以联合内部数据共同使用或者直接在公司内部使用。
附图说明
40.为了更清楚地说明本说明书实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1为本说明书一示例性实施例提供的一种数据处理系统的架构示意图；
42.图2为相关技术中提供的一种数据处理的实现过程示意图；
43.图3为本说明书一示例性实施例提供的一种数据处理方法的流程示意图；
44.图4为本说明书一示例性实施例提供的一种目标数据关系的建立流程示意图；
45.图5为本说明书一示例性实施例提供的一种建立目标数据关系的实现过程示意图；
46.图6为本说明书一示例性实施例提供的不同数据源模板的示意图；
47.图7为本说明书一示例性实施例提供的一种数据处理方法的实现过程示意图；
48.图8为本说明书一示例性实施例提供的另一种数据处理方法的流程示意图；
49.图9为本说明书一示例性实施例提供的一种数据处理装置的结构示意图；
50.图10为本说明书一示例性实施例提供的一种电子设备的结构示意图。
具体实施方式
51.下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述。
52.本说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
53.为了更清楚的描述本说明书实施例的技术方案，在描述之前，对本说明书中的一些概念进行描述以便更好的理解本方案。
54.内部数据资产：指由公司(企业或平台)内部拥有或者控制的，能够为其带来未来经济利益的，以物理或电子的方式记录的数据资源，例如但不限于文件资料、电子数据等。
55.数据资源：指公司(企业或平台)在生产、经营和决策过程所生成或使用的内、外部各类数据。
56.数据源：指产生数据资源的公司(企业或平台)。
57.请参考图1，图1为本说明书一示例性实施例提供的一种数据处理系统的架构示意图。如图1所示，数据处理系统可以包括：外部服务器集110、内部服务器120和终端集130。其中：
58.外部服务器集110可以由各外部数据源对应的服务器(外部服务器)组成，具体包括一个或多个外部服务器，其中多个外部服务器可以包括外部服务器110a、外部服务器110b、外部服务器110c等。外部服务器集110中各外部服务器存储有对应外部数据源的外部数据，当外部服务器集110中的外部服务器对应的外部数据源(外部公司或外部企业或外部平台)与内部服务器120对应的公司(企业或平台)达成合作时，外部服务器集110中进行合作的各外部服务器均可以通过网络为内部服务器120对应的公司(企业或平台)提供对应的外部数据，以满足公司(企业或平台)运营时对外部数据的需求。其中，外部服务器集110中各外部服务器可以但不限于是硬件服务器、虚拟服务器、云服务器等。
59.可以理解地，每个外部数据源对应的服务器(外部服务器)可以包括一个或多个，本说明书实施例对比不作限定。
60.内部服务器120可以是能提供多种数据处理的服务器，可以通过网络接收外部服务器集110中任意一个外部服务器发送的外部数据源的外部数据等数据。即从外部数据源中采集目标外部数据集，目标外部数据集包括至少一个目标外部数据，然后抽取目标外部数据集中各目标外部数据各自对应的目标外部元数据，并基于目标外部数据集中各目标外部数据各自对应的目标外部元数据，按照目标数据关系将至少一个目标外部数据分类存储至各内部元数据关联的外部元数据的存储空间中，目标数据关系用于表征各内部元数据和上述外部数据源中各外部数据对应的外部元数据之间的对应关系。
61.可以理解地，公司(企业或平台)需要的外部数据量一般非常巨大，而服务器是一种高性能计算机，其数据处理能力强，具有高稳定性与可靠性，即由内部服务器120基于采集到的目标外部数据集执行数据处理，既可以存储下大量的外部数据，又能够确保数据处理的高效性和稳定性。
62.可选地，内部服务器120还可以通过网络为公司(企业或平台)内部的各员工对应的终端集130中的任意一个终端提供对应权限的公司(企业或平台)的内部数据或存储的外部数据等，以使终端集130中终端对应的员工能够通过终端查看和使用公司(企业或平台)的内部数据或存储在公司(企业或平台)内部的外部数据。
63.可以理解地，内部服务器120可以但不限于是硬件服务器、虚拟服务器、云服务器等。
64.终端集130可以为内部服务器120对应的公司(企业或平台)的员工端，具体包括一个或多个员工端，其中多个员工端可以包括员工端130a、员工端130b、员工端130c
…
等。在终端集130中可安装员工版的软件，用于实现员工线上查看和使用公司(企业或平台)的内部数据或存储在公司(企业或平台)内部的外部数据等功能。终端集130中任意一个员工端均可以建立与网络之间的数据关系，并通过该网络和内部服务器120建立数据连接关系，例如接收或发送内部数据等。其中，终端集130中任意一个员工端可以但不限于是安装有员工版软件的手机、平板电脑、笔记本电脑等设备。
65.可选地，终端集130中任意一个员工端均可以通过网络与外部服务器集110中任意一个外部服务器建立数据连接关系，例如，接收外部服务器集110中与该员工端的公司合作的外部数据源的任意一个外部服务器发送的外部数据等数据，即从外部数据源中采集目标外部数据集，目标外部数据集包括至少一个目标外部数据，然后抽取目标外部数据集中各目标外部数据各自对应的目标外部元数据，并基于目标外部数据集中各目标外部数据各自对应的目标外部元数据，按照目标数据关系将至少一个目标外部数据分类存储至各内部元数据关联的外部元数据的存储空间中，目标数据关系用于表征各内部元数据和上述外部数据源中各外部数据对应的外部元数据之间的对应关系。
66.可以理解地，由于服务器不方便携带，因此，相较于由内部服务器120基于采集到的目标外部数据集执行数据处理而言，员工端基于通过网络从外部服务器集110对应的外部数据源中采集到的目标外部数据集执行数据处理的实现途径更为便捷。
67.网络可以是在外部服务器集110中任意一个外部服务器与内部服务器120之间、内部服务器120和终端集130中任意一个员工端之间、外部服务器集110中任意一个外部服务器与终端集130中任意一个员工端之间提供通信链路的介质，也可以是包含网络设备和传输介质的互联网，不限于此。传输介质可以是有线链路(例如但不限于，同轴电缆、光纤和数字用户线路(digital subscriber line，dsl)等)或无线链路(例如但不限于，无线上网(wireless fidelity，wifi)、蓝牙和移动设备网络等)。
68.可以理解地，本说明书实施例所提供的数据处理方法可以由终端集130中的任意一个或多个员工端执行，也可以由一个或多个内部服务器120执行，还可以由终端集130中的至少一个员工端以及至少一个内部服务器120共同执行，本说明书实施例对此不作限定，以下实施例全部以由内部服务器120执行数据处理为例进行说明。
69.可以理解地，当由多个员工端或多个内部服务器120执行或至少一个员工端以及
至少一个内部服务器120共同数据处理时，各员工端和/或各内部服务器120可以分别对接不同的外部数据源的外部数据，从而既能够在公司需要大量外部数据源的外部数据时，加快采集外部数据的效率，又可以通过多个员工端或多个内部服务器120并行分别对大量的外部数据进行处理，提高数据处理的效率。
70.可以理解地，图1所示的数据处理系统中的外部服务器集110中的外部服务器、内部服务器120和终端集130中的员工端的数目仅作为示例，在具体实现中，该数据处理系统中可以包含任意数目的外部服务器、内部服务器120和员工端，本说明书实施例对此不作具体限定。例如但不限于，内部服务器120可以是多个内部服务器组成的内部服务器集。
71.在相关技术的数据处理过程中，如图2所示，在采集到公司内部需要的目标外部数据集之后，由于不同外部数据源所涉及的行业可能不同，不同外部数据源对各行业数据对应的外部定义标准也可能不同，同时，不同外部数据源对各行业数据对应的外部定义标准与公司内部对各行业数据对应的内部定义标准也可能不相同，因此，需要人工根据给各外部数据源提供的外部定义标准进行打标，从而才能够实现较准确且符合公司内部需求的分类存储。由此可见，目前的数据处理过程既需要消耗大量的人力资源，又不能确保分类存储的目标外部数据可以联合内部数据共同使用或者在公司内部使用。
72.为了解决上述问题，接下来结合图1和图2，介绍本说明书实施例提供的数据处理方法。具体请参考图3，其为本说明书一示例性实施例提供的一种数据处理方法的流程示意图。如图3所示，该数据处理方法可以包括以下几个步骤：
73.s302，从外部数据源中采集目标外部数据集。
74.具体地，当公司内部需要与之合作的外部数据源的目标外部数据集时，可以通过内部服务器120向外部数据源对应的外部服务器发送采集指令，外部数据源对应的外部服务器接收到采集指令后，可以通过网络将目标外部数据集发送给内部服务器120。内部服务器120也可以通过网络接收到外部服务器发送的目标外部数据集，相当于从外部数据源中采集到目标外部数据集，目标外部数据集包括至少一个目标外部数据。
75.示例性地，若公司a内部在运营时需要与之合作的公司b(外部数据源)和公司c(外部数据源)内部的数据(目标外部数据)，则可以直接通过网络从公司b(外部数据源)和公司c(外部数据源)各自对应的外部服务器存储的数据中分别采集至少目标外部数据，上述目标外部数据也是公司b(外部数据源)或公司c(外部数据源)对应的内部数据。
76.可以理解地，与公司合作的外部数据源可能有一个或多个，公司内部需要的目标外部数据也可能是一个或多个，而采集到的目标外部数据集同样也可能来自一个或多个外部数据源，即可以从一个或多个外部数据源中采集目标外部数据集。
77.进一步地，目标外部数据可以包括但不限于以下至少一种：文本数据、音频数据、影像数据、图像数据。
78.s304，抽取目标外部数据集中各目标外部数据各自对应的目标外部元数据。
79.具体地，在采集到公司内部需要的目标外部数据集之后，由于不同外部数据源所涉及的行业可能不同，不同外部数据源对各行业数据对应的定义标准也可能不同，也即，公司内部和外部数据源对于同一行业或同一类别的数据的定义标准也可能不同，因此，为了能够解决公司内部与外部数据源对数据的定义标准不一致而导致将外部数据按照公司内
部需求进行分类存储难以实现的问题，可以先按照各外部数据源对目标外部数据的定义标准分别抽取出目标外部数据集中各目标外部数据各自对应的目标外部元数据，上述目标外部元数据可以理解为外部数据源对目标外部数据的定义数据，然后再基于各目标外部数据各自对应的目标外部元数据对目标外部数据集进行分类存储，从而避免了需要大量人工打标分类的过程，提高了数据处理的效率以及准确率。
80.s306，基于目标外部数据集中各目标外部数据各自对应的目标外部元数据，按照目标数据关系将至少一个目标外部数据分类存储至各内部元数据关联的外部元数据的存储空间中。
81.具体地，目标数据关系用于表征各内部元数据和外部数据源中各外部数据对应的外部元数据之间的对应关系。上述各内部元数据为内部数据资产中各内部数据对应的元数据，即公司内部对内部数据的定义数据。上述内部数据资产可以为由公司内部拥有或者控制的，能够为其带来未来经济利益的，以物理或电子的方式记录的数据资源，例如但不限于文件资料、电子数据等，上述数据资源可以为公司(企业或平台)在生产、经营和决策过程所生成或使用的内、外部各类数据。
82.进一步地，内部元数据以及内部元数据对应关联的外部元数据的类别相同，即可以基于目标外部数据集中各目标外部数据各自对应的目标外部元数据，按照目标数据关系将至少一个目标外部数据分别存储至类别相同的内部数据对应的外部数据的存储空间中。
83.可选地，上述目标数据关系可以公司内部对应的负责人根据公司内部对内部数据的内部定义标准与外部数据源对外部数据的外部定义标准，预先将行业(类别)相同的外部元数据与内部元数据相关联，从而建立各内部元数据和外部数据源中各外部数据对应的外部元数据之间的对应关系，即目标数据关系。
84.可选地，为了避免大量人力资源的消耗，提高数据处理的效率，建立目标数据关系的过程也可以由内部服务器自动进行，具体如图4所示，目标数据关系的建立流程包括以下几个步骤：
85.s402，抽取内部数据资产中各内部数据对应的内部元数据，以及抽取外部数据源中各外部数据对应的外部元数据。
86.具体地，可以按照公司内部对各内部数据的内部定义标准抽取出内部数据资产中各内部数据对应的内部元数据，即公司内部对内部数据的定义数据，以及按照外部数据源对外部数据(该外部数据源的内部数据)的外部定义标准(该外部数据源对其内部数据的定义标准)抽取出该外部数据源的各外部数据对应的外部元数据，即外部数据源对外部数据(该外部数据源的内部数据)的定义数据。
87.可选地，在抽取外部数据源中各外部数据对应的外部元数据时，也可以基于预设数据源数据模板从外部数据源中抽取各外部数据对应的外部元数据，预设数据源数据模板表征不同的外部数据源各自对应的不同行业所定义的外部数据标准，从而通过预设数据源数据模板，向内部服务器传达外部数据源对数据的定义标准，以使内部服务器能够直观地了解外部数据源的数据资产的分布，并结合内部对内部数据的定义标准实现外部数据分类传递到公司内部的一致性和准确性。
88.示例性地，如图5所示，若与公司合作的外部数据源一共有3个，分别为外部数据源a、外部数据源b、外部数据源c，则预设数据源数据模板包括外部数据源a对应的a数据源数
据模板、外部数据源b对应的b数据源数据模板、外部数据源c对应的c数据源数据模板。如图5所示，外部数据源a可能经营与行业1相关的事务，从a数据源数据模板中可以看出，外部数据源a对行业1所定义的外部数据标准为外部元数据x11，即在外部数据源a的内部，行业1对应的数据的元数据被定义为x11；外部数据源b可能经营与行业1、行业2以及行业3相关的事务，从b数据源数据模板中可以看出，外部数据源b对行业1所定义的外部数据标准为外部元数据x12，即在外部数据源b的内部，行业1对应的数据的元数据被定义为x12，同时，行业2对应的数据的元数据被定义为y11，行业3对应的数据的元数据被定义为y21；外部数据源c可能经营与行业4相关的事务，从c数据源数据模板中可以看出，外部数据源c对行业4所定义的外部数据标准为外部元数据z11，即在外部数据源c的内部，行业4对应的数据的元数据被定义为z11。因此，在建立目标数据关系时，抽取外部数据源a、外部数据源b以及外部数据源c中各外部数据对应的外部元数据的过程可以是分别按照图5所示的a数据源数据模板、b数据源数据模板以及c数据源数据模板直接抽取出各外部元数据，从而通过这些数据源数据模板，向内部服务器传达外部数据源对数据的定义标准，以使内部服务器能够直观地了解外部数据源的数据资产的分布，并结合内部对内部数据的定义标准实现外部数据分类传递到公司内部的一致性和准确性。
89.s404，建立内部元数据与外部元数据之间的关联，生成目标数据关系。
90.具体地，当分别抽取出内部数据资产中各内部数据对应的内部元数据和外部数据源中各外部数据对应的外部元数据之后，可以将相同类别的元数据关联起来，从而生成目标数据关系，目标数据关系用于表征各内部元数据和外部数据源中各外部数据对应的外部元数据之间的对应关系。
91.示例性地，建立目标数据关系的实现过程可以如图6所示，从图6中可以看出，x类的内部数据在内部可能被定义为x1(内部元数据x1)，而在外部数据源a中被定义为x11(外部元数据x11)，在外部数据源b中可能被定义为x12(外部元数据x12)，但是内部元数据x1、外部元数据x11以及外部元数据x12对应的数据均为同一类别的数据，因此，可以将外部元数据x11和外部元数据x12均关联到内部元数据x1上，依次类推，从而生成最终的目标数据关系。
92.可以理解地，s302中采集目标外部数据集时所涉及的外部数据源应该为s402中建立目标数据关系时所涉及的一个或多个外部数据源。
93.示例性地，结合图5和图6可以得到如图7所示的本说明书一示例性实施例提供的一种数据处理方法的实现过程。如图7所示，当从外部数据源a、外部数据源b以及外部数据源c中采集到的目标外部数据集中包括目标外部数据1、目标外部数据2、目标外部数据3、目标外部数据4这四个目标外部数据时，可以按照s302至s306将这四个目标外部数据分类存储至各内部元数据关联的外部元数据的存储空间中，从而方便公司内部的员工联合内部数据共同使用或者直接在公司内部使用这些目标外部数据。
94.本说明书实施例通过抽取从外部数据源采集的目标外部数据集中各目标外部数据各自对应的目标外部元数据，目标外部数据集包括至少一个目标外部数据，并基于上述目标外部数据集中各目标外部数据各自对应的目标外部元数据，按照目标数据关系将上述至少一个目标外部数据分类存储至各内部元数据关联的外部元数据的存储空间中，上述目标数据关系用于表征各内部元数据和上述外部数据源中各外部数据对应的外部元数据之
间的对应关系，从而通过各内部元数据和外部数据源中各外部数据对应的外部元数据之间的对应关系(目标数据关系)，将各外部数据源的外部数据对应的外部定义标准(外部元数据)关联到公司内部数据对应的内部定义标准(内部元数据)中，从而直接按照目标数据关系将目标外部数据分类存储至各内部元数据关联的外部元数据的存储空间中，减少了人工对各外部数据源的外部数据进行打标分类的过程，既可以大量地节省处理外部数据过程中所需的人力资源，实现更高效准确地将来自外部数据源的外部数据按照内部数据分类要求进行分类并关联存储，又确保了分类存储后的外部数据可以联合内部数据共同使用或者直接在公司内部使用。
95.请参考图8，其为本说明书一示例性实施例提供的另一种数据处理方法的流程示意图。如图8所示，该数据处理方法包括以下几个步骤：
96.s802，从外部数据源中采集目标外部数据集。
97.具体地，s802与s302一致，此处不再赘述。
98.s804，抽取目标外部数据集中各目标外部数据各自对应的目标外部元数据。
99.具体地，s804与s304一致，此处不再赘述。
100.s806，基于目标外部数据集中各目标外部数据各自对应的目标外部元数据，按照目标数据关系将至少一个目标外部数据分类存储至各内部元数据关联的外部元数据的存储空间中。
101.具体地，s806与s306一致，此处不再赘述。
102.s808，接收调用目标外部数据的调用指令。
103.具体地，当公司内部的员工想要调用目标外部数据时，可以触发员工端通过网络向内部服务器120发送目标外部数据的调用指令，从而内部服务器120也可以通过网络接收到员工端发送的调用指令，上述调用指令中可以携带有该员工需调用的目标外部数据的类别、标识等信息。
104.s810，响应于调用指令，基于与目标外部元数据关联的内部元数据，调用对应目标外部元数据的存储空间中的目标外部数据。
105.具体地，内部服务器120在接收到调用指令之后，可以响应于上述调用指令，根据调用指令中携带的需要调用的目标外部数据的信息到对应类别的内部元数据，并从该内部元数据关联的目标外部元数据中调用对应目标外部元数据的存储空间中的上述目标外部数据。
106.本说明书实施例在通过抽取从外部数据源采集的目标外部数据集中各目标外部数据各自对应的目标外部元数据，目标外部数据集包括至少一个目标外部数据，并基于上述目标外部数据集中各目标外部数据各自对应的目标外部元数据，按照目标数据关系将上述至少一个目标外部数据分类存储至各内部元数据关联的外部元数据的存储空间中之后，还可以接收调用目标外部数据的调用指令，并响应于调用指令，基于与目标外部元数据关联的内部元数据，调用对应目标外部元数据的存储空间中的目标外部数据，从而将各外部数据源的外部数据对应的外部定义标准(外部元数据)关联到公司内部数据对应的内部定义标准(内部元数据)中，在实现更高效准确地将来自外部数据源的外部数据按照内部数据分类要求进行分类并关联存储的同时，又能够让公司内部的员工更高效地使用采集到的目标外部数据。
107.请参考图9，图9为本说明书一示例性实施例提供的一种数据处理装置。该数据处理装置900包括：
108.采集模块910，用于从外部数据源中采集目标外部数据集；上述目标外部数据集包括至少一个目标外部数据；
109.第一抽取模块920，用于抽取上述目标外部数据集中各目标外部数据各自对应的目标外部元数据；
110.分类存储模块930，用于基于上述目标外部数据集中各目标外部数据各自对应的目标外部元数据，按照目标数据关系将上述至少一个目标外部数据分类存储至各内部元数据关联的外部元数据的存储空间中；上述目标数据关系用于表征各内部元数据和上述外部数据源中各外部数据对应的外部元数据之间的对应关系。
111.在一种可能的实现方式中，上述数据处理装置900还包括:
112.第二抽取模块，用于抽取内部数据资产中各内部数据对应的内部元数据，以及抽取外部数据源中各外部数据对应的外部元数据；
113.生成模块，用于建立上述内部元数据与上述外部元数据之间的关联，生成目标数据关系。
114.在一种可能的实现方式中，上述第二抽取模块具体用于：基于预设数据源数据模板从外部数据源中抽取各外部数据对应的外部元数据；上述预设数据源数据模板表征不同的外部数据源各自对应的不同行业所定义的外部数据标准。
115.在一种可能的实现方式中，上述目标外部数据集来自一个或多个上述外部数据源。
116.在一种可能的实现方式中，上述目标外部数据包括以下至少一种：文本数据、音频数据、影像数据、图像数据。
117.在一种可能的实现方式中，上述内部元数据以及上述内部元数据对应关联的外部元数据的类别相同。
118.在一种可能的实现方式中，上述数据处理装置900还包括：
119.接收模块，用于接收调用上述目标外部数据的调用指令；
120.调用模块，用于响应于上述调用指令，基于与上述目标外部元数据关联的内部元数据，调用对应目标外部元数据的存储空间中的上述目标外部数据。
121.上述数据处理装置中各模块的划分仅用于举例说明，在其他实施例中，可将数据处理装置按照需要划分为不同的模块，以完成上述数据处理装置的全部或部分功能。本说明书实施例中提供的数据处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本说明书实施例中所描述的数据处理方法的全部或部分步骤。
122.请参阅图10，图10为本说明书一示例性实施例提供的一种电子设备的结构示意图。如图10所示，该电子设备1000可以包括：至少一个处理器1010、至少一个通信总线1020、用户接口1030、至少一个网络接口1040、存储器1050。其中，通信总线1020可用于实现上述各个组件的连接通信。
123.其中，用户接口1030可以包括显示屏(display)和摄像头(camera)，可选用户接口
还可以包括标准的有线接口、无线接口。
124.其中，网络接口1040可选的可以包括蓝牙模块、近场通信(near field communication，nfc)模块、无线保真(wireless fidelity，wi-fi)模块等。
125.其中，处理器1010可以包括一个或者多个处理核心。处理器1010利用各种接口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1050内的指令、程序、代码集或指令集，以及调用存储在存储器1050内的数据，执行路由电子设备1000的各种功能和处理数据。可选的，处理器1010可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field-programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器1010可集成处理器(central processing unit，cpu)、图像处理器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1010中，单独通过一块芯片进行实现。
126.其中，存储器1050可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read-only memory，rom)。可选的，该存储器1050包括非瞬时性计算机可读介质。存储器1050可用于存储指令、程序、代码、代码集或指令集。存储器1050可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如采集功能、抽取功能、分类存储功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1050可选的还可以是至少一个位于远离前述处理器1010的存储装置。如图10所示，作为一种计算机存储介质的存储器1050中可以包括操作系统、网络通信模块、用户接口模块以及程序指令。
127.具体地，处理器1010可以用于调用存储器1050中存储的程序指令，并具体执行以下操作：
128.从外部数据源中采集目标外部数据集；上述目标外部数据集包括至少一个目标外部数据。
129.抽取上述目标外部数据集中各目标外部数据各自对应的目标外部元数据。
130.基于上述目标外部数据集中各目标外部数据各自对应的目标外部元数据，按照目标数据关系将上述至少一个目标外部数据分类存储至各内部元数据关联的外部元数据的存储空间中；上述目标数据关系用于表征各内部元数据和上述外部数据源中各外部数据对应的外部元数据之间的对应关系。
131.在一些可能的实施例中，上述处理器1010执行基于上述目标外部数据集中各目标外部数据各自对应的目标外部元数据，按照目标数据关系将上述至少一个目标外部数据分类存储至各内部元数据关联的外部元数据的存储空间中之前，还用于执行:
132.抽取内部数据资产中各内部数据对应的内部元数据，以及抽取外部数据源中各外部数据对应的外部元数据。
133.建立上述内部元数据与上述外部元数据之间的关联，生成目标数据关系。
134.在一些可能的实施例中，上述处理器1010抽取外部数据源中各外部数据对应的外部元数据时，具体用于执行：
135.基于预设数据源数据模板从外部数据源中抽取各外部数据对应的外部元数据；上述预设数据源数据模板表征不同的外部数据源各自对应的不同行业所定义的外部数据标准。
136.在一些可能的实施例中，上述目标外部数据集来自一个或多个上述外部数据源。
137.在一些可能的实施例中，上述目标外部数据包括以下至少一种：文本数据、音频数据、影像数据、图像数据。
138.在一些可能的实施例中，上述内部元数据以及上述内部元数据对应关联的外部元数据的类别相同。
139.在一些可能的实施例中，上述处理器1010执行基于上述目标外部数据集中各目标外部数据各自对应的目标外部元数据，按照目标数据关系将上述至少一个目标外部数据分类存储至各内部元数据关联的外部元数据的存储空间中之后，还用于执行：
140.接收调用上述目标外部数据的调用指令。
141.响应于上述调用指令，基于与上述目标外部元数据关联的内部元数据，调用对应目标外部元数据的存储空间中的上述目标外部数据。
142.本说明书实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得计算机或处理器执行上述实施例中的一个或多个步骤。上述数据处理装置的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取存储介质中。
143.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。上述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行上述计算机程序指令时，全部或部分地产生按照本说明书实施例上述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者通过上述计算机可读存储介质进行传输。上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字多功能光盘(digital versatile disc，dvd))、或者半导体介质(例如，固态硬盘(solid state disk，ssd))等。
144.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可存储程序代码的介质。在不冲突的情况下，本实施例和实施方案中的技术特征可以任意组合。
145.以上所述的实施例仅仅是本说明书的优选实施例方式进行描述，并非对本说明书的范围进行限定，在不脱离本说明书的设计精神的前提下，本领域普通技术人员对本说明书的技术方案作出的各种变形及改进，均应落入权利要求书确定的保护范围内。
146.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围
内。在一些情况下，在权利要求书和说明书中记载的动作或步骤可以按照不同于说明书记载的实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
技术特征：
1.一种数据处理方法，所述方法包括：从外部数据源中采集目标外部数据集；所述目标外部数据集包括至少一个目标外部数据；抽取所述目标外部数据集中各目标外部数据各自对应的目标外部元数据；基于所述目标外部数据集中各目标外部数据各自对应的目标外部元数据，按照目标数据关系将所述至少一个目标外部数据分类存储至各内部元数据关联的外部元数据的存储空间中；所述目标数据关系用于表征各内部元数据和所述外部数据源中各外部数据对应的外部元数据之间的对应关系。2.如权利要求1所述的方法，所述基于所述目标外部数据集中各目标外部数据各自对应的目标外部元数据，按照目标数据关系将所述至少一个目标外部数据分类存储至各内部元数据关联的外部元数据的存储空间中之前，所述方法还包括:抽取内部数据资产中各内部数据对应的内部元数据，以及抽取外部数据源中各外部数据对应的外部元数据；建立所述内部元数据与所述外部元数据之间的关联，生成目标数据关系。3.如权利要求2所述的方法，所述抽取外部数据源中各外部数据对应的外部元数据，包括：基于预设数据源数据模板从外部数据源中抽取各外部数据对应的外部元数据；所述预设数据源数据模板表征不同的外部数据源各自对应的不同行业所定义的外部数据标准。4.如权利要求1-3任一项所述的方法，所述目标外部数据集来自一个或多个所述外部数据源。5.如权利要求1-3任一项所述的方法，所述目标外部数据包括以下至少一种：文本数据、音频数据、影像数据、图像数据。6.如权利要求1-3任一项所述的方法，所述内部元数据以及所述内部元数据对应关联的外部元数据的类别相同。7.如权利要求1-3任一项所述的方法，所述基于所述目标外部数据集中各目标外部数据各自对应的目标外部元数据，按照目标数据关系将所述至少一个目标外部数据分类存储至各内部元数据关联的外部元数据的存储空间中之后，所述方法还包括：接收调用所述目标外部数据的调用指令；响应于所述调用指令，基于与所述目标外部元数据关联的内部元数据，调用对应目标外部元数据的存储空间中的所述目标外部数据。8.一种数据处理装置，所述装置包括：采集模块，用于从外部数据源中采集目标外部数据集；所述目标外部数据集包括至少一个目标外部数据；第一抽取模块，用于抽取所述目标外部数据集中各目标外部数据各自对应的目标外部元数据；分类存储模块，用于基于所述目标外部数据集中各目标外部数据各自对应的目标外部元数据，按照目标数据关系将所述至少一个目标外部数据分类存储至各内部元数据关联的外部元数据的存储空间中；所述目标数据关系用于表征各内部元数据和所述外部数据源中各外部数据对应的外部元数据之间的对应关系。
9.一种电子设备，包括：处理器和存储器；所述处理器与所述存储器相连；所述存储器，用于存储可执行程序代码；所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行如权利要求1-7任一项所述的方法。10.一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-7任一项的方法步骤。11.一种包含指令的计算机程序产品，当所述计算机程序产品在计算机或处理器上运行时，使得所述计算机或所述处理器执行如权利要求1-7任一项所述的数据处理方法。
技术总结
本说明书实施例公开了一种数据处理方法、装置、电子设备、介质及程序产品。其中，该方法包括：先从外部数据源中采集包括至少一个目标外部数据的目标外部数据集，然后抽取上述目标外部数据集中各目标外部数据各自对应的目标外部元数据，最后基于上述目标外部数据集中各目标外部数据各自对应的目标外部元数据，按照目标数据关系将上述至少一个目标外部数据分类存储至各内部元数据关联的外部元数据的存储空间中，上述目标数据关系用于表征各内部元数据和上述外部数据源中各外部数据对应的外部元数据之间的对应关系。部元数据之间的对应关系。部元数据之间的对应关系。
