多表情人脸同拓扑网格数据的获取方法、装置及电子设备
1.本技术涉及计算机视觉技术领域，特别涉及一种多表情人脸同拓扑网格数据的获取方法、装置及电子设备。
背景技术：
2.高质量三维人脸同拓扑网格数据无论是在工业界中的游戏、动画制作，还是科研界中的人脸数据集提供都有着重要的地位。
3.相关技术中，大部分的三维人脸同拓扑网格数据都是通过将指定的模版人脸网格拟合到原始采集的人脸扫描上获得，即通过单独注册的方式获得。
4.然而，这种注册方式是独立于表情的，由于在注册这些网格数据的过程中，原始采集的三维人脸扫描以及对应的多视角图片都蕴含着不同表情的密集语义信息，因此，单独注册的方式虽然能做到相同拓扑，但网格的相同区域可能对应着脸部的不同的语义，即无法做到表情间的语义一致性。
5.因此，建立一种多表情人脸网格数据的注册方法是十分必要的。
技术实现要素：
6.本技术提供一种多表情人脸同拓扑网格数据的获取方法、装置及电子设备，以解决通过单独注册方式获得的同个体多表情人脸网格数据，使表情间的语义不一致等问题。
7.本技术第一方面实施例提供一种多表情人脸同拓扑网格数据的获取，包括以下步骤：
8.从原始人脸数据库中获取人脸密集的语义信息；
9.基于所述语义信息，计算各视角下不同表情视角图之间的第一稠密光流，并基于所述第一稠密光流和多视角定位方法逐顶点变形各表情网格的顶点，得到初步语义一致增强的表情网格；以及
10.基于所述初步语义一致增强的表情网格，计算各表情网格uv图之间的第二稠密光流，并基于所述第二稠密光流修正所述各表情网格的顶点的坐标，得到强语义一致的多表情人脸同拓扑网格数据。
11.根据本技术的一个实施例，所述基于所述语义信息计算各视角下不同表情视角图之间的第一稠密光流，并基于所述第一稠密光流和多视角定位方法逐顶点变形各表情网格的顶点，得到初步语义一致增强的表情网格，包括：
12.将第一表情网格投影至多个视角下的表情图，得到所述第一表情网格的各个顶点在第一表情图的二维位置；
13.通过第一光流求解器计算所述第一表情图到第二表情图的第一稠密光流，并根据所述第一稠密光流获取所述第一表情网格的各个顶点在语义一致约束下投影到所述第二表情图的二维位置；
14.利用所述第一表情网格和第二表情网格的拓扑一致性，得到所述第二表情网格的
各个顶点在语义一致约束下投影到所述第二表情图的二维位置；
15.利用所述多视角定位方法，对所述第二表情网格的各个顶点重新定位，得到变形后的第二表情网格，并将所述第一表情网格和所述变形后的第二表情网格作为初步语义一致增强的表情网格。
16.根据本技术的一个实施例，所述基于所述初步语义一致增强的表情网格计算各表情网格uv(uv纹理贴图坐标)图之间的第二稠密光流，并基于所述第二稠密光流修正所述各表情网格的顶点的坐标，包括：
17.将所述第一表情网格和所述变形后的第二表情网格分别投影至对应的原始三维人脸扫描图上，得到各个顶点投影至所述原始三维人脸扫描图上的三维坐标和材质信息；
18.利用所述拓扑一致性，将所述第一表情网格和所述变形后的第二表情网格投影至同一uv空间，并基于所述三维坐标和所述材质信息生成uv图和三维坐标分布场；
19.通过第二光流求解器计算所述第一表情网格的uv图到所述变形后的第二表情网格的uv图的第二稠密光流。
20.根据本技术的一个实施例，所述基于所述第二稠密光流修正所述各表情网格的顶点的坐标，包括：
21.根据所述第二稠密光流获取所述第一表情网格的各顶点在语义一致约束下所述变形后的第二表情网格的uv图上的uv坐标；
22.从所述变形后的第二表情网格的三维坐标分布场中采样得到所述第一表情网格的各顶点在语义一致约束下所述变形后的第二表情网格的原始三维人脸扫描图的三维坐标；
23.基于所述第一表情网格的各顶点在所述变形后的第二表情网格的原始三维人脸扫描图的坐标修正所述变形后的第二表情网格。
24.根据本技术的一个实施例，所述第一光流求解器和所述第二光流求解器均使用已预训练好的用于光流计算的神经网络训练得到。
25.根据本技术实施例的多表情人脸同拓扑网格数据的获取方法，从原始人脸数据库中获取人脸密集的语义信息，并计算各视角下不同表情视角图之间的第一稠密光流，并基于第一稠密光流和多视角定位方法逐顶点变形各表情网格的顶点，得到初步语义一致增强的表情网格，进而计算各表情网格uv图之间的第二稠密光流，并基于第二稠密光流修正各表情网格的顶点的坐标，得到强语义一致的多表情人脸同拓扑网格数据。由此，从原始人脸采集数据中获取语义信息，以光流构建表情间语义关系，对单独注册的多表情网格数据进行变形，增强其语义一致性，解决了通过单独注册方式获得的同个体多表情人脸网格数据，使表情间的语义不一致等问题。
26.本技术第二方面实施例提供一种多表情人脸同拓扑网格数据的获取装置，包括：
27.获取模块，用于从原始人脸数据库中获取人脸密集的语义信息；
28.第一计算模块，用于基于所述语义信息，计算各视角下不同表情视角图之间的第一稠密光流，并基于所述第一稠密光流和多视角定位方法逐顶点变形各表情网格的顶点，得到初步语义一致增强的表情网格；以及
29.第二计算模块，用于基于所述初步语义一致增强的表情网格，计算各表情网格uv图之间的第二稠密光流，并基于所述第二稠密光流修正所述各表情网格的顶点的坐标，得
到强语义一致的多表情人脸同拓扑网格数据。
30.根据本技术的一个实施例，所述第一计算模块，具体用于：
31.将第一表情网格投影至多个视角下的表情图，得到所述第一表情网格的各个顶点在第一表情图的二维位置；
32.通过第一光流求解器计算所述第一表情图到第二表情图的第一稠密光流，并根据所述第一稠密光流获取所述第一表情网格的各个顶点在语义一致约束下投影到所述第二表情图的二维位置；
33.利用所述第一表情网格和第二表情网格的拓扑一致性，得到所述第二表情网格的各个顶点在语义一致约束下投影到所述第二表情图的二维位置；
34.利用所述多视角定位方法，对所述第二表情网格的各个顶点重新定位，得到变形后的第二表情网格，并将所述第一表情网格和所述变形后的第二表情网格作为初步语义一致增强的表情网格。
35.根据本技术的一个实施例，所述第二计算模块，具体用于：
36.将所述第一表情网格和所述变形后的第二表情网格分别投影至对应的原始三维人脸扫描图上，得到各个顶点投影至所述原始三维人脸扫描图上的三维坐标和材质信息；
37.利用所述拓扑一致性，将所述第一表情网格和所述变形后的第二表情网格投影至同一uv空间，并基于所述三维坐标和所述材质信息生成uv图和三维坐标分布场；
38.通过第二光流求解器计算所述第一表情网格的uv图到所述变形后的第二表情网格的uv图的第二稠密光流。
39.根据本技术的一个实施例，所述第二计算模块，具体用于：
40.根据所述第二稠密光流获取所述第一表情网格的各顶点在语义一致约束下所述变形后的第二表情网格的uv图上的uv坐标；
41.从所述变形后的第二表情网格的三维坐标分布场中采样得到所述第一表情网格的各顶点在语义一致约束下所述变形后的第二表情网格的原始三维人脸扫描图的三维坐标；
42.基于所述第一表情网格的各顶点在所述变形后的第二表情网格的原始三维人脸扫描图的坐标修正所述变形后的第二表情网格。
43.根据本技术的一个实施例，所述第一光流求解器和所述第二光流求解器均使用已预训练好的用于光流计算的神经网络训练得到。
44.根据本技术实施例的多表情人脸同拓扑网格数据的获取装置，从原始人脸数据库中获取人脸密集的语义信息，并计算各视角下不同表情视角图之间的第一稠密光流，并基于第一稠密光流和多视角定位方法逐顶点变形各表情网格的顶点，得到初步语义一致增强的表情网格，进而计算各表情网格uv图之间的第二稠密光流，并基于第二稠密光流修正各表情网格的顶点的坐标，得到强语义一致的多表情人脸同拓扑网格数据。由此，从原始人脸采集数据中获取语义信息，以光流构建表情间语义关系，对单独注册的多表情网格数据进行变形，增强其语义一致性，解决了通过单独注册方式获得的同个体多表情人脸网格数据，使表情间的语义不一致等问题。
45.本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述
实施例所述的多表情人脸同拓扑网格数据的获取方法。
46.本技术第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的多表情人脸同拓扑网格数据的获取方法。
47.本技术实施例的多表情人脸同拓扑网格数据的获取方法具有如下优点：
48.(1)能够获得注册好的强语义一致表情人脸网格数据。
49.(2)该注册方法可作为传统注册方法的一种增强方式，不仅可以直接对使用传统方法注册的人脸网格数据进行操作，同样能够增强表情间的语义一致性。
50.(3)该注册方法能够直接利用原始采集的人脸数据，无需额外再添加数据，操作方便。
51.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
52.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
53.图1为根据本技术实施例提供的一种多表情人脸同拓扑网格数据的获取方法的流程图；
54.图2为根据本技术实施例的多表情人脸同拓扑网格数据的获取装置的方框示意图；
55.图3为本技术实施例提供的电子设备的结构示意图。
具体实施方式
56.下面详细描述本技术的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
57.下面参考附图描述本技术实施例的多表情人脸同拓扑网格数据的获取方法、装置及电子设备。针对上述背景技术中提到的通过单独注册方式获得的同个体多表情人脸网格数据，使表情间的语义不一致的问题，本技术提供了一种多表情人脸同拓扑网格数据的获取方法，在该方法中，从原始人脸数据库中获取人脸密集的语义信息，并计算各视角下不同表情视角图之间的第一稠密光流，并基于第一稠密光流和多视角定位方法逐顶点变形各表情网格的顶点，得到初步语义一致增强的表情网格，进而计算各表情网格uv图之间的第二稠密光流，并基于第二稠密光流修正各表情网格的顶点的坐标，得到强语义一致的多表情人脸同拓扑网格数据。由此，解决了通过单独注册方式获得的同个体多表情人脸网格数据，使表情间的语义不一致等问题，通过光流构建表情间语义信息的对应关系，对单独注册的多表情网格数据进行变形，增强其语义一致性。
58.具体而言，图1为本技术实施例所提供的一种多表情人脸同拓扑网格数据的获取方法的流程示意图。
59.如图1所示，该多表情人脸同拓扑网格数据的获取方法包括以下步骤：
60.在步骤s101中，从原始人脸数据库中获取人脸密集的语义信息。
61.应当理解的是，高质量三维人脸同拓扑网格数据无论是在工业界中的游戏、动画制作，还是在科研界中的人脸数据集提供都有着重要的地位。一般而言，同个体多表情人脸网格数据都是通过单独注册的方式获得，而这种方法忽视了表情间的语义一致关系。
62.因此，为了获得强语义一致的多表情人脸同拓扑网格数据，本技术实施例可以首先通过三维方法扫描，可以从多视角图片等原始人脸数据库中采集人脸密集的语义信息。
63.在步骤s102中，基于语义信息，计算各视角下不同表情视角图之间的第一稠密光流，并基于第一稠密光流和多视角定位方法逐顶点变形各表情网格的顶点，得到初步语义一致增强的表情网格。
64.进一步地，在一些实施例中，基于语义信息计算各视角下不同表情视角图之间的第一稠密光流，并基于第一稠密光流和多视角定位方法逐顶点变形各表情网格的顶点，得到初步语义一致增强的表情网格，包括：将第一表情网格投影至多个视角下的表情图，得到第一表情网格的各个顶点在第一表情图的二维位置；通过第一光流求解器计算第一表情图到第二表情图的第一稠密光流，并根据第一稠密光流获取第一表情网格的各个顶点在语义一致约束下投影到第二表情图的二维位置；利用第一表情网格和第二表情网格的拓扑一致性，得到第二表情网格的各个顶点在语义一致约束下投影到第二表情图的二维位置；利用多视角定位方法，对第二表情网格的各个顶点重新定位，得到变形后的第二表情网格，并将第一表情网格和变形后的第二表情网格作为初步语义一致增强的表情网格。
65.其中，第一表情网格可以为唯一的原始表情网格，第二表情网格可以为对应的多视角的表情网格，例如，第一表情网格为a表情网格，第二表情网格可以只表示b表情网格，也可以同时表示b表情网格和c表情网格，也可以同时表示b表情网格、c表情网格和d表情网格，甚至更多个。具体地，通过从多视角图片等原始人脸数据库中采集到的人脸密集的语义信息，可以采用流光的方法建立表情间的语义对应关系。若表情间网格的强语义是一致的，那么这些网格就会投影到各个视角下不同的视角图片，使得相同的网格区域对应相同的人脸区域，否则便会有一定的偏移。基于形成的偏移，可以获得网格各个顶点在语义一致的约束下各视角图中的正确位置，然后通过多视角定位的方式对网格进行逐顶点变形，得到初步语义一致增强的网格。
66.举例而言，假设某个个体有a、b两个表情，其中，a表情为唯一的原始表情，b表情为对应的多视角表情，为了更精细的实现表情间的语义一致性，本技术实施例可以将b表情网格的语义对应到a表情网格上。
67.具体地，首先，本技术实施例可以将a表情网格根据相机参数(相机参数可以是原始采集数据自带，也可以通过配准的方式获得)投影到各个视角下的表情图上，从而获得a表情网格顶点在a表情图的二维位置；其次，使用基于神经网络的光流求解器，计算在各视角下a表情图到b表情图的稠密光流，即第一稠密光流；再次，对于a表情网格的每个顶点，根据光流计算结果获得顶点在b表情图上的二维位置，并利用a、b表情网格的拓扑一致性，可以直接获得b表情各个顶点在语义一致的约束下投影到b表情各个视角图下的正确位置；最后，利用多视角定位，对b表情网格各顶点位置进行重新定位，获得变形后的b表情网格，此时获得的网格，其语义应与a表情网格粗对齐。
68.在步骤s103中，基于初步语义一致增强的表情网格，计算各表情网格uv图之间的
第二稠密光流，并基于第二稠密光流修正各表情网格的顶点的坐标，得到强语义一致的多表情人脸同拓扑网格数据。
69.进一步地，在一些实施例中，基于初步语义一致增强的表情网格计算各表情网格uv图之间的第二稠密光流，并基于第二稠密光流修正各表情网格的顶点的坐标，包括：将第一表情网格和变形后的第二表情网格分别投影至对应的原始三维人脸扫描图上，得到各个顶点投影至原始三维人脸扫描图上的三维坐标和材质信息；利用拓扑一致性，将第一表情网格和变形后的第二表情网格投影至同一uv空间，并基于三维坐标和材质信息生成uv图和三维坐标分布场；通过第二光流求解器计算第一表情网格的uv图到变形后的第二表情网格的uv图的第二稠密光流。
70.进一步地，在一些实施例中，基于第二稠密光流修正各表情网格的顶点的坐标，包括：根据第二稠密光流获取第一表情网格的各顶点在语义一致约束下变形后的第二表情网格的uv图上的uv坐标；从变形后的第二表情网格的三维坐标分布场中采样得到第一表情网格的各顶点在语义一致约束下变形后的第二表情网格的原始三维人脸扫描图的三维坐标；基于第一表情网格的各顶点在变形后的第二表情网格的原始三维人脸扫描图的坐标修正变形后的第二表情网格。
71.具体地，在日常生活中的使用中，大多使用相机来采集人脸密集的语义信息，但是由于相机存在部分参数误差等问题，为了得到更强语义一致的表情网格，可以采用三维人脸扫描的方式，即将表情网格投影到各自的原始三维人脸扫描上，获取网格在扫描上的三维投影位置和材质，利用拓扑一致性，将原始表情网格和变形后的表情网格投影到相同的uv空间上生成uv图，即将第一表情网格和变形后的第二表情网格投影至同一uv空间，并基于三维坐标和材质信息生成uv图，在语义一致的情况下，各表情网格的uv图中其人脸区域部分应该重合，否则会存在一定的偏移。
72.进一步地，在精细语义对齐的条件下，同样可以采用流光的方式进行修正偏移，进而获得在语义一致的约束下，表情网格在原始人脸扫描中的正确三维投影位置，从而修正各表情网格的顶点位置，最终得到强语义一致的网格。
73.需要说明的是，本技术实施例中采用的第一光流求解器和第二光流求解器均使用已预训练好的用于光流计算的神经网络训练得到。举例而言，基于上述步骤中获得的a、b表情，首先，将a、b表情网格投影到各自的原始三维人脸扫描上，从而获取每个顶点投影到扫描上的三维坐标以及材质信息；其次，利用拓扑一致性，将a、b表情网格投影到相同的uv空间中，利用上述得到的三维坐标和材质信息生成uv图以及三维坐标分布场；再次，使用基于神经网络的光流求解器，计算a表情uv图到b表情uv图的稠密光流；最后，对于a表情网格的各顶点，根据光流计算结果获得顶点在b表情uv图上的uv坐标，并直接从b表情的三维坐标分布场中采样得到顶点在b表情原始三维人脸扫描的坐标，并利用拓扑一致性，从而获得b表情网格各顶点在人脸扫描上的正确位置。
74.因此，通过上述步骤获得的各顶点正确位置进一步修正b表情网格，从而得到与a表情网格精细语义对齐的b表情网格数据。
75.综上，本技术实施例的多表情人脸同拓扑网格数据的获取方法可以从三维人脸扫描，多视角图片等原始采集人脸数据中获取语义信息，使用光流方法来建立表情间的语义对应关系，根据这种关系确定表情人脸网格各顶点的正确位置，并对网格进行进一步变形，
增强表情间的语义一致性；即本技术实施例可以通过粗语义对齐步骤和细语义对齐步骤实现获得强语义一致的多表情人脸同拓扑网格数据。
76.根据本技术实施例的多表情人脸同拓扑网格数据的获取方法，从原始人脸数据库中获取人脸密集的语义信息，并计算各视角下不同表情视角图之间的第一稠密光流，并基于第一稠密光流和多视角定位方法逐顶点变形各表情网格的顶点，得到初步语义一致增强的表情网格，进而计算各表情网格uv图之间的第二稠密光流，并基于第二稠密光流修正各表情网格的顶点的坐标，得到强语义一致的多表情人脸同拓扑网格数据。由此，从原始人脸采集数据中获取语义信息，以光流构建表情间语义关系，对单独注册的多表情网格数据进行变形，增强其语义一致性，解决了通过单独注册方式获得的同个体多表情人脸网格数据，使表情间的语义不一致等问题。
77.其次参照附图描述根据本技术实施例提出的多表情人脸同拓扑网格数据的获取装置。
78.图2是本技术实施例的多表情人脸同拓扑网格数据的获取装置的方框示意图。
79.如图2所示，该多表情人脸同拓扑网格数据的获取装置10包括：获取模块100、第一计算模块200和第二计算模块300。
80.其中，获取模块100用于从原始人脸数据库中获取人脸密集的语义信息；
81.第一计算模块200用于基于语义信息，计算各视角下不同表情视角图之间的第一稠密光流，并基于第一稠密光流和多视角定位方法逐顶点变形各表情网格的顶点，得到初步语义一致增强的表情网格；以及
82.第二计算模块300用于基于初步语义一致增强的表情网格，计算各表情网格uv图之间的第二稠密光流，并基于第二稠密光流修正各表情网格的顶点的坐标，得到强语义一致的多表情人脸同拓扑网格数据。
83.进一步地，在一些实施例中，第一计算模块200，具体用于：
84.将第一表情网格投影至多个视角下的表情图，得到第一表情网格的各个顶点在第一表情图的二维位置；
85.通过第一光流求解器计算第一表情图到第二表情图的第一稠密光流，并根据第一稠密光流获取第一表情网格的各个顶点在语义一致约束下投影到第二表情图的二维位置；
86.利用第一表情网格和第二表情网格的拓扑一致性，得到第二表情网格的各个顶点在语义一致约束下投影到第二表情图的二维位置；
87.利用多视角定位方法，对第二表情网格的各个顶点重新定位，得到变形后的第二表情网格，并将第一表情网格和变形后的第二表情网格作为初步语义一致增强的表情网格。
88.进一步地，在一些实施例中，第二计算模块300，具体用于：
89.将第一表情网格和变形后的第二表情网格分别投影至对应的原始三维人脸扫描图上，得到各个顶点投影至原始三维人脸扫描图上的三维坐标和材质信息；
90.利用拓扑一致性，将第一表情网格和变形后的第二表情网格投影至同一uv空间，并基于三维坐标和材质信息生成uv图和三维坐标分布场；
91.通过第二光流求解器计算第一表情网格的uv图到变形后的第二表情网格的uv图的第二稠密光流。
92.进一步地，在一些实施例中，第二计算模块300，具体用于：
93.根据第二稠密光流获取第一表情网格的各顶点在语义一致约束下变形后的第二表情网格的uv图上的uv坐标；
94.从变形后的第二表情网格的三维坐标分布场中采样得到第一表情网格的各顶点在语义一致约束下变形后的第二表情网格的原始三维人脸扫描图的三维坐标；
95.基于第一表情网格的各顶点在变形后的第二表情网格的原始三维人脸扫描图的坐标修正变形后的第二表情网格。
96.进一步地，在一些实施例中，第一光流求解器和第二光流求解器均使用已预训练好的用于光流计算的神经网络训练得到。
97.根据本技术实施例的多表情人脸同拓扑网格数据的获取装置，从原始人脸数据库中获取人脸密集的语义信息，并计算各视角下不同表情视角图之间的第一稠密光流，并基于第一稠密光流和多视角定位方法逐顶点变形各表情网格的顶点，得到初步语义一致增强的表情网格，进而计算各表情网格uv图之间的第二稠密光流，并基于第二稠密光流修正各表情网格的顶点的坐标，得到强语义一致的多表情人脸同拓扑网格数据。由此，从原始人脸采集数据中获取语义信息，以光流构建表情间语义关系，对单独注册的多表情网格数据进行变形，增强其语义一致性，解决了通过单独注册方式获得的同个体多表情人脸网格数据，使表情间的语义不一致等问题。
98.图3为本技术实施例提供的电子设备的结构示意图。该电子设备可以包括：
99.存储器301、处理器302及存储在存储器301上并可在处理器302上运行的计算机程序。
100.处理器302执行程序时实现上述实施例中提供的多表情人脸同拓扑网格数据的获取方法。
101.进一步地，电子设备还包括：
102.通信接口303，用于存储器301和处理器302之间的通信。
103.存储器301，用于存放可在处理器302上运行的计算机程序。
104.存储器301可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
105.如果存储器301、处理器302和通信接口303独立实现，则通信接口303、存储器301和处理器302可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(industry standard architecture，简称为isa)总线、外部设备互连(peripheral component，简称为pci)总线或扩展工业标准体系结构(extended industry standard architecture，简称为eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
106.可选的，在具体实现上，如果存储器301、处理器302及通信接口303，集成在一块芯片上实现，则存储器301、处理器302及通信接口303可以通过内部接口完成相互间的通信。
107.处理器302可能是一个中央处理器(central processing unit，简称为cpu)，或者是特定集成电路(application specific integrated circuit，简称为asic)，或者是被配置成实施本技术实施例的一个或多个集成电路。
108.本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序
被处理器执行时实现如上的多表情人脸同拓扑网格数据的获取方法。
109.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或n个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
110.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“n个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
111.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更n个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
112.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或n个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
113.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，n个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
114.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
115.此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以
是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
116.上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。
技术特征：
1.一种多表情人脸同拓扑网格数据的获取方法，其特征在于，包括以下步骤：从原始人脸数据库中获取人脸密集的语义信息；基于所述语义信息，计算各视角下不同表情视角图之间的第一稠密光流，并基于所述第一稠密光流和多视角定位方法逐顶点变形各表情网格的顶点，得到初步语义一致增强的表情网格；以及基于所述初步语义一致增强的表情网格，计算各表情网格uv图之间的第二稠密光流，并基于所述第二稠密光流修正所述各表情网格的顶点的坐标，得到强语义一致的多表情人脸同拓扑网格数据。2.根据权利要求1所述的方法，其特征在于，所述基于所述语义信息计算各视角下不同表情视角图之间的第一稠密光流，并基于所述第一稠密光流和多视角定位方法逐顶点变形各表情网格的顶点，得到初步语义一致增强的表情网格，包括：将第一表情网格投影至多个视角下的表情图，得到所述第一表情网格的各个顶点在第一表情图的二维位置；通过第一光流求解器计算所述第一表情图到第二表情图的第一稠密光流，并根据所述第一稠密光流获取所述第一表情网格的各个顶点在语义一致约束下投影到所述第二表情图的二维位置；利用所述第一表情网格和第二表情网格的拓扑一致性，得到所述第二表情网格的各个顶点在语义一致约束下投影到所述第二表情图的二维位置；利用所述多视角定位方法，对所述第二表情网格的各个顶点重新定位，得到变形后的第二表情网格，并将所述第一表情网格和所述变形后的第二表情网格作为初步语义一致增强的表情网格。3.根据权利要求2所述的方法，其特征在于，所述基于所述初步语义一致增强的表情网格计算各表情网格uv图之间的第二稠密光流，并基于所述第二稠密光流修正所述各表情网格的顶点的坐标，包括：将所述第一表情网格和所述变形后的第二表情网格分别投影至对应的原始三维人脸扫描图上，得到各个顶点投影至所述原始三维人脸扫描图上的三维坐标和材质信息；利用所述拓扑一致性，将所述第一表情网格和所述变形后的第二表情网格投影至同一uv空间，并基于所述三维坐标和所述材质信息生成uv图和三维坐标分布场；通过第二光流求解器计算所述第一表情网格的uv图到所述变形后的第二表情网格的uv图的第二稠密光流。4.根据权利要求3所述的方法，其特征在于，所述基于所述第二稠密光流修正所述各表情网格的顶点的坐标，包括：根据所述第二稠密光流获取所述第一表情网格的各顶点在语义一致约束下所述变形后的第二表情网格的uv图上的uv坐标；从所述变形后的第二表情网格的三维坐标分布场中采样得到所述第一表情网格的各顶点在语义一致约束下所述变形后的第二表情网格的原始三维人脸扫描图的三维坐标；基于所述第一表情网格的各顶点在所述变形后的第二表情网格的原始三维人脸扫描图的坐标修正所述变形后的第二表情网格。5.根据权利要求4所述的方法，其特征在于，所述第一光流求解器和所述第二光流求解
器均使用已预训练好的用于光流计算的神经网络训练得到。6.一种多表情人脸同拓扑网格数据的获取装置，其特征在于，包括：获取模块，用于从原始人脸数据库中获取人脸密集的语义信息；第一计算模块，用于基于所述语义信息，计算各视角下不同表情视角图之间的第一稠密光流，并基于所述第一稠密光流和多视角定位方法逐顶点变形各表情网格的顶点，得到初步语义一致增强的表情网格；以及第二计算模块，用于基于所述初步语义一致增强的表情网格，计算各表情网格uv图之间的第二稠密光流，并基于所述第二稠密光流修正所述各表情网格的顶点的坐标，得到强语义一致的多表情人脸同拓扑网格数据。7.根据权利要求6所述的装置，其特征在于，所述第一计算模块，具体用于：将第一表情网格投影至多个视角下的表情图，得到所述第一表情网格的各个顶点在第一表情图的二维位置；通过第一光流求解器计算所述第一表情图到第二表情图的第一稠密光流，并根据所述第一稠密光流获取所述第一表情网格的各个顶点在语义一致约束下投影到所述第二表情图的二维位置；利用所述第一表情网格和第二表情网格的拓扑一致性，得到所述第二表情网格的各个顶点在语义一致约束下投影到所述第二表情图的二维位置；利用所述多视角定位方法，对所述第二表情网格的各个顶点重新定位，得到变形后的第二表情网格，并将所述第一表情网格和所述变形后的第二表情网格作为初步语义一致增强的表情网格。8.根据权利要求7所述的装置，其特征在于，所述第二计算模块，具体用于：将所述第一表情网格和所述变形后的第二表情网格分别投影至对应的原始三维人脸扫描图上，得到各个顶点投影至所述原始三维人脸扫描图上的三维坐标和材质信息；利用所述拓扑一致性，将所述第一表情网格和所述变形后的第二表情网格投影至同一uv空间，并基于所述三维坐标和所述材质信息生成uv图和三维坐标分布场；通过第二光流求解器计算所述第一表情网格的uv图到所述变形后的第二表情网格的uv图的第二稠密光流。9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的多表情人脸同拓扑网格数据的获取方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的多表情人脸同拓扑网格数据的获取方法。
技术总结
本申请涉及一种多表情人脸同拓扑网格数据的获取方法、装置及电子设备，方法包括：从原始人脸数据库中获取人脸密集的语义信息，并计算各视角下不同表情视角图之间的第一稠密光流，并基于第一稠密光流和多视角定位方法逐顶点变形各表情网格的顶点，得到初步语义一致增强的表情网格，进而计算各表情网格UV图之间的第二稠密光流，并基于第二稠密光流修正各表情网格的顶点的坐标，得到强语义一致的多表情人脸同拓扑网格数据。由此，从原始人脸采集数据中获取语义信息，以光流构建表情间语义关系，对单独注册的多表情网格数据进行变形，增强其语义一致性，解决了通过单独注册方式获得的同个体多表情人脸网格数据，使表情间的语义不一致等问题。致等问题。致等问题。
