基于全脉冲网络的图像生成方法、装置、设备及存储介质与流程
1.本发明涉及计算机领域，尤其涉及一种基于全脉冲网络的图像生成方法、装置、设备及存储介质。
背景技术：
2.近期已有大量研究着力于提高脉冲神经网络(spiking neural network，snn)在图像分类、物体检测等任务上的准确度，用更少的参数和计算量实现与人工神经网络(artificial neural network，ann)相当，甚至超过ann的效果，而生成式模型在snn上的实现则较少人研究。然而用ann实现的图像生成任务往往需要更多计算量，难以在边缘设备上快速生成高真实度的图像。
技术实现要素：
3.本发明提供一种基于全脉冲网络的图像生成方法、装置、设备及存储介质，旨在提高生成图像的真实度。
4.第一方面，本发明提供一种基于全脉冲网络的图像生成方法，所述全脉冲网络包括第一脉冲编码器、第二脉冲编码器、特征处理器以及脉冲解码器；
5.基于全脉冲网络的图像生成方法，包括：
6.通过所述第一脉冲编码器对至少一个原始图像进行编码，得到原始图像特征；
7.通过所述第二脉冲编码器对每个原始姿态图像以及每个目标姿态图像进行处理，得到原始姿态特征，其中，所述目标姿态图像与所述原始姿态图像是在不同采样时刻采集到的目标物体的姿态图像；
8.通过所述特征处理器对所述原始图像特征和所述原始姿态特征进行处理，得到目标图像特征；
9.通过所述脉冲解码器对所述目标图像特征进行解码，生成所述目标物体的目标图像；
10.其中，所述至少一个原始图像是待处理图像经过复制得到的，所述原始姿态图像为原始图像对应的姿态图像。
11.在一个实施例中，所述特征处理器包括多个相同的特征处理模块依次级联。
12.所述多个特征处理模块包括第一特征处理模块、第二特征处理模块和第三特征处理模块；
13.所述通过所述特征处理器对所述原始图像特征和所述原始姿态特征进行处理，得到目标图像特征，包括：
14.通过所述第一特征处理模块对所述原始图像特征和所述原始姿态特征进行处理，得到第一图像特征和第一姿态特征；
15.通过所述第二特征处理模块对所述第一图像特征和所述第一姿态特征进行处理，得到第二图像特征和第二姿态特征；
16.通过所述第三特征处理模块对所述第二图像特征和所述第二姿态特征进行处理，得到所述目标图像特征。
17.任一所述特征处理模块均包括第一脉冲卷积块、第二脉冲卷积块和第三脉冲卷积块；
18.所述通过所述第三特征处理模块对所述第二图像特征和所述第二姿态特征进行处理，得到所述目标图像特征，包括：
19.通过所述第一脉冲卷积块对所述第二图像特征进行处理，得到待处理图像特征；
20.通过所述第二脉冲卷积块对所述第二姿态特征进行处理，得到待处理姿态特征；
21.通过所述第三脉冲卷积块将所述待处理图像特征和所述待处理姿态特征进行融合，得到融合图像特征；
22.基于所述融合图像特征得到所述目标图像特征。
23.任一所述特征处理模块还均包括堆叠模块；
24.所述通过所述第三脉冲卷积块将所述待处理图像特征和所述待处理姿态特征进行融合，得到融合图像特征，包括：
25.通过所述堆叠模块对所述待处理图像特征和所述待处理姿态特征沿通道进行堆叠处理，得到堆叠后的特征；
26.通过所述第三脉冲卷积块将所述堆叠后的特征进行信息融合，得到所述融合图像特征。
27.任一所述特征处理模块还均包括异或模块；
28.所述基于所述融合图像特征得到所述目标图像特征，包括：
29.通过所述异或模块对所述融合图像特征和所述第二图像特征进行脉冲残差处理，得到所述目标图像特征。
30.所述目标图像特征为t个时间步数的图像特征；
31.所述通过所述脉冲解码器对所述目标图像特征进行解码，生成所述目标物体的目标图像，包括：
32.通过所述脉冲解码器的末层，对所述目标图像特征的t个时间步数的膜电位进行加权和，生成目标图像。
33.第二方面，本发明提供一种基于全脉冲网络的图像生成装置，所述全脉冲网络包括第一脉冲编码器、第二脉冲编码器、特征处理器以及脉冲解码器；
34.基于全脉冲网络的图像生成装置，包括：
35.编码单元，用于通过所述第一脉冲编码器对至少一个原始图像进行编码，得到原始图像特征；
36.第一处理单元，用于通过所述第二脉冲编码器对每个原始姿态图像以及每个目标姿态图像进行处理，得到原始姿态特征，其中，所述目标姿态图像与所述原始姿态图像是在不同采样时刻采集到的目标物体的姿态图像；
37.第二处理单元，用于通过所述特征处理器对所述原始图像特征和所述原始姿态特征进行处理，得到目标图像特征；
38.解码单元，用于通过所述脉冲解码器对所述目标图像特征进行解码，生成所述目标物体的目标图像；
39.其中，所述至少一个原始图像是待处理图像经过复制得到的，所述原始姿态图像为原始图像对应的姿态图像。
40.第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述基于全脉冲网络的图像生成方法。
41.第四方面，本发明还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括计算机程序，所述计算机程序被所述处理器执行时实现第一方面所述基于全脉冲网络的图像生成方法。
42.第五方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被所述处理器执行时实现第一方面所述基于全脉冲网络的图像生成方法。
43.本发明提供的基于全脉冲网络的图像生成方法、装置、设备及存储介质，通过第一脉冲编码器对至少一个原始图像进行编码，得到原始图像特征；通过第二脉冲编码器对每个原始姿态图像以及每个目标姿态图像进行处理，得到原始姿态特征，其中，目标姿态图像与原始姿态图像是在不同采样时刻采集到的目标物体的姿态图像；通过特征处理器对原始图像特征和原始姿态特征进行处理，得到目标图像特征；通过脉冲解码器对目标图像特征进行解码，生成目标物体的目标图像；其中，至少一个原始图像是待处理图像经过复制得到的，原始姿态图像为原始图像对应的姿态图像。
44.在基于全脉冲网络的图像生成的过程中，将全脉冲网络中的脉冲编码器、特征处理器和脉冲解码器，结合多个原始图像、多个原始姿态图像以及多个目标姿态图像，在目标姿态图像的引导下能够生成真实度符合要求的图像，提高了生成图像的真实度。
附图说明
45.为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
46.图1是本发明提供的基于全脉冲网络的图像生成方法的流程图；
47.图2是本发明提供的全脉冲网络整体框架示意图；
48.图3是本发明提供的特征处理模块的结构图；
49.图4是本发明提供的基于全脉冲网络的图像生成装置的结构图；
50.图5是本发明提供的电子设备的结构图。
具体实施方式
51.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
52.需要说明的是，在本发明实施例的描述中，术语“包括”、“包含”或者其任何其他变
体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
53.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
54.进一步地，结合图1至图5描述本发明提供的基于全脉冲网络的图像生成方法、装置、设备及存储介质。图1是本发明提供的基于全脉冲网络的图像生成方法的流程图；图2是本发明提供的全脉冲网络整体框架示意图；图3是本发明提供的特征处理模块的结构图；图4是本发明提供的基于全脉冲网络的图像生成装置的结构图；图5是本发明提供的电子设备的结构图。
55.本发明实施例提供了基于全脉冲网络的图像生成方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些数据下，可以以不同于此处的顺序完成所示出或描述的步骤。
56.本发明实施例以电子设备作为执行主体进行举例，本发明实施例以图像生成系统作为电子设备进行举例说明。
57.如图1，图1是本发明提供的基于全脉冲网络的图像生成方法的流程图。本发明实施例提供的基于全脉冲网络的图像生成方法包括：
58.s101，通过所述第一脉冲编码器对至少一个原始图像进行编码，得到原始图像特征；
59.s102，通过所述第二脉冲编码器对每个原始姿态图像以及每个目标姿态图像进行处理，得到原始姿态特征，所述目标姿态图像与所述原始姿态图像是在不同采样时刻采集到的目标物体的姿态图像；
60.s103，通过所述特征处理器对所述原始图像特征和所述原始姿态特征进行处理，得到目标图像特征；
61.s104，通过所述脉冲解码器对所述目标图像特征进行解码，生成所述目标物体的目标图像。
62.需要说明的是，本发明提供的图像生成系统是携带有全脉冲网络的系统，参照图2
所示，图2是本发明提供的全脉冲网络整体框架示意图，全脉冲网络中至少包括第一脉冲编码器、第二脉冲编码器、特征处理器和脉冲解码器。
63.进一步地，特征处理器中包括依次级联的t个特征处理模块，t个特征处理模块分别为特征处理模块1、特征处理模块2至特征处理模块t，特征处理模块1、特征处理模块2至特征处理模块t中的每一个特征处理模块的内部结构和运行原理都是一样的。
64.进一步地，参照图2所示，全脉冲网络可分为两条分支，每一条支路的输入端都有一个脉冲编码器。进一步地，全脉冲网络中的一条分支用于处理图像信息，也即图像支路。另一条分支用于处理姿态图像，也即姿态支路。也即可以理解为，全脉冲网络中的第一脉冲编码器用于处理图像信息，第二脉冲编码器用于处理姿态图像。
65.在将原始图像和姿态图像输入至脉冲编码器之前，需要采集目标物体(目标物体包括但不限制于动物、具有关节且可移动且可摆动的物体)一开始的待处理图像，并将待处理图像进行t次复制，得到t个相同的原始图像，由于将待处理图像进行了t次复制，因此，图像支路中的第一脉冲编码器输入图像的尺寸为ci*hi*wi*t，其中，ci为图像通道数，hi为图像的高，wi为图像的宽，t为时间步数。
66.需要说明的是，可以将每一张原始图像中的姿势信息进行提取，并将提取到的姿态信息转化为原始图像对应的原始姿态图像。由于将待处理图像进行t次复制，得到t个相同的原始图像，因此可以理解为，将原始姿态图像也进行了t次复制，得到t个相同的原始姿态图像。进一步的，在目标物体发生动作变化后，采集目标物体发生动作变化后的目标姿态图像，可以理解为，目标姿态图像与原始姿态图像是在不同采样时刻采集到的目标物体的姿态图像，原始姿态图像是目标物体未发生动作变化前的姿态图像，目标姿态图像是目标物体未发生动作变化后的姿态图像。同时，将目标姿态图像也进行t次复制，得到t个相同的目标姿态图像。
67.进一步的，目标姿态图像和原始姿态图像构成姿态图像对，由于将姿态图像对进行了t次复制，因此，姿态支路中的第二脉冲编码器输入图像的尺寸为2*c
p
*hi*wi*t，其中，c
p
为姿态关节点数。进一步需要说明的是，姿态图像中包括但不限制于姿势信息、姿态关节点信息和姿态关节点数。
68.具体地，图像支路的第一脉冲编码器接收到输入的t个原始图像后，对t个原始图像进行编码处理，得到原始图像特征进一步地，姿态支路的第二脉冲编码器接收到输入的t个姿态图像对(目标姿态图像和原始姿态图像)后，对t个姿态图像对(目标姿态图像和原始姿态图像)进行编码处理，得到原始姿态特征
69.进一步地，图像支路的第一脉冲编码器将原始图像特征传输至特征处理器中，姿态支路的第二脉冲编码器同时将原始姿态特征传输至特征处理器中。特征处理器接收到原始图像特征和原始姿态特征后，特征处理器中的多个特征处理模块对原始图像特征和原始姿态特征进行处理，得到目标图像特征进一步需要说明的是，目标图像特征就是目标物体发生运动变化后，基于原始姿态图像和变化后的目标姿态图像，在原始图像的基础上截取出目标物体发生变化后的图像的图像特征。
70.进一步地，特征处理器将得到的目标图像特征传输至脉冲解码器。脉冲解码器接收到特征处理模块t传输的目标图像特征后，对目标图像特征进行解码处理，生成目标姿态下的目标图像。进一步需要说明的是，目标图像就是目标物体发生运动变化后，基于原始姿态图像和变化后的目标姿态图像，在原始图像的基础上截取出目标物体发生变化后的图像。
71.本发明实施例提供的基于全脉冲网络的图像生成方法，通过第一脉冲编码器对至少一个原始图像进行编码，得到原始图像特征；通过第二脉冲编码器对每个原始姿态图像以及每个目标姿态图像进行处理，得到原始姿态特征，其中，目标姿态图像与原始姿态图像是在不同采样时刻采集到的目标物体的姿态图像；通过特征处理器对原始图像特征和原始姿态特征进行处理，得到目标图像特征；通过脉冲解码器对目标图像特征进行解码，生成目标物体的目标图像；其中，至少一个原始图像是待处理图像经过复制得到的，原始姿态图像为原始图像对应的姿态图像。
72.在基于全脉冲网络的图像生成的过程中，将全脉冲网络中的脉冲编码器、特征处理器和脉冲解码器，结合多个原始图像、多个原始姿态图像以及多个目标姿态图像，在目标姿态图像的引导下能够生成真实度符合要求的图像，提高了生成图像的真实度。进一步可以理解为，在目标物体发生运动变化后，基于原始姿态图像和变化后的目标姿态图像，并在目标姿态图像的指导下，在原始图像的基础上，生成出目标物体发生运动变化后高真实度的目标图像。
73.s103记载的通过所述特征处理器对所述原始图像特征和所述原始姿态特征进行处理，得到目标图像特征的具体分析如下：
74.通过所述第一特征处理模块对所述原始图像特征和所述原始姿态特征进行处理，得到第一图像特征和第一姿态特征；
75.通过所述第二特征处理模块对所述第一图像特征和所述第一姿态特征进行处理，得到第二图像特征和第二姿态特征；
76.通过所述第三特征处理模块对所述第二图像特征和所述第二姿态特征进行处理，得到所述目标图像特征。
77.需要说明的是，本发明实施例中的第一特征处理模块、第二特征处理模块和第三特征处理模块不是代表仅有三个特征处理模块，第一特征处理模块、第二特征处理模块和第三特征处理模块只是表示特征处理模块的前后顺序。本发明实施例中的第二特征处理模块可以为特征处理器中的中间特征处理模块，第一特征处理模块可为中间特征处理模块之前的所有特征处理模块，第三特征处理模块可为中间特征处理模块之后的所有特征处理模块。本发明实施例中特征处理器的数量以t个进行举例，第二特征处理模块为中间特征处理模块t，第一特征处理模块为特征处理模块1至特征处理模块t-1，第三特征处理模块为特征处理模块t+1、特征处理模块t-1至特征处理模块t。
78.具体地，特征处理模块1接收到原始图像特征和原始姿态特征后，对原始图像特征和原始姿态特征进行处理，输出第一图像特征和第一姿态特征进一步地，特征处理模块2以特征处理模块1输出的第一图像特征和第一姿态特征为输入，对
第一图像特征和第一姿态特征进行处理，输出第二图像特征和第二姿态特征依次进行，特征处理模块t以特征处理模块t-1输出第t-1图像特征和第t-1姿态特征为输入，对第t-1图像特征和第t-1姿态特征处理，输出第t图像特征和第t姿态特征
79.依次进行，特征处理模块t-1以特征处理模块t-2输出第t-2图像特征和第t-2姿态特征为输入，对第t-2图像特征和第t-2姿态特征进行处理，输出第t-1图像特征和第t-1姿态特征进一步地，征处理模块t以特征处理模块t-1输出第t-1图像特征和第t-1姿态特征为输入，对第t-1图像特征和第t-1姿态特征进行处理，输出目标图像特征
80.本发明实施例通过特征处理器中的特征处理模块依次对原始图像特征和原始姿态特征进行处理，在目标姿态图像的引导下最后生成的目标图像特征的真实度符合要求，从而使得能够生成真实度符合要求的图像，提高了生成图像的真实度。
81.进一步地，通过所述第三特征处理模块对所述第二图像特征和所述第二姿态特征进行处理，得到所述目标图像特征的具体分析如下：
82.通过所述第一脉冲卷积块对所述第二图像特征进行处理，得到待处理图像特征；
83.通过所述第二脉冲卷积块对所述第二姿态特征进行处理，得到待处理姿态特征；
84.通过所述第三脉冲卷积块将所述待处理图像特征和所述待处理姿态特征进行融合，得到融合图像特征；
85.基于所述融合图像特征得到所述目标图像特征。
86.进一步地，参照图3，图3是本发明提供的特征处理模块的结构图，也就是说，特征处理器中的每一个特征处理模块的内部结构及运行原理都是图3的结构。如图3所示，特征处理模块中也有两条分支，一条分支用于处理图像特征，也即图像支路。另一条分支用于处理姿态特征，也即姿态支路。进一步地，特征处理模块中包括第一脉冲卷积块和第二脉冲卷积块，即图像支路中包括第一脉冲卷积块，姿态支路中包括第二脉冲卷积块，其中，第一脉冲卷积块和第二脉冲卷积块为两个3*3的脉冲卷积块。进一步地，特征处理模块中还包括两个堆叠模块、第三脉冲卷积块和异或模块，第三脉冲卷积块为1*1的脉冲卷积块，脉冲卷积块由卷积层、批归一化层和lif(leaky integrate-and-fire)层构成，异或模块由两层线性层构成。
87.具体地，本发明实施例以第t个特征处理模块为例，其输入为第t-1个特征处理模块输出的图像特征和姿态特征即第二图像特征为第二姿态特征为第二图像特征的尺寸为c*h*w*t，第二姿态特征的尺寸为2*c*h*w*t。
88.进一步地，在第t个特征处理模块的图像支路中，通过第一脉冲卷积块(两个3*3的脉冲卷积块)对第二图像特征进行处理，得到待处理图像特征。在第t个特征处理模块的姿态支路中，通过第二脉冲卷积块(两个3*3的脉冲卷积块)对第二姿态特征进行处
理，得到待处理姿态特征。进一步地，通过第t个特征处理模块中的第三脉冲卷积块(1*1的脉冲卷积块)对待处理图像特征和待处理姿态特征进行融合，得到融合图像特征。
89.进一步地，第t个特征处理模块根据第二图像特征融合图像特征和待处理姿态特征，输出第t个图像特征和第t个姿态特征其中，第t个图像特征和第t个姿态特征的尺寸，与第二图像特征和第二姿态特征的尺寸大小相同，即第t个图像特征的尺寸为c*h*w*t，第t个姿态特征的尺寸为2*c*h*w*t。最后，根据第t个特征处理模块输出的第t个图像特征和第t个姿态特征得到目标图像特征
90.本发明实施例通过特征处理模块中的第一脉冲卷积块、第二脉冲卷积块和第三脉冲卷积块对图像特征和姿态特征进行处理，在目标姿态图像的引导下最后生成的目标图像特征的真实度符合要求，从而使得能够生成真实度符合要求的图像，提高了生成图像的真实度。
91.进一步地，通过所述第三脉冲卷积块将所述待处理图像特征和所述待处理姿态特征进行融合，得到融合图像特征的具体分析如下：
92.通过所述堆叠模块对所述待处理图像特征和所述待处理姿态特征沿通道进行堆叠处理，得到堆叠后的特征；
93.通过所述第三脉冲卷积块将所述堆叠后的特征进行信息融合，得到所述融合图像特征。
94.具体地，堆叠模块对待处理图像特征和待处理姿态特征沿通道进行堆叠处理，得到堆叠后的特征。进一步地，特征处理模块中的1*1的脉冲卷积块块将堆叠后的特征进行信息融合，得到融合图像特征。
95.本发明实施例通过堆叠模块和第三脉冲卷积块对图像特征和姿态特征进行处理，在目标姿态图像的引导下生成的目标图像特征的真实度符合要求，从而使得能够生成真实度符合要求的图像，提高了生成图像的真实度。
96.进一步地，基于所述融合图像特征得到所述目标图像特征的具体分析如下：
97.通过所述异或模块对所述融合图像特征和所述第二图像特征进行脉冲残差处理，得到所述目标图像特征。
98.需要说明的是，本发明实施例通过异或模块的异或操作来实现脉冲网络中的脉冲残差，异或操作由两层线性层实现。
99.具体为，先将计算残差的两个输入分别进行平铺，得到尺寸为m*t的特征，两者堆叠后尺寸为m*t*2，经过权重尺寸分别为2*2和2*1的线性层，得到异或操作的结果(尺寸为m*t*1)后重新调整尺寸为c*h*w*t。
100.因此，本发明实施例以第t个特征处理模块为例，第t个特征处理模块根据将融合图像特征和第二图像特征进行脉冲残差处理，得到第t个图像特征进一步地，第t个特征处理模块通过堆叠模块对第t个图像特征与第一脉冲卷积块对第二姿态特征处理后得到的待处理姿态特征沿通道进行堆叠处理，得到第t个姿态特征
101.依次进行，直至第t个特征处理模块将图像支路的图像特征确定为目标图像特征
102.本发明实施例通过异或模块对融合图像特征和第二图像特征进行脉冲残差处理，在目标姿态图像的引导下生成的目标图像特征的真实度符合要求，从而使得能够生成真实度符合要求的图像，提高了生成图像的真实度。
103.进一步地，s104记载的通过所述脉冲解码器对所述目标图像特征进行解码，生成所述目标物体的目标图像的具体分析如下：
104.通过所述脉冲解码器的末层，对所述目标图像特征的t个时间步数的膜电位进行加权和，生成目标图像。
105.具体地，脉冲解码器的末层(最后一层)对目标图像特征的t个时间步数的膜电位进行加权和，生成目标图像。
106.本发明实施例通过对t个时间步数的膜电位进行加权和，使得能够生成真实度符合要求的图像，提高了生成图像的真实度。
107.进一步地，本发明整体的步骤分析如下：
108.图像支路的第一脉冲编码器接收到输入的t个原始图像后，对t个原始图像进行编码处理，得到原始图像特征进一步地，姿态支路的第二脉冲编码器接收到输入的t个姿态图像对后，对t个姿态图像对进行编码处理，得到原始姿态特征
109.特征处理模块1接收到原始图像特征和原始姿态特征后，通过第一脉冲卷积块(两个3*3的脉冲卷积块)对原始图像特征进行处理，得到第一待处理图像特征，通过第二脉冲卷积块(两个3*3的脉冲卷积块)对原始姿态特征进行处理，得到第一待处理姿态特征。进一步地，特征处理模块1通过堆叠模块对第一待处理图像特征和第一待处理姿态特征沿通道进行堆叠处理，得到堆叠后的特征。进一步地，特征处理模块1通过第三脉冲卷积块(1*1的脉冲卷积块)将堆叠后的特征进行信息融合，得到融合图像特征。进一步地，特征处理模块1通过异或模块将融合图像特征和原始图像特征进行脉冲残差处理，得到第一图像特征进一步地，特征处理模块1通过堆叠模块对第一图像特征与第一待处理姿态沿通道进行堆叠处理，得到第一姿态特征
110.进一步地，特征处理模块2以特征处理模块1输出的第一图像特征和第一姿态特征为输入。
111.特征处理模块2接收到第一图像特征和第一姿态特征后，通过第一脉冲卷积块(两个3*3的脉冲卷积块)对第一图像特征进行处理，得到第二待处理图像特征，通过第二脉冲卷积块(两个3*3的脉冲卷积块)对第一姿态特征进行处理，得到第二待处理姿态特征。进一步地，特征处理模块2通过堆叠模块对第二待处理图像特征和第二待处理姿态特征沿通道进行堆叠处理，得到堆叠后的特征。进一步地，特征处理模块2通过第三脉冲卷积
块(1*1的脉冲卷积块)将堆叠后的特征进行信息融合，得到融合图像特征。进一步地，特征处理模块2通过异或模块将融合图像特征和第一图像特征进行脉冲残差处理，得到第二图像特征进一步地，特征处理模块2通过堆叠模块对第二图像特征与第二待处理姿态沿通道进行堆叠处理，得到第二姿态特征
112.特征处理模块3至特征处理模块t-1，依次进行。
113.特征处理模块t以特征处理模块t-1输出第t-1图像特征和第t-1姿态特征为输入。
114.特征处理模块t接收到第t-1图像特征和第t-1姿态特征后，通过第一脉冲卷积块(两个3*3的脉冲卷积块)对第t-1图像特征进行处理，得到第t待处理图像特征，通过第二脉冲卷积块(两个3*3的脉冲卷积块)对第t-1姿态特征进行处理，得到第t待处理姿态特征。进一步地，特征处理模块t通过堆叠模块对第t待处理图像特征和第t待处理姿态特征沿通道进行堆叠处理，得到堆叠后的特征。进一步地，特征处理模块t通过第三脉冲卷积块(1*1的脉冲卷积块)将堆叠后的特征进行信息融合，得到融合图像特征。进一步地，特征处理模块t通过异或模块将融合图像特征和第t-1图像特征进行脉冲残差处理，得到第t图像特征并将第t图像特征确定为目标图像特征
115.本发明实施例中的目标损失函数为l
full
，目标损失函数l
full
由l1损失、l
per
感知损失和l
gan
生成对抗损失构成，即目标损失函数为l
full
为l
full
＝argmingmaxdλ1l
gan
+λ2l1+λ3l
per
。
116.进一步地，下对本发明提供的基于全脉冲网络的图像生成装置进行描述，基于全脉冲网络的图像生成装置与基于全脉冲网络的图像生成方法可相互对应参照。
117.如图4所示，图4是本发明提供的基于全脉冲网络的图像生成装置的结构图，基于全脉冲网络的图像生成装置，所述全脉冲网络包括第一脉冲编码器、第二脉冲编码器、特征处理器以及脉冲解码器；
118.基于全脉冲网络的图像生成装置，包括：
119.编码单元401，用于通过所述第一脉冲编码器对至少一个原始图像进行编码，得到原始图像特征；
120.第一处理单元402，用于通过所述第二脉冲编码器对每个原始姿态图像以及每个目标姿态图像进行处理，得到原始姿态特征，其中，所述目标姿态图像与所述原始姿态图像是在不同采样时刻采集到的目标物体的姿态图像；
121.第二处理单元403，用于通过所述特征处理器对所述原始图像特征和所述原始姿态特征进行处理，得到目标图像特征；
122.解码单元404，用于通过所述脉冲解码器对所述目标图像特征进行解码，生成所述目标物体的目标图像；
123.其中，所述至少一个原始图像是待处理图像经过复制得到的，所述原始姿态图像为原始图像对应的姿态图像。
124.进一步地，第二处理单元403还用于：
125.通过所述第一特征处理模块对所述原始图像特征和所述原始姿态特征进行处理，得到第一图像特征和第一姿态特征；
126.通过所述第二特征处理模块对所述第一图像特征和所述第一姿态特征进行处理，得到第二图像特征和第二姿态特征；
127.通过所述第三特征处理模块对所述第二图像特征和所述第二姿态特征进行处理，得到所述目标图像特征。
128.进一步地，第二处理单元403还用于：
129.通过所述第一脉冲卷积块对所述第二图像特征进行处理，得到待处理图像特征；
130.通过所述第二脉冲卷积块对所述第二姿态特征进行处理，得到待处理姿态特征；
131.通过所述第三脉冲卷积块将所述待处理图像特征和所述待处理姿态特征进行融合，得到融合图像特征；
132.基于所述融合图像特征得到所述目标图像特征。
133.进一步地，第二处理单元403还用于：
134.通过所述堆叠模块对所述待处理图像特征和所述待处理姿态特征沿通道进行堆叠处理，得到堆叠后的特征；
135.通过所述第三脉冲卷积块将所述堆叠后的特征进行信息融合，得到所述融合图像特征。
136.进一步地，第二处理单元403还用于：
137.通过所述异或模块对所述融合图像特征和所述第二图像特征进行脉冲残差处理，得到所述目标图像特征。
138.进一步地，解码单元404还用于：
139.通过所述脉冲解码器的末层，对所述目标图像特征的t个时间步数的膜电位进行加权和，生成目标图像。
140.本发明提供的基于全脉冲网络的图像生成装置的具体实施例与基于全脉冲网络的图像生成方法各实施例基本相同，在此不作赘述。
141.图5示例了一种电子设备的实体结构图，如图5所示，电子设备可以包括：处理器(processor)510、通信接口(communications interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行基于全脉冲网络的图像生成方法，该方法包括：
142.通过所述第一脉冲编码器对至少一个原始图像进行编码，得到原始图像特征；
143.通过所述第二脉冲编码器对每个原始姿态图像以及每个目标姿态图像进行处理，得到原始姿态特征，其中，所述目标姿态图像与所述原始姿态图像是在不同采样时刻采集到的目标物体的姿态图像；
144.通过所述特征处理器对所述原始图像特征和所述原始姿态特征进行处理，得到目标图像特征；
145.通过所述脉冲解码器对所述目标图像特征进行解码，生成所述目标物体的目标图像；
146.其中，所述至少一个原始图像是待处理图像经过复制得到的，所述原始姿态图像为原始图像对应的姿态图像。
147.此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
148.另一方面，本发明还提供一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于全脉冲网络的图像生成方法，该方法包括：
149.通过所述第一脉冲编码器对至少一个原始图像进行编码，得到原始图像特征；
150.通过所述第二脉冲编码器对每个原始姿态图像以及每个目标姿态图像进行处理，得到原始姿态特征，其中，所述目标姿态图像与所述原始姿态图像是在不同采样时刻采集到的目标物体的姿态图像；
151.通过所述特征处理器对所述原始图像特征和所述原始姿态特征进行处理，得到目标图像特征；
152.通过所述脉冲解码器对所述目标图像特征进行解码，生成所述目标物体的目标图像；
153.其中，所述至少一个原始图像是待处理图像经过复制得到的，所述原始姿态图像为原始图像对应的姿态图像。
154.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于全脉冲网络的图像生成方法，该方法包括：
155.通过所述第一脉冲编码器对至少一个原始图像进行编码，得到原始图像特征；
156.通过所述第二脉冲编码器对每个原始姿态图像以及每个目标姿态图像进行处理，得到原始姿态特征，其中，所述目标姿态图像与所述原始姿态图像是在不同采样时刻采集到的目标物体的姿态图像；
157.通过所述特征处理器对所述原始图像特征和所述原始姿态特征进行处理，得到目标图像特征；
158.通过所述脉冲解码器对所述目标图像特征进行解码，生成所述目标物体的目标图像；
159.其中，所述至少一个原始图像是待处理图像经过复制得到的，所述原始姿态图像为原始图像对应的姿态图像。
160.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单
元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
161.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
162.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
技术特征：
1.一种基于全脉冲网络的图像生成方法，其特征在于，所述全脉冲网络包括第一脉冲编码器、第二脉冲编码器、特征处理器以及脉冲解码器；所述基于全脉冲网络的图像生成方法，包括：通过所述第一脉冲编码器对至少一个原始图像进行编码，得到原始图像特征；通过所述第二脉冲编码器对每个原始姿态图像以及每个目标姿态图像进行处理，得到原始姿态特征，其中，所述目标姿态图像与所述原始姿态图像是在不同采样时刻采集到的目标物体的姿态图像；通过所述特征处理器对所述原始图像特征和所述原始姿态特征进行处理，得到目标图像特征；通过所述脉冲解码器对所述目标图像特征进行解码，生成所述目标物体的目标图像；其中，所述至少一个原始图像是待处理图像经过复制得到的，所述原始姿态图像为原始图像对应的姿态图像。2.根据权利要求1所述的基于全脉冲网络的图像生成方法，其特征在于，所述特征处理器包括多个相同的特征处理模块依次级联。3.根据权利要求2所述的基于全脉冲网络的图像生成方法，其特征在于，所述多个特征处理模块包括第一特征处理模块、第二特征处理模块和第三特征处理模块；所述通过所述特征处理器对所述原始图像特征和所述原始姿态特征进行处理，得到目标图像特征，包括：通过所述第一特征处理模块对所述原始图像特征和所述原始姿态特征进行处理，得到第一图像特征和第一姿态特征；通过所述第二特征处理模块对所述第一图像特征和所述第一姿态特征进行处理，得到第二图像特征和第二姿态特征；通过所述第三特征处理模块对所述第二图像特征和所述第二姿态特征进行处理，得到所述目标图像特征。4.根据权利要求3所述的基于全脉冲网络的图像生成方法，其特征在于，任一所述特征处理模块均包括第一脉冲卷积块、第二脉冲卷积块和第三脉冲卷积块；所述通过所述第三特征处理模块对所述第二图像特征和所述第二姿态特征进行处理，得到所述目标图像特征，包括：通过所述第一脉冲卷积块对所述第二图像特征进行处理，得到待处理图像特征；通过所述第二脉冲卷积块对所述第二姿态特征进行处理，得到待处理姿态特征；通过所述第三脉冲卷积块将所述待处理图像特征和所述待处理姿态特征进行融合，得到融合图像特征；基于所述融合图像特征得到所述目标图像特征。5.根据权利要求4所述的基于全脉冲网络的图像生成方法，其特征在于，任一所述特征处理模块还均包括堆叠模块；所述通过所述第三脉冲卷积块将所述待处理图像特征和所述待处理姿态特征进行融合，得到融合图像特征，包括：通过所述堆叠模块对所述待处理图像特征和所述待处理姿态特征沿通道进行堆叠处理，得到堆叠后的特征；
通过所述第三脉冲卷积块将所述堆叠后的特征进行信息融合，得到所述融合图像特征。6.根据权利要求4所述的基于全脉冲网络的图像生成方法，其特征在于，任一所述特征处理模块还均包括异或模块；所述基于所述融合图像特征得到所述目标图像特征，包括：通过所述异或模块对所述融合图像特征和所述第二图像特征进行脉冲残差处理，得到所述目标图像特征。7.根据权利要求1至6任一项所述的基于全脉冲网络的图像生成方法，其特征在于，所述目标图像特征为t个时间步数的图像特征；所述通过所述脉冲解码器对所述目标图像特征进行解码，生成所述目标物体的目标图像，包括：通过所述脉冲解码器的末层，对所述目标图像特征的t个时间步数的膜电位进行加权和，生成目标图像。8.一种基于全脉冲网络的图像生成装置，其特征在于，所述全脉冲网络包括第一脉冲编码器、第二脉冲编码器、特征处理器以及脉冲解码器；所述基于全脉冲网络的图像生成装置，包括：编码单元，用于通过所述第一脉冲编码器对至少一个原始图像进行编码，得到原始图像特征；第一处理单元，用于通过所述第二脉冲编码器对每个原始姿态图像以及每个目标姿态图像进行处理，得到原始姿态特征，其中，所述目标姿态图像与所述原始姿态图像是在不同采样时刻采集到的目标物体的姿态图像；第二处理单元，用于通过所述特征处理器对所述原始图像特征和所述原始姿态特征进行处理，得到目标图像特征；解码单元，用于通过所述脉冲解码器对所述目标图像特征进行解码，生成所述目标物体的目标图像；其中，所述至少一个原始图像是待处理图像经过复制得到的，所述原始姿态图像为原始图像对应的姿态图像。9.一种电子设备，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的基于全脉冲网络的图像生成方法。10.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的基于全脉冲网络的图像生成方法。
技术总结
本发明涉及计算机领域，提供一种基于全脉冲网络的图像生成方法、装置、设备及存储介质，该方法包括：通过第一脉冲编码器对至少一个原始图像进行编码，得到原始图像特征；通过第二脉冲编码器对每个原始姿态图像以及每个目标姿态图像进行处理，得到原始姿态特征，其中，目标姿态图像与原始姿态图像是在不同采样时刻采集到的目标物体的姿态图像；通过特征处理器对原始图像特征和原始姿态特征进行处理，得到目标图像特征；通过脉冲解码器对目标图像特征进行解码，生成目标物体的目标图像。本发明实施例提供的基于全脉冲网络的图像生成方法能够在神经形态设备上运行，在目标姿态图像的引导下生成真实度符合要求的图像，提高了生成图像的真实度。像的真实度。像的真实度。
