一种文档图像中手写内容的编辑方法及装置与流程
1.本发明涉及一种文档图像中的手写内容的擦除、移动方法。
背景技术：
2.在办公和教育场景中，存在将文档图像或其中指定区域的手写内容进行擦除、移动的需求。例如将学生填写好的作业的文档图像中的手写内容擦除后，可供其他学生使用。
3.申请公布号为cn114332150a、申请公布日为2022年4月12日的中国发明专利《手写笔迹擦除方法、装置、设备及可读存储介质》公开了一种文档图像中的手写笔迹擦除方法。该方法对图片先检测再分割，主要缺点是速度慢，并且擦除准确性受检测精度和分割精度双重影响。该方法没有指明手写体、印刷体重叠区域如何如理，如果判断为手写，擦除后印刷体的字迹就会断笔。
4.申请公布号为cn114708601a、申请公布日为2022年7月5日的中国发明专利《一种基于深度学习的手写字擦除方法》公开了一种文档图像中的手写字擦除方法。该方法没有指明手写字、印刷内容重叠区域如何如理，如果判断为手写，擦除后印刷内容的字迹就会断笔。该方法在制作训练样本时包括填补手写字区域像素，使其与背景融合，这会造成擦除手写字后被擦除字迹的边缘存在不自然的残留痕迹。
技术实现要素：
5.本发明所要解决的技术问题是提出一种对文档图像中的手写内容的编辑方法，包括擦除手写内容、移动手写内容。
6.为解决上述技术问题，本发明公开了一种文档图像中手写内容的编辑方法，包括如下步骤。步骤s1a：采用一种用于图像分割的第一神经网络检测待处理图像，从中提取出待擦除的手写内容；所述第一神经网络用来将待处理图像中的所有像素分为三类：背景像素、印刷像素、手写像素；既被印刷内容所覆盖、也被手写内容所覆盖的像素作为印刷像素；待处理图像中的所有手写像素的集合就是待擦除的手写内容。步骤s2：采用一种用于图像修复的第三神经网络将待处理图像中的待擦除的手写内容运用背景填充，填充后的待处理图像恢复到未书写的状态。这是本发明的实施例一。
7.可选地，将所述步骤s1a替换为步骤s1b。步骤s1b：采用一种用于图像分割的第二神经网络检测待处理图像，从中提取出待擦除的手写内容；所述第二神经网络用来将待处理图像中的所有像素分为四类：背景像素、印刷像素、手写像素、印刷手写重叠像素；待处理图像中的所有手写像素的集合就是待擦除的手写内容。这是本发明的实施例二。
8.进一步地，在实施例一的步骤s2之后增加了步骤s3a和步骤s4。步骤s3a：采用一种用于图像分割的第四神经网络检测待处理图像，从中提取出待移动的手写内容；所述第四神经网络用来将待处理图像中的所有像素分为三类：背景像素、印刷像素、手写像素；既被印刷内容所覆盖、也被手写内容所覆盖的像素作为手写像素；待处理图像中的所有手写像素的集合就是待移动的手写内容。步骤s4：将待处理图像中的待移动的手写内容作为图片
移动到指定位置，然后采用颜迁移技术修改移动后的手写内容的像素颜，使移动后的手写内容的像素颜与移动目的地区域的像素颜一致。或者，所述步骤s3a在步骤s4之前的任意时刻进行。这是本发明的实施例三。
9.进一步地，在实施例二的步骤s2之后增加了步骤s3b和步骤s4。步骤s3b：采用所述第二神经网络检测待处理图像，从中提取出待移动的手写内容；待处理图像中的所有手写像素和所有印刷手写重叠像素的集合就是待移动的手写内容。步骤s4：将待处理图像中的待移动的手写内容作为图片移动到指定位置，然后采用颜迁移技术修改移动后的手写内容的像素颜，使移动后的手写内容的像素颜与移动目的地区域的像素颜一致。或者，所述步骤s3b在步骤s4之前的任意时刻进行。这是本发明的实施例四。
10.优选地，所述第一神经网络、第二神经网络、第四神经网络为u
2-net、mprnet、pix2pix的任意一种，所述第三神经网络为lama、deepfillv2、hifill的任意一种。
11.优选地，所述第一神经网络、第二神经网络、第四神经网络在训练时结合边界检测约束手段，即将神经网络的预测结果和标注送入sobel滤波器，使神经网络的预测结果得到的手写内容的纹理边缘与标注的手写内容的纹理边缘趋于一致。
12.可选地，所述步骤s2替换为：采用一种图像修复技术对待处理图像中的待擦除的手写内容运用背景填充，填充后的待处理图像恢复到未书写的状态。
13.可选地，所述待处理图像是输入图像、或者是输入图像中的由用户指定的待处理区域、或者是输入图像中的文档区域称为文档图像、或者是文档图像中的由用户指定的待处理区域。
14.本发明还公开了一种文档图像中手写内容的编辑装置，包括擦除内容提取单元一和擦除单元。所述擦除内容提取单元一用于采用一种用于图像分割的第一神经网络检测待处理图像，从中提取出待擦除的手写内容；所述第一神经网络用来将待处理图像中的所有像素分为三类：背景像素、印刷像素、手写像素；既被印刷内容所覆盖、也被手写内容所覆盖的像素作为印刷像素；待处理图像中的所有手写像素的集合就是待擦除的手写内容。所述擦除单元用于采用一种用于图像修复的第三神经网络将待处理图像中的待擦除的手写内容运用背景填充，填充后的待处理图像恢复到未书写的状态。这是本发明的实施例一。
15.可选地，将所述擦除内容提取单元一替换为擦除内容提取单元二。所述擦除内容提取单元二用于采用一种用于图像分割的第二神经网络检测待处理图像，从中提取出待擦除的手写内容；所述第二神经网络用来将待处理图像中的所有像素分为四类：背景像素、印刷像素、手写像素、印刷手写重叠像素；待处理图像中的所有手写像素的集合就是待擦除的手写内容。这是本发明的实施例二。
16.进一步地，在实施例一的基础上还包括移动内容提取单元一和移动单元。所述移动内容提取单元一用于采用一种用于图像分割的第四神经网络检测待处理图像，从中提取出待移动的手写内容；所述第四神经网络用来将待处理图像中的所有像素分为三类：背景像素、印刷像素、手写像素；既被印刷内容所覆盖、也被手写内容所覆盖的像素作为手写像素；待处理图像中的所有手写像素的集合就是待移动的手写内容。所述移动单元用于将待处理图像中的待移动的手写内容作为图片移动到指定位置，然后采用颜迁移技术修改移动后的手写内容的像素颜，使移动后的手写内容的像素颜与移动目的地区域的像素颜一致。或者，所述移动内容提取单元一在移动单元之前的任意位置。这是本发明的实施例
三。
17.进一步地，在实施例二的基础上还包括移动内容提取单元二和移动单元。所述移动内容提取单元二用于采用所述第二神经网络检测待处理图像，从中提取出待移动的手写内容；待处理图像中的所有手写像素和所有印刷手写重叠像素的集合就是待移动的手写内容。所述移动单元用于将待处理图像中的待移动的手写内容作为图片移动到指定位置，然后采用颜迁移技术修改移动后的手写内容的像素颜，使移动后的手写内容的像素颜与移动目的地区域的像素颜一致。或者，所述移动内容提取单元二在移动单元之前的任意位置。这是本发明的实施例四。
18.本发明取得的技术效果是处理速度快、效率高；擦除效果更自然；在擦除手写内容时能够保留印刷内容完整，在移动手写内容时又能确保所移动的手写内容完整。
附图说明
19.图1是本发明提出的文档图像中手写内容的编辑方法的实施例一的流程示意图。
20.图2是本发明提出的文档图像中手写内容的编辑方法的实施例二的流程示意图。
21.图3是本发明提出的文档图像中手写内容的编辑方法的实施例三的流程示意图。
22.图4是本发明提出的文档图像中手写内容的编辑方法的实施例四的流程示意图。
23.图5是本发明提出的文档图像中手写内容的编辑装置的实施例一的结构示意图。
24.图6是本发明提出的文档图像中手写内容的编辑装置的实施例二的结构示意图。
25.图7是本发明提出的文档图像中手写内容的编辑装置的实施例三的结构示意图。
26.图8是本发明提出的文档图像中手写内容的编辑装置的实施例四的结构示意图。
27.图中附图标记说明：1a为擦除内容提取单元一、1b为擦除内容提取单元二、2为擦除单元、3a为移动内容提取单元一、3b为移动内容提取单元二、4为移动单元。
具体实施方式
28.请参阅图1，这是本发明提出的文档图像中手写内容的编辑方法的实施例一，用于擦除手写内容，包括如下步骤。
29.步骤s1a：采用一种用于图像分割(image segmentation)的第一神经网络检测待处理图像，从中提取出待擦除的手写内容。神经网络(neural network，nn)是人工神经网络(artificial neural network，ann)的简称。所述第一神经网络优选是基于编解码器的神经网络，例如是u
2-net、mprnet、pix2pix等。
30.所述第一神经网络用来将待处理图像中的所有像素分为三类：背景像素、印刷像素、手写像素。既未被印刷内容所覆盖、也未被手写内容所覆盖的像素是背景像素。仅被印刷内容所覆盖的像素是印刷像素。仅被手写内容所覆盖的像素是手写像素。既被印刷内容所覆盖、也被手写内容所覆盖的像素，也作为印刷像素。待处理图像中的所有手写像素的集合就是待擦除的手写内容。所述第一神经网络在训练时，将手写内容与印刷内容重叠位置的像素指定或标注为印刷像素；这样待擦除的手写内容完全不含印刷内容，从而很好地保留了印刷内容的完整性。
31.所述第一神经网络的训练方法如下。(1)生成训练数据。具体是生成包含印刷内容、手写内容的文档图像，每个像素是背景像素、还是印刷像素、还是手写像素是指定的即
已知的。可替换地，收集一些包含印刷内容、手写内容的文档图像，由人工标注每个像素是背景像素、还是手写像素、还是印刷像素。特别地，对印刷内容和手写内容重叠区域的像素指定或标注为印刷像素，这样训练出来的第一神经网络仅将未覆盖在印刷内容上的手写内容的像素分类为手写像素，而将覆盖在印刷内容上的手写内容的像素分类为印刷像素。(2)采用所述训练数据对第一神经网络进行训练，使第一神经网络的输出结果与指定或标注的结果尽可能趋于一致，训练好的第一神经网络能够用于在图像(图片)中将所有像素分为三类：背景像素、印刷像素、手写像素。
32.优选地，所述第一神经网络在训练时结合边界检测约束手段，提升三种像素分类的准确性。边界检测约束是指输入图片的纹理边缘(像素灰度值发生剧烈变化的位置，例如文字轮廓、图片轮廓等)对输出图片的相应位置的纹理边缘的约束。所述约束是指希望输入图片的纹理边缘、输出图片的纹理边缘趋于相同。此时，所述第一神经网络的训练方法的第(2)步改为(2a)：采用所述训练数据对第一神经网络进行训练，将第一神经网络的预测结果和标注送入sobel滤波器。sobel滤波器用来计算图片的纹理边缘，使第一神经网络的预测结果得到的手写内容的纹理边缘与标注的手写内容的纹理边缘趋于一致。最终训练好的第一神经网络能够更加准确地将图片中的所有像素分为三类：背景像素、印刷像素、手写像素。
33.步骤s2：采用一种用于图像修复(inpainting)的第三神经网络将待处理图像中的待擦除的手写内容运用背景填充，即擦除待处理图像中的待擦除的手写内容，填充后的待处理图像恢复到未书写的状态。所述第三神经网络例如是lama、deepfillv2、hifill等，优选地采用包含卷积运算的神经网络lama。
34.所述第三神经网络的训练方法如下。(1)生成训练数据。具体是将无手写内容的文档图像以及同一张文档图像增加手写内容后作为一对训练数据，采用同样方式生成多对训练数据。(2)采用所述训练数据对第三神经网络进行训练，使第三神经网络的输出结果与无手写内容的文档图像尽可能趋于一致，训练好的第三神经网络对文档图像中的手写内容进行修补(采用背景进行填充)后，恢复为无手写内容的状态。
35.请参阅图2，这是本发明提出的文档图像中手写内容的编辑方法的实施例二，也是用于擦除手写内容。实施例二仅将实施例一中的步骤s1a改为步骤s1b，其余均与实施例一相同。
36.步骤s1b：采用一种用于图像分割的第二神经网络检测待处理图像，从中提取出待擦除的手写内容。所述第二神经网络优选是基于编解码器的神经网络，例如是u
2-net、mprnet、pix2pix等。
37.所述第二神经网络用来将待处理图像中的所有像素分为四类：背景像素、印刷像素、手写像素、印刷手写重叠像素。既未被印刷内容所覆盖、也未被手写内容所覆盖的像素是背景像素。仅被印刷内容所覆盖的像素是印刷像素。仅被手写内容所覆盖的像素是手写像素。既被印刷内容所覆盖、也被手写内容所覆盖的像素是印刷手写重叠像素。待处理图像中的所有手写像素的集合就是待擦除的手写内容。这样待擦除的手写内容完全不含印刷内容，从而很好地保留了印刷内容的完整性。
38.所述第二神经网络的训练方法如下。(1)生成训练数据。具体是生成包含印刷内容、手写内容的文档图像，每个像素是背景像素、还是印刷像素、还是手写像素、还是印刷手
写重叠像素是指定的即已知的。可替换地，收集一些包含印刷内容、手写内容的文档图像，由人工标注每个像素是背景像素、还是印刷像素、还是手写像素、还是印刷手写重叠像素。(2)采用所述训练数据对第二神经网络进行训练，使第二神经网络的输出结果与指定或标注的结果尽可能趋于一致，训练好的第二神经网络能够用于在图像中将所有像素分为四类：背景像素、印刷像素、手写像素、印刷手写重叠像素。
39.优选地，所述第二神经网络在训练时结合边界检测约束手段，提升四种像素分类的准确性。这与第一神经网络在训练时结合边界检测约束手段相同，不再赘述。
40.请参阅图3，这是本发明提出的文档图像中手写内容的编辑方法的实施例三，用于移动手写内容。实施例三在实施例一之后增加了步骤s3a和步骤s4。
41.步骤s3a：采用一种用于图像分割的第四神经网络检测待处理图像，从中提取出待移动的手写内容。所述第四神经网络优选是基于编解码器的神经网络，例如是u
2-net、mprnet、pix2pix等。
42.所述第四神经网络用来将待处理图像中的所有像素分为三类：背景像素、印刷像素、手写像素。既未被印刷内容所覆盖、也未被手写内容所覆盖的像素是背景像素。仅被印刷内容所覆盖的像素是印刷像素。仅被手写内容所覆盖的像素是手写像素。既被印刷内容所覆盖、也被手写内容所覆盖的像素，也作为手写像素。待处理图像中的所有手写像素的集合就是待移动的手写内容。所述第四神经网络在训练时，将手写内容与印刷内容重叠位置的像素指定或标注为手写像素；这样待移动的手写内容很好地保留了手写内容的完整性。
43.所述第四神经网络的训练方法如下。(1)生成训练数据。具体是生成包含印刷内容、手写内容的文档图像，每个像素是背景像素、还是印刷像素、还是手写像素是指定的即已知的。可替换地，收集一些包含印刷内容、手写内容的文档图像，由人工标注每个像素是背景像素、还是手写像素、还是印刷像素。特别地，对印刷内容和手写内容重叠区域的像素指定或标注为手写像素，这样训练出来的第四神经网络将手写内容所覆盖的所有像素均分类为手写像素。(2)采用所述训练数据对第四神经网络进行训练，使第四神经网络的输出结果与指定或标注的结果尽可能趋于一致，训练好的第四神经网络能够用于在图像(图片)中将所有像素分为三类：背景像素、印刷像素、手写像素。
44.优选地，所述第四神经网络在训练时结合边界检测约束手段，提升三种像素分类的准确性。这与第一神经网络在训练时结合边界检测约束手段相同，不再赘述。
45.步骤s4：将待处理图像中的待移动的手写内容作为图片移动到指定位置(目的地)，然后采用颜迁移(color transfer)技术修改移动后的手写内容的像素颜，使移动后的手写内容的像素颜与移动目的地区域的像素颜一致。颜迁移技术用来对移动后的手写内容做颜和谐化处理，使其和谐融入新位置的原有像素颜，使移动效果更加自然，无人工痕迹。
46.所述步骤s3a可以在步骤s4之前的任意时刻进行。
47.请参阅图4，这是本发明提出的文档图像中手写内容的编辑方法的实施例四，也是用于移动手写内容。实施例四在实施例二之后增加了步骤s3b和步骤s4。
48.步骤s3b：采用所述第二神经网络检测待处理图像，从中提取出待移动的手写内容。待处理图像中的所有手写像素和所有印刷手写重叠像素的集合就是待移动的手写内容。这样待移动的手写内容很好地保留了手写内容的完整性。
49.步骤s4：与实施例三中的步骤s4相同。
50.所述步骤s3b可以在步骤s4之前的任意时刻进行。例如，将步骤s1b和步骤s3b同时进行，只需要由第二神经网络对待处理图像检测一次，这显然是有利的。
51.在以上各个实施例中，所述步骤s2均可以替换为：采用一种图像修复技术对待处理图像中的待擦除的手写内容运用背景填充，即擦除待处理图像中的待擦除的手写内容，填充后的待处理图像恢复到未书写的状态。所述图像修复技术例如是opencv中的cv2.inpaint()函数等。opencv(open source computer vision library，开源计算机视觉库)是一个包含数百种计算机视觉算法的开源库。
52.在以上各个实施例中，所述待处理图像是输入图像。
53.或者，所述待处理图像是输入图像中的待处理区域。例如由用户在输入图像中指定待处理区域，待处理区域可以是输入图像的整体或局部，还可以是任意形状。用户可通过计算机、手机、平板电脑等交互终端在网页、软件、app上指定待处理区域，例如框选出矩形，或者手写涂抹出任意形状。
54.或者，所述待处理图像是输入图像中的文档区域，称为文档图像。例如采用一种用于图像分割的第五神经网络从输入图像中提取出有文档的区域。该操作用来减少非文档区域在后续对手写像素判断的干扰，提高后续判断手写像素的准确性。所述第五神经网络例如是u-2-netp、mprnet、pix2pix等。
55.所述第五神经网络的训练方法如下。(1)生成训练数据。利用已有文档图像生成包含文档图像的图片，其中文档图像区域的位置是指定的即已知的。可替换地，收集一些包含文档图像的图片，此时每张图片中的文档图像区域的位置是人工标注的即已知的。(2)采用所述训练数据对第五神经网络进行训练，使第五神经网络的输出结果与指定或标注的结果尽可能趋于一致，训练好的第五神经网络能够用于在图片中提取文档图像区域(即文档区域)。
56.优选地，第五神经网络检测和定位出输入图像中的文档区域后，通过透视变换裁剪和提取出文档区域，透视变换后的文档区域为矩形；也就是图像处理中常见的roi(region of interest，感兴趣区域)。
57.或者，所述待处理图像是输入图像中的文档区域(即文档图像)中的待处理区域。待处理区域可以是文档图像的整体或局部，还可以是任意形状。
58.显然，待处理图像的范围越小，越能排除不必要的干扰，越有利于获取更为精准的处理结果。
59.请参阅图5，这是本发明提出的文档图像中手写内容的编辑装置的实施例一，用于擦除手写内容，包括擦除内容提取单元一1a和擦除单元2。图5所示装置对应于图1所示方法。
60.所述擦除内容提取单元一1a用于采用一种用于图像分割的第一神经网络检测待处理图像，从中提取出待擦除的手写内容。所述第一神经网络用来将待处理图像中的所有像素分为三类：背景像素、印刷像素、手写像素。既被印刷内容所覆盖、也被手写内容所覆盖的像素，作为印刷像素。待处理图像中的所有手写像素的集合就是待擦除的手写内容。
61.所述擦除单元2用于采用一种用于图像修复的第三神经网络将待处理图像中的待擦除的手写内容运用背景填充，即擦除待处理图像中的待擦除的手写内容，填充后的待
处理图像恢复到未书写的状态。
62.请参阅图6，这是本发明提出的文档图像中手写内容的编辑装置的实施例二，也是用于擦除手写内容，包括擦除内容提取单元二1b和擦除单元2。图6所示装置对应于图2所示方法。所述擦除单元2与实施例一相同。
63.所述擦除内容提取单元二1b用于采用一种用于图像分割的第二神经网络检测待处理图像，从中提取出待擦除的手写内容。所述第二神经网络用来将待处理图像中的所有像素分为四类：背景像素、印刷像素、手写像素、印刷手写重叠像素。待处理图像中的所有手写像素的集合就是待擦除的手写内容。
64.请参阅图7，这是本发明提出的文档图像中手写内容的编辑装置的实施例三，用于移动手写内容。实施例三在实施例一的基础上增加了移动内容提取单元一3a和移动单元4。图7所示装置对应于图3所示方法。
65.所述移动内容提取单元一3a用于采用一种用于图像分割的第四神经网络检测待处理图像，从中提取出待移动的手写内容。所述第四神经网络用来将待处理图像中的所有像素分为三类：背景像素、印刷像素、手写像素。既被印刷内容所覆盖、也被手写内容所覆盖的像素，作为手写像素。待处理图像中的所有手写像素的集合就是待移动的手写内容。
66.所述移动单元4用于将待处理图像中的待移动的手写内容作为图片移动到指定位置，然后采用颜迁移技术修改移动后的手写内容的像素颜，使移动后的手写内容的像素颜与移动目的地区域的像素颜一致。
67.所述移动内容提取单元一3a可以在移动单元4之前的任意位置。
68.请参阅图8，这是本发明提出的文档图像中手写内容的编辑装置的实施例四，也是用于移动手写内容。实施例四在实施例二的基础上增加了移动内容提取单元二3b和移动单元4。图8所示装置对应于图4所示方法。所述移动单元4与实施例三相同。
69.所述移动内容提取单元二3b用于采用所述第二神经网络检测待处理图像，从中提取出待移动的手写内容。待处理图像中的所有手写像素和所有印刷手写重叠像素的集合就是待移动的手写内容。
70.所述移动内容提取单元二3b可以在移动单元4之前的任意位置。
71.本发明提出了一种文档图像中的手写内容编辑方法，可以擦除手写内容、移动手写内容。该方法可提高文档、表格中手写笔迹处理效率，同时具有擦除区域选择的灵活性。与cn114332150a相比，本发明的优势在于处理速度快，这是由于本发明对于手写内容的区分只通过一个神经网络(第一或第二神经网络)处理。与cn114708601a相比，本发明采用用于图像修复的第三神经网络擦除手写内容，擦除更自然，完全不会影响到原本印刷区域。此外，本发明在擦除手写内容时能够保留印刷内容完整(将手写内容与印刷内容重叠区域作为印刷内容对待)，在移动手写内容时又能确保所移动的手写内容完整(将手写内容与印刷内容重叠区域作为手写内容对待)，这是前述两份文献都无法实现的。
72.以上仅为本发明的优选实施例，并不用于限定本发明。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
技术特征：
1.一种文档图像中手写内容的编辑方法，其特征是，包括如下步骤；步骤s1a：采用一种用于图像分割的第一神经网络检测待处理图像，从中提取出待擦除的手写内容；所述第一神经网络用来将待处理图像中的所有像素分为三类：背景像素、印刷像素、手写像素；既被印刷内容所覆盖、也被手写内容所覆盖的像素作为印刷像素；待处理图像中的所有手写像素的集合就是待擦除的手写内容；步骤s2：采用一种用于图像修复的第三神经网络将待处理图像中的待擦除的手写内容运用背景填充，填充后的待处理图像恢复到未书写的状态。2.根据权利要求1所述的文档图像中手写内容的编辑方法，其特征是，将所述步骤s1a替换为步骤s1b；步骤s1b：采用一种用于图像分割的第二神经网络检测待处理图像，从中提取出待擦除的手写内容；所述第二神经网络用来将待处理图像中的所有像素分为四类：背景像素、印刷像素、手写像素、印刷手写重叠像素；待处理图像中的所有手写像素的集合就是待擦除的手写内容。3.根据权利要求1所述的文档图像中手写内容的编辑方法，其特征是，在步骤s2之后增加了步骤s3a和步骤s4；步骤s3a：采用一种用于图像分割的第四神经网络检测待处理图像，从中提取出待移动的手写内容；所述第四神经网络用来将待处理图像中的所有像素分为三类：背景像素、印刷像素、手写像素；既被印刷内容所覆盖、也被手写内容所覆盖的像素作为手写像素；待处理图像中的所有手写像素的集合就是待移动的手写内容；步骤s4：将待处理图像中的待移动的手写内容作为图片移动到指定位置，然后采用颜迁移技术修改移动后的手写内容的像素颜，使移动后的手写内容的像素颜与移动目的地区域的像素颜一致；或者，所述步骤s3a在步骤s4之前的任意时刻进行。4.根据权利要求2所述的文档图像中手写内容的编辑方法，其特征是，在步骤s2之后增加了步骤s3b和步骤s4；步骤s3b：采用所述第二神经网络检测待处理图像，从中提取出待移动的手写内容；待处理图像中的所有手写像素和所有印刷手写重叠像素的集合就是待移动的手写内容；步骤s4：将待处理图像中的待移动的手写内容作为图片移动到指定位置，然后采用颜迁移技术修改移动后的手写内容的像素颜，使移动后的手写内容的像素颜与移动目的地区域的像素颜一致；或者，所述步骤s3b在步骤s4之前的任意时刻进行。5.根据权利要求1至4中任一项所述的文档图像中手写内容的编辑方法，其特征是，所述第一神经网络、第二神经网络、第四神经网络为u
2-net、mprnet、pix2pix的任意一种，所述第三神经网络为lama、deepfillv2、hifill的任意一种。6.根据权利要求1至4中任一项所述的文档图像中手写内容的编辑方法，其特征是，所述第一神经网络、第二神经网络、第四神经网络在训练时结合边界检测约束手段，即将神经网络的预测结果和标注送入sobel滤波器，使神经网络的预测结果得到的手写内容的纹理边缘与标注的手写内容的纹理边缘趋于一致。7.根据权利要求1至4中任一项所述的文档图像中手写内容的编辑方法，其特征是，所
述步骤s2替换为：采用一种图像修复技术对待处理图像中的待擦除的手写内容运用背景填充，填充后的待处理图像恢复到未书写的状态。8.根据权利要求1至4中任一项所述的文档图像中手写内容的编辑方法，其特征是，所述待处理图像是输入图像、或者是输入图像中的由用户指定的待处理区域、或者是输入图像中的文档区域称为文档图像、或者是文档图像中的由用户指定的待处理区域。9.一种文档图像中手写内容的编辑装置，其特征是，包括擦除内容提取单元一和擦除单元；所述擦除内容提取单元一用于采用一种用于图像分割的第一神经网络检测待处理图像，从中提取出待擦除的手写内容；所述第一神经网络用来将待处理图像中的所有像素分为三类：背景像素、印刷像素、手写像素；既被印刷内容所覆盖、也被手写内容所覆盖的像素作为印刷像素；待处理图像中的所有手写像素的集合就是待擦除的手写内容；所述擦除单元用于采用一种用于图像修复的第三神经网络将待处理图像中的待擦除的手写内容运用背景填充，填充后的待处理图像恢复到未书写的状态。10.根据权利要求9所述的文档图像中手写内容的编辑装置，其特征是，将所述擦除内容提取单元一替换为擦除内容提取单元二；所述擦除内容提取单元二用于采用一种用于图像分割的第二神经网络检测待处理图像，从中提取出待擦除的手写内容；所述第二神经网络用来将待处理图像中的所有像素分为四类：背景像素、印刷像素、手写像素、印刷手写重叠像素；待处理图像中的所有手写像素的集合就是待擦除的手写内容。11.根据权利要求9所述的文档图像中手写内容的编辑装置，其特征是，还包括移动内容提取单元一和移动单元；所述移动内容提取单元一用于采用一种用于图像分割的第四神经网络检测待处理图像，从中提取出待移动的手写内容；所述第四神经网络用来将待处理图像中的所有像素分为三类：背景像素、印刷像素、手写像素；既被印刷内容所覆盖、也被手写内容所覆盖的像素作为手写像素；待处理图像中的所有手写像素的集合就是待移动的手写内容；所述移动单元用于将待处理图像中的待移动的手写内容作为图片移动到指定位置，然后采用颜迁移技术修改移动后的手写内容的像素颜，使移动后的手写内容的像素颜与移动目的地区域的像素颜一致；或者，所述移动内容提取单元一在移动单元之前的任意位置。12.根据权利要求10所述的文档图像中手写内容的编辑装置，其特征是，还包括移动内容提取单元二和移动单元；所述移动内容提取单元二用于采用所述第二神经网络检测待处理图像，从中提取出待移动的手写内容；待处理图像中的所有手写像素和所有印刷手写重叠像素的集合就是待移动的手写内容；所述移动单元用于将待处理图像中的待移动的手写内容作为图片移动到指定位置，然后采用颜迁移技术修改移动后的手写内容的像素颜，使移动后的手写内容的像素颜与移动目的地区域的像素颜一致；或者，所述移动内容提取单元二在移动单元之前的任意位置。
技术总结
本发明公开了一种文档图像中手写内容的编辑方法，包括如下步骤。步骤S1a：采用一种用于图像分割的第一神经网络检测待处理图像，从中提取出待擦除的手写内容；所述第一神经网络用来将待处理图像中的所有像素分为三类：背景像素、印刷像素、手写像素；既被印刷内容所覆盖、也被手写内容所覆盖的像素作为印刷像素；待处理图像中的所有手写像素的集合就是待擦除的手写内容。步骤S2：采用一种用于图像修复的第三神经网络将待处理图像中的待擦除的手写内容运用背景填充，填充后的待处理图像恢复到未书写的状态。本发明处理速度快、效率高；擦除效果更自然；在擦除手写内容时能够保留印刷内容完整，在移动手写内容时又能确保所移动的手写内容完整。的手写内容完整。的手写内容完整。
