一种基于区域分割的输电线路周边烟火图像数据增强方法
1.本发明涉及电力系统智能监控的技术领域，尤其是指一种基于区域分割的输电线路周边烟火图像数据增强方法。
背景技术：
2.由于输电线路分布广泛，难以实现人为对输电线路周边环境中烟火情况进行实时检测。如今随着深度学习和计算机视觉技术的不断发展，人们为了保障输电线路的正常运行，开始使用基于深度学习的检测算法对输电线路周边的烟火情况进行实时检测。但是输电线路周边的烟火图像数据获取难度大，成本高，难以获取大规模的输电线路周边烟火图像，而使用基于深度学习的检测算法实现烟火检测任务需要大量的输电线路周边烟火图像数据，数据量匮乏会导致检测算法无法准确拟合真实烟火情况，造成算法泛化能力差，因此对已有输电线路周边烟火数据进行数据增强变得十分重要。
3.综合以上论述，一种基于区域分割的输电线路周边烟火图像数据增强方法具有较高的实际应用价值。
技术实现要素：
4.本发明的目的在于克服现有技术的缺点与不足，提出了一种基于区域分割的输电线路周边烟火图像数据增强方法，对数据量匮乏的输电线路周边的烟火图像进行数据增强，模拟与真实情况相似的输电线路周边烟火图像，实现输电线路周边烟火数据增强，扩增输电线路周边烟火数据集。
5.为实现上述目的，本发明所提供的技术方案为：一种基于区域分割的输电线路周边烟火图像数据增强方法，包括以下步骤：
6.1)对输电线路周边收集到的已有烟火图像数据集进行烟火目标矩形框标注，通过矩形框标注出图像中的烟雾目标和火焰目标的位置和类别，生成对应的烟火图像标注文件；
7.2)依次读取标注好的烟火图像标注文件，根据标注文件中的烟雾目标和火焰目标的坐标位置对烟火图像进行截取，截取出烟火图像中的烟雾目标和火焰目标，保存为烟雾目标图像和火焰目标图像，生成烟雾火焰目标库；
8.3)对烟雾火焰目标库中的烟雾目标图像和火焰目标图像进行光照模拟变换，根据光照模拟比例参数和光照模拟偏移参数调整烟雾目标图像和火焰目标图像，模拟不同光照下的烟雾目标图像和火焰目标图像，将其加入到烟雾火焰目标库中；
9.4)对烟雾火焰目标库中的烟雾目标图像和火焰目标图像进行随机放大裁剪，根据放大比例参数对烟雾目标图像和火焰目标图像进行随机放大，再根据裁剪宽高参数对放大后的烟雾目标图像和火焰目标图像进行随机裁剪，得到放大裁剪后的烟雾目标图像和火焰目标图像，将其加入到烟雾火焰目标库中；
10.5)对烟雾火焰目标库中的烟雾目标图像和火焰目标图像进行水平镜像处理，生成
烟雾目标图像和火焰目标图像的镜像图像，加入到烟雾火焰目标库中；
11.6)进行组合烟火生成，从烟雾火焰目标库中随机选择多张烟雾目标图像或者火焰目标图像，进行目标组合拼接，根据目标图像尺寸大小，生成矩形背景区，在矩形背景区进行随机组合拼接生成新的烟雾目标图像或者火焰目标图像，加入到烟雾火焰目标库中；
12.7)设计烟雾生成算法在烟火图像中随机生成大小形状不定的烟雾，随机生成烟雾中心坐标、烟雾尺寸大小，通过调整烟雾透射率生成不同位置、不同形状大小、不同浓度的烟雾目标，同时在标注文件中生成相应的目标类别信息和目标位置信息，截取出目标加入到烟雾火焰目标库中；
13.8)对烟火图像数据集中的天空区域进行标注，标注出烟火图像数据集中的天空区域和非天空区域，生成天空区域分割标注文件；
14.9)设计一种基于卷积神经网络的天空区域分割算法，将需要进行数据增强的烟火图像输入到设计的天空区域分割算法进行分割，该天空区域分割算法包括特征提取模块、特征选择模块和上采样重构模块，通过特征提取模块中的卷积操作、激活函数操作和池化操作对天空区域特征进行提取，再通过特征选择模块进行特征筛选，筛选出天空区域对应的重要类别信息和重要位置信息，最后通过上采样重构模块获得与输入烟火图像大小尺寸相同的特征图，输出特征图结果；
15.10)将烟火图像数据集和标注好的标注文件输入到设计好的天空区域分割算法中进行训练，训练完成后将训练好的权重文件加载到天空区域分割算法中，得到最优的天空区域分割算法，输入烟火图像进行天空区域分割；
16.11)天空区域分割算法分割出天空区域后，将天空区域像素坐标中所有相同x轴坐标中的y轴坐标最大的像素点作为天空区域的下边界点，所有下边界点的连线为天空区域下边界线，将天空区域下边界线以下区域划分为烟火有效区；
17.12)对烟火数据集中烟火图像进行随机贴图，将烟雾火焰目标库中的烟雾目标图像和火焰目标图像，随机贴到烟火图像的天空区域下边界线以下的烟火有效区域中，在烟火图像标注文件中生成相应的目标类别信息和目标位置信息，即可完成输电线路周边烟火图像数据增强。
18.进一步，在步骤1)中，通过labelimg标注软件对输电线路周边烟火图像数据集进行标注，标注出包含烟雾目标和火焰目标的矩形框，生成xml烟火图像标注文件，xml标注文件包含目标类别信息和目标位置信息；
19.在步骤2)中，读取标注好的xml烟火图像标注文件中烟雾目标和火焰目标的类别信息class和位置信息x
min
、y
min
、x
max
、y
max
，其中x
min
、y
min
为二维坐标下的横坐标最小值和纵坐标最小值，x
max
、y
max
为二维坐标下的横坐标最大值和纵坐标最大值，根据每个烟雾目标和火焰目标的x
min
、y
min
、x
max
、y
max
的值在烟火图像数据集中截取出烟雾目标和火焰目标，保存到烟雾火焰目标库中；
20.在步骤3)中，对烟雾火焰目标库中的烟雾目标图像和火焰目标图像进行光照模拟变换，设置光照模拟比例参数a的取值为[0.4,0.6,0.8,1.2,1.4,1.6]，设置光照模拟偏移参数b的取值为[-10，10]，随机取得光照模拟比例参数和光照模拟偏移参数进行组合，将原目标图像像素f(x,y)通过光照模拟变换计算公式变换为像素g(x,y)，光照模拟变换计算公式为g(x,y)＝af(x,y)+b，模拟真实环境下的光照强度变化对烟火目标图像的影响。
[0021]
进一步，在步骤4)中，随机生成取值范围为[1,5]的放大比例参数，将烟雾目标图像和火焰目标图像进行等比例放大，放大后的图像宽为w，高为h，随机生成取值范围为(10,w)的裁剪宽参数和取值范围为(10,h)的裁剪宽高参数，随机生成裁剪矩形框左上角坐标位置(x1,y1)，根据裁剪宽参数和裁剪高参数对烟雾目标图像和火焰目标图像进行裁剪，通过限幅操作将裁剪框限制在烟雾目标图像和火焰目标图像中，将裁剪前后的烟雾目标和火焰目标图像加入到烟雾火焰目标库中；
[0022]
在步骤5)中，通过水平镜像矩阵m对烟雾火焰目标库中的烟雾目标图像和火焰目标图像进行水平镜像操作，将水平镜像前后的烟雾目标和火焰目标图像都加入到烟雾火焰目标库中。
[0023]
进一步，在步骤6)中，进行组合烟火生成，从烟雾火焰目标库中随机选择4张烟雾目标图像或者火焰目标图像，进行目标组合拼接，将目标图像resize成统一长宽(m,n)，根据目标图像尺寸大小，生成(2m,2n)大小的矩形背景区，在矩形背景区进行随机组合拼接，依次将目标图像放置在背景区的左上区、右上区、左下区、右下区，生成新的烟雾目标图像或者火焰目标图像。
[0024]
进一步，在步骤7)中，设计烟雾生成算法，在烟火图像中随机生成大小形状不定的烟雾，随机生成烟雾中心坐标、烟雾尺寸大小，通过调整烟雾透射率生成烟雾目标，根据标准光学模型在烟火图像中的烟火有效区域中随机生成大小形状不定的浓度不同的烟雾，烟雾生成算法的表达公式如下所示。
[0025]
i(x)＝j(x)t(x)+l(1-t(x))
[0026]
式中，i(x)为烟雾像素，x为像素点坐标，j(x)为无烟雾像素，l为全球大气光成分，t(x)为透射值，取值范围为0～1之间的随机数；在标注文件中生成相应的目标类别信息和目标位置信息，截取出目标加入到烟雾火焰目标库中。
[0027]
进一步，在步骤8)中，使用labelme标注工具对烟火图像数据集中的天空区域进行分割标注，标注出图像中的天空区域和非天空区域，生成对应的json格式的天空区域分割标注文件，用于训练天空区域分割算法。
[0028]
进一步，在步骤9)中，设计一种基于卷积神经网络的天空区域分割算法，将需要进行数据增强的烟火图像输入到天空区域分割算法的特征提取模块进行特征提取，在特征提取模块中使用了3
×
3的卷积操作对天空区域特征进行提取，使用了relu激活函数加强提取特征的非线性，使用2
×
2大小的最大池化操作减小特征图尺寸，增加提取天空区域特征的感受野；通过设计的特征选择模块对提取到天空区域特征进行特征筛选，使用全局平均池化操作、全连接操作和sigmoid激活函数操作堆叠获得不同特征的重要性权重，其中利用全局池化操作将特征图变为1
×1×
c大小的特征图，c为输入特征图的通道数；利用全连接操作进行降维和升维操作，增加特征图的非线性；再通过sigmoid激活函数操作获得特征的重要性权重；最后通过scale操作将特征的重要性权重与特征相乘，增加重要特征的值，减小非重要特征的值，选出天空区域对应的重要类别信息和重要位置信息；通过设计的上采样重构模块对提取到的烟火图像数据集中的天空区域特征进行上采用重构，上采样重构模块包括反卷积操作、特征拼接操作、3
×
3卷积操作和relu激活函数操作，其中反卷积操作使特征图进行上采用，增加特征图尺寸，重新获得与输入烟火图像大小尺寸相同的特征图，输出特征图结果；
[0029]
进一步，在步骤10)中，将烟火图像数据集和标注好的json标注文件输入到设计好的天空区域分割算法中，设置训练参数，加载预训练权重，训练batchsize设置为4，训练迭代数设置为10000；训练完成后保存训练好的权重文件；将训练好的权重文件加载到天空区域分割算法中，输入烟火图像进行天空区域分割。
[0030]
进一步，在步骤11)中，根据天空区域分割算法获得天空区域像素位置，计算所有天空像素中同一x轴下y轴最大的像素点位置(x,ym)，获得天空区域的下边界线，划分天空区域下边界线以下区域为烟火有效区。
[0031]
进一步，在步骤12)中，使用烟火目标库中的烟雾目标图像和火焰目标图像在烟火数据集中的烟火图像上进行随机贴图，生成随机贴图左下角坐标，判断贴图位置下边界线是否在烟火有效区内，若处于有效区内，则进行随机贴图，否则，不进行贴图；重复进行步骤12)进行重复随机位置贴图。
[0032]
本发明与现有技术相比，具有如下优点与有益效果：
[0033]
1、使用光照模拟变换，通过对烟雾目标图像和火焰目标图像的光照模拟比例参数和光照模拟偏移参数进行组合，模拟不同光照环境下的烟雾目标和火焰目标，扩增烟火目标图像和火焰目标图像，增加烟火目标图像的多样性。
[0034]
2、使用随机放大裁剪，改变烟雾目标图像和火焰目标图像的大小和宽高比例，模拟不同形状的烟雾目标和火焰目标，扩增烟火目标图像和火焰目标图像，增加烟火目标图像的多样性。
[0035]
3、使用水平镜像操作，利用烟雾目标图像和火焰目标图像具有的水平对称性，扩增烟火目标图像和火焰目标图像，增加烟火目标图像的多样性。
[0036]
4、进行组合烟火生成，针对烟火目标具有流动性的特点，从烟雾火焰目标库中随机选择烟雾目标图像或者火焰目标图像，进行目标组合拼接，模拟真实情况中形状大小不固定的烟火目标。
[0037]
5、设计了一种烟雾生成算法在烟火图像中随机生成大小形状不定的烟雾，随机生成烟雾中心坐标、烟雾尺寸大小，通过调整烟雾透射率生成不同位置不同形状大小不同浓度的烟雾目标。
[0038]
6、设计了一种天空区域分割算法分割出烟火图像中的天空区域，自动划分出烟火有效区和烟火无效区。
[0039]
7、使用烟火目标库进行随机贴图，根据自动划分的烟火有效区进行贴图，确保烟火目标出现在烟火有效区内，烟火目标出现位置更加接近真实情况。
附图说明
[0040]
图1为本发明方法的数据增强流程图。
[0041]
图2为本发明方法的天空区域分割算法结构图。
[0042]
图3为本发明方法的特征提取模块的结构图。
[0043]
图4为本发明方法的特征选择模块的结构图。
[0044]
图5为本发明方法的上采样重构模块的结构图。
[0045]
图6为本发明方法的烟火有效区域确定流程图。
具体实施方式
[0046]
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
[0047]
如图1-图6所示，本实施例公开了一种基于区域分割的输电线路周边烟火图像数据增强方法，其具体情况如下：
[0048]
1)通过labelimg标注软件对输电线路周边烟火图像数据集进行标注，标注出包含烟雾目标和火焰目标的矩形框，生成xml烟火图像标注文件，xml标注文件包含目标类别信息和目标位置信息。
[0049]
2)读取标注好的xml烟火图像标注文件中烟雾目标和火焰目标的类别信息class和位置信息x
min
、y
min
、x
max
、y
max
，其中x
min
、y
min
为二维坐标下的横坐标最小值和纵坐标最小值，x
max
、y
max
为二维坐标下的横坐标最大值和纵坐标最大值，根据每个烟雾目标和火焰目标的x
min
、y
min
、x
max
、y
max
的值在烟火图像数据集中截取出烟雾目标和火焰目标，保存到烟雾火焰目标库中。
[0050]
3)对烟雾火焰目标库中的烟雾目标图像和火焰目标图像进行光照模拟变换，设置亮度比例参数a的取值为[0.4,0.6,0.8,1.2,1.4,1.6]，设置亮度偏移参数b的取值为[-10，10]，随机取得亮度比例参数和亮度偏移参数进行组合，将原目标图像像素f(x,y)通过亮度变换计算公式变换为g(x,y),模拟真实环境下的光照强度变化对烟火目标图像的影响，其中亮度变换计算公式如下所示：
[0051]
g(x,y)＝af(x,y)+b
[0052]
4)随机生成取值范围为[1,5]的放大比例参数，将烟雾目标图像和火焰目标图像进行等比例放大，放大后的目标图像宽为w，高为h，随机生成取值范围为(10,w)的裁剪宽参数和取值范围为(10,h)的裁剪宽高参数,在目标图像中随机生成裁剪矩形框左上角坐标位置(x1,y1),根据裁剪宽参数和裁剪高参数对烟雾目标图像和火焰目标图像进行裁剪，通过限幅操作将裁剪框限制在烟雾目标图像和火焰目标图像中，将裁剪前后的烟雾目标和火焰目标图像加入到烟雾火焰目标库中。
[0053]
5)通过水平镜像矩阵m对烟雾火焰目标库中的烟雾目标图像和火焰目标图像进行水平镜像操作，将水平镜像前后的烟雾目标图像和火焰目标图像都加入到烟雾火焰目标库中，水平镜像操作如下公式所示：
[0054][0055][0056]
式中，m为水平镜像矩阵，w表示目标图像的宽，(x,y)表示水平镜像前的坐标位置，表示水平镜像后的坐标位置。
[0057]
6)进行组合烟火生成，从烟雾火焰目标库中随机选择4张烟雾目标图像或者火焰目标图像，进行目标组合拼接，将目标图像resize成统一长宽(m,n)，根据目标图像尺寸大
小，生成(2m,2n)大小的矩形背景区，在矩形背景区进行随机组合拼接，依次将目标图像放置在背景区的左上区、右上区、左下区、右下区，生成新的烟雾目标图像或者火焰目标图像。
[0058]
7)设计烟雾生成算法，在烟火图像中随机生成大小形状不定的烟雾，随机生成烟雾中心坐标、烟雾尺寸大小，通过调整烟雾透射率生成烟雾目标，根据标准光学模型在烟火图像中的烟火有效区域中随机生成大小形状不定的浓度不同的烟雾，烟雾生成算法的表达公式如下所示：
[0059]
i(x)＝j(x)t(x)+l(1-t(x))
[0060]
式中，i(x)为烟雾像素，x为像素点坐标，j(x)为无烟雾像素，l为全球大气光成分，t(x)为透射值，取值范围为0～1之间的随机数。在标注文件中生成相应的目标类别信息和目标位置信息，截取出目标加入到烟雾火焰目标库中。
[0061]
8)使用labelme标注工具对烟火图像数据集中的天空区域进行分割标注，标注出图像中的天空区域和非天空区域，生成对应的json格式的天空区域分割标注文件，用于训练天空区域分割算法。
[0062]
9)设计一种基于卷积神经网络的天空区域分割算法，将需要进行数据增强的烟火图像输入到设计的天空区域分割算法进行分割，该天空区域分割算法包括特征提取模块、特征选择模块和上采样重构模块；将需要进行数据增强的烟火图像输入到特征提取模块进行特征提取，在特征提取模块中使用了3
×
3的卷积操作对天空区域特征进行提取，使用了relu激活函数加强提取特征的非线性，使用2
×
2大小的最大池化操作减小特征图尺寸，增加提取天空区域特征的感受野。通过设计的特征选择模块对提取到天空区域特征进行特征筛选，使用全局平均池化操作、全连接操作和sigmoid激活函数操作堆叠获得不同特征的重要性权重，其中利用全局池化操作将特征图变为1
×1×
c大小的特征图，c为输入特征图的通道数；利用全连接操作进行降维和升维操作，增加特征图的非线性；再通过sigmoid激活函数操作获得特征的重要性权重；最后通过scale操作将特征的重要性权重与特征相乘，增加重要特征的值，减小非重要特征的值，筛选出天空区域对应的重要类别信息和重要位置信息。通过设计的上采样重构模块对提取到的烟火图像数据集中的天空区域特征进行上采用重构，上采样重构模块包括反卷积操作、特征拼接操作、3
×
3卷积操作和relu激活函数操作，其中反卷积操作使特征图进行上采用，增加特征图尺寸，重新获得与输入烟火图像大小尺寸相同的特征图，输出特征图结果。
[0063]
10)将烟火图像数据集和标注好的json标注文件输入到设计好的天空区域分割算法中，设置训练参数，加载预训练权重，训练batchsize设置为4,训练迭代数设置为10000；训练完成后保存训练好的权重文件；将训练好的权重文件加载到天空区域分割算法中，输入烟火图像进行天空区域分割。
[0064]
11)根据天空区域分割算法获得天空区域像素位置，计算所有天空像素中同一x轴下y轴最大的像素点位置(x,ym)，获得天空区域的下边界线，划分天空区域下边界线以下区域为烟火有效区。
[0065]
12)对烟火数据集中烟火图像进行随机贴图，将烟雾火焰目标库中的烟雾目标图像和火焰目标图像，随机贴到烟火图像的天空区域下边界线以下的烟火有效区域中，在烟火图像标注文件中生成相应的目标类别信息和目标位置信息，进行即可完成输电线路周边烟火图像数据增强，具体如下：
[0066]
使用烟火目标库中的烟雾目标图像和火焰目标图像在烟火数据集中的烟火图像上进行随机贴图，生成随机贴图左下角坐标，判断贴图位置下边界线是否在烟火有效区内，若处于有效区内，则进行随机贴图，否则，不进行贴图；重复进行步骤12)进行重复随机位置贴图。
[0067]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
技术特征：
1.一种基于区域分割的输电线路周边烟火图像数据增强方法，其特征在于，包括以下步骤：1)对输电线路周边收集到的已有烟火图像数据集进行烟火目标矩形框标注，通过矩形框标注出图像中的烟雾目标和火焰目标的位置和类别，生成对应的烟火图像标注文件；2)依次读取标注好的烟火图像标注文件，根据标注文件中的烟雾目标和火焰目标的坐标位置对烟火图像进行截取，截取出烟火图像中的烟雾目标和火焰目标，保存为烟雾目标图像和火焰目标图像，生成烟雾火焰目标库；3)对烟雾火焰目标库中的烟雾目标图像和火焰目标图像进行光照模拟变换，根据光照模拟比例参数和光照模拟偏移参数调整烟雾目标图像和火焰目标图像，模拟不同光照下的烟雾目标图像和火焰目标图像，将其加入到烟雾火焰目标库中；4)对烟雾火焰目标库中的烟雾目标图像和火焰目标图像进行随机放大裁剪，根据放大比例参数对烟雾目标图像和火焰目标图像进行随机放大，再根据裁剪宽高参数对放大后的烟雾目标图像和火焰目标图像进行随机裁剪，得到放大裁剪后的烟雾目标图像和火焰目标图像，将其加入到烟雾火焰目标库中；5)对烟雾火焰目标库中的烟雾目标图像和火焰目标图像进行水平镜像处理，生成烟雾目标图像和火焰目标图像的镜像图像，加入到烟雾火焰目标库中；6)进行组合烟火生成，从烟雾火焰目标库中随机选择多张烟雾目标图像或者火焰目标图像，进行目标组合拼接，根据目标图像尺寸大小，生成矩形背景区，在矩形背景区进行随机组合拼接生成新的烟雾目标图像或者火焰目标图像，加入到烟雾火焰目标库中；7)设计烟雾生成算法在烟火图像中随机生成大小形状不定的烟雾，随机生成烟雾中心坐标、烟雾尺寸大小，通过调整烟雾透射率生成不同位置、不同形状大小、不同浓度的烟雾目标，同时在标注文件中生成相应的目标类别信息和目标位置信息，截取出目标加入到烟雾火焰目标库中；8)对烟火图像数据集中的天空区域进行标注，标注出烟火图像数据集中的天空区域和非天空区域，生成天空区域分割标注文件；9)设计一种基于卷积神经网络的天空区域分割算法，将需要进行数据增强的烟火图像输入到设计的天空区域分割算法进行分割，该天空区域分割算法包括特征提取模块、特征选择模块和上采样重构模块，通过特征提取模块中的卷积操作、激活函数操作和池化操作对天空区域特征进行提取，再通过特征选择模块进行特征筛选，筛选出天空区域对应的重要类别信息和重要位置信息，最后通过上采样重构模块获得与输入烟火图像大小尺寸相同的特征图，输出特征图结果；10)将烟火图像数据集和标注好的标注文件输入到设计好的天空区域分割算法中进行训练，训练完成后将训练好的权重文件加载到天空区域分割算法中，得到最优的天空区域分割算法，输入烟火图像进行天空区域分割；11)天空区域分割算法分割出天空区域后，将天空区域像素坐标中所有相同x轴坐标中的y轴坐标最大的像素点作为天空区域的下边界点，所有下边界点的连线为天空区域下边界线，将天空区域下边界线以下区域划分为烟火有效区；12)对烟火数据集中烟火图像进行随机贴图，将烟雾火焰目标库中的烟雾目标图像和火焰目标图像，随机贴到烟火图像的天空区域下边界线以下的烟火有效区域中，在烟火图
像标注文件中生成相应的目标类别信息和目标位置信息，即可完成输电线路周边烟火图像数据增强。2.根据权利要求1所述的一种基于区域分割的输电线路周边烟火图像数据增强方法，其特征在于，在步骤1)中，通过labelimg标注软件对输电线路周边烟火图像数据集进行标注，标注出包含烟雾目标和火焰目标的矩形框，生成xml烟火图像标注文件，xml标注文件包含目标类别信息和目标位置信息；在步骤2)中，读取标注好的xml烟火图像标注文件中烟雾目标和火焰目标的类别信息class和位置信息x
min
、y
min
、x
max
、y
max
，其中x
min
、y
min
为二维坐标下的横坐标最小值和纵坐标最小值，x
max
、y
max
为二维坐标下的横坐标最大值和纵坐标最大值，根据每个烟雾目标和火焰目标的x
min
、y
min
、x
max
、y
max
的值在烟火图像数据集中截取出烟雾目标和火焰目标，保存到烟雾火焰目标库中；在步骤3)中，对烟雾火焰目标库中的烟雾目标图像和火焰目标图像进行光照模拟变换，设置光照模拟比例参数a的取值为[0.4,0.6,0.8,1.2,1.4,1.6]，设置光照模拟偏移参数b的取值为[-10，10]，随机取得光照模拟比例参数和光照模拟偏移参数进行组合，将原目标图像像素f(x,y)通过光照模拟变换计算公式变换为像素g(x,y)，光照模拟变换计算公式为g(x,y)＝af(x,y)+b，模拟真实环境下的光照强度变化对烟火目标图像的影响。3.根据权利要求2所述的一种基于区域分割的输电线路周边烟火图像数据增强方法，其特征在于，在步骤4)中，随机生成取值范围为[1,5]的放大比例参数，将烟雾目标图像和火焰目标图像进行等比例放大，放大后的图像宽为w，高为h，随机生成取值范围为(10,w)的裁剪宽参数和取值范围为(10,h)的裁剪宽高参数，随机生成裁剪矩形框左上角坐标位置(x1,y1)，根据裁剪宽参数和裁剪高参数对烟雾目标图像和火焰目标图像进行裁剪，通过限幅操作将裁剪框限制在烟雾目标图像和火焰目标图像中，将裁剪前后的烟雾目标和火焰目标图像加入到烟雾火焰目标库中；在步骤5)中，通过水平镜像矩阵m对烟雾火焰目标库中的烟雾目标图像和火焰目标图像进行水平镜像操作，将水平镜像前后的烟雾目标和火焰目标图像都加入到烟雾火焰目标库中。4.根据权利要求3所述的一种基于区域分割的输电线路周边烟火图像数据增强方法，其特征在于，在步骤6)中，进行组合烟火生成，从烟雾火焰目标库中随机选择4张烟雾目标图像或者火焰目标图像，进行目标组合拼接，将目标图像resize成统一长宽(m,n)，根据目标图像尺寸大小，生成(2m,2n)大小的矩形背景区，在矩形背景区进行随机组合拼接，依次将目标图像放置在背景区的左上区、右上区、左下区、右下区，生成新的烟雾目标图像或者火焰目标图像。5.根据权利要求4所述的一种基于区域分割的输电线路周边烟火图像数据增强方法，其特征在于，在步骤7)中，设计烟雾生成算法，在烟火图像中随机生成大小形状不定的烟雾，随机生成烟雾中心坐标、烟雾尺寸大小，通过调整烟雾透射率生成烟雾目标，根据标准光学模型在烟火图像中的烟火有效区域中随机生成大小形状不定的浓度不同的烟雾，烟雾生成算法的表达公式如下所示。i(x)＝j(x)t(x)+l(1-t(x))式中，i(x)为烟雾像素，x为像素点坐标，j(x)为无烟雾像素，l为全球大气光成分，t(x)
为透射值，取值范围为0～1之间的随机数；在标注文件中生成相应的目标类别信息和目标位置信息，截取出目标加入到烟雾火焰目标库中。6.根据权利要求5所述的一种基于区域分割的输电线路周边烟火图像数据增强方法，其特征在于，在步骤8)中，使用labelme标注工具对烟火图像数据集中的天空区域进行分割标注，标注出图像中的天空区域和非天空区域，生成对应的json格式的天空区域分割标注文件，用于训练天空区域分割算法。7.根据权利要求6所述的一种基于区域分割的输电线路周边烟火图像数据增强方法，其特征在于，在步骤9)中，设计一种基于卷积神经网络的天空区域分割算法，将需要进行数据增强的烟火图像输入到天空区域分割算法的特征提取模块进行特征提取，在特征提取模块中使用了3
×
3的卷积操作对天空区域特征进行提取，使用了relu激活函数加强提取特征的非线性，使用2
×
2大小的最大池化操作减小特征图尺寸，增加提取天空区域特征的感受野；通过设计的特征选择模块对提取到天空区域特征进行特征筛选，使用全局平均池化操作、全连接操作和sigmoid激活函数操作堆叠获得不同特征的重要性权重，其中利用全局池化操作将特征图变为1
×1×
c大小的特征图，c为输入特征图的通道数；利用全连接操作进行降维和升维操作，增加特征图的非线性；再通过sigmoid激活函数操作获得特征的重要性权重；最后通过scale操作将特征的重要性权重与特征相乘，增加重要特征的值，减小非重要特征的值，选出天空区域对应的重要类别信息和重要位置信息；通过设计的上采样重构模块对提取到的烟火图像数据集中的天空区域特征进行上采用重构，上采样重构模块包括反卷积操作、特征拼接操作、3
×
3卷积操作和relu激活函数操作，其中反卷积操作使特征图进行上采用，增加特征图尺寸，重新获得与输入烟火图像大小尺寸相同的特征图，输出特征图结果；8.根据权利要求7所述的一种基于区域分割的输电线路周边烟火图像数据增强方法，其特征在于，在步骤10)中，将烟火图像数据集和标注好的json标注文件输入到设计好的天空区域分割算法中，设置训练参数，加载预训练权重，训练batchsize设置为4，训练迭代数设置为10000；训练完成后保存训练好的权重文件；将训练好的权重文件加载到天空区域分割算法中，输入烟火图像进行天空区域分割。9.根据权利要求8所述的一种基于区域分割的输电线路周边烟火图像数据增强方法，其特征在于，在步骤11)中，根据天空区域分割算法获得天空区域像素位置，计算所有天空像素中同一x轴下y轴最大的像素点位置(x,ym)，获得天空区域的下边界线，划分天空区域下边界线以下区域为烟火有效区。10.根据权利要求9所述的一种基于区域分割的输电线路周边烟火图像数据增强方法，其特征在于，在步骤12)中，使用烟火目标库中的烟雾目标图像和火焰目标图像在烟火数据集中的烟火图像上进行随机贴图，生成随机贴图左下角坐标，判断贴图位置下边界线是否在烟火有效区内，若处于有效区内，则进行随机贴图，否则，不进行贴图；重复进行步骤12)进行重复随机位置贴图。
技术总结
本发明公开了一种基于区域分割的输电线路周边烟火图像数据增强方法，该方法主要通过设计分割算法在烟火图像中分割出烟火有效区，通过标注裁剪获得烟火目标库，对烟火目标库中的烟雾目标图像和火焰目标图像进行光照模拟变换、随机放大裁剪、水平镜像处理增加目标多样性，最后使用烟火目标库在烟火图像上进行随机贴图。本发明能够对样本量匮乏的输电线路周边烟火数据集进行数据增强，模拟真实输电线路周边环境下的烟火图像情况，扩充烟火数据量，增加烟火目标数。增加烟火目标数。增加烟火目标数。
