一种基于感知学习结构的管廊视觉缺陷检测方法及系统与流程
1.本发明涉及图像处理技术领域，尤其涉及一种基于感知学习结构的管廊视觉缺陷检测方法及系统。
背景技术：
2.管廊是城市发展中的生命线，是众多介质进行传输的重要载体。但由于管廊的不可见性，其内部主要会发生破损、开裂、腐蚀等多种异常缺陷往往不易察觉，直到事故发生时才被人们重视，因此，管廊的管理和实时监控是重要的研究内容。
3.目前常规的管廊缺陷检测是采用人工巡检和划分区间安设固定摄像头的方式进行监控与管理，对于人工巡检的方式，存在缺点：1)人员井下巡检，空间小，通风差，可视化操作环境差；2)井下可能有易燃易爆有毒气体，对运维人员构成较大的生命安全；3)人工巡检的成本高，对与一些需要经常巡检的管廊，人工巡检次数少，无法满足巡检需求；4)人工巡检，无法做到实时监控管廊内部情况。对于固定摄像头的方式，存在缺点：1)需要通过人眼识别管廊图像，检测保稳定性差；2)工作量大，费时费力，人工成本高；3)需要多处设置摄像头，成本高。
技术实现要素：
4.为了解决上述技术问题，本发明提出一种基于感知学习结构的管廊视觉缺陷检测方法及系统。在所述系统及方法中，能够实现自动的准确的检测出管廊中电缆中存在破损、开裂、腐蚀等多种异常情况。
5.为了达到上述目的，本发明的技术方案如下：
6.一种基于感知学习结构的管廊视觉缺陷检测方法，包括如下步骤：
7.获取训练集，并对训练集的数量和分类进行扩充；
8.构建缺陷检测模型，所述缺陷检测模型用于提取多尺寸和多膨胀率的卷积层输出特征；用于对多尺寸和多膨胀率的卷积层输出特征进行通道级联，获取包含全局上下文信息的融合特征；用于基于融合特征预测管廊缺陷；
9.将扩充后的训练集输入缺陷检测模型进行训练，直至输出的预测结果满足预测要求，则将当前缺陷检测模型作为训练好的缺陷检测模型输出；
10.将待检测的管廊图像输入训练好的缺陷检测模型中，输出缺陷检测结果。
11.优选地，使用深度卷积生成对抗网络对训练集的数量和分类进行扩充。
12.优选地，k-means聚类对人工标注好的训练集中目标宽高进行聚类，对先验框的尺寸进行修改。
13.优选地，基于tiny-yolov3框架构建所述缺陷检测模型。
14.优选地，所述待检测的管廊图像是通过巡检机器人在管廊中按预设线路实时采集。
15.基于上述内容，本发明还公开了一种基于感知学习结构的管廊视觉缺陷检测系
统，包括获取模块、构建模块、训练模块和检测模块，其中，
16.所述获取模块，用于获取训练集，并对训练集的数量和分类进行扩充；
17.所述构建模块，用于构建缺陷检测模型，所述缺陷检测模型用于提取多尺寸和多膨胀率的卷积层输出特征；用于对多尺寸和多膨胀率的卷积层输出特征进行通道级联，获取包含全局上下文信息的融合特征；用于基于融合特征预测管廊缺陷；
18.所述训练模块，用于将扩充后的训练集输入缺陷检测模型进行训练，直至输出的预测结果满足预测要求，则将当前缺陷检测模型作为训练好的缺陷检测模型输出；
19.所述检测模块，用于将待检测的管廊图像输入训练好的缺陷检测模型中，输出缺陷检测结果。
20.优选地，所述获取模块中使用深度卷积生成对抗网络对训练集的数量和分类进行扩充。
21.优选地，k-means聚类对人工标注好的训练集中目标宽高进行聚类，对先验框的尺寸进行修改。
22.优选地，基于tiny-yolov3框架构建所述缺陷检测模型。
23.优选地，所述待检测的管廊图像是通过巡检机器人在管廊中按预设线路实时采集。
24.基于上述技术方案，本发明的有益效果是：本发明能够实现准确的检测出管廊中电缆中存在破损、开裂、腐蚀等多种异常情况。首先通过改进的k-means聚类算法对目标的尺寸规律进行重新聚类，对先验框的尺寸进行修改；然后通过gans生成对抗网络对样本分类不均的训练集进行一定的扩充，通过深度卷积生成对抗网络生成与采集样本特征一致的样本，从而丰富训练集，增强模型的泛化能力；接下来，通过本发明设计的一种基于tiny-yolov3模型改进的感知模型，通过增加额外设计的深层特征学习感知模块，有效的改善了模型对于小目标的检测能力，同时保证了检测速度。
附图说明
25.图1是一个实施例中一种基于感知学习结构的管廊视觉缺陷检测方法流程示意图；
26.图2是一个实施例中深度卷积生成对抗网络模型的结构示意图；
27.图3是一个实施例中缺陷检测模型的结构示意图；
28.图4是一个实施例中感知学习模块的结构示意图；
29.图5是一个实施例中一种基于感知学习结构的管廊视觉缺陷检测系统的结构示意图。
具体实施方式
30.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
31.如图1所示，本实施例提供一种基于感知学习结构的管廊视觉缺陷检测方法，包括如下步骤：
32.步骤s1，获取训练集，并对训练集的数量和分类进行扩充。
33.本实施例中，考虑到实际拍摄图像数据集人工标注较为困难，原始标注的数据量大小为1000，对于深度学习中的模型训练远远不够。所以需要对训练的数据集样本进行扩充。
34.基于深度卷积生成对抗网络生成器接收一个随机噪声，通过重塑等操作将随机噪声转换成一个4
×4×
1024的特征图，然后多次利用转置卷积进行上采样操作得到64
×
64
×
3的图片。整个深度卷积生成对抗网络的判别器模型由多个卷积层构成，判别器的输入为真实图片以及生成器的图片。具体的网络结构如下图所示：
[0035][0036]
如图2所示，在整个模型结构中，生成器的输入是一个长度为100的一维向量随机噪声，并通过矩阵运算将其转化成为一个1
×
346112的矩阵。通过对矩阵进行重塑操作，即可得到大小为256
×
256
×
512的矩阵。最后将矩阵转换成图片的需要的尺寸416
×
416
×
3，通过上述转置卷积操作生成器就可生成。判别器的输入有两种：一种是来自训练集中真实的图片，另外一种是生成器生成的图片。输入图片会通过四次卷积运算，得到一个大小为26
×
26
×
512的特征矩阵。最后利用重塑操作，将上面得到的特征转换为1行的特征矩阵，然后使用sigmoid函数得到一个处于0与1之间的值，用来判断输入图片是真实的图片还是生成器的图片。
[0037]
在深度卷积生成对抗网络中所使用的目标函数如下：
[0038][0039]
式中的d(x)中的x为训练集中真实的图片样本，d(x)为真实的图片样本通过判别器后得到的值，训练之后的d(x)的值越接近与1则判别器的性能越好。z为随机给的噪声，g(z)为噪声通过生成器生成的图片，当d(g(z))的值越小则判别器的性能越好。训练时候通过随机给定的生成器，求出让v(g，d)可以取得最大值的判别器，然后将求得的判别器代入v(g，d)，即可计算出最优的生成器。
[0040]
深度卷积生成对抗网络的损失函数主要包括生成器的损失函数和判别器的损失函数两个部分。深度卷积生成对抗网络的判别器的损失函数用的是交叉熵函数，判别器的损失函数用的是交叉熵损失函数，判别器的损失函数如下所示：
[0041][0042]
式中的xi代表着输入到判别器的第i个样本，可能为真实样本和生成器生成样本中的任意一个。d(xi)为第i个样本通过判别器得到的结果，yi为第i个样本的真实的标签。
[0043]
深度卷积生成对抗网络的生成器的损失函数如下所示：
[0044][0045]
式中zi为生成器中输入的第i个随机噪声，g(zi)为第i个随机噪声通过生产器得到的图片。yi为第i个样本中的真实标签。
[0046]
步骤s2，构建缺陷检测模型，所述缺陷检测模型用于提取多尺寸和多膨胀率的卷积层输出特征；用于对多尺寸和多膨胀率的卷积层输出特征进行通道级联，获取包含全局上下文信息的融合特征；用于基于融合特征预测管廊缺陷。
[0047]
本实施例中，由于本发明需要部署在管廊场景这样的情况下，在实际中通常使用嵌入式设备进行监测。但嵌入式端对模型的大小有着一定的要求，只适用于一些轻量化的模型。为了在移动设备上使用，本发明选用tiny-yolov3这一个轻量化的模型，并提出感知学习模块用于捕捉模型中的全局上下文语义信息，增加对小尺度目标的感知能力。
[0048]
整体模型如图3所示，骨干网络的基础结构如下表所示：
[0049][0050]
图片输入到骨干网络之后，会通过多个卷积形成不同特征层的输出，最大池化2的输出是底层特征，包含小目标中丰富的几何信息，最大池化3的输出代表着中层特征，最大池化4的输出4代表着深层特征，包含的是小目标中丰富的语义信息。本发明会通过感知学习模块以及通道级联操作实现不同尺度特征图之间的信息融合。
[0051]
如图4所示，在该结构中会将不同尺寸和不同膨胀率的卷积层输出进行通道级联，达到融合不同特征的目的。通过采用膨胀卷积有效的增大了感受野从而增加了网络的特征提取能力。
[0052]
接下来将最大池化2，最大池化3以及最大池化4的输出分别输入到感知学习模块中，并将它们的经过感知模块的输出通过通道级联的方式进行特征融合，使得全局上下文信息能够充分的融合，在进行预测。
[0053]
步骤s3，将扩充后的训练集输入缺陷检测模型进行训练，直至输出的预测结果满足预测要求，则将当前缺陷检测模型作为训练好的缺陷检测模型输出。
[0054]
步骤s4，将待检测的管廊图像输入训练好的缺陷检测模型中，输出缺陷检测结果。
[0055]
本实施例中，遍布在公共管廊上的巡检机器人，能够按预设路径运行，运行过程中通过视觉摄像头拍摄待检测的管廊图像，待检测的管廊图像可以发送至控制室、移动设备等搭载有训练好的缺陷检测模型的检测设备中，进行缺陷检测并输出缺陷检测结果。通过巡检机器人进行实时的管廊图像采集能够大大减轻工作人员劳动，又可以减少危险情况的发生。
[0056]
在一个实施例一种基于感知学习结构的管廊视觉缺陷检测方法中，还提供k-means聚类对人工标注好的训练集中目标宽高进行聚类，对先验框的尺寸进行修改的方法，解决管廊中电缆中存在破损、积水等多种异常情况中存在尺度大小不一致的现象。
[0057]
本实施例中，使用k-means++方法来获取先验框，采用交并比作为距离计算规则，可以得到两个边界框的距离计算公式如下所示：
[0058]
距离＝1-iou(box1,box2)
[0059]
式中的iou是两个边界框的交并比。若box1的宽(w1)和高(h1)都小于box2的宽(w2)和高(h1)则iou的计算公式如下：
[0060][0061]
若box1的宽小于box2的宽，box1的高大于box2的高则iou的计算公式如下：
[0062][0063]
若box1的宽大于box2的宽，box1的高小于box2的高则iou的计算公式如下：
[0064][0065]
若box1的宽大于box2的宽，box1的高大于box2的高则iou的计算公式如下：
[0066][0067]
使用kmeans++算法获取先验框的具体步骤如下所述。首先从训练集中提取出所有边界框的坐标信息，一个边界框的坐标构成一个样本。从所有的样本之中随机选择一个样本作为一个类别的中心，然后将数据集中所有样本根据上面的距离公式计算每一个样本与第一个类别中心的距离。第i个样本成为下一个类别中心的概率，通过第i个样本与第一个类别中心的距离除以所有样本与第一个类别中心的距离之和得到。第i个样本成为下一个类别中心的概率pi计算公式如下所示：
[0068][0069]
式中i代表第i个样本，j代表假定的候选样本，假设候选样本有三个，得到的概率分别为0.2、0.3、0.5，则可以根据概率划分出三个区间[0.0，0.2]，[0.2，0.5]，[0.5，1.0]。随机生成一个零到一之间的随机数，随机数落在哪个区间之内则哪一个样本为下一个类别的中心。假设生成的随机数为0.3，由上面可知落在第二个区间内，则第二个样本为下一个类别的中心。根据第二个样本的生成规则，继续生成类别的中心，直到生成k个初始的类别的中心。生成k个初始的类别的中心之后，依次计算每一个样本与k个初始的类别的中心的
距离，然后将每一个样本放到距离类别的中心最近的那个类别之中。计算每个类别的均值，然后利用得到的均值更新每一个类别的中心。最后不断重复将样本分类和更新类别的中心这两步操作，直到类别的中心不再改变为止，即可得到需要的先验框的数据。
[0070]
根据上述算法求得的最适宜的管廊数据中先验框如下表所示。
[0071][0072]
如图5所示，在一个实施例中还提供一种基于感知学习结构的管廊视觉缺陷检测系统100，包括获取模块110、构建模块120、训练模块130和检测模块140，其中，
[0073]
所述获取模块110，用于获取训练集，并对训练集的数量和分类进行扩充；
[0074]
所述构建模块120，用于构建缺陷检测模型，所述缺陷检测模型用于提取多尺寸和多膨胀率的卷积层输出特征；用于对多尺寸和多膨胀率的卷积层输出特征进行通道级联，获取包含全局上下文信息的融合特征；用于基于融合特征预测管廊缺陷；
[0075]
所述训练模块130，用于将扩充后的训练集输入缺陷检测模型进行训练，直至输出的预测结果满足预测要求，则将当前缺陷检测模型作为训练好的缺陷检测模型输出；
[0076]
所述检测模块140，用于将待检测的管廊图像输入训练好的缺陷检测模型中，输出缺陷检测结果。
[0077]
以上仅为本技术实施例的优选实施例而已，并不用于限制本技术实施例，对于本领域的技术人员来说，本技术实施例可以有各种更改和变化。凡在本技术实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术实施例的保护范围之内。
技术特征：
1.一种基于感知学习结构的管廊视觉缺陷检测方法，其特征在于，包括如下步骤：获取训练集，并对训练集的数量和分类进行扩充；构建缺陷检测模型，所述缺陷检测模型用于提取多尺寸和多膨胀率的卷积层输出特征；用于对多尺寸和多膨胀率的卷积层输出特征进行通道级联，获取包含全局上下文信息的融合特征；用于基于融合特征预测管廊缺陷；将扩充后的训练集输入缺陷检测模型进行训练，直至输出的预测结果满足预测要求，则将当前缺陷检测模型作为训练好的缺陷检测模型输出；将待检测的管廊图像输入训练好的缺陷检测模型中，输出缺陷检测结果。2.根据权利要求1所述的一种基于感知学习结构的管廊视觉缺陷检测方法，其特征在于，使用深度卷积生成对抗网络对训练集的数量和分类进行扩充。3.根据权利要求1所述的一种基于感知学习结构的管廊视觉缺陷检测方法，其特征在于，k-means聚类对人工标注好的训练集中目标宽高进行聚类，对先验框的尺寸进行修改。4.根据权利要求1所述的一种基于感知学习结构的管廊视觉缺陷检测方法，其特征在于，基于tiny-yolov3框架构建所述缺陷检测模型。5.根据权利要求1所述的一种基于感知学习结构的管廊视觉缺陷检测方法，其特征在于，所述待检测的管廊图像是通过巡检机器人在管廊中按预设线路实时采集。6.一种基于感知学习结构的管廊视觉缺陷检测系统，其特征在于，包括获取模块、构建模块、训练模块和检测模块，其中，所述获取模块，用于获取训练集，并对训练集的数量和分类进行扩充；所述构建模块，用于构建缺陷检测模型，所述缺陷检测模型用于提取多尺寸和多膨胀率的卷积层输出特征；用于对多尺寸和多膨胀率的卷积层输出特征进行通道级联，获取包含全局上下文信息的融合特征；用于基于融合特征预测管廊缺陷；所述训练模块，用于将扩充后的训练集输入缺陷检测模型进行训练，直至输出的预测结果满足预测要求，则将当前缺陷检测模型作为训练好的缺陷检测模型输出；所述检测模块，用于将待检测的管廊图像输入训练好的缺陷检测模型中，输出缺陷检测结果。7.根据权利要求6所述的一种基于感知学习结构的管廊视觉缺陷检测系统，其特征在于，所述获取模块中使用深度卷积生成对抗网络对训练集的数量和分类进行扩充。8.根据权利要求6所述的一种基于感知学习结构的管廊视觉缺陷检测系统，其特征在于，k-means聚类对人工标注好的训练集中目标宽高进行聚类，对先验框的尺寸进行修改。9.根据权利要求6所述的一种基于感知学习结构的管廊视觉缺陷检测系统，其特征在于，基于tiny-yolov3框架构建所述缺陷检测模型。10.根据权利要求6所述的一种基于感知学习结构的管廊视觉缺陷检测系统，其特征在于，所述待检测的管廊图像是通过巡检机器人在管廊中按预设线路实时采集。
技术总结
本发明公开一种基于感知学习结构的管廊视觉缺陷检测方法及系统，该方法包括如下步骤：获取训练集，并对训练集的数量和分类进行扩充；构建缺陷检测模型，所述缺陷检测模型用于提取多尺寸和多膨胀率的卷积层输出特征；用于对多尺寸和多膨胀率的卷积层输出特征进行通道级联，获取包含全局上下文信息的融合特征；用于基于融合特征预测管廊缺陷；将扩充后的训练集输入缺陷检测模型进行训练，直至输出的预测结果满足预测要求，则将当前缺陷检测模型作为训练好的缺陷检测模型输出；将待检测的管廊图像输入训练好的缺陷检测模型中，输出缺陷检测结果。本发明能够实现自动的准确的检测出管廊中电缆中存在破损、开裂、腐蚀等多种异常情况。常情况。常情况。
