一种管件附件完成度的检测系统及检测方法与流程
1.本发明涉及视觉检测的技术领域，具体涉及一种管件附件完成度的检测系统及检测方法。
背景技术：
2.随着航空及汽车工业的发展，对管件加工、装配质量及生产效率提出了更高的要求，各种异形管件的自动化快速检测已经成为管件测量的新方向。
3.传统自动化管件检测过程中，工艺人员根据管件测量软件获取的3d测量数据（护套公差），调整弯管机的加工参数（如弯曲点、弯曲半径等），以确保后续该管件装配工作的顺利完成。得到的3d检测数据及需要调整的工艺参数，反馈给各型号的弯管机进行补偿。对于传统的管件测量设备，受限于数据采集相机的性能及测量分析软件的功能，只能通过照片的灰度值（黑白两）分析管件的边缘，从而提取管件的3d中心线。不能获取管件的以下管件附件的信息，例如：不同型号的扎带的种类、数量和相对位置；标签信息（数量及相对位置）；不同颜的彩标记信息（颜、数量及相对位置信息）；保护网套的位置和数量。
4.而这些附件的检测数据，是判定一件成品管件是否合格的关键信息。目前管件生产厂家检测的方式是采用传统管件测量设备（3d护套公差检查），和人工目视检查附件，两者相结合的方法。管件附件的完成度检测成为管件自动化检测中的瓶颈。
5.综上，现需要设计一种管件附件完成度的检测系统及检测方法来解决现有技术中上述问题。
技术实现要素：
6.为解决上述现有技术中问题，本发明提供了一种管件附件完成度的检测系统及检测方法，解决了传统管件附件检测依赖复杂的工装检具及人工目视检测的问题，提高了成品管件完成度的自动化程度及准确性。
7.为达到上述目的，本发明采用如下技术方案：一种管件附件完成度的检测系统，包括：检测平台，用于放置待测管件；图像采集模块，位于所述检测平台上方，包括光源单元和图像采集单元，所述图像采集单元用于采集所述待测管件的图像信息；图像处理模块，与所述图像采集模块通信连接用于接收所述图像信息，还用于根据检测模型识别所述待测管件的附件特征；其中，所述图像处理模块还用于保存所述待测管件的附件标准特征，并根据所述附件标准特征与所述附件特征的比较结果输出完成度检测结论。
8.在本发明的一些实施例中，所述光源单元为平行设置的条形光源，所述图像采集单元位于所述条形光源的中间；所述光源单元为分级调节光源。
9.在本发明的一些实施例中，所述待测管件的附件完成度检测方法包括以下步骤：
s1、所述图像处理模块根据训练图片集合建立各类所述待测管件上附件的检测模型；s2、所述图像采集模块采集所述待测管件的附件图片并传输给所述图像处理模块；s3、所述图像处理模块利用所述步骤s1中的检测模型识别所述步骤s2附件图片中的附件特征；s4、所述图像处理模块根据所述步骤s3中的附件特征调取对应的附件标准特征，并根据所述附件标准特征与所述附件特征的比较结果输出完成度检测结论。
10.在本发明的一些实施例中，所述步骤s1中的训练图片集合为所述待测管件在多种姿态下的附件训练图片，所述附件训练图片中标识有各类附件特征。
11.在本发明的一些实施例中，所述步骤s1中还包括检测模型的评估：利用附件训练图片测试所述附件特征的检出率，当所述检出率大于阈值后，所述图像处理模块对所述检测模型进行保存。
12.在本发明的一些实施例中，所述步骤s3包括以下步骤：s31、根据所述附件训练图片的尺寸分割所述附件图片得到待测图片；s32、根据所述检测模型识别所述待测图片中的特征信息，所述特征信息包括特征名称、特征数量和特征位置；s33、根据数据结构和过滤算法过滤所述步骤s32中的特征信息得到所述待测管件的附件特征。
13.在本发明的一些实施例中，所述数据结构包括多个容器，所述容器用于分类记录所述特征信息。
14.在本发明的一些实施例中，所述过滤算法包括以下步骤：（1）、按照所述附件特征在名称容器中的位置查数量容器得到特征数量，再根据特征数量查位置容器得到所述附件特征的各个特征位置，并将其存入临时特征容器内；（2）、遍历所述临时特征容器内的元素，计算任一元素与其他元素之间的重合率；（3）、判断所述重合率是否小于阈值，若是则保存所述元素后进行下一个元素的遍历；若否则删除重合元素后回到步骤2；（4）当所述重合率均小于阈值后，更新所述附件特征的数量容器和位置容器。
15.在本发明的一些实施例中，所述重合率的计算公式为：(min(xi+wi,xj+wj)-max(xi,xj))*(min(yi+hi,yj+hj)
–
max(yi,yj))/(wi*hi+wj*hj-(min(xi+wi,xj+wj)-max(xi,xj))*(min(yi+hi,yj+hj)
–
max(yi,yj)))；其中，（xi,yi,wi,hi）为同一附件特征的第i个特征位置，（xj,yj,wj,hj）为同一附件特征的第j个特征位置。
16.在本发明的一些实施例中，所述特征位置为所述附件特征在所述附件图片的像素坐标系下的坐标（x，y，w，h），其中，x和y为所述附件特征所在矩形区域的左上角在所述像素坐标系下的二维坐标，w和h分别为所述矩形区域的宽和高。
17.本发明的技术方案相对现有技术具有如下技术效果：本发明通过建立管件上附件特征的检测模型，对待测管件的附件进行检测，提高了成品管件完成度的检测效率，摆脱了需要传统检具及人工目视辨识管件附件的缺点，大
大减轻了现场检验人员的劳动强度；同时提高了成品管件完成度的检测准确性，检测结果与操作工人的熟练程度、疲劳程度无关。
18.显而易见地节省了专用检具费用和检具长期管理的综合物料和人工消耗。且本发明的检测系统适合不同规格和不同材质的管件。
附图说明
19.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1为所述检测系统的结构示意图。
21.图2为所述检测模型的建立流程图。
22.图3为所述数据结构的示意图。
23.图4为所述特征位置容器与所述临时特征容器的示意图。
24.图5为所述附件特征在重合状态的示意图。
25.附图标记：100-检测平台；210-光源单元；220-图像采集单元；300-遮光罩；400-待测管件。
具体实施方式
26.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
27.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
28.实施例1参照图1所示，一种管件附件完成度的检测系统，包括：检测平台100，用于放置待测管件400；在检测过程中，该待测管件400能够以任意姿态摆放至该检测平台100上；图像采集模块，位于所述检测平台100上方，包括光源单元210和图像采集单元220，所述图像采集单元用于采集所述待测管件400的图像信息；图像处理模块（图中未示出），与所述图像采集模块通信连接用于接收所述图像信息，还用于根据检测模型识别所述待测管件400的附件特征；所述图像处理模块还用于保存所述待测管件400的附件标准特征，并根据所述附件标准特征与所述附件特征的比较结果输出完成度检测结论。
29.具体地，所述光源单元210为平行设置的条形光源，所述图像采集单元220位于所
述条形光源的中间；因为需要适应车间现场检测时环境光的变化，所以光源单元210采用分级可调节式，例如：可调亮度范围（0-255级）。
30.对于图像采集单元220，采用高清彩ccd相机，该ccd相机和镜头的选型的基本原则是根据待测管件400的大小、工作距离、视场范围，以及附件特征的尺寸在像素平面上成像的大小mm/pixel。即图像采集单元220形成的测试场可以清晰辨识待测的附件特征（最小尺寸）。例如，假设已知的ccd相机的分辨率是4000pix*3000pix，工作距离1200mm，需要检测的视场范围(管件尺寸)是2500mm*1200mm。则根据小孔成像原理，能够检测到的最小特征的尺寸m= (1200mm/3000pix)x2= 0.8mm/2pix。实际应用时，根据管件附件特征的大小，取以上理论计算最小特征的n倍（测试经验值）。假设需要检测的附件特征尺寸是10mm，这个光学成像系统能够辨识的特征最小尺寸需要保证：n*m《10mm。
31.在本发明的一些实施例中，在该检测系统中还包括自动化测量的交互接口，可以与传统的管件3d尺寸检测系统实现数据融合，或报告输出等。
32.对于与传统的管件3d尺寸检测系统的数据融合，可按传统管件测量机的xml 指令格式或者任意指定的指令格式，传递xml检测命令及参数、版本信息等，接收针对该命令参数的返回结果等。通过构造约定的xml格式向管件检测设备发送数据，随即监听管件检测设备的数据反馈信息。系统均采用 tcp/ip 协议进行通讯，通过与客户端传递编码后的文本字节流的形式进行数据传输。
33.与高性能彩ccd的接口采用与主机同一网段内的固定ip实现。通过tcpip协议，枚举网段内所有可用的ccd相机，确定需要打开的端口。调用经过调教后的相机参数（如曝光率，帧率，增益等）进行了连续影像的捕捉。待软触发命令到来后，保存一帧图像要指定的目录下供后续解析使用。
34.在本发明的一些实施例中，所述待测管件的附件完成度检测方法包括以下步骤：参照图2所示，s1、所述图像处理模块根据训练图片集合建立各类所述待测管件的检测模型；为了能够在各种摆放姿态的待测管件中正确识别出附件特征，采用了深度学习建立检测模型。
35.具体地，首先采集训练图片集合，即采集所述待测管件在多种姿态下的附件训练图片，待测管件400的附件在视场中不同摆放位置的图片，在图片上对需要检测的附件特征进行正确标注（例如：夹头、扎带、胶带、标签等），作为训练图片集合；通过深度学习后得到检测模型。
36.然后用训练完成的检测模型检测已有的训练图片即对检测模型进行评估，测试各个附件特征的检出率即是否有误。待训练图片都可以正确完成检测后，或当所述检出率大于阈值后，所述图像处理模块对所述检测模型进行保存并可使用待测管件400在视场中的任意自由状态进行附件特征的检测。
37.以下将具体描述附件特征的检测过程：s2、所述图像采集模块采集所述待测管件的附件图片并传输给所述图像处理模块；s3、所述图像处理模块利用所述步骤s1中的检测模型识别所述步骤s2附件图片中的附件特征；
s31、根据所述附件训练图片的尺寸分割所述附件图片得到待测图片；当现场采集的附件图片格式大小与训练图片的大小不同时，需要先把现场采集的附件图片按训练图片的尺寸大小进行分割，使用切割后的图片进行检测。例如，训练图片的尺寸大小是m pixel（宽），n pixel（高），在附件图片的像素坐标系下，切割图片的起点坐标是x=0 pixel，y=0 pixel。以m步长（宽度方向），n步长（高度方向）对附件图片进行分割。
38.s32、根据所述检测模型识别所述待测图片中的特征信息，所述特征信息包括特征名称、特征数量和特征位置；其中，特征位置为该附件特征在附件图片的像素坐标系下的位置；s33、根据数据结构和过滤算法过滤所述步骤s32中的特征信息得到最终的附件特征信息。
39.由于待测管件400在视场中摆放位姿是任意的，因此在分割图片时有可能会切割到待识别的附件特征，这会导致通过深度识别得到的附件特征数量与真实管件附件的数量有差异。本实施例中采用数据结构和过滤算法，通过最初识别出来的附件特征的矩形框范围进行相交计算，通过计算出来的重合度判定是否需要过滤。
40.关于附件特征重合度的判定的原则，仅需要考虑同一类的附件特征在附件图片中像素坐标系下的位置区域是否存在重合（相交）。不同种类的附件特征即使在像素坐标系下有相交也不是重复特征。附件特征在像素坐标下的表达方式是一个矩形区域，即所述附件特征在像素坐标系下的坐标（x，y，w，h）为特征位置，其中，x和y为所述附件特征所在矩形区域的左上角在所述像素坐标系下的二维坐标，w和h分别为所述矩形区域的宽和高，参照图5所示。
41.具体地，所述数据结构包括多个容器，所述容器用于分类记录附件特征信息。在该实施例中，参照图3所示，采用3个容器，依次为存放特征名称的名称容器、存放特征数量的数量容器和存放特征位置的位置容器。
42.所述过滤算法包括以下步骤：（1）、从名称容器的头部开始，在数量容器中查对应特征名称的特征数量，再根据特征数量在位置容器中查对应的特征位置，并取出这一类特征的所有像素坐标系下的位置，存入一临时特征容器中；例如胶带的特征数量为3，就从位置容器中从头部开始取出3个像素坐标系下的xywh位置，放入临时特征容器中，参照图4所示；（2）、遍历所述临时特征容器内的元素，根据各矩形区域在像素坐标系下的特征位置数据，计算任一元素与其他元素之间的重合率；所述重合率的计算公式为：(min(xi+wi,xj+wj)-max(xi,xj))*(min(yi+hi,yj+hj)
–
max(yi,yj))/(wi*hi+wj*hj-(min(xi+wi,xj+wj)-max(xi,xj))*(min(yi+hi,yj+hj)
–
max(yi,yj)))；其中，（xi,yi,wi,hi）为同一附件特征的第i个特征位置，（xj,yj,wj,hj）为同一附件特征的第j个特征位置。
43.上述重合率的计算公式是基于所述附件特征的位置（x，y，w，h）位于矩形区域的左上角。
44.具体地，当所述附件特征的位置（x，y，w，h）位于矩形区域的左下角时，重合率的计算公式为：(min(xi+wi,xj+wj)-max(xi,xj))*(max(yi-hi,yj-hj)
–
max(yi,yj))/(wi*hi+
wj*hj-(min(xi+wi,xj+wj)-max(xi,xj))*(max(yi-hi,yj-hj)
–
max(yi,yj)))；当所述附件特征的位置（x，y，w，h）位于矩形区域的右上角时，重合率的计算公式为：(min(xi,xj)-max(xi-wi,xj-wj))*(min(yi+hi,yj+hj)
–
min(yi,yj))/(wi*hi+wj*hj-(min(xi,xj)-max(xi-wi,xj-wj))*(min(yi+hi,yj+hj)
–
min(yi,yj)))；当所述附件特征的位置（x，y，w，h）位于矩形区域的右下角时，重合率的计算公式为：(min(xi,xj)-max(xi-wi,xj-wj))*(min(yi,yj)-max(yi-hi,yj-hj))/(wi*hi+wj*hj-((min(xi,xj)-max(xi-wi,xj-wj))*(min(yi,yj)-max(yi-hi,yj-hj)))。
45.（3）、判断所述重合率是否小于阈值，若是则保存所述元素后进行下一个元素的遍历；若否则删除重合元素后回到步骤2；即在重合率不为零或者重合率大于阈值时，则认为这两个特征是重合的，需删除其中一个重合的元素，再重新开始遍历计算直至所有元素遍历完成。
46.（4）、当所述重合率均小于阈值后，更新所述附件特征的数量容器和位置容器。即按照筛选后的特征数量（即临时特征容器的大小），位置数据（x,y,w,h）去更新数量容器和位置容器，名称容器不会变。
47.s4、所述图像处理模块根据所述步骤s3中的附件特征调取对应的附件标准特征，并根据所述附件标准特征与所述附件特征的比较结果输出完成度检测结论。
48.在本发明的一些实施例中，还涉及对视场中固定干扰因素的排除方法：第一种方法是：对于视场中，因背景环境光或者固定工装导致的误判，通过计算图片像素坐标系下的相对位置，实现对环境中固定干扰因素的剔除，也就是可以做到对固定区域的干扰屏蔽；第二种方法是：基于深度学习的附件特征识别，对于每个识别到的附件特征，都有相应的置信度分值，也可以用置信度分值进行过滤，小于一定置信度分值的特征，可以在统计结果中不予考虑。
49.本发明的技术方案相对现有技术具有如下技术效果：本发明通过建立附件特征的检测模型，对待测管件的附件进行检测，提高了成品管件完成度的检测效率，摆脱了需要传统检具及人工目视辨识管件附件的缺点，大大减轻了现场检验人员的劳动强度；同时提高了成品管件完成度的检测准确性，检测结果与操作工人的熟练程度、疲劳程度无关。
50.另外节省了专用检具费用和检具长期管理的综合物料和人工消耗。且本发明的检测系统适合不同规格和不同材质的管件，即硬管和软管的完成度都可以检测且可以单独做成管件附件完成度检测设备，也可作为传统管件3d尺寸测量系统的功能拓展。填补现有管件3d尺寸检测设备，不能检查附件完成度的功能缺陷。
51.在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
52.以上仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
技术特征：
1.一种管件附件完成度的检测系统及检测方法，其特征在于，包括：检测平台，用于放置待测管件；图像采集模块，位于所述检测平台上方，包括光源单元和图像采集单元，所述图像采集单元用于采集所述待测管件的图像信息；图像处理模块，与所述图像采集模块通信连接用于接收所述图像信息，还用于根据检测模型识别所述待测管件的附件特征；其中，所述图像处理模块还用于保存所述待测管件的附件标准特征，并根据所述附件标准特征与所述附件特征的比较结果输出完成度检测结论。2.根据权利要求1所述的一种管件附件完成度的检测系统，其特征在于，所述光源单元为平行设置的条形光源，所述图像采集单元位于所述条形光源的中间；所述光源单元为分级调节光源。3.根据权利要求1-2任一项所述的一种管件附件完成度的检测系统的检测方法，其特征在于，包括以下步骤：s1、所述图像处理模块根据训练图片集合建立各类所述待测管件上附件的检测模型；s2、所述图像采集模块采集所述待测管件的附件图片并传输给所述图像处理模块；s3、所述图像处理模块利用所述步骤s1中的检测模型识别所述步骤s2附件图片中的附件特征；s4、所述图像处理模块根据所述步骤s3中的附件特征调取对应的附件标准特征，并根据所述附件标准特征与所述附件特征的比较结果输出完成度检测结论。4.根据权利要求3所述的检测方法，其特征在于，所述步骤s1中的训练图片集合为所述待测管件在多种姿态下的附件训练图片，所述附件训练图片中标识有各类附件特征。5.根据权利要求3所述的检测方法，其特征在于，所述步骤s1中还包括检测模型的评估：利用附件训练图片测试所述附件特征的检出率，当所述检出率大于阈值后，所述图像处理模块对所述检测模型进行保存。6.根据权利要求3所述的检测方法，其特征在于，所述步骤s3包括以下步骤：s31、根据所述附件训练图片的尺寸分割所述附件图片得到待测图片；s32、根据所述检测模型识别所述待测图片中的特征信息，所述特征信息包括特征名称、特征数量和特征位置；s33、根据数据结构和过滤算法过滤所述步骤s32中的特征信息得到所述待测管件的附件特征。7.根据权利要求6所述的检测方法，其特征在于，所述数据结构包括多个容器，所述容器用于分类记录所述特征信息。8.根据权利要求6所述的检测方法，其特征在于，所述过滤算法包括以下步骤：（1）、按照所述附件特征在名称容器中的位置查数量容器得到特征数量，再根据特征数量查位置容器得到所述附件特征的各个特征位置，并将其存入临时特征容器内；（2）、遍历所述临时特征容器内的元素，计算任一元素与其他元素之间的重合率；（3）、判断所述重合率是否小于阈值，若是则保存所述元素后进行下一个元素的遍历；若否则删除重合元素后回到步骤2；（4）当所述重合率均小于阈值后，更新所述附件特征的数量容器和位置容器。
9.根据权利要求8所述的检测方法，其特征在于，所述重合率的计算公式为：(min(xi+wi,xj+wj)-max(xi,xj))*(min(yi+hi,yj+hj)
–
max(yi,yj))/(wi*hi+wj*hj-(min(xi+wi,xj+wj)-max(xi,xj))*(min(yi+hi,yj+hj)
–
max(yi,yj)))；其中，（xi,yi,wi,hi）为同一附件特征的第i个特征位置，（xj,yj,wj,hj）为同一附件特征的第j个特征位置。10.根据权利要求3所述的检测方法，其特征在于，所述特征位置为所述附件特征在所述附件图片的像素坐标系下的坐标（x，y，w，h），其中，x和y为所述附件特征所在矩形区域的左上角在所述像素坐标系下的二维坐标，w和h分别为所述矩形区域的宽和高。
技术总结
本发明公开了一种管件附件完成度的检测系统及检测方法，其中检测系统包括：检测平台，用于放置待测管件；图像采集模块，位于所述检测平台上方，包括光源单元和图像采集单元，所述图像采集单元用于采集所述待测管件的图像信息；图像处理模块，与所述图像采集模块通信连接用于接收所述图像信息，还用于根据检测模型识别所述待测管件的附件特征；其中，所述图像处理模块还用于保存所述待测管件的附件标准特征，并根据所述附件标准特征与所述附件特征的比较结果输出完成度检测结论。本发明实现了对管件上通用附件的检测，提高了成品管件完成度的检测效率和检测的准确率；且适合不同规格和不同材质的管件。格和不同材质的管件。格和不同材质的管件。
