一种5G无人机动态AI巡检系统的制作方法
一种5g无人机动态ai巡检系统
技术领域
1.本发明涉及无人机巡检的技术领域，尤其涉及一种5g无人机动态ai巡检系统。
背景技术：
2.港口是位于海、江、河、湖、水库沿岸，具有水陆联运设备以及条件以供船舶安全进出和停泊的运输枢纽。港口是水陆交通的集结点和枢纽处，是工农业产品和外贸进出口物资的集散地，也是船舶停泊、装卸货物、上下旅客、补充给养的场所。
3.在中国，沿海港口建设重点围绕煤炭、集装箱、进口铁矿石、粮食、陆岛滚装、深水出海航道等运输系统进行，特别加强了集装箱运输系统的建设。然而，码头设备普遍大型化，登高作业存在较大的安全隐患，同时进入自动化区域内的巡检工作对生产的影响较大，也会耗费大量的人力，在这样的条件下无人机的巡检工作可以替代大量的人工投入，对于降低人工成本及人身安全防护也有积极的意义。
4.基于上述情况，我们设计出一种5g无人机动态ai巡检系统。
技术实现要素：
5.针对现有技术存在的不足，本发明旨在提供一种5g无人机动态ai巡检系统。
6.本发明的上述目的是通过以下技术方案得以实现：
7.一种5g无人机动态ai巡检系统，包括：
8.无人机，所述无人机用于实施拍摄巡航视频；
9.无人机控制系统，所述无人机控制系统控制巡航路线，拍摄并回传实时巡航视频，同时无人机回传位置，电量等信息；
10.视频接入和识别输出系统，所述视频接入和识别输出系统接收实时视频数据，通过ai算法实时标识分析视频中的安全问题，所述视频接入和识别输出系统提供应急预案功能；
11.以及无人机监控和预警系统，所述无人机监控和预警系统实时显示无人机巡航的安全问题的坐标、问题图片和应急预案。
12.所述无人机控制系统、视频接入和识别输出系统、无人机监控和预警系统分别由单个屏幕显示。
13.本发明进一步技术方案设置为，所述视频接入和识别输出系统主要用于播放所述无人机控制系统回传的巡航视频，通过ai或手工识别视频中的安全问题，并且自动或者手工的选择应急预案，并将识别结果及应急预案推送给所述无人机监控和预警系统进行三维全方位预警和显示。
14.本发明进一步技术方案设置为，所述无人机监控和预警系统同步对接所述无人机对应位置的视频和抓取图片并自动ai识别，返回和保存识别结果，识别结果为识别到疑似安全隐患或识别到严重安全隐患预警。
15.本发明进一步技术方案设置为，所述无人机的视觉模块包括巡检识别模块，所述
巡检识别模块辅助所述无人机自动巡检，巡检内容为箱区及堆垛巡检，作业区域目标巡检，机械设备和区域位置巡检。
16.本发明进一步技术方案设置为，所述箱区及堆垛巡检包括：
17.集装箱三维检测，确定集装箱各面朝向、在二维图片中绘制集装箱三维立体坐标；
18.箱区巡检，通过上一步骤对箱区各集装箱进行三维定位后，可以得出集装箱各顶点坐标及集装箱边框，由此可判断集装箱堆叠、摆放位置是否正确；
19.箱区密度及箱信息检查，通过上一步骤可获取箱区堆叠密度。进一步地，若图片拍摄质量较高，可由此识别集装箱箱号、危标等集装箱信息；
20.集装箱绑扎识别，在无人机进行箱区巡检时，可识别集装箱绑扎是否完成，并根据情况发出警告。
21.本发明进一步技术方案设置为，所述箱区及堆垛巡检的算法为：
22.集装箱三维定位：通过搭建神经网路及采用霍夫变化等算法，可对集装箱进行三维定位，模型采用mobilenetv3作为卷积操作的骨架，然后使用unet使用不同采样率对特征进行采样；输出结果进入dual attention网络分别获取channel attention map和position attention map，将结果进行融合后与mobilenetv3的中间层输出合并，最终upsamble到原始图片同分辨率后后输出语义分割结果，推导出集装箱箱面对应像素值；
23.箱区多个集装箱三维定位：通过对定位后结果各箱面顶点及边框信息进行三维建模，可得到集装箱摆放位置、角度等信息，由此判断集装箱位置是否符合规范；对于上述集装箱的三维定位，通过对图片分割结果继续进行实例分割，可得到不同集装箱三维定位结果；
24.集装箱信息识别：通过提取上一步骤集装箱及各个箱面分割区域，在图片清晰度足够的情况下，可识别集装箱堆叠数量，集装箱箱面危标、箱号等信息；
25.绑扎识别：通过对图片中主要绑扎带进行识别，描绘绑扎带轮廓，确认每个箱子是否都加固完毕，从而发出预警。
26.本发明进一步技术方案设置为，所述作业区域目标巡检通过无人机视觉进行作业区域目标检测，对象包括道路检测，agv、工作人员以及其他作业区域可能存在的目标；
27.所述作业区域目标巡检包括：
28.作业区域类型分割，通过机器视觉对作业区域不同功能区进行划；
29.目标定位，系统可实现对agv、内外集卡、工作人员的定位。
30.本发明进一步技术方案设置为，所述机械设备及区域位置巡检在无人机巡检过程中，需要人工检查包括高层建筑的外立面、钢结构、海侧的护舷、箱区轨道、导流堤及围堤的内容。
31.本发明进一步技术方案设置为，还包括客户端和服务器，所述客户端由浏览器承担所有显示、控制功能；所述服务器通过和数据系统对接为客户端提供数据显示支撑。
32.本发明进一步技术方案设置为，还包括云技术，所述云技术包括基础资源层和容器化层，所述基础资源层是由多台x86架构和拥有gpu能力的主机构建而成，做为云服务的硬件基础层，提供最基本的计算、存储、网络功能；所述容器化层是由kubernetes作为整体解决方案，所有应用程序，算法服务将以容器化的形式对外提供服务。
33.综上所述，本发明包括以下有益技术效果：
34.本发明通过无人机的巡检工作可以替代大量的人工投入，对于降低人工成本及人身安全防护也有积极的意义；基于无人机技术和5g技术的快速发展，无人机巡检可以极大的降低自动化码头常规生产及巡检对生产过程的影响，同时降低安全的风险，为自动化码头的数字化巡检提供助力。收集无人机巡检拍摄到各业务场景的视频或图片数据，对其中可进行机器视觉识别的内容利用人工智能算法对其进行分析，针对箱区堆放、绑扎、人员安全、机械设备位置和设备状态等，结合无人机动态巡航视频，进行ai机器视觉识别，有效发现其中异常情况进行警告，及时识别潜在巡检风险，对异常情形形成专题诊断报告。
附图说明
35.图1为本发明的流程图；
36.图2为本发明的整体架构图；
37.图3为本发明的系统框图；
38.图4为本发明数字孪生的架构图
39.图5为本发明中集装箱三维定位的算法原理图；
40.图6本发明中集装箱信息识别的算法原理图。
具体实施方式
41.以下结合附图1-6对本发明作进一步的详细说明。
42.本发明公开了一种5g无人机动态ai巡检系统，包括无人机、无人机控制系统、视频接入和识别输出系统、无人机监控和预警系统、客户端、服务器和云技术。
43.具体的，无人机为大疆无人机，大疆无人机控制巡航路线，拍摄并回传实时巡航视频，同时无人机回传位置，电量等信息。视频接入和识别输出系统接收实时视频数据，通过ai算法实时标识分析视频中的安全问题(同时也支持人工识别和标识安全问题)；视频接入和识别输出系统提供应急预案功能(根据设置的应急预案规则自动选择应急预案或者手工应急预案处理)。无人机监控和预警系统(数字孪生)实时显示无人机巡航的安全问题的坐标，问题图片和应急预案。
44.视频接入和识别输出系统主要功能是播放无人机控制系统回传的巡航视频，通过ai或手工识别视频中的安全问题，并且自动或者手工的选择应急预案。并将识别结果及应急预案推送给无人机监控和预警系统(数字孪生)进行三维全方位预警和显示。
45.在本发明中，无人机控制系统、视频接入和识别输出系统、无人机监控和预警系统分别由单个屏幕显示。
46.其中，数字孪生界面关注业务和无人机飞行路径，可与大疆无人机实时同步，虚实结合。为无人机实时巡航界面，展现飞行状态，无人机设备状态等。
47.无人机控制系统面由顶部信息栏，左侧导航栏和右侧工作区域构成。右侧工作区域可全屏显示，方便用户直观的关注当前的工作区域。
48.视频接入和识别输出界面为巡检识别信息，预警信息等。
49.巡航监控界面分为实时巡航视频，实时安全预警，应急预案处理及应急预处理情况4个区域组成。
50.实时安全预警面板动态显示ai实时识别安全问题信息，同时可以手工点击“拍摄
安全隐患”按钮抓拍当前播放视频中的画面，并标注画面中问题位置和描述安全问题。
51.应急预案处理面板显示默认显示待处理状态的巡航安全问题信息列表(系统无法根据预设的应急预案规则自动选择应急预案)。用户可以点击相关安全问题照片查看，并点击“处理安全问题”按钮定制应急预案。
52.应急预案处理情况，动态显示安全未处理，处理中和已处理的安全问题比例的饼状图。
53.无人机监控和预警(结合数字孪生)，增加数字孪生新预警图标，即无人机巡检预警，同步对接无人机对应位置的视频和抓取图片并自动ai识别，返回和保存识别结果。识别结果为识别到疑似安全隐患或识别到严重安全隐患预警。
54.此外，无人机包括具有视觉辅助的巡检识别模块，巡检识别模块通过对过往项目可行性分析，梳理出如下几个方面功能：箱区及堆垛巡检、作业区域(人员)目标巡检、机械设备和区域位置巡检。
55.箱区及堆垛巡检采用无人机视觉进行箱区巡检，可以包含如下几项内容：
56.集装箱三维检测：确定集装箱各面朝向、在二维图片中绘制集装箱三维立体坐标。
57.箱区巡检：通过上一步骤对箱区各集装箱进行三维定位后，可以得出集装箱各顶点坐标及集装箱边框，由此可判断集装箱堆叠、摆放位置是否正确等。
58.箱区密度及箱信息检查：通过上一步骤可获取箱区堆叠密度。进一步地，若图片拍摄质量较高，可由此识别集装箱箱号、危标等集装箱信息。
59.集装箱绑扎识别：在无人机进行箱区巡检时，可识别集装箱绑扎是否完成，并根据情况发出警告。
60.箱区及堆垛巡检的算法描述为：
61.集装箱三维定位：通过搭建神经网路及采用霍夫变化等算法，可对集装箱进行三维定位，模型采用mobilenetv3作为卷积操作的骨架，然后使用unet使用不同采样率对特征进行采样。输出结果进入dual attention网络分别获取channel attention map和position attention map，将结果进行融合后与mobilenetv3的中间层输出合并，最终upsamble到原始图片同分辨率后后输出语义分割结果，推导出集装箱箱面对应像素值。
62.箱区多个集装箱三维定位：通过对定位后结果各箱面顶点及边框信息进行三维建模，可得到集装箱摆放位置、角度等信息，由此判断集装箱位置是否符合规范。对于上述集装箱的三维定位，通过对图片分割结果继续进行实例分割，可得到不同集装箱三维定位结果。
63.集装箱信息识别：通过提取上一步骤集装箱及各个箱面分割区域，在图片清晰度足够的情况下，可识别集装箱堆叠数量，集装箱箱面危标、箱号等信息。以下为识别算法简单介绍；识别算法同样采用mobilenetv3作为卷积操作提取图像特征的骨架，获取h/8个长度为512的向量，然后对这h/8个向量进行self attention操作输出同样大小(h/8,512)的向量，然后将这h/8个向量顺序输入到同一个lstm cell中。每一步输出即可获得一个字符预测结果。
64.绑扎识别：通过对图片中主要绑扎带进行识别，描绘绑扎带轮廓，确认每个箱子是否都加固完毕，从而发出预警。为实现绑扎识别的业务需求，可先提取其主要轮廓，可以采用第二种方式极坐标系来表示图片中轮廓的直线，表达式可为：
[0065][0066]
作业区域(人员)目标巡检通过无人机视觉进行作业区域目标检测，对象包括道路检测(车道、人行道等)，agv、工作人员以及其他作业区域可能存在的目标。对此，梳理了以下几点应用场景：
[0067]
作业区域(道路)类型分割；通过机器视觉对作业区域不同功能区进行划；
[0068]
目标定位：系统可实现对agv、内外集卡、工作人员的定位。以工作人员为例；通过定位到人员在图像中的坐标，以及对比上一步分割后的应用区域，判断人员所处位置是否符合安全规范的要求，进而发出预警；通过对图片中作业区域的分割以及工作人员的检测，由此判断人员所处位置是否合规。
[0069]
作业区域(人员)目标巡检算法描述为：
[0070]
作业区域(道路)类型分割：对于图片中作业区域像素级地分类，我们拟采用神经网络进行语义分割，通过神经网络输出与采集到的原图同分辨率的多维矩阵，在原图对应位置判断像素所处区域分类。
[0071]
目标检测：对于人员、agv等目标检测，可采用神经网络进行边框回归，可通过模型预测目标中心点坐标及宽高值确定目标在图片所处的坐标。
[0072]
机械设备及区域位置(建筑)巡检在无人机巡检过程中，需要人工检查包括高层建筑的外立面、钢结构、海侧的护舷、箱区轨道、导流堤及围堤等多种类型的内容。
[0073]
但目前暂无有效的深度学习算法能实现多场景、多目标的通用巡检功能。对此，第一步，我们可基于传统机器视觉算法实现在已知场景下，通过事先拍摄正常图片与巡检时拍摄的图片进行比对，发现两类图片差异较大的内容，进而提交人工判断是否异常。
[0074]
第二步，在收集到足够异常类型图片后，可搭建神经网络模型学习此类异常内容。从而在未来自主发现异常情况，从而减少人工浏览正常图片的工作量。
[0075]
机械设备及区域位置(建筑)巡检算法描述为：在正常图片与巡检图片比对环节，可通过去噪、滤波、图片矫正等方式先对巡检图片进行预处理，然后计算正常图片和巡检图片的特征向量并进行比对，进而获取图片中差异较大的区域。常用图片通过透视变换的矫正算法包括旋转、平移、刚体变换、仿射变换等，公式为：
[0076][0077]
在获取到足够多异常图片后，通过人工标注异常部分，然后搭建深度学习模型，通过模型学习各类异常类型。
[0078]
5g无人机ai巡检系统技术总体设计采用b/s(browser/server)结构：客户端由浏览器(browser)承担所有显示、控制功能；服务器通过和数据系统对接为客户端提供数据显示支撑。
[0079]
无人机巡检系统客户端技术采用webgl 2.0技术，从而支持浏览器三维渲染能力。客户端设计要求达到以下3个主要目标：
[0080]
(1)显示：真实地还原新片区管控情况，并能实时显示刷新，流畅无卡顿。
[0081]
(2)操作：既支持嵌入主系统界面操作显示，又支持全屏化操作显示，且操作体验良好；操作符合人性化直觉。
[0082]
(3)体验：在主系统切换的过程中流畅，不会因为有大量的资源加载导致长时间卡顿。
[0083]
为了达成以上几个目标，将考虑公关并实现以下的技术功能：
[0084]
显示上的关键技术功能：数据缓冲，采用带时间的数据缓冲动态插值方法，对于离散的数据(尤其是位置数据)进行一段几十秒级数据缓冲，并在数据间做动态插值，从而保证所有三维物体显示动画的流畅性(例如：集卡移动)；渲染优化，对于影响渲染效率的三维物体(比如：大量动态子物体)：一方面考虑做发布前动态合并，另一方面对数据形态敏感的三维物体做基于数据的动态mesh和材质贴图生成和动态绘制。
[0085]
操作上的关键技术功能：ui系统，在webgl中采用web assembly驱动ui系统，所有ui事件只在系统内部交互，而不会通过javascript和外部交互；输入和字体，内部ui支持中文字体、西文字体、中文输入法；ui自适应，整体canvas和ui系统支持探测浏览器大小改变，并在ui层做到自适应；按键冲突，主要操作设计避免和浏览器快捷键冲突。
[0086]
体验上的关键技术功能：缓存机制，采用浏览器缓存机制，对初次加载的资源做到本地缓存，第二次加载直接从本地加载；此外缓存机制必须支持资源的版本变更和更新。动态加载，在场景加载上做到动态加载显示，从而缩短场景加载时间。此外，考虑到系统将会长时间、大数据量的实时刷新三维场景，而浏览器对于三维显示有很多限制，因此还要综合考虑以下核心技术问题：性能指标，能够支持主流中高端显卡上流畅运行。内存限制，应用程序整体内存使用不能超过浏览器限制。资源大小，为了提升下载和加载速度，提升体验，整体资源控制大小在256mb以下，采用更平衡的资源压缩算法，同时不能因为资源节省而降低质量要求。网络连接，因浏览器限制，采用websocket协议和服务器通信，保证长连接和消息推送；同时考虑断线重连的设计。
[0087]
无人机巡检系统服务器的角主要是作为数据处理系统和三维webgl客户端的中间缓冲层：提取数据转化为客户端能理解的数据格式，并推送给客户端。
[0088]
因此，服务器需要能够提供以下的技术功能支撑：
[0089]
(1)状态缓存：通过接收数据系统推送过来的港口整体数据，对状态进行缓存，并通过状态差进行数据更新，从而减小整体数据流量。
[0090]
(2)会话实例：支持不同的客户端不同时间点连接，以增量数据的方式向客户端推送整体状态。
[0091]
(3)协议转化：支持通过不同的协议(大部分是基于底层socket的协议)向数据系统获取数据，最终以统一的websocket协议向客户端提供数据。
[0092]
(4)事件驱动：当有优先级高的警告事件发送时，能主动向客户端推送消息。
[0093]
5g无人机ai巡检私有云技术方案，包括基础资源层和容器化层。
[0094]
基础资源层是由多台x86架构和拥有gpu能力的主机构建而成，做为云服务的硬件基础层，提供最基本的，计算，存储，网络等功能。
[0095]
容器化层是由kubernetes作为整体解决方案，所有应用程序，算法服务将以容器化的形式对外提供服务。
[0096]
kubernetes是一个完备的分布式系统支撑平台。kubernetes具有完备的集管理能力，包括多层次的安全防护和准入机制、多租户应用支撑能力，透明的服务注册和服务发现机制、内建的智能负载均衡器、强大的故障发现和自我修复能力、服务滚动升级和在线扩展能力，可扩展的资源自动调度机制，以及多粒度的资源配额管理能力。同时，kubernetes提供了完善的管理工具，这些工具涵盖了包括开发，部署测试，运维监控在内的各个环节。因此，kubernetes是一个一站式的完备的分布式系统开发和支撑平台。
[0097]
kubernetes特点：
[0098]
(1)可移植：支持公有云，私有云，混合云，多重云(multi-cloud)。
[0099]
(2)可扩展：模块化，插件化，可挂载，可组合。
[0100]
(3)自动化：自动部署，自动重启，自动复制，自动伸缩/扩展。
[0101]
在原生kubernetes中标记为work node的点作为普通工作节点，满足服务发布，程序持续集成，程序持续交付，自动化测试，镜像仓库，代码仓库等容器服务。
[0102]
gpu work node为需要用到智能算法的容器提供算了。storage node数持久化提供存储支持。
[0103]
gpu支持(device plugin)，从1.8版本开始，引入离开device plugin(设备插件模型)，为设备提供商提供了一种基于插件的、无需修改kubelet核心代码的外部设备启用方式、设备提供商只需在计算节点上一daemonset方式动一个设备插件器供kubelet调用，即可使用外部设备。
[0104]
目前支持的设备类型包括gpu，高性能nic卡，fpga，infiniband等。本方案就是使用device plugin实现gpu设备的容器化使用。让需要用到gpu计算能力的应用动态的分配到想得到的资源，并且让资源使用率达到最高，成本最低。
[0105]
服务层为智能识别算法api服务：
[0106]
服务层以容器的形式对外提供识别算法的restful，http等服务，经过一系列的测试验证，发布最终交付的软件版本。也可以为其他服务提供api接口为智能算法的衍生产品提供可视化界面或saas服务。
[0107]
kubernetes让微服务架构变得更便捷，在其架构中可方便提供ci/cd，自动发布，自动测试服务，所以在资源消耗可接受的情况下，本架构还能为其他业务系统提供云平台支持。
[0108]
算法开发层提供了定制的开发容器镜像，快速部署开发环境及需要的控件，包括项目中使用到的tensorflow道口识别训练集程序和箱号识别训练集程序。并且支持pytorch等更轻量级的人工智能和深度学习算法架构。并提供开发集成web开发界面(ide)，例如zeppelin。
[0109]
tensorflow tensorflow是一个采用数据流图(data flow graphs)，用于数值计算的开源软件库。节点(nodes)在图中表示数学操作，线(edges)则表示在节点间相互联系的多维数据数组，即张量(tensor)。它灵活的架构让你可以在多种平台上展开计算，例如台式计算机中的一个或多个cpu(或gpu)，服务器，移动设备等。
[0110]
tensorflow最初由google大脑小组(隶属于google机器智能研究机构)的研究员和工程师们开发出来，用于机器学习和深度神经网络方面的研究，但这个系统的通用性使其也可广泛用于其他计算领域。
[0111]
pytorch pytorch的前身是torch，其底层和torch框架一样，但是使用python重新写了很多内容，不仅更加灵活，支持动态图，而且提供了python接口。它是由torch7团队开发，是一个以python优先的深度学习框架，不仅能够实现强大的gpu加速，同时还支持动态神网络，这是很多主流深度学习框架比如tensorflow等都不支持的。pytorch既可以看作加入了gpu支持的numpy，同时也可以看成一个拥有自动求导功能的强大的深度神经网络。除了facebook外，它已经被twitter、cmu和salesforce。
[0112]
数据需求，为了更高效合理实施5g无人机ai巡检系统项目，软件供应商作为数据提供者需配合如下内容：
[0113]
提供无人机gps坐标数据；视频传输协议(rtmp,rtsp等)对本系统开放
[0114]
本发明的实施原理为：
[0115]
本发明通过无人机的巡检工作可以替代大量的人工投入，对于降低人工成本及人身安全防护也有积极的意义；基于无人机技术和5g技术的快速发展，无人机巡检可以极大的降低自动化码头常规生产及巡检对生产过程的影响，同时降低安全的风险，为自动化码头的数字化巡检提供助力。收集无人机巡检拍摄到各业务场景的视频或图片数据，对其中可进行机器视觉识别的内容利用人工智能算法对其进行分析，针对箱区堆放、绑扎、人员安全、机械设备位置和设备状态等，结合无人机动态巡航视频，进行ai机器视觉识别，有效发现其中异常情况进行警告，及时识别潜在巡检风险，对异常情形形成专题诊断报告。
[0116]
本具体实施方式的实施例均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。
技术特征：
1.一种5g无人机动态ai巡检系统，其特征在于，包括：无人机，所述无人机用于实施拍摄巡航视频；无人机控制系统，所述无人机控制系统控制巡航路线，拍摄并回传实时巡航视频，同时无人机回传位置，电量信息；视频接入和识别输出系统，所述视频接入和识别输出系统接收实时视频数据，通过ai算法实时标识分析视频中的安全问题，所述视频接入和识别输出系统提供应急预案功能；以及无人机监控和预警系统，所述无人机监控和预警系统实时显示无人机巡航的安全问题的坐标、问题图片和应急预案。所述无人机控制系统、视频接入和识别输出系统、无人机监控和预警系统分别由单个屏幕显示。2.根据权利要求1所述的一种5g无人机动态ai巡检系统，其特征在于，所述视频接入和识别输出系统主要用于播放所述无人机控制系统回传的巡航视频，通过ai或手工识别视频中的安全问题，并且自动或者手工的选择应急预案，并将识别结果及应急预案推送给所述无人机监控和预警系统进行三维全方位预警和显示。3.根据权利要求1所述的一种5g无人机动态ai巡检系统，其特征在于，所述无人机监控和预警系统同步对接所述无人机对应位置的视频和抓取图片并自动ai识别，返回和保存识别结果，识别结果为识别到疑似安全隐患或识别到严重安全隐患预警。4.根据权利要求1所述的一种5g无人机动态ai巡检系统，其特征在于，所述无人机的视觉模块包括巡检识别模块，所述巡检识别模块辅助所述无人机自动巡检，巡检内容为箱区及堆垛巡检，作业区域目标巡检，机械设备和区域位置巡检。5.根据权利要求4所述的一种5g无人机动态ai巡检系统，其特征在于，所述箱区及堆垛巡检包括：集装箱三维检测，确定集装箱各面朝向、在二维图片中绘制集装箱三维立体坐标；箱区巡检，通过上一步骤对箱区各集装箱进行三维定位后，可以得出集装箱各顶点坐标及集装箱边框，由此可判断集装箱堆叠、摆放位置是否正确；箱区密度及箱信息检查，通过上一步骤可获取箱区堆叠密度。进一步地，若图片拍摄质量较高，可由此识别集装箱箱号、危标等集装箱信息；集装箱绑扎识别，在无人机进行箱区巡检时，可识别集装箱绑扎是否完成，并根据情况发出警告。6.根据权利要求5所述的一种5g无人机动态ai巡检系统，其特征在于，所述箱区及堆垛巡检的算法为：集装箱三维定位：通过搭建神经网路及采用霍夫变化等算法，可对集装箱进行三维定位，模型采用mobilenetv3作为卷积操作的骨架，然后使用unet使用不同采样率对特征进行采样；输出结果进入dual attention网络分别获取channel attention map和position attention map，将结果进行融合后与mobilenetv3的中间层输出合并，最终upsamble到原始图片同分辨率后后输出语义分割结果，推导出集装箱箱面对应像素值；箱区多个集装箱三维定位：通过对定位后结果各箱面顶点及边框信息进行三维建模，可得到集装箱摆放位置、角度等信息，由此判断集装箱位置是否符合规范；对于上述集装箱的三维定位，通过对图片分割结果继续进行实例分割，可得到不同集装箱三维定位结果；
集装箱信息识别：通过提取上一步骤集装箱及各个箱面分割区域，在图片清晰度足够的情况下，可识别集装箱堆叠数量，集装箱箱面危标、箱号等信息；绑扎识别：通过对图片中主要绑扎带进行识别，描绘绑扎带轮廓，确认每个箱子是否都加固完毕，从而发出预警。7.根据权利要求4所述的一种5g无人机动态ai巡检系统，其特征在于，所述作业区域目标巡检通过无人机视觉进行作业区域目标检测，对象包括道路检测，agv、工作人员以及其他作业区域可能存在的目标；所述作业区域目标巡检包括：作业区域类型分割，通过机器视觉对作业区域不同功能区进行划；目标定位，系统可实现对agv、内外集卡、工作人员的定位。8.根据权利要求4所述的一种5g无人机动态ai巡检系统，其特征在于，所述机械设备及区域位置巡检在无人机巡检过程中，需要人工检查包括高层建筑的外立面、钢结构、海侧的护舷、箱区轨道、导流堤及围堤的内容。9.根据权利要求1所述的一种5g无人机动态ai巡检系统，其特征在于，还包括客户端和服务器，所述客户端由浏览器承担所有显示、控制功能；所述服务器通过和数据系统对接为客户端提供数据显示支撑。10.根据权利要求1所述的一种5g无人机动态ai巡检系统，其特征在于，还包括云技术，所述云技术包括基础资源层和容器化层，所述基础资源层是由多台x86架构和拥有gpu能力的主机构建而成，做为云服务的硬件基础层，提供最基本的计算、存储、网络功能；所述容器化层是由kubernetes作为整体解决方案，所有应用程序，算法服务将以容器化的形式对外提供服务。
技术总结
本发明公开了一种5G无人机动态AI巡检系统，其包括：无人机，无人机用于实施拍摄巡航视频；无人机控制系统，无人机控制系统控制巡航路线，拍摄并回传实时巡航视频，同时无人机回传位置，电量信息；视频接入和识别输出系统，视频接入和识别输出系统接收实时视频数据，通过AI算法实时标识分析视频中的安全问题，视频接入和识别输出系统提供应急预案功能；以及无人机监控和预警系统，无人机监控和预警系统实时显示无人机巡航的安全问题的坐标、问题图片和应急预案；无人机控制系统、视频接入和识别输出系统、无人机监控和预警系统分别由单个屏幕显示。本发明可以有效降低人工成本，同时降低安全的风险，为自动化码头的数字化巡检提供助力。力。力。
