基于混合现实的机器人加工模拟系统
1.本发明涉及工业混联机器人加工轨迹验证系统，特别涉及一种基于混合现实的机器人加工模拟系统。
背景技术：
2.为了减轻飞机的重量，提高其承载能力和机动性，越来越多的零部件被应用于航空航天领域，例如航天器舱体，飞机机身等。航空航天中大型零部件铣削加工成本高，加工难度大。在机器人加工过程中,错误的加工指令会造成刀具在加工过程发生过切，欠切，碰撞等问题，从而使加工件、刀具报废，造成经济损失。
3.为了解决以上问题，需要加工轨迹生成后进行验证，传统的验证加工轨迹的方法有空切法，试切法，加工路径显示法。空切法基于人的肉眼观察，只能保证路径的大致正确，试切法则会增加成本，不适用于高价值材料的加工，加工路径显示法只能保证路径，无法展示实际加工后的效果，以上方法都存在不直观，低效率的问题。而离线仿真方式，往往无法直观的显示一些关键信息，而在实际生产过程中，机器人加工过程中应力变化，温度场，震动，有可能会使操作人员忽略掉一些关键信息，从而无法达到想要的加工效果。
4.混合现实技术，它是一种将真实世界信息和虚拟世界信息整合进现实的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,触觉等),通过计算机模拟仿真后将虚拟的信息应用到真实世界，被人类感官所感知，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。混合现实最大的优点是直观，便捷。
5.现有的混合现实技术为：通过对机床与工件进行建模，使操作人在佩戴混合现实设备时操作虚拟机床对虚拟工件进行加工，达到验证加工轨迹的效果。现有的公开技术集中在机床的加工仿真上，与新兴的机器人加工则很少有结合。并且构建的虚拟机床往往无法复现真实机床机理，使得虚拟机床加工轨迹效果与真实轨迹加工效果差异较大，精度差。混合现实设备运行时由于计算量大出现卡顿现象，影响实时性。
技术实现要素：
6.本发明的目的为了克服现有技术中的不足，提出一种基于混合现实的机器人加工仿真系统，能够实现精确，实时实现加工模拟的效果。
7.本发明的目的是通过以下技术方案实现的：
8.本发明基于混合现实的机器人加工模拟系统，包括：
9.混联机器人，在所述的混联机器人的末端安装有真实刀具，所述混联机器人用于执行由计算机输入的待验证的真实刀具的加工轨迹，且在真实刀具按照待验证的加工轨迹进行切削过程中，混联机器人上的传感器采集真实刀具振动信息并通过混联机器人的控制器传输给计算机；
10.相机，所述相机用于实时采集混联机器人按照待验证的加工轨迹进行切削过程中
混联机器人末端图像，然后将混联机器人末端图像输出给计算机；
11.计算机，所述计算机用于接受混联机器人控制器输入的真实刀具振动信息并通过远程通讯模块输出给信息显示模块中的ui面板显示模块，以及实时接收相机输入的混联机器人末端图像，将混联机器人末端图像输出到安装在计算机上的刀具定位模块，所述的刀具定位模块包括物体识别模块和位姿估计模块，所述的物体识别模块用于读取相机输出的混联机器人末端图像并通过机器学习算法实现对机器人末端图像中真实刀具的检测，将图像中检测出的真实刀具采用矩形窗口框选，对框选的区域使用特征提取算法进行真实刀具关键点特征提取；所述的位姿估计模块用于将提取的真实刀具关键点特征输入位姿求解器对真实刀具位姿进行求解,然后将求解得的真实刀具位姿输入滤波算法中进行稳定处理，将稳定后的真实刀具位姿通过相机坐标系{tb}相对于机器人末端坐标系{ta}的齐次变换矩阵变换后得到真实刀具在相机坐标系{tb}下的位姿，将真实刀具在相机坐标系{tb}下的位姿和齐次变换矩阵输出到远程通讯模块；
12.混合现实设备，在所述的混合现实设备中安装有铣削模拟模块、信息显示模块和指令接收和输出模块；铣削模拟模块包括虚实配合模块和加工铣削模块，在所述的加工铣削模块中设置有通过unity开发得到的虚拟刀具与虚拟工件，所述虚实配合模块用于读取位姿估计模块通过远程通讯模块传输的机器人末端的真实刀具的位姿和齐次变换矩阵并读取由空间锚定模块输入的相机坐标系{tb}相对于混合现实坐标系{tc}的齐次变换矩阵根据等式解出机器人末端坐标系{ta}相对于建立在混合现实设备位置处的混合现实坐标系的转换关系将在机器人末端坐标系{ta}下的真实刀具位姿通过坐标系转化得到真实刀具在混合现实坐标系{tc}下的位姿，由工件坐标系{td}相对于混合现实坐标系{tc}齐次变换矩阵结合等式解出机器人末端的真实刀具在工件坐标系{td}下的位置，虚拟工件放置在混合现实设备中工件坐标系{td}下设定位置，由真实刀具位置和虚拟工件位置可解出真实刀具与虚拟工件在工件坐标系下的位姿关系并输出给加工铣削模块；
13.所述的指令接收和输出模块，用于接收人机交互模块输入的启停指令并输出给混联机器人的控制器，如果输入的启停指令为开始执行，则所述的控制器将由计算机输入的待验证的真实刀具的加工轨迹处理成混联机器人可识别的控制指令，驱动混联机器人执行待验证的真实刀具的加工轨迹；
14.所述的加工铣削模块，用于读取真实刀具与虚拟工件在工件坐标系{td}下的位姿，然后将真实刀具在工件坐标系{td}下的位姿实时赋给虚拟刀具，使得真实刀具与虚拟刀具在混合现实设备中位置重合，混联机器人在接收指令接收和输出模块输出的启动信号后，混联机器人的真实刀具和混合现实设备中的虚拟刀具共同按照待验证的真实刀具的加工轨迹运动，其中，虚拟刀具和虚拟工件进行切削碰撞求交运算，碰撞发生时去除虚拟工件上与虚拟刀具相交部分，将切削后的虚拟工件的渲染物体信息实时输出给信息显示模块中的视觉渲染模块，切削过程中混联机器人上的传感器采集真实刀具振动信息并通过混联机器人的控制器传输给计算机；所述虚拟刀具与机器人末端真实刀具大小相等，形状相同，所述虚拟工件与待加工的真实工件大小相等，形状相同；
15.所述信息显示模块包括三维重建模块、空间锚定模块、视觉渲染模块和ui面板显示模块，所述ui面板显示模块中设置有通过unity开发得到的虚拟ui面板，所述三维重建模块用于读取混合现实设备周围环境的分散点云信息，通过对分散点云信息进行点云融合处理完成对混合现实设备周围环境的三维重建，得到整体环境点云信息，将整体环境点云信息输出到空间锚定模块；
16.所述空间锚定模块用于读取三维重建模块输入的整体环境点云信息，经过slam算法处理获得相机坐标系{tb}相对于混合现实坐标系{tc}的齐次变换矩阵将输出到铣削模拟模块中的虚实配合模块；
17.所述视觉渲染模块用于读取加工铣削模块输入的渲染物体信息，通过混合现实设备自带的视觉算法渲染，将虚拟工件投影到混合现实设备的镜片上，操作人员通过混合现实设备观察虚拟工件在切削过程中的效果，即可验证真实刀具加工轨迹是否正确：
18.所述ui面板显示模块用于接受计算机通过远程通讯模块输入的振动信息和刀具定位模块输入的真实刀具位姿信息，将真实刀具振动信息以及真实刀具位姿信息显示在虚拟ui面板上，操作人员能够通过观测虚拟ui面板上的真实刀具振动信息判断加工轨迹是否需要进行优化；
19.所述人机交互模块，用于接收混合现实设备上传感器采集的人的手势、语音数据并对数据进行语义分割处理转换后，将启停指令输出给混合现实设备的指令接收和输出模块。
20.与现有技术相比，本发明具有以下优势：
21.1.本发明能够实时在线检测真实刀具位置、姿态。
22.2.本发明可以精确的将虚拟的工件放置于真实的夹具上，配合相机检测真实刀具位置、姿态并赋予给虚拟刀具，让虚拟刀具代替真实刀具铣削虚拟工件，通过观察虚拟工件加工效果，以解决大型零部件铣削过程中轨迹验证的问题。
23.3.本发明提高了加工模拟的铣削精度，减少了验证加工轨迹时间，能够快速验证各类航天零部件的铣削轨迹，具有很好的经济性。
24.4.本发明效果直观，便于操作者使用。能够收集，整合铣削加工过程中各种可见，不可见数据，实时准确的展示给操作者。
附图说明
25.图1是本发明基于混合现实的机器人加工模拟系统组成示意图；
26.图2是本发明基于混合现实的机器人加工模拟系统结构示意图；
27.图3是本发明基于混合现实的机器人加工模拟系统流程示意图；
具体实施方式
28.下面结合附图和具体实施过程对本发明进行详细描述。
29.如图1所示，本发明基于混合现实的机器人加工模拟系统，包括：
30.混联机器人，在所述的混联机器人的末端安装有真实刀具。所述混联机器人用于执行由计算机输入的待验证的真实刀具的加工轨迹，且在真实刀具按照待验证的加工轨迹进行切削过程中，混联机器人上的传感器采集真实刀具振动信息并通过混联机器人的控制
器传输给计算机。所述混联机器人可以选用现有的trimule-800混联机器人。
31.相机，所述相机用于实时采集混联机器人按照待验证的加工轨迹进行切削过程中混联机器人末端图像，然后将混联机器人末端图像输出给计算机。所述相机可以采用zed双目相机。
32.计算机，所述计算机用于接受混联机器人控制器输入的真实刀具振动信息并通过远程通讯模块输出给信息显示模块中的ui面板显示模块，以及实时接收相机输入的混联机器人末端图像，将混联机器人末端图像输出到安装在计算机上的刀具定位模块。所述的刀具定位模块用于实时识别机器人末端刀具，并求解刀具的位置与姿态。所述刀具定位模块包括物体识别模块和位姿估计模块，所述的物体识别模块用于读取相机输出的混联机器人末端图像并通过机器学习算法(例如svm算法，具体参见论文vapnik,v.and chervonenkis,a.,1964.a note on class of perceptron.automation and remote control,24.(支持向量机))实现对机器人末端图像中真实刀具的检测，将图像中检测出的真实刀具采用矩形窗口框选，对框选的区域使用特征提取算法(例如orb算法，具体参见论文rublee e,rabaud v,konolige k,et al.orb:an efficient alternative to sift or surf[c].international conference on computer vision.ieee computer society,2011:2564-2571(一种sift算法和surf算法的有效替代))进行真实刀具关键点特征提取；
[0033]
位姿估计模块，所述的位姿估计模块用于将提取的真实刀具关键点特征输入位姿求解器(例如epnp，具体参见论文lepetit,v.,moreno-noguer,f.&fua,p.epnp:an accurate o(n)solution to the pnpproblem.int j computvis 81,155
–
166(2009)(一种pnp问题的精确解决方法))对真实刀具位姿进行求解,然后将求解得的真实刀具位姿(机器人末端的真实刀具位姿包括刀具在机器人末端坐标系{ta}下x,y,z轴位置和绕x,y,z轴的旋转姿态)输入滤波算法(例如卡尔曼滤波，具体参见论文yoon y,kosaka a,kak a c.anew kalman-filter-based framework for fast and accurate visual tracking of rigid objects[j].ieee transactions on robotics,2008.(一种新式基于卡尔曼滤波器的刚性目标快速精确视觉跟踪框架))中进行稳定处理，将稳定后的真实刀具位姿通过相机坐标系{tb}相对于机器人末端坐标系{ta}的齐次变换矩阵变换后得到真实刀具在相机坐标系{tb}下的位姿，将真实刀具在相机坐标系{tb}下的位姿和齐次变换矩阵输出到远程通讯模块。
[0034]
机器人末端坐标系{ta}为：以混联机器人末端刀具质心原点为坐标原点，沿刀具轴向建立za轴，沿刀具径向建立xa轴，根据右手定理建立ya轴。
[0035]
相机坐标系{tb}为：以相机主摄像头中心为坐标原点，沿水平方向中心建立xb轴，沿垂直方向建立yb轴，根据右手定理建立zb轴。
[0036]
刀具定位模块具有物体识别，位姿估计的功能；其中所述物体识别功能，通过识别算法在相机输入的图像中识别机器人末端真实刀具，实时跟踪末端真实刀具并用矩形方框框住；所述位姿估计功能使用上一步框选的机器人末端真实刀具图像，配合位姿求解器求得机器人末端真实刀具实时位姿。
[0037]
混合现实设备，在所述的混合现实设备中安装有铣削模拟模块、信息显示模块和指令接收和输出模块。所述的铣削模拟模块用于实现真实刀具加工虚拟工件的功能。为了
实现此功能，需要设置虚拟刀具，使真实刀具与虚拟刀具大小、形状、位置重合，让虚拟刀具代替真实刀具对虚拟工件进行铣削加工。同时将虚拟刀具设置为不可见，从而使操作人员看到真实刀具加工虚拟工件的效果。铣削模拟模块包括虚实配合模块和加工铣削模块，在所述的加工铣削模块中设置有通过unity开发得到的虚拟刀具与虚拟工件。所述虚实配合模块用于读取位姿估计模块通过远程通讯模块(可采用现有的tcp通讯协议)传输的机器人末端的真实刀具的位姿和齐次变换矩阵并读取由空间锚定模块输入的相机坐标系{tb}相对于混合现实坐标系{tc}的齐次变换矩阵根据等式解出机器人末端坐标系相对于混合现实坐标系的转换关系将在机器人末端坐标系{ta}下的真实刀具位姿通过坐标系转化得到真实刀具在混合现实坐标系{tc}的位姿。由工件坐标系{td}相对于混合现实坐标系{tc}齐次变换矩阵结合等式解出机器人末端的真实刀具在工件坐标系{td}下的位置。虚拟工件放置在混合现实设备中工件坐标系{td}下设定位置，由真实刀具位置和虚拟工件位置可解出真实刀具与虚拟工件在工件坐标系下的位姿关系并输出给加工铣削模块。
[0038]
其中：混合现实坐标系{tc}为：以混合现实设备上的相机光心为中心坐标原点，沿相机平面水平方向中心建立xc轴，沿相机垂直方向建立yc轴，根据右手定理建立zc轴。
[0039]
工件坐标系{td}为：以虚拟工件中心为坐标原点，沿平行于刀具侧面方向建立xd轴，沿垂直于虚拟工件底面方向建立zd轴，根据右手定理建立xd轴。
[0040]
所述的指令接收和输出模块，用于接收人机交互模块输入的启停指令(是否开始执行加工轨迹)并输出给混联机器人的控制器，如果输入的启停指令为开始执行，则控制器将由计算机输入的待验证的真实刀具的加工轨迹处理成混联机器人可识别的控制指令，驱动混联机器人执行待验证的真实刀具的加工轨迹。
[0041]
所述的加工铣削模块，用于读取真实刀具与虚拟工件在工件坐标系{td}下的位姿，然后将真实刀具在工件坐标系{td}下的位姿实时赋给虚拟刀具，使得真实刀具与虚拟刀具在混合现实设备中位置重合。混联机器人在接收指令接收和输出模块输出的启动信号后，混联机器人的真实刀具和混合现实设备中的虚拟刀具共同按照待验证的真实刀具的加工轨迹运动。其中，虚拟刀具和虚拟工件进行切削碰撞求交运算，碰撞发生时去除虚拟工件上与虚拟刀具相交部分。将切削后的虚拟工件的渲染物体信息实时输出给信息显示模块中的视觉渲染模块。切削过程中混联机器人上的传感器采集真实刀具振动信息并通过混联机器人的控制器传输给计算机。所述虚拟刀具与机器人末端真实刀具大小相等，形状相同；所述虚拟工件与待加工的真实工件大小相等，形状相同。
[0042]
所述的铣削模拟模块执行以下步骤：
[0043]
步骤101，通过混合现实设备输入的机器人末端的真实刀具位姿，根据等式即机器人末端坐标系{ta}相对于混合现实坐标系{tc}的齐次变换矩阵由刀具位姿估计模块输入，由空间锚定模块输入。对机器人末端的真实刀具位姿从机器人末端坐标系{ta}到混合现实坐标系{tc}进行坐标系对齐，将设置在混合现实坐标系{tc}下的虚拟刀具与机器人末端的真实刀具在混合现实坐标系{tc}下的位置进行重
合。由工件坐标系{td}相对于混合现实坐标系{tc}齐次变换矩阵结合等式可解出机器人末端的真实刀具在工件坐标系{td}下的位置，使虚拟刀具与虚拟工件统一在同一坐标系{td}下，由真实刀具位置和虚拟工件位置可获得虚拟刀具相对于虚拟工件的位姿，进而可以判断虚拟刀具与虚拟工件是否发生碰撞。
[0044]
为机器人末端坐标系{ta}相对于混合现实坐标系{tc}的齐次变换矩阵；为相机坐标系{tb}相对于混合现实坐标系{tc}的齐次变换矩阵；为工件坐标系{td}相对于混合现实坐标系{tc}齐次变换矩阵；其中{ta}代表机器人末端坐标系，{tb}代表相机坐标系，{tc}代表混合现实坐标系，{td}代表工件坐标系。
[0045]
步骤102，通过获得虚拟刀具相对于虚拟工件的位姿，判断虚拟刀具与虚拟工件是否发生碰撞；若发生碰撞发生，则去除虚拟工件上与虚拟刀具相交部分。然后将虚拟工件的渲染物体信息(包括虚拟工件的形状，大小，位姿)实时输出给信息显示模块。
[0046]
所述信息显示模块包括三维重建模块、空间锚定模块、视觉渲染模块和ui面板显示模块。所述ui面板显示模块中设置有通过unity开发得到的虚拟ui面板。所述三维重建模块用于读取混合现实设备周围的环境的分散点云信息，通过对分散点云信息进行点云融合处理完成对混合现实设备周围环境的三维重建，得到整体环境点云信息，将整体环境点云信息输出到空间锚定模块；
[0047]
所述空间锚定模块用于读取三维重建模块输入的整体环境点云信息，经过slam算法(具体可见论文davision a j.slam with a single camera[c].proceed-ings of workshop on concurrent mapping an localization for autonomous mobile robots in conjunction with icda.washington,dc,usa，2002：18-27(单目即时定位与地图构建))处理获得相机坐标系{tb}相对于混合现实坐标系{tc}的齐次变换矩阵将输出到铣削模拟模块中的虚实配合模块，为虚实配合模块中求解的等式中所需一部分；
[0048]
所述视觉渲染模块用于读取加工铣削模块输入的渲染物体信息，通过混合现实设备自带的视觉算法渲染，使虚拟工件投影到混合现实设备的镜片上，操作人员通过混合现实设备观察虚拟工件在铣削过程中的效果，即可验证真实刀具加工轨迹是否正确；
[0049]
所述ui面板显示模块用于接受计算机通过远程通讯模块输入的加工信息(真实刀具的振动信息)和刀具定位模块输入的真实刀具位姿信息，将真实刀具振动信息以及真实刀具位姿信息显示在虚拟ui面板上。真实刀具振动的原因不是切削工件时产生的振动，而是由于机器人轨迹设计不合理，导致速度，加速度突变产生的振动。振动通过肉眼很难观测，需要传感器测量，操作人员能够通过观测虚拟ui面板上的真实刀具振动信息判断加工轨迹是否需要进行优化。
[0050]
所述人机交互模块采用混合现实设备上自带的人机交互模块即可，用于接收混合现实设备上传感器采集的人的手势、语音数据并对数据进行语义分割处理转换后(将手势、语音转化为设备可执行的启停指令)，将启停指令输出给混合现实设备的指令接收和输出模块。
[0051]
所述人机交互模块是人与混合现实设备投影出的虚拟三维物体进行交互的模块，
通过输入人的手势、语音数据，经过人机交互模块对数据进行处理转换后，向混合现实设备发送启停指令。具有手势识别模块、语音识别模块、按键交互模块；其中所述手势识别模块可以实时识别人手手势，包括食指点击代表单击一次按钮，握拳代表展开主菜单；所述语音识别模块识别人发出的语音指令，并执行相应的操作；所述按键交互模块使操作人员能够点击人机交互模块上的虚拟ui输入面板上的按钮，实现相应功能。所述虚拟ui输入面板用于通过人机交互模块向混合现实设备输入启停指令，虚拟ui输入面板可通过unity软件开发得到。
[0052]
如图3所示，所述混合现实设备的工作过程为：接收计算机通过远程通讯模块输入的真实刀具振动信息并输出给混合现实设备上信息显示模块中的ui面板显示模块；接收刀具定位模块通过远程通讯模块传输的机器人末端的真实刀具位姿，并将接收的真实刀具位姿输入铣削模拟模块中虚实配合模块；三维重建模块通过混合现实设备上的相机采集周围环境的点云信息得到整体环境点云信息并输出到空间锚定模块；空间锚定模块读取三维重建模块输入的整体环境点云信息，经过slam算法处理获得并输出到虚实配合模块；虚实配合模块读取位姿估计模块传输的机器人末端的真实刀具的位姿和齐次变换矩阵并读取由空间锚定模块输入的相机坐标系{tb}相对于混合现实坐标系{tc}的齐次变换矩阵将解得的真实刀具与虚拟工件在工件坐标系{td}下的位姿关系输出给加工铣削模块；加工铣削模块用于读取真实刀具与虚拟工件在工件坐标系{td}下的位姿，将切削后的虚拟工件的渲染物体信息实时输出给视觉渲染模块进行渲染；人机交互模块接收输入混合现实设备上传感器采集的人的手势、语音数据并对数据进行语义分割处理，处理完成后将启停指令通过混合现实设备上的指令接收和输出模块输出给混联机器人的控制器。所述混合现实设备可以采用现有的微软hololens2混合现实眼镜。
[0053]
以下对基于混合现实的机器人加工模拟系统的工作方式进行说明。
[0054]
第一步，操作人员佩戴混合现实设备并启动，系统自动开始初始化操作，通过混合现实设备的三维重建模块扫描周围环境并进行环境的三维重建，确定混合现实设备在现实空间中的位置，即混合现实坐标系{tc}。同时获得相机相对于混合现实设备的位置，即获得相机坐标系{tb}相对于混合现实坐标系{tc}齐次变换矩阵
[0055]
第二步，初始化完成后，操作人员可透过混合现实设备上镜片看到人机交互模块的虚拟ui输入面板。手指点击虚拟ui输入面板上的连接按钮，混合现实设备即可通过人机交互模块获得操作人员的连接指令来启动远程通讯模块，将计算机与混合现实设备远程连接，随后进行数据的传输。通过虚拟ui显示面板上的状态栏可观察连接是否成功。
[0056]
第三步，操作人员启动计算机上刀具定位模块，算法通过相机输入图像准确的计算机器人末端真实刀具的位置与姿态，从而获得机器人末端坐标系{ta}相对于相机坐标系{tb}齐次变换矩阵通过远程通讯模块将计算出的进行传输进混合现实设备中。混合现实设备接收数据，根据等式获得机器人末端坐标系{ta}相对于混合现实坐标系{tc}的齐次变换矩阵
[0057]
第四步，点击虚拟ui面板面板上生成按钮，启动铣削模拟模块进行虚拟工件与虚拟刀具的生成。完成生成后，操作人员可透过混合现实设备上镜片看到虚拟工件。由齐次变
换矩阵计算出真实刀具在混合现实坐标系{tc}下的位姿实时赋予给虚拟刀具，使得真实刀具与虚拟刀具在混合现实设备中位置重合。由工件坐标系{td}相对于混合现实坐标系{tc}齐次变换矩阵结合等式可解出虚拟刀具在工件坐标系{td}下的位置，使虚拟刀具与虚拟工件统一在工件坐标系{td}下，即可获得虚拟刀具相对于虚拟工件的位姿。通过虚拟ui显示面板上的状态栏可看到真实刀具位姿信息以及加工信息。
[0058]
第五步，混合现实设备上的人机交互模块中有自定义语音指令，操作人员能够通过语音来控制混联机器人开始执行待验证的加工轨迹。混联机器人在接收指令接收和输出模块输出的启动信号后，混联机器人的真实刀具和混合现实设备中的虚拟刀具共同按照待验证的真实刀具的加工轨迹运动。虚拟刀具和虚拟工件进行切削碰撞求交运算，碰撞发生时去除虚拟工件上与虚拟刀具相交部分。操作人员可透过混合现实设备镜片看到真实刀具铣削虚拟工件(虚拟刀具不可见)。操作人员通过混合现实设备观察虚拟工件在铣削过程中的效果，即可验证加工轨迹是否正确。
[0059]
第六步，通过人机握拳手势识别，能够使虚拟ui显示面板跟随操纵者。便于操作人员走动观察虚拟工件的同时能看到虚拟ui显示面板上的状态栏。
技术特征：
1.基于混合现实的机器人加工模拟系统，其特征在于包括：混联机器人，在所述的混联机器人的末端安装有真实刀具，所述混联机器人用于执行由计算机输入的待验证的真实刀具的加工轨迹，且在真实刀具按照待验证的加工轨迹进行切削过程中，混联机器人上的传感器采集真实刀具振动信息并通过混联机器人的控制器传输给计算机；相机，所述相机用于实时采集混联机器人按照待验证的加工轨迹进行切削过程中混联机器人末端图像，然后将混联机器人末端图像输出给计算机；计算机，所述计算机用于接受混联机器人控制器输入的真实刀具振动信息并通过远程通讯模块输出给信息显示模块中的ui面板显示模块，以及实时接收相机输入的混联机器人末端图像，将混联机器人末端图像输出到安装在计算机上的刀具定位模块，所述的刀具定位模块包括物体识别模块和位姿估计模块，所述的物体识别模块用于读取相机输出的混联机器人末端图像并通过机器学习算法实现对机器人末端图像中真实刀具的检测，将图像中检测出的真实刀具采用矩形窗口框选，对框选的区域使用特征提取算法进行真实刀具关键点特征提取；所述的位姿估计模块用于将提取的真实刀具关键点特征输入位姿求解器对真实刀具位姿进行求解,然后将求解得的真实刀具位姿输入滤波算法中进行稳定处理，将稳定后的真实刀具位姿通过相机坐标系{t
b
}相对于机器人末端坐标系{t
a
}的齐次变换矩阵变换后得到真实刀具在相机坐标系{t
b
}下的位姿，将真实刀具在相机坐标系{t
b
}下的位姿和齐次变换矩阵输出到远程通讯模块；混合现实设备，在所述的混合现实设备中安装有铣削模拟模块、信息显示模块和指令接收和输出模块；铣削模拟模块包括虚实配合模块和加工铣削模块，在所述的加工铣削模块中设置有通过unity开发得到的虚拟刀具与虚拟工件，所述虚实配合模块用于读取位姿估计模块通过远程通讯模块传输的机器人末端的真实刀具的位姿和齐次变换矩阵并读取由空间锚定模块输入的相机坐标系{t
b
}相对于混合现实坐标系{t
c
}的齐次变换矩阵根据等式解出机器人末端坐标系{t
a
}相对于建立在混合现实设备位置处的混合现实坐标系的转换关系将在机器人末端坐标系{t
a
}下的真实刀具位姿通过坐标系转化得到真实刀具在混合现实坐标系{t
c
}下的位姿，由工件坐标系{t
d
}相对于混合现实坐标系{t
c
}齐次变换矩阵结合等式解出机器人末端的真实刀具在工件坐标系{t
d
}下的位置，虚拟工件放置在混合现实设备中工件坐标系{t
d
}下设定位置，由真实刀具位置和虚拟工件位置可解出真实刀具与虚拟工件在工件坐标系下的位姿关系并输出给加工铣削模块；所述的指令接收和输出模块，用于接收人机交互模块输入的启停指令并输出给混联机器人的控制器，如果输入的启停指令为开始执行，则所述的控制器将由计算机输入的待验证的真实刀具的加工轨迹处理成混联机器人可识别的控制指令，驱动混联机器人执行待验证的真实刀具的加工轨迹；所述的加工铣削模块，用于读取真实刀具与虚拟工件在工件坐标系{t
d
}下的位姿，然后将真实刀具在工件坐标系{t
d
}下的位姿实时赋给虚拟刀具，使得真实刀具与虚拟刀具在混合现实设备中位置重合，混联机器人在接收指令接收和输出模块输出的启动信号后，混联
机器人的真实刀具和混合现实设备中的虚拟刀具共同按照待验证的真实刀具的加工轨迹运动，其中，虚拟刀具和虚拟工件进行切削碰撞求交运算，碰撞发生时去除虚拟工件上与虚拟刀具相交部分，将切削后的虚拟工件的渲染物体信息实时输出给信息显示模块中的视觉渲染模块，切削过程中混联机器人上的传感器采集真实刀具振动信息并通过混联机器人的控制器传输给计算机；所述虚拟刀具与机器人末端真实刀具大小相等，形状相同，所述虚拟工件与待加工的真实工件大小相等，形状相同；所述信息显示模块包括三维重建模块、空间锚定模块、视觉渲染模块和ui面板显示模块，所述ui面板显示模块中设置有通过unity开发得到的虚拟ui面板，所述三维重建模块用于读取混合现实设备周围环境的分散点云信息，通过对分散点云信息进行点云融合处理完成对混合现实设备周围环境的三维重建，得到整体环境点云信息，将整体环境点云信息输出到空间锚定模块；所述空间锚定模块用于读取三维重建模块输入的整体环境点云信息，经过slam算法处理获得相机坐标系{t
b
}相对于混合现实坐标系{t
c
}的齐次变换矩阵将输出到铣削模拟模块中的虚实配合模块；所述视觉渲染模块用于读取加工铣削模块输入的渲染物体信息，通过混合现实设备自带的视觉算法渲染，将虚拟工件投影到混合现实设备的镜片上，操作人员通过混合现实设备观察虚拟工件在切削过程中的效果，即可验证真实刀具加工轨迹是否正确；所述ui面板显示模块用于接受计算机通过远程通讯模块输入的振动信息和刀具定位模块输入的真实刀具位姿信息，将真实刀具振动信息以及真实刀具位姿信息显示在虚拟ui面板上，操作人员能够通过观测虚拟ui面板上的真实刀具振动信息判断加工轨迹是否需要进行优化；所述人机交互模块，用于接收混合现实设备上传感器采集的人的手势、语音数据并对数据进行语义分割处理转换后，将启停指令输出给混合现实设备的指令接收和输出模块。
技术总结
本发明公开了基于混合现实的机器人加工模拟系统,包括：人机交互模块将操作人员语音、手势转化为启停指令，通过指令接收和输出模块发送给混联机器人控制器，使其执行待验证的真实刀具的加工轨迹。相机采集混联机器人切削过程中末端图像。刀具定位模块通过图像实时识别机器人末端真实刀具，并求解刀具的位姿。铣削模拟模块用于将真实刀具与虚拟刀具位姿重合，使虚拟刀具代替真实刀具加工虚拟工件。信息显示模块投影虚拟UI面板和虚拟工件。虚拟UI显示面板上显示真实刀具位姿信息以及加工信息并有多个功能按钮。通过观察虚拟工件在铣削过程中的效果，验证加工轨迹是否正确。本发明提高了加工模拟的铣削精度，减少了验证加工轨迹时间。间。间。
