一种基于IMU和视频流的下肢外骨骼控制装置及方法
一种基于imu和视频流的下肢外骨骼控制装置及方法
技术领域
1.本发明属于外骨骼机器人领域，特别是涉及一种基于imu和视频流的下肢外骨骼控制装置及方法。
背景技术：
2.外骨骼机器人在军事、医疗和工业领域都有着广阔的应用前景，在医疗康复领域，康复外骨骼可以帮助患有脊髓脊柱损伤、脑卒中损伤和脑外伤等疾病的患者进行康复训练，帮助他们恢复运动能力。对于康复外骨骼来说，获取人体准确的步态信息并将其转换为外骨骼的控制信号是一项非常重要的技术，目前的研究主要通过表面肌电仪、足底压力传感器以及红外传感器等传感器来获取人体运动信息，但以上方式获取人体运动状态的方法存在的误差较大，并不能准确识别人体的步态信息，这就会导致步态控制方案不够精准，达不到理想的人机交互效果，除此之外，目前的研究在执行助力的时候还对使用者相应的肌肉施加了电刺激，导致实现起来难度较大，同时可能会对使用者造成伤害，这就导致外骨骼控制算法精准度差、鲁棒性降低，进而使康复外骨骼无法为患者提供精准的康复训练。
技术实现要素：
3.针对现有技术中的上述不足，本发明的一种基于imu和视频流的下肢外骨骼控制装置及方法能够准确获取人体的步态信息，同时，本发明采用非侵入性手段获取运动数据，能够避免对人体造成伤害和降低使用难度，进而为使用者提供精准的康复训练。
4.为了达到上述发明目的，本发明采用的技术方案为：一种基于imu和视频流的下肢外骨骼控制装置包括imu、髋关节伺服电机、膝关节伺服电机、中央处理器、嵌入式控制器、电源模块和摄像头，所述imu置于装置的四个关节环处，所述髋关节伺服电机和膝关节伺服电机均置于装置等轴侧壁上，所述中央处理器、嵌入式控制器以及电源模块均置于装置背面面板上，所述摄像头独立于装置外且正对装置侧轴，所述中央处理器分别与imu、摄像头和嵌入式控制器通信连接，所述嵌入式控制器同时与髋关节伺服电机和膝关节伺服电机通信连接，所述电源模块分别与imu、髋关节伺服电机、膝关节伺服电机和中央处理器、嵌入式控制器和摄像头电连接。
5.上述方案的有益效果是：通过上述技术方案，能够实时、精确获取患者的运动信息，实现良好的人机交互，为使用者提供精准的辅助力矩以完成康复训练。
6.进一步地，髋关节伺服电机连接上方的两个髋关节环，膝关节伺服电机连接下方的两个膝关节环。
7.上述进一步方案的有益效果是：上述技术方案中，髋关节伺服电机控制髋关节环，对使用者的髋关节实行训练，而膝关节伺服电机控制膝关节环，对使用者的膝关节实行训练。
8.进一步地，imu置于关节环外侧，关节环由金属和柔性绑带连接而成。
9.上述进一步方案的有益效果是：上述技术方案中关节环由金属和柔性绑带构成，
可以为使用者提供良好的支撑与绑缚，使外骨骼更好的贴合人体保证了施加辅助力矩的准确性。
10.进一步地，髋关节环和膝关节环均置于装置竖轴内侧，髋关节伺服电机和膝关节伺服电机置于装置竖轴外侧，且置于两竖轴内侧的髋关节环、膝关节环和脚踏板均位于同一竖直平面。
11.上述进一步方案的有益效果是：上述技术方案能够保证使用者穿戴外骨骼运动时的柔顺性，且不会因为外骨骼的结构妨碍运动，装置的结构设计也为使用者提供更好的体验。
12.进一步地，控制装置还包括高度调节装置，所述控制装置中的两竖轴利用高度调节装置可自由调节高度。
13.上述进一步方案的有益效果是：上述技术方案能够灵活调节装置竖轴的高度，根据使用者的身高等个人情况来调节不同的高度，为使用者提供更舒适方便的训练服务，同时，可灵活调节也扩大了使用者范围。
14.除此之外，本发明还采用的技术方案为：一种基于imu和视频流的下肢外骨骼控制方法，其特征在于，所述方法包括以下步骤：
15.s1：利用imu和视频流方式采集使用者的运动信息；
16.s2：利用中央处理器将采集到的运动信息依据深度学习算法进行融合处理，生成嵌入式控制系统的输入信号；
17.s3：将经中央处理器处理后的信号传输至嵌入式控制器进行信号转换；
18.s4：利用嵌入式控制器依据转换的信号控制关节伺服电机，电机输出辅助力矩和旋转角度；
19.s5：利用关节伺服电机中的角度传感器和力矩传感器监测下肢外骨骼是否执行到目标位置并将执行状态反馈回中央处理器，如果未达到预期目标值，中央处理器会对此次误差进行计算，并对下一次关节角度和关节力矩的预测值进行及时调整。
20.上述方案的有益效果是：上述技术方案利用imu和视频流方式能够准确获取运动者的步态信息，实现更容易，能够减少对人体的伤害，同时，关节传感器和力矩传感器会监测当前下肢外骨骼的运动状态，并及时反馈给中央处理器进行分析处理，减少装置的使用误差，为使用者提供更精确的训练。
21.进一步地，s2中深度学习算法包括以下分步骤：
22.s2-1：将摄像机采集的视频流数据输入到用于人体姿态估计的堆叠沙漏网络中获得人体下肢关键点的坐标，并计算得到关节角度；
23.s2-2：将imu采集的数据和基于视频流数据计算得到的关节角度按照一定的权重进行融合后输入至cnn-lstm深度神经网络；
24.s2-3：将融合的imu数据和基于视频流数据计算得到的关节角度进行滤波和特征提取，利用cnn-lstm深度神经网络判断当前时刻的运动状态及步态相位；
25.s2-4：通过cnn-lstm深度神经网络算法根据包括当前时刻t在内的前50ms数据预测t+1ms时刻的关节力矩和关节角度；
26.s2-5：生成嵌入式控制系统的输入信号。
27.上述进一步方案的有益效果是：上述技术方案利用深度学习算法，对获取到的人
体步态信息进行分析处理，进而预测下一时刻的关节力矩和关节角度，同时将预测结果转换为嵌入式控制系统的信号输入。
28.进一步地，s3中嵌入式控制器采用串级pid闭环控制算法，将预测关节角度以及预测关节力矩作为嵌入式控制器的输入，利用位置控制器和力矩控制器控制电机运转。
29.上述进一步方案的有益效果是：上述方案将控制信号转换成电机输出的辅助力矩和旋转角度，以实现良好的人机交互性和良好的康复效果。
附图说明
30.图1为基于imu和视频流的下肢外骨骼控制装置的等轴侧视图。
31.图2为基于imu和视频流的下肢外骨骼控制装置的外骨骼背视图。
32.图3为基于imu和视频流的下肢外骨骼控制方法原理图。
33.图4为基于imu和视频流的下肢外骨骼控制方法流程图。
34.图5为串级pid控制算法流程图。
35.其中：1、惯性传感单元(imu)；2、髋关节伺服电机；3、高度调节装置；4、膝关节伺服电机；5、中央处理器；6、嵌入式控制器；7、电源模块；8、摄像头。
具体实施方式
36.下面结合附图和具体实施例对本发明做进一步说明。
37.实施例1，如图1和图2所示，一种基于imu和视频流的下肢外骨骼控制装置，包括imu1、髋关节伺服电机2、膝关节伺服电机4、中央处理器5、嵌入式控制器6、电源模块7和摄像头8，其中，imu1置于装置的每个关节环处，髋关节伺服电机2和膝关节伺服电机4均置于装置等轴侧壁上，中央处理器5、嵌入式控制器6以及电源模块7均置于装置背面面板上，摄像头8独立于装置外且正对装置侧轴，中央处理器5分别与imu1、摄像头8和嵌入式控制器6通信连接，嵌入式控制器6同时与髋关节伺服电机2和膝关节伺服电机4通信连接，电源模块7分别与imu1、髋关节伺服电机2、膝关节伺服电机4和中央处理器5、嵌入式控制器6和摄像头8电连接。
38.其中，髋关节伺服电机2连接上方的两个髋关节环，膝关节伺服电机4连接下方的两个膝关节环，imu1置于关节环外侧，关节环由金属和柔性绑带连接而成，髋关节环和膝关节环均置于装置竖轴内侧，髋关节伺服电机2和膝关节伺服电机4置于装置竖轴外侧，且置于两竖轴内侧的髋关节环、膝关节环和脚踏板均位于同一竖直平面，控制装置还包括高度调节装置3，所述控制装置中的两竖轴利用高度调节装置3可自由调节高度。
39.实施例2，如图3和图4所示，一种基于imu和视频流的下肢外骨骼控制方法，其特征在于，所述方法包括以下步骤：
40.s1：利用imu和视频流方式采集使用者的运动信息；
41.s2：利用中央处理器将采集到的运动信息依据深度学习算法进行融合处理，生成嵌入式控制系统的输入信号；
42.s3：将经中央处理器处理后的信号传输至嵌入式控制器进行信号转换；
43.s4：利用嵌入式控制器依据转换的信号控制关节伺服电机，电机输出辅助力矩和旋转角度；
44.s5：利用关节伺服电机中的角度传感器和力矩传感器监测下肢外骨骼是否执行到目标位置并将执行状态反馈回中央处理器，如果未达到预期目标值，中央处理器会对此次误差进行计算，并对下一次关节角度和关节力矩的预测值进行及时调整。
45.其中，s2中深度学习算法包括以下分步骤：
46.s2-1：将摄像机采集的视频流数据输入到用于人体姿态估计的堆叠沙漏网络中获得人体下肢关键点的坐标，并计算得到关节角度；
47.s2-2：将imu采集的数据和基于视频流数据计算得到的关节角度按照一定的权重进行融合后输入至cnn-lstm深度神经网络；
48.s2-3：将融合的imu数据和基于视频流数据计算得到的关节角度进行滤波和特征提取，利用cnn-lstm深度神经网络判断当前时刻的运动状态及步态相位；
49.s2-4：通过cnn-lstm深度神经网络算法根据包括当前时刻t在内的前50ms数据预测t+1ms时刻的关节力矩和关节角度；
50.s2-5：生成嵌入式控制系统的输入信号。
51.s3中嵌入式控制器采用串级pid闭环控制算法，将预测关节角度以及预测关节力矩作为嵌入式控制器的输入，利用位置控制器和力矩控制器控制电机运转。
52.串级pid控制算法分为三环，位置控制器为第一环，速度控制器为第二环，力矩控制器为第三环。具体实现流程如图5所示为：基于深度学习算法获得的期望关节角度以及期望关节力矩作为pid控制算法的输入，位置控制器根据期望角度θ控制电机的旋转角度，并以角度传感器监测的实际旋转角度θ1作为反馈进行实时调整以消除电机旋转角度的累积误差，速度环控制器根据位置增量计算出期望的转速ω，力矩控制器根据期望输出力矩m控制电机的输出力矩，并以力矩传感器监测的实际输出力矩m1作为反馈以进行实时调整以消除输出力矩的累积误差。
53.在本发明的一个实施例中，通过视频流和imu采集使用者的运动信息，利用深度学习算法基于视频流和imu的融合数据实现对使用者实时的姿态识别，并对下一时刻的关节角度和关节力矩进行预测，生成嵌入式系统的控制输入，嵌入式控制器采用串级pid闭环控制算法，将控制信号转换成电机输出的辅助力矩、旋转角度和角速度，以实现良好的人机交互性和良好的康复效果，控制外骨骼的电机输出相应的辅助力矩并且运动到预期位置，利用力矩传感器和角度传感器对电机的输出力矩和旋转角度进行监测，并将执行状态反馈给中央处理器，如果未达到预期目标值，通过利用中央处理器对此次误差进行计算，并对下一次关节角度和关节力矩的预测值进行及时调整以实现外骨骼的闭环控制，本方案能够避免系统运行一段时间后可能产生的累积误差，同时提高系统的稳定性和执行精度。
54.本发明用到的深度学习算法集成了两个深度神经网络，分别是用于人体姿态估计的堆叠沙漏网络以及用于预测关节角度和关节力矩的cnn-lstm的深度神经网络。其具体实现流程为：由摄像机拍摄的人体穿戴外骨骼步行时的视频，被拆解成一帧一帧的图像，输入到用于人体姿态估计的堆叠沙漏网络中，网络输出二维的人体姿态结果即关键点位置，利用下肢各关节的关键点位置坐标求出髋关节和膝关节角度，然后输入到下一个cnn-lstm深度神经网络中进行下一步的预测；在利用视频流数据获取关节角度并输入cnn-lstm深度神经网络的同时，imu采集的三轴角速度以及三轴加速度同步输入到cnn-lstm深度神经网络中去，所有数据经过滤波之后进行了特征值提取，之后用于生成预测的关节角度和关节力
矩。训练好的模型经过轻量化处理后部署在中央处理器上，前期在模型训练时就已经建了关节角度、关节力矩与步态相位的对应关系，使用者只要穿戴外骨骼开始行走，中央处理据就可以依据深度学习算法判断使用者当前时刻t的运动状态，并根据包括当前时刻t在内的前50ms数据去预测t+1ms时刻的关节角度和关节力矩以生成电机的控制信号，实现外骨骼的实时控制。
55.本发明在深度神经网络算法利用数据集进行训练之前，便确定了数据的处理计算公式：
56.关节角度计算公式如下：
[0057][0058][0059]
其中，向量和分别为(x
1-x2,y
1-y2)、(x
2-x3,y
2-y3)和(x
3-x4,y
3-y4)，(x2,y2)、(x3,y3)和(x4,y4)均为关节点位置；
[0060]
关节力矩计算公式如下：
[0061][0062]
其中，j为大腿或小腿对质心的转动惯量，为大腿或小腿的角加速度，m1为第一关节力矩，m2为第二关节力矩，f
1x
和f
1y
分别为大腿或小腿远端水平和竖直方向作用力，f
2x
和f
2y
分别为大腿或小腿近端水平和竖直方向作用力，l
1x
、l
2x
、l
1y
和l
2y
分别为相关作用力关于质心的力臂。
[0063]
通过上述实施例1和实施例2的技术方案，能准确获取到使用者的运动信息，对人体的运动参数进行实时跟踪，实现人机交互性能，并且为使用者提供更精确的康复训练。
[0064]
本发明所提出的下肢外骨骼控制装置及方法，利用视频流和imu这种非侵入性手段获得人体的准确运动数据，结合深度学习算法对关节力矩和关节角度进行预测，进而得到电机在步态周期不同时刻输出的辅助力矩和关节角度的目标值，同时力矩传感器和角度传感器对外骨骼的执行状态进行监测，实现外骨骼的闭环控制，这样就能实现外骨骼对人体运动的实时跟随，获得良好的人机交互性能，并且针对每位患者可以输出个性化的辅助力矩，能够更好的辅助患者进行康复。本发明提出的技术方案改变了以往外骨骼固定程序的控制方式，获得了良好的人机交互性，预测精度高，可为使用者提供实时的、高强度的辅助力矩，同时帮助使用者恢复肌肉功能，为患者提供更好的辅助效果。
[0065]
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在发明的保护范围内。
技术特征：
1.一种基于imu和视频流的下肢外骨骼控制装置，其特征在于，所述控制装置包括imu(1)、髋关节伺服电机(2)、膝关节伺服电机(4)、中央处理器(5)、嵌入式控制器(6)、电源模块(7)和摄像头(8)，所述imu(1)置于装置的四个关节环处，所述髋关节伺服电机(2)和膝关节伺服电机(4)均置于装置等轴侧壁上，所述中央处理器(5)、嵌入式控制器(6)以及电源模块(7)均置于装置背面面板上，所述摄像头(8)独立于装置外且正对装置侧轴，所述中央处理器(5)分别与imu(1)、摄像头(8)和嵌入式控制器(6)通信连接，所述嵌入式控制器(6)同时与髋关节伺服电机(2)和膝关节伺服电机(4)通信连接，所述电源模块(7)分别与imu(1)、髋关节伺服电机(2)、膝关节伺服电机(4)和中央处理器(5)、嵌入式控制器(6)和摄像头(8)电连接。2.根据权利要求1所述的基于imu和视频流的下肢外骨骼控制装置，其特征在于，所述髋关节伺服电机(2)连接上方的两个髋关节环，所述膝关节伺服电机(4)连接下方的两个膝关节环。3.根据权利要求1所述的基于imu和视频流的下肢外骨骼控制装置，其特征在于，所述imu(1)置于关节环外侧，所述关节环由金属和柔性绑带连接而成。4.根据权利要求2所述的基于imu和视频流的下肢外骨骼控制装置，其特征在于，所述髋关节环和膝关节环均置于装置竖轴内侧，所述髋关节伺服电机(2)和膝关节伺服电机(4)置于装置竖轴外侧，且置于两竖轴内侧的髋关节环、膝关节环和脚踏板均位于同一竖直平面。5.根据权利要求1所述的基于imu和视频流的下肢外骨骼控制装置，其特征在于，所述控制装置还包括高度调节装置(3)，所述控制装置中的两竖轴利用高度调节装置(3)可自由调节高度。6.一种基于imu和视频流的下肢外骨骼控制方法，其特征在于，所述方法包括以下步骤：s1：利用imu和视频流方式采集使用者的运动信息；s2：利用中央处理器将采集到的运动信息依据深度学习算法进行融合处理，生成嵌入式控制系统的输入信号；s3：将经中央处理器处理后的信号传输至嵌入式控制器进行信号转换；s4：利用嵌入式控制器依据转换的信号控制关节伺服电机，电机输出辅助力矩和旋转角度；s5：利用关节伺服电机中的角度传感器和力矩传感器监测下肢外骨骼是否执行到目标位置并将执行状态反馈回中央处理器，如果未达到预期目标值，通过利用中央处理器对此次误差进行计算，并对下一次关节角度和关节力矩的预测值进行及时调整。7.根据权利要求6所述的基于imu和视频流的下肢外骨骼控制方法，其特征在于，所述s2中深度学习算法包括以下分步骤：s2-1：将摄像机采集的视频流数据输入到用于人体姿态估计的堆叠沙漏网络中获得人体下肢关键点的坐标，并计算得到关节角度；s2-2：将imu采集的数据和基于视频流数据计算得到的关节角度按照一定的权重进行融合后输入至cnn-lstm深度神经网络；s2-3：将融合的imu数据和基于视频流数据计算得到的关节角度进行滤波和特征提取，
利用cnn-lstm深度神经网络判断当前时刻的运动状态及步态相位；s2-4：通过cnn-lstm深度神经网络算法根据包括当前时刻t在内的前50ms数据预测t+1ms时刻的关节力矩和关节角度；s2-5：生成嵌入式控制系统的输入信号。8.根据权利要求6所述的基于imu和视频流的下肢外骨骼控制方法，其特征在于，所述s3中嵌入式控制器采用串级pid闭环控制算法，将利用深度学习算法预测得到的关节角度以及关节力矩作为嵌入式控制器的输入，利用位置控制器和力矩控制器控制电机运转。
技术总结
本发明公开了一种基于IMU和视频流的下肢外骨骼控制装置及方法，所述控制装置包括IMU(1)、髋关节伺服电机(2)、膝关节伺服电机(4)、中央处理器(5)、嵌入式控制器(6)、电源模块(7)和摄像头(8)，所述IMU(1)置于装置的四个关节环处，所述髋关节伺服电机(2)和膝关节伺服电机(4)均置于装置等轴侧壁上，所述中央处理器(5)、嵌入式控制器(6)以及电源模块(7)均置于装置背面面板上，所述摄像头(8)独立于装置外且正对装置侧轴。本发明提出的外骨骼控制方法识别准确，预测精度高，可为使用者提供实时的、高强度的辅助力矩，可以帮助使用者恢复肌肉功能，以达到康复训练的目的。以达到康复训练的目的。以达到康复训练的目的。
