一种车载可视乘客报警系统的制作方法
1.本发明涉及乘客报警系统，具体涉及一种车载可视乘客报警系统。
背景技术：
2.随着轨道交通的不断发展，列车上越来越多地采用数字化系统，列车广播系统也不例外。乘客紧急报警器属于列车广播系统的核心部件，是一种能够向司机与乘客、乘客与控制中心提供交流的通话工具。乘客紧急报警器作为乘客在紧急情况下的通讯工具，必须具备sil2(安全完整性等级2级)的安全资质。
3.在既有项目执行中，模拟和数字各有其优势。对于传统模拟系统，具有对讲实时性高等优点，但是抗干扰能力差、可扩展性差、无法实现全双工对讲；在现代数字系统中，无法有效控制对讲时效性、无法有效进行对讲录音，但是具有抗干扰能力强、灵活性强等优点。
4.随着对车载乘客报警系统使用功能的要求越来越高，现有系统无法向司机提供乘客紧急报警器所在位置处的图像画面，并且无法对乘客报警时的音频数据、视频数据进行精确合成，导致管理人员无法对乘客报警时的情况进行有效分析追溯，因此有必要对现有车载乘客报警系统进行改进。
技术实现要素：
5.(一)解决的技术问题
6.针对现有技术所存在的上述缺点，本发明提供了一种车载可视乘客报警系统，能够有效克服现有技术所存在的由于无法向司机提供乘客紧急报警器所在位置处的图像画面，无法对乘客报警时的音频数据、视频数据进行精确合成的缺陷。
7.(二)技术方案
8.为实现以上目的，本发明通过以下技术方案予以实现：
9.一种车载可视乘客报警系统，包括控制器、乘客紧急报警器、视频监控子系统、音频采集组件、音视频合成模块和网络硬盘录像机；
10.乘客紧急报警器，设置于客室内，用于乘客在客室内进行紧急报警；
11.视频监控子系统，乘客通过乘客紧急报警器进行紧急报警时自动触发，对该乘客紧急报警器所在位置进行图像采集；
12.音频采集组件，司机通过广播控制盒接入对讲时，自动采集乘客紧急报警器发出的音频数据；
13.音视频合成模块，将视频监控子系统采集图像与音频采集组件采集音频数据合成具有字幕的音视频文件；
14.网络硬盘录像机，在自动结束图像采集和录音后，将音视频文件，以及乘客报警时间、地点写入硬盘进行存储。
15.优选地，乘客通过所述乘客紧急报警器进行紧急报警时，所述乘客紧急报警器向视频监控子系统发送包含对应乘客紧急报警器id信息的视频流地址；
16.所述视频监控子系统根据视频流地址获取对应乘客紧急报警器的id信息，并根据id信息获取对应乘客紧急报警器所在的列车车厢，拉取该列车车厢内监控摄像头的视频流，并通过监控触摸屏显示给司机。
17.优选地，所述视频监控子系统根据视频流地址获取对应乘客紧急报警器的id信息，并根据id信息获取对应乘客紧急报警器所在的列车车厢后，所述视频监控子系统调节该列车车厢内监控摄像头的转动角度，以对拍摄位置进行校准。
18.优选地，还包括扬声器，所述广播控制盒、监控触摸屏和扬声器均设置于司机室，司机通过广播控制盒接入对讲后建立全双工通信，所述监控触摸屏用于显示视频监控子系统采集图像，所述扬声器用于播放音频采集组件采集音频数据。
19.优选地，所述音视频合成模块将视频监控子系统采集图像与音频采集组件采集音频数据合成具有字幕的音视频文件，包括：
20.s1、获取乘客报警时的多帧人物场景图像，并获取报警乘客的多帧深度图像；
21.s2、根据人物场景图像和深度图像，提取报警乘客在每帧人物场景图像中的感兴趣区域；
22.s3、获取乘客报警时的音频数据，并根据音频数据生成对应的文字信息；
23.s4、基于连续帧人物场景图像中的感兴趣区域，获取报警乘客的口型变化特征，确定对应的文字信息及音频数据；
24.s5、将人物场景图像、音频数据和文字信息合成具有字幕的音视频文件。
25.优选地，s1中获取报警乘客的多帧深度图像，包括：
26.向多帧人物场景图像中的报警乘客投射结构光，采集经结构光调制的多帧调制图像；
27.逐帧解调调制图像中各像素对应的相位信息，以获取报警乘客的多帧深度图像。
28.优选地，所述逐帧解调调制图像中各像素对应的相位信息，以获取报警乘客的多帧深度图像，包括：
29.将逐帧解调调制图像中各像素对应的相位信息转换为深度信息，根据深度信息生成报警乘客的多帧深度图像。
30.优选地，s2中根据人物场景图像和深度图像，提取报警乘客在每帧人物场景图像中的感兴趣区域，包括：
31.逐帧识别人物场景图像中包含报警乘客的目标区域，并从对应的深度图像中获取与目标区域对应的深度信息；
32.根据目标区域对应的深度信息，确定报警乘客在每帧人物场景图像中的感兴趣区域。
33.优选地，s4中基于连续帧人物场景图像中的感兴趣区域，获取报警乘客的口型变化特征，确定对应的文字信息及音频数据，包括：
34.获取连续帧人物场景图像中的感兴趣区域，对感兴趣区域中报警乘客的口型变化特征进行识别；
35.根据报警乘客的口型变化特征确定对应的文字信息及音频数据。
36.优选地，s5中将人物场景图像、音频数据和文字信息合成具有字幕的音视频文件，包括：
37.根据确定的文字信息，对该连续帧人物场景图像中的某一帧与匹配的音频数据进行匹配标记；
38.基于匹配标记，逐帧将人物场景图像、音频数据和文字信息合成具有字幕的音视频文件。
39.(三)有益效果
40.与现有技术相比，本发明所提供的一种车载可视乘客报警系统，具有以下有益效果：
41.1)乘客通过乘客紧急报警器进行紧急报警时自动触发视频监控子系统，对该乘客紧急报警器所在位置进行图像采集，同时拉取该乘客紧急报警器所在的列车车厢内监控摄像头的视频流，一同通过监控触摸屏显示给司机，使得司机能够及时了解车厢内部情况，便于快速采取相应措施应对紧急情况和突发事件；
42.2)获取乘客报警时的多帧人物场景图像，并获取报警乘客的多帧深度图像，根据人物场景图像和深度图像，提取报警乘客在每帧人物场景图像中的感兴趣区域，能够在每帧人物场景图像中提取覆盖报警乘客的感兴趣区域，为后续准确获取报警乘客的口型变化特征提供保证；
43.3)获取乘客报警时的音频数据，并根据音频数据生成对应的文字信息，基于连续帧人物场景图像中的感兴趣区域，获取报警乘客的口型变化特征，确定对应的文字信息及音频数据，将人物场景图像、音频数据和文字信息合成具有字幕的音视频文件，以文字信息为“媒介”，对连续帧人物场景图像中的某一帧与匹配的音频数据进行匹配标记，实现人物场景图像、音频数据和文字信息地准确合成，便于管理人员快速分析追溯乘客报警时的情况。
附图说明
44.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
45.图1为本发明的系统示意图；
46.图2为本发明中音视频合成模块工作的流程示意图；
47.图3为本发明中提取报警乘客在每帧人物场景图像中的感兴趣区域的流程示意图；
48.图4为本发明中合成具有字幕的音视频文件的流程示意图；
49.图5为本发明中乘客紧急报警器发起紧急报警时的示意图；
50.图6为本发明中广播控制盒接入对讲时的示意图；
51.图7为本发明中监控触摸屏显示乘客紧急报警器所在位置处图像画面的示意图。
具体实施方式
52.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是
本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.一种车载可视乘客报警系统，如图1所示，包括控制器、乘客紧急报警器、视频监控子系统、音频采集组件、音视频合成模块和网络硬盘录像机；
54.乘客紧急报警器，设置于客室内，用于乘客在客室内进行紧急报警；
55.视频监控子系统，乘客通过乘客紧急报警器进行紧急报警时自动触发，对该乘客紧急报警器所在位置进行图像采集；
56.音频采集组件，司机通过广播控制盒接入对讲时，自动采集乘客紧急报警器发出的音频数据；
57.音视频合成模块，将视频监控子系统采集图像与音频采集组件采集音频数据合成具有字幕的音视频文件；
58.网络硬盘录像机，在自动结束图像采集和录音后，将音视频文件，以及乘客报警时间、地点写入硬盘进行存储。
59.乘客通过乘客紧急报警器进行紧急报警时，乘客紧急报警器向视频监控子系统发送包含对应乘客紧急报警器id信息的视频流地址。
60.视频监控子系统根据视频流地址获取对应乘客紧急报警器的id信息，并根据id信息获取对应乘客紧急报警器所在的列车车厢，拉取该列车车厢内监控摄像头的视频流，并通过监控触摸屏显示给司机。
61.视频监控子系统根据视频流地址获取对应乘客紧急报警器的id信息，并根据id信息获取对应乘客紧急报警器所在的列车车厢后，视频监控子系统调节该列车车厢内监控摄像头的转动角度，以对拍摄位置进行校准。
62.本技术技术方案中，还包括扬声器，广播控制盒、监控触摸屏和扬声器均设置于司机室，司机通过广播控制盒接入对讲后建立全双工通信，监控触摸屏用于显示视频监控子系统采集图像，扬声器用于播放音频采集组件采集音频数据。
63.如图5所示，在客室出现紧急情况或突发事件时，乘客可按下设置在乘客紧急报警器上的按钮，并通过按钮旁的内藏式话筒与司机对话。乘客紧急报警器激活时，可自动触发视频监控子系统，对该乘客紧急报警器所在位置进行图像采集，同时拉取该乘客紧急报警器所在的列车车厢内监控摄像头的视频流，一同通过监控触摸屏显示给司机。
64.当发生报警事件时，广播系统通过主机接口通知视频监视子系统，有乘客对讲需要录音。当司机通过广播控制盒接入对讲时，系统将通过音频采集组件自动采集音频数据。主机接收到录音开始信号后，将乘客紧急报警器发出的音频数据写入网络硬盘录像机硬盘中。报警结束后5min(可调)，自动结束图像采集和录音，之后仅将合成的音视频文件，以及乘客报警时间、地点写入网络硬盘录像机硬盘，同时关闭音视频文件并保存。此时，司机室内监控触摸屏上显示该客室的监控图像。
65.如图5所示，当乘客按下乘客紧急报警器pecu上的按钮：
66.乘客紧急报警器pecu的报警指示灯开始闪烁，激活与司机的对讲；
67.ddu上显示报警位置；
68.司机室内广播控制盒dacu的“紧急对讲”指示灯闪烁，同时蜂鸣器响起报警音；
69.监控触摸屏mds显示乘客紧急报警器所在位置处的图像画面，以及列车车厢内监
控摄像头的视频流(如图7所示)。
70.如图6所示，司机按下广播控制盒dacu上的“司机对讲”按钮确认通话，建立全双工通信：
71.广播控制盒dacu的蜂鸣器报警音停止，同时“紧急对讲”指示灯常亮；
72.ddu上相应报警位置能显示报警通话状态；
73.乘客紧急报警器pecu的报警指示灯熄灭，通话指示灯常亮，扬声器和麦克风激活；
74.pis主机开始录音。
75.乘客讲话的声音被送到司机室扬声器，司机对准麦克风讲话，乘客可以通过乘客紧急报警器听见司机讲话。
76.上述技术方案，乘客通过乘客紧急报警器进行紧急报警时自动触发视频监控子系统，对该乘客紧急报警器所在位置进行图像采集，同时拉取该乘客紧急报警器所在的列车车厢内监控摄像头的视频流，一同通过监控触摸屏显示给司机，使得司机能够及时了解车厢内部情况，便于快速采取相应措施应对紧急情况和突发事件。
77.音视频合成模块将视频监控子系统采集图像与音频采集组件采集音频数据合成具有字幕的音视频文件，如图2和图3所示，
①
获取乘客报警时的多帧人物场景图像，并获取报警乘客的多帧深度图像。
78.获取报警乘客的多帧深度图像，包括：
79.向多帧人物场景图像中的报警乘客投射结构光，采集经结构光调制的多帧调制图像；
80.逐帧解调调制图像中各像素对应的相位信息，以获取报警乘客的多帧深度图像。
81.其中，逐帧解调调制图像中各像素对应的相位信息，以获取报警乘客的多帧深度图像，包括：
82.将逐帧解调调制图像中各像素对应的相位信息转换为深度信息，根据深度信息生成报警乘客的多帧深度图像。
83.②
根据人物场景图像和深度图像，提取报警乘客在每帧人物场景图像中的感兴趣区域，具体包括：
84.逐帧识别人物场景图像中包含报警乘客的目标区域，并从对应的深度图像中获取与目标区域对应的深度信息；
85.根据目标区域对应的深度信息，确定报警乘客在每帧人物场景图像中的感兴趣区域。
86.上述技术方案，获取乘客报警时的多帧人物场景图像，并获取报警乘客的多帧深度图像，根据人物场景图像和深度图像，提取报警乘客在每帧人物场景图像中的感兴趣区域，能够在每帧人物场景图像中提取覆盖报警乘客的感兴趣区域，为后续准确获取报警乘客的口型变化特征提供保证。
87.如图2和图4所示，
③
获取乘客报警时的音频数据，并根据音频数据生成对应的文字信息。
88.④
基于连续帧人物场景图像中的感兴趣区域，获取报警乘客的口型变化特征，确定对应的文字信息及音频数据，具体包括：
89.获取连续帧人物场景图像中的感兴趣区域，对感兴趣区域中报警乘客的口型变化
特征进行识别；
90.根据报警乘客的口型变化特征确定对应的文字信息及音频数据。
91.⑤
将人物场景图像、音频数据和文字信息合成具有字幕的音视频文件，具体包括：
92.根据确定的文字信息，对该连续帧人物场景图像中的某一帧与匹配的音频数据进行匹配标记；
93.基于匹配标记，逐帧将人物场景图像、音频数据和文字信息合成具有字幕的音视频文件。
94.上述技术方案，获取乘客报警时的音频数据，并根据音频数据生成对应的文字信息，基于连续帧人物场景图像中的感兴趣区域，获取报警乘客的口型变化特征，确定对应的文字信息及音频数据，将人物场景图像、音频数据和文字信息合成具有字幕的音视频文件，以文字信息为“媒介”，对连续帧人物场景图像中的某一帧与匹配的音频数据进行匹配标记，实现人物场景图像、音频数据和文字信息地准确合成，便于管理人员快速分析追溯乘客报警时的情况。
95.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
