基于MR录播技术的多人协同虚拟交互方法与流程
基于mr录播技术的多人协同虚拟交互方法
技术领域
1.本发明涉及人工智能技术领域，尤其涉及一种基于mr录播技术的多人协同虚拟交互方法。
背景技术：
2.随着计算机技术的快速发展，虚拟现实技术在现代工业中可以实现装配工艺的模拟和优化、提高概念设计的效率、精简设计以及更加有效的进行工业生产目的，达到虚拟现实与智能制造相融合，促进现代工业的发展和提升。在教学场景中，通常会通过虚拟现实技术提供给学生们方便且快捷的实践体验，但是虚拟现实技术通常是只能由一个人操作，不能由两个以上的人同时操作，这种情况会导致学生之间的互动性不高，缺乏交互，并且导致资源浪费，因此亟待提出一种效率高的多人协同虚拟交互方法。
技术实现要素：
3.本发明提供一种基于mr录播技术的多人协同虚拟交互方法，其主要目的在于解决多人协同虚拟交互方法的效率较低的问题。
4.为实现上述目的，本发明提供的一种基于mr录播技术的多人协同虚拟交互方法，包括：
5.获取任意课程的相关课程资料，将所述相关课程资料划分为不同的课程章节，并基于超文本结构的形式将所述不同的课程章节组合为教学辅助课件；
6.利用预获取的知识库和装配模型交互模块对所述教学辅助课件进行课件拓展处理，得到装配交互系统；
7.基于所述装配交互系统构建对应的三维虚拟模型，根据预构建的正交投影变换矩阵对所述三维虚拟模型进行正交变换，得到变换后的模型，将所述变换后的模型映射至预设世界坐标系中，并选取目标仿真工具构建所述预设世界坐标系中变换后的模型对应的虚拟仿真平台，其中所述预构建的正交投影变换矩阵为：
[0008][0009]
其中，to为正交投影变换矩阵，right、left、top、bottom、far和near均为形参，t
x
、ty和tz为在x轴、y轴和z轴上的固定参数；
[0010]
获取多个不同用户对应的用户终端，调用预设套接字函数创建所述用户终端对应的流套接字，并基于所述流套接字建立所述用户终端与虚拟仿真系统之间的连接；
[0011]
当接收到内容交互请求时，令所述用户终端对应的用户在所述虚拟仿真系统中执行虚拟交互操作。
[0012]
可选地，所述将所述相关课程资料划分为不同的课程章节，包括：
[0013]
提取出所述相关课程资料中的多个不同的课程标题，并对多个所述课程标题进行类型识别，得到所述课程标题的类型；
[0014]
以所述类型为预设类型的课程标题作为划分节点将所述相关课程资料划分为不同的课程章节。
[0015]
可选地，所述基于超文本结构的形式将所述不同的课程章节组合为教学辅助课件，包括：
[0016]
以所述相关课程资料的课程名作为结构起点，以多个所述课程章节作为结构节点进行超文本结构构建，得到课件章节划分结构；
[0017]
基于各知识点的联系对所述课件章节划分结构进行知识拓展，得到标准划分结构，并将所述标准划分结构作为教学辅助课件输出。
[0018]
可选地，所述基于各知识点的联系对所述课件章节划分结构进行知识拓展，得到标准划分结构，包括：
[0019]
选定所述课程章节划分结构中的任意一个课程章节作为目标章节；
[0020]
利用知识点提取模型提取出所述目标章节中的多个不同的知识点；
[0021]
基于所述各知识点的联系对多个所述知识点进行关联处理，得到标准划分结构。
[0022]
可选地，所述利用预获取的知识库和装配模型交互模块对所述教学辅助课件进行课件拓展处理，得到装配交互系统，包括：
[0023]
构建由帮助信息板块和记录板块构建的专家系统模块部分，并将所述专家系统模块部分嵌入至所述装配模型交互模块中，得到标准装配交互模块；
[0024]
根据预设的连接关系将所述知识库、所述标准装配交互模块和检测模块进行模块连接，得到装配交互系统。
[0025]
可选地，所述基于所述装配交互系统构建对应的三维虚拟模型，包括：
[0026]
利用数据仿真子系统构建所述装配交互系统对应的数据仿真模型和相关特性仿真模型；
[0027]
接收外部控制数据，并对所述外部控制数据进行数据解析，得到控制命令；
[0028]
将所述控制命令传输给三维模型创建子系统并利用所述三维模型创建子系统对所述数据仿真模型和所述相关特性仿真模型进行模型加载，得到三维虚拟模型。
[0029]
可选地，所述将所述变换后的模型映射至预设世界坐标系中之前，所述方法还包括：
[0030]
分别对变换后的模型进行平移变换、旋转变换和缩放变换。
[0031]
可选地，所述调用预设套接字函数创建所述用户终端对应的流套接字，包括：
[0032]
根据所述预设套接字函数创建终端套接字，并将所述终端套接字绑定在指定端口上；
[0033]
调用连接函数监听连接请求，若所述虚拟仿真系统接受所述连接请求则将所述终端套接字返回为流套接字。
[0034]
可选地，所述根据预构建的正交投影变换矩阵对所述三维虚拟模型进行正交变
换，得到变换后的模型，包括：
[0035]
提取出所述三维虚拟模型中的三维数据，并将所述正交投影变换矩阵与所述三维虚拟模型中的三维数据进行相乘计算；
[0036]
根据相乘计算得到的数据构建对应的模型，得到变换后的模型。
[0037]
本发明实施例中，通过任意课程的相关课程资料构建教学辅助课件，并对教学辅助课件进行课件拓展处理，使得生成的装配交互系统更加丰富，基于装配交互系统构建三维虚拟模型并进行一系列模型处理和平台构建，生成可以用于虚拟现实仿真的平台，并通过流套接字实现对同一个仿真内容进行交互控制，进而实现虚拟交互操作。因此本发明提出的基于mr录播技术的多人协同虚拟交互方法、装置、电子设备及计算机可读存储介质，可以解决基于mr录播技术的多人协同虚拟交互的效率较低的问题。
附图说明
[0038]
图1为本发明一实施例提供的基于mr录播技术的多人协同虚拟交互方法的流程示意图；
[0039]
图2为本发明一实施例提供的基于mr录播技术的多人协同虚拟交互装置的功能模块图；
[0040]
图3为本发明一实施例提供的实现所述基于mr录播技术的多人协同虚拟交互方法的电子设备的结构示意图。
[0041]
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0042]
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0043]
本发明实施例提供一种基于mr录播技术的多人协同虚拟交互方法。所述基于mr录播技术的多人协同虚拟交互方法的执行主体包括但不限于服务端、终端等能够被配置为执行本发明实施例提供的该方法的电子设备中的至少一种。换言之，所述基于mr录播技术的多人协同虚拟交互方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集、云端服务器或云端服务器集等。
[0044]
参照图1所示，为本发明一实施例提供的基于mr录播技术的多人协同虚拟交互方法的流程示意图。在本实施例中，所述基于mr录播技术的多人协同虚拟交互方法包括：
[0045]
s1、获取任意课程的相关课程资料，将所述相关课程资料划分为不同的课程章节，并基于超文本结构的形式将所述不同的课程章节组合为教学辅助课件。
[0046]
本发明实施例中，所述任意课程可以是指不同领域中与领域相关的多种多样的课程，包括但不限于金融领域中的贸易和财经相关的课程，又或者是航天相关领域的课程，也可以是汽车领域，同时，所述相关资料可以是课程中指定的任何一个部分的细化资料，例如，所述任意课程的相关课程资料可以是指发动机的资料。
[0047]
具体地，所述将所述相关课程资料划分为不同的课程章节，包括：
[0048]
提取出所述相关课程资料中的多个不同的课程标题，并对多个所述课程标题进行类型识别，得到所述课程标题的类型；
[0049]
以所述类型为预设类型的课程标题作为划分节点将所述相关课程资料划分为不同的课程章节。
[0050]
详细地，所述相关课程资料中包含多个段落以及多个段落对应的课程标题，其中，所述课程标题包含不同的形式及对应的意义，例如，课程标题“一”为一级标题，课程标题“1”为二级标题，课程标题“(1)”为三级标题。对多个所述课程标题进行类型识别即识别出课程标题为一级标题、二级标题、三级标题或者是其他未作限定的标题。所述预设类型为一级标题，则以类型为一级标题的课程标题作为划分节点将所述相关课程资料划分为不同的课程节点。
[0051]
例如，在发动机拆解的相关课程资料中，不同的一级标题下对应的内容为“绪论”、“曲柄连杆机构”、“配气机构”、“供给系”、“点火系”、“冷却系”、“滚烫系”和“起动系”。因此以不同的一级标题作为划分节点将所述相关课程资料划分为不同的课程章节，其中不同的课程章节即“绪论”、“曲柄连杆机构”、“配气机构”、“供给系”、“点火系”、“冷却系”、“滚烫系”和“起动系”。
[0052]
进一步地，所述基于超文本结构的形式将所述不同的课程章节组合为教学辅助课件，包括：
[0053]
以所述相关课程资料的课程名作为结构起点，以多个所述课程章节作为结构节点进行超文本结构构建，得到课件章节划分结构；
[0054]
基于各知识点的联系对所述课件章节划分结构进行知识拓展，得到标准划分结构，并将所述标准划分结构作为教学辅助课件输出。
[0055]
详细地，课程章节组织信息的结构主要分为两种，一种是把信息按某一特定的顺序进行编排，以方便对材料进行组织，这种称之为线性结构，另一种则是采用非线性的网状结构，主要是把信息按照其固有的相关性和独立性进行划分，这种结构称之为超文本结构。在本方案中，由于发动机结构中零部件的交互信息较多，线性特征不明显，因此适合采用超文本结构，使用网络结构节点互相连接通信的特点，可以使得教学内容和教学过程得到更好的展示。
[0056]
例如，所述相关课程资料的课程名为“发动机”，则将“发动机”作为结构起点，以“绪论”、“曲柄连杆机构”、“配气机构”、“供给系”、“点火系”、“冷却系”、“滚烫系”和“起动系”等多个所述课程章节作为结构节点进行超文本结构构建，得到课件章节划分结构。
[0057]
具体地，所述基于各知识点的联系对所述课件章节划分结构进行知识拓展，得到标准划分结构，包括：
[0058]
选定所述课程章节划分结构中的任意一个课程章节作为目标章节；
[0059]
利用知识点提取模型提取出所述目标章节中的多个不同的知识点；
[0060]
基于所述各知识点的联系对多个所述知识点进行关联处理，得到标准划分结构。
[0061]
详细地，选定所述课程章节划分结构中的任意一个课程章节作为目标章节，所述目标章节可以为“曲柄连杆机构”，利用知识点提取模型提取出所述目标章节中的多个不同的知识点，所述知识点提取模型可以为卷积神经网络模型或者是双向长短期记忆网络等不同的模型，提取出所述目标章节中的多个不同的知识点为“概述”、“机体组”、“活塞连杆组”、“曲轴飞轮”、“活塞”、“活塞环”、“活塞销”、“连杆”等。基于所述各知识点的联系对多个所述知识点进行关联处理，得到标准划分结构，其中，知识点“活塞连杆组”与“活塞”、“活塞
环”、“活塞销”和“连杆”均为总分联系，即“活塞连杆组”为总知识点，“活塞”、“活塞环”、“活塞销”和“连杆”为所述总知识点的细分知识点。
[0062]
s2、利用预获取的知识库和装配模型交互模块对所述教学辅助课件进行课件拓展处理，得到装配交互系统。
[0063]
本发明实施例中，由于得到的教学辅助课件往往是基于理论知识构建所得，但是由于发动机的结构十分复杂，传统的文字、图片、视频活着flash教学资源在结构展示上具有局限性，因此会在无形中增加学习者的认知负荷，故会造成教学效果不佳的尴尬局面，因此需要对所述教学辅助课件进行课件拓展处理，得到装配交互系统。
[0064]
具体地，所述利用预获取的知识库和装配模型交互模块对所述教学辅助课件进行课件拓展处理，得到装配交互系统，包括：
[0065]
构建由帮助信息板块和记录板块构建的专家系统模块部分，并将所述专家系统模块部分嵌入至所述装配模型交互模块中，得到标准装配交互模块；
[0066]
根据预设的连接关系将所述知识库、所述标准装配交互模块和检测模块进行模块连接，得到装配交互系统。
[0067]
详细地，所述帮助信息板块可以显示或者隐藏帮助信息，学习者在装配零件时会发出安装正确的提示音、错误提示音以及提示相应的文字、彩变化等，所述记录板块是可以回放这个装配操作的过程，以供学习者自我检测评定。所述知识库中包含3d模型库，零件信息库等基本信息，学习者可以通过选择不同种类的零部件，就可以查看相应零部件的相关说明介绍，如零部件的名称、所装配位置及功能说明等相关的基本文字信息。所述装配模型交互模块具备装配过程中的动画演示的功能、自我控制调整装配过程的功能。学习者可以通过此模块自主选择相应零部件的装配顺序，调出相应零部件并进行实时装配操作程序。
[0068]
s3、基于所述装配交互系统构建对应的三维虚拟模型，根据预构建的正交投影变换矩阵对所述三维虚拟模型进行正交变换，得到变换后的模型，将所述变换后的模型映射至预设世界坐标系中，并选取目标仿真工具构建所述预设世界坐标系中变换后的模型对应的虚拟仿真平台。
[0069]
本发明实施例中，通过所述装配交互系统构建对应的三维虚拟模型，可以使得发动机能够在三维环境中实现拖放、旋转及视角变换等功能，并与虚拟现实技术相结合，进而实现协同虚拟交互。
[0070]
具体地，所述基于所述装配交互系统构建对应的三维虚拟模型，包括：
[0071]
将所述装配交互系统中的交互数据输入至预获取的三维建模软件中，得到所述装配交互系统对应的三维虚拟模型。
[0072]
详细地，所述三维建模软件为pro/engine软件，其中，pro/engine软件是cad/cam/cae一体化的三维软件，其以参数化著称，是参数化技术的最早应用者，在三维造型软件领域中占有着重要地位。
[0073]
在本发明另一个实施例中，所述基于所述装配交互系统构建对应的三维虚拟模型，包括：
[0074]
利用数据仿真子系统构建所述装配交互系统对应的数据仿真模型和相关特性仿真模型；
[0075]
接收外部控制数据，并对所述外部控制数据进行数据解析，得到控制命令；
[0076]
将所述控制命令传输给三维模型创建子系统并利用所述三维模型创建子系统对所述数据仿真模型和所述相关特性仿真模型进行模型加载，得到三维虚拟模型。
[0077]
详细地，所述相关特性仿真模型包括燃油数据仿真模型、燃油控制仿真模型、空气数据仿真模型、气源仿真模型、排气仿真模型、点火系统数据模型和连续运动数据模型，所述数据仿真子系统包括发动机仿真模块、燃油仿真模块等。三维模型创建子系统根据接收到的外部控制数据进行模型加载，所述模型加载是指对三维模型实时动画、运动情况和模型特效进行显示，在本发明实施例中，三维虚拟模型的显示方式包括整体显示、透视显示、部分显示和动态拆分显示。
[0078]
进一步地，所述根据预构建的正交投影变换矩阵对所述三维虚拟模型进行正交变换，得到变换后的模型，包括：
[0079]
提取出所述三维虚拟模型中的三维数据，并将所述正交投影变换矩阵与所述三维虚拟模型中的三维数据进行相乘计算；
[0080]
根据相乘计算得到的数据构建对应的模型，得到变换后的模型。
[0081]
具体地，所述预构建的正交投影变换矩阵为：
[0082][0083]
其中，to为正交投影变换矩阵，right、left、top、bottom、far和near均为形参，t
x
、ty和tz为在x轴、y轴和z轴上的固定参数。
[0084]
进一步地，所述将所述变换后的模型映射至预设世界坐标系中之前，所述方法还包括：
[0085]
分别对变换后的模型进行平移变换、旋转变换和缩放变换。
[0086]
详细地，将变换后的模型经过一系列平移、旋转和缩放等三维变换置于统一的世界坐标系中，便于后续进行观察操作。
[0087]
具体地，选取目标仿真工具构建所述预设世界坐标系中变换后的模型对应的虚拟仿真平台。其中，所述目标仿真工具是指vega系统，vega系统作为一种视景驱动软件平台，大量用于仿真和虚拟现实的系统开发中。
[0088]
其中，所述虚拟仿真平台是一种可以创建、体验虚拟世界的计算机仿真系统，它可以利用计算机生成三维虚拟环境，模拟现实场景，用户可以通过多种传感设备与虚拟世界进行交互，参与了解并影响其中的事件，具有使人亲身体验沉浸在这种虚拟环境中并与之相互作用的能力，通过虚拟现实模拟可以提供一种可迁移的经验，学习者可以在训练中进行反复尝试，直到达到最佳状态或者想要达成的结果。
[0089]
s4、获取多个不同用户对应的用户终端，调用预设套接字函数创建所述用户终端
对应的流套接字，并基于所述流套接字建立所述用户终端与虚拟仿真系统之间的连接。
[0090]
本发明实施例中，获取多个不同用户对应的用户终端，其中，多个不同的用户可以是指用户a、用户b或者用户c，用户对应的终端是指站点与用户的交互设备。这些交互设备可以是台式计算机、笔记本、掌上计算机等，也可以是其他智能终端设备，如平板等。在本方案中，可以为用户a使用台式计算机，用户b使用笔记本，用户c使用平板。
[0091]
具体地，所述调用预设套接字函数创建所述用户终端对应的流套接字，包括：
[0092]
根据所述预设套接字函数创建终端套接字，并将所述终端套接字绑定在指定端口上；
[0093]
调用连接函数监听连接请求，若所述虚拟仿真系统接受所述连接请求则将所述终端套接字返回为流套接字。
[0094]
详细地，所述预设套接字函数为socket，socket用于描述ip地址和端口，是一个通信链的句柄，一个完整的socket通信程序一般包括创建socket、打开连接到socket的输入输出流，按照一定的协议对socket进行读或者写操作以及关闭socket等几个步骤。
[0095]
进一步地，基于所述流套接字建立所述用户终端与虚拟仿真系统之间的连接，根据流套接字建立的连接更加便捷，同时便于更方便的访问和开发各种网络应用的程序，在本方案中，可以通过socket网络通信技术，实现对同一个仿真内容进行交互控制。例如：发动机拆解的虚拟仿真系统课件，用户a、用户b、用户c......等多个用户可以共同在线上实现一起学习，多个用户可以同时实现对同一个发动机模型进行拆解等课程内容，并且相互可以观察到对方的操作状态。
[0096]
s5、当接收到内容交互请求时，令所述用户终端对应的用户在所述虚拟仿真系统中执行虚拟交互操作。
[0097]
本发明实施例中，当接收到内容交互请求时，可以使得用户终端对应的用户在虚拟仿真系统执行虚拟交互操作，即用户a、用户b和用户c可以共同在线上实现一起学习，多个用户可以同时实现对同一个发动机模型进行拆解等课程内容，并且相互可以观察到对方的操作状态。同时，所述虚拟仿真系统中包含有关于对发动机模型进行拆解的丰富且生动的课件，因此可以帮助用户实现高效且便捷的学习，以及解决了同一空间下多个仿真应用间的协同操作问题。
[0098]
本发明实施例中，通过任意课程的相关课程资料构建教学辅助课件，并对教学辅助课件进行课件拓展处理，使得生成的装配交互系统更加丰富，基于装配交互系统构建三维虚拟模型并进行一系列模型处理和平台构建，生成可以用于虚拟现实仿真的平台，并通过流套接字实现对同一个仿真内容进行交互控制，进而实现虚拟交互操作。因此本发明提出的基于mr录播技术的多人协同虚拟交互方法可以解决基于mr录播技术的多人协同虚拟交互的效率较低的问题。
[0099]
如图2所示，是本发明一实施例提供的基于mr录播技术的多人协同虚拟交互装置的功能模块图。
[0100]
本发明所述基于mr录播技术的多人协同虚拟交互装置100可以安装于电子设备中。根据实现的功能，所述基于mr录播技术的多人协同虚拟交互装置100可以包括课件生成模块101、平台构建模块102、系统连接模块103及虚拟交互模块104。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计
算机程序段，其存储在电子设备的存储器中。
[0101]
在本实施例中，关于各模块/单元的功能如下：
[0102]
所述课件生成模块101，用于获取任意课程的相关课程资料，将所述相关课程资料划分为不同的课程章节，并基于超文本结构的形式将所述不同的课程章节组合为教学辅助课件；
[0103]
所述平台构建模块102，用于利用预获取的知识库和装配模型交互模块对所述教学辅助课件进行课件拓展处理，得到装配交互系统，基于所述装配交互系统构建对应的三维虚拟模型，根据预构建的正交投影变换矩阵对所述三维虚拟模型进行正交变换，得到变换后的模型，将所述变换后的模型映射至预设世界坐标系中，并选取目标仿真工具构建所述预设世界坐标系中变换后的模型对应的虚拟仿真平台；
[0104]
所述系统连接模块103，用于获取多个不同用户对应的用户终端，调用预设套接字函数创建所述用户终端对应的流套接字，并基于所述流套接字建立所述用户终端与虚拟仿真系统之间的连接；
[0105]
所述虚拟交互模块104，用于当接收到内容交互请求时，令所述用户终端对应的用户在所述虚拟仿真系统中执行虚拟交互操作。
[0106]
详细地，所述基于mr录播技术的多人协同虚拟交互装置100各模块的具体实施方式如下：
[0107]
步骤一、获取任意课程的相关课程资料，将所述相关课程资料划分为不同的课程章节，并基于超文本结构的形式将所述不同的课程章节组合为教学辅助课件。
[0108]
本发明实施例中，所述任意课程可以是指不同领域中与领域相关的多种多样的课程，包括但不限于金融领域中的贸易和财经相关的课程，又或者是航天相关领域的课程，也可以是汽车领域，同时，所述相关资料可以是课程中指定的任何一个部分的细化资料，例如，所述任意课程的相关课程资料可以是指发动机的资料。
[0109]
具体地，所述将所述相关课程资料划分为不同的课程章节，包括：
[0110]
提取出所述相关课程资料中的多个不同的课程标题，并对多个所述课程标题进行类型识别，得到所述课程标题的类型；
[0111]
以所述类型为预设类型的课程标题作为划分节点将所述相关课程资料划分为不同的课程章节。
[0112]
详细地，所述相关课程资料中包含多个段落以及多个段落对应的课程标题，其中，所述课程标题包含不同的形式及对应的意义，例如，课程标题“一”为一级标题，课程标题“1”为二级标题，课程标题“(1)”为三级标题。对多个所述课程标题进行类型识别即识别出课程标题为一级标题、二级标题、三级标题或者是其他未作限定的标题。所述预设类型为一级标题，则以类型为一级标题的课程标题作为划分节点将所述相关课程资料划分为不同的课程节点。
[0113]
例如，在发动机拆解的相关课程资料中，不同的一级标题下对应的内容为“绪论”、“曲柄连杆机构”、“配气机构”、“供给系”、“点火系”、“冷却系”、“滚烫系”和“起动系”。因此以不同的一级标题作为划分节点将所述相关课程资料划分为不同的课程章节，其中不同的课程章节即“绪论”、“曲柄连杆机构”、“配气机构”、“供给系”、“点火系”、“冷却系”、“滚烫系”和“起动系”。
[0114]
进一步地，所述基于超文本结构的形式将所述不同的课程章节组合为教学辅助课件，包括：
[0115]
以所述相关课程资料的课程名作为结构起点，以多个所述课程章节作为结构节点进行超文本结构构建，得到课件章节划分结构；
[0116]
基于各知识点的联系对所述课件章节划分结构进行知识拓展，得到标准划分结构，并将所述标准划分结构作为教学辅助课件输出。
[0117]
详细地，课程章节组织信息的结构主要分为两种，一种是把信息按某一特定的顺序进行编排，以方便对材料进行组织，这种称之为线性结构，另一种则是采用非线性的网状结构，主要是把信息按照其固有的相关性和独立性进行划分，这种结构称之为超文本结构。在本方案中，由于发动机结构中零部件的交互信息较多，线性特征不明显，因此适合采用超文本结构，使用网络结构节点互相连接通信的特点，可以使得教学内容和教学过程得到更好的展示。
[0118]
例如，所述相关课程资料的课程名为“发动机”，则将“发动机”作为结构起点，以“绪论”、“曲柄连杆机构”、“配气机构”、“供给系”、“点火系”、“冷却系”、“滚烫系”和“起动系”等多个所述课程章节作为结构节点进行超文本结构构建，得到课件章节划分结构。
[0119]
具体地，所述基于各知识点的联系对所述课件章节划分结构进行知识拓展，得到标准划分结构，包括：
[0120]
选定所述课程章节划分结构中的任意一个课程章节作为目标章节；
[0121]
利用知识点提取模型提取出所述目标章节中的多个不同的知识点；
[0122]
基于所述各知识点的联系对多个所述知识点进行关联处理，得到标准划分结构。
[0123]
详细地，选定所述课程章节划分结构中的任意一个课程章节作为目标章节，所述目标章节可以为“曲柄连杆机构”，利用知识点提取模型提取出所述目标章节中的多个不同的知识点，所述知识点提取模型可以为卷积神经网络模型或者是双向长短期记忆网络等不同的模型，提取出所述目标章节中的多个不同的知识点为“概述”、“机体组”、“活塞连杆组”、“曲轴飞轮”、“活塞”、“活塞环”、“活塞销”、“连杆”等。基于所述各知识点的联系对多个所述知识点进行关联处理，得到标准划分结构，其中，知识点“活塞连杆组”与“活塞”、“活塞环”、“活塞销”和“连杆”均为总分联系，即“活塞连杆组”为总知识点，“活塞”、“活塞环”、“活塞销”和“连杆”为所述总知识点的细分知识点。
[0124]
步骤二、利用预获取的知识库和装配模型交互模块对所述教学辅助课件进行课件拓展处理，得到装配交互系统。
[0125]
本发明实施例中，由于得到的教学辅助课件往往是基于理论知识构建所得，但是由于发动机的结构十分复杂，传统的文字、图片、视频活着flash教学资源在结构展示上具有局限性，因此会在无形中增加学习者的认知负荷，故会造成教学效果不佳的尴尬局面，因此需要对所述教学辅助课件进行课件拓展处理，得到装配交互系统。
[0126]
具体地，所述利用预获取的知识库和装配模型交互模块对所述教学辅助课件进行课件拓展处理，得到装配交互系统，包括：
[0127]
构建由帮助信息板块和记录板块构建的专家系统模块部分，并将所述专家系统模块部分嵌入至所述装配模型交互模块中，得到标准装配交互模块；
[0128]
根据预设的连接关系将所述知识库、所述标准装配交互模块和检测模块进行模块
连接，得到装配交互系统。
[0129]
详细地，所述帮助信息板块可以显示或者隐藏帮助信息，学习者在装配零件时会发出安装正确的提示音、错误提示音以及提示相应的文字、彩变化等，所述记录板块是可以回放这个装配操作的过程，以供学习者自我检测评定。所述知识库中包含3d模型库，零件信息库等基本信息，学习者可以通过选择不同种类的零部件，就可以查看相应零部件的相关说明介绍，如零部件的名称、所装配位置及功能说明等相关的基本文字信息。所述装配模型交互模块具备装配过程中的动画演示的功能、自我控制调整装配过程的功能。学习者可以通过此模块自主选择相应零部件的装配顺序，调出相应零部件并进行实时装配操作程序。
[0130]
步骤三、基于所述装配交互系统构建对应的三维虚拟模型，根据预构建的正交投影变换矩阵对所述三维虚拟模型进行正交变换，得到变换后的模型，将所述变换后的模型映射至预设世界坐标系中，并选取目标仿真工具构建所述预设世界坐标系中变换后的模型对应的虚拟仿真平台。
[0131]
本发明实施例中，通过所述装配交互系统构建对应的三维虚拟模型，可以使得发动机能够在三维环境中实现拖放、旋转及视角变换等功能，并与虚拟现实技术相结合，进而实现协同虚拟交互。
[0132]
具体地，所述基于所述装配交互系统构建对应的三维虚拟模型，包括：
[0133]
将所述装配交互系统中的交互数据输入至预获取的三维建模软件中，得到所述装配交互系统对应的三维虚拟模型。
[0134]
详细地，所述三维建模软件为pro/engine软件，其中，pro/engine软件是cad/cam/cae一体化的三维软件，其以参数化著称，是参数化技术的最早应用者，在三维造型软件领域中占有着重要地位。
[0135]
在本发明另一个实施例中，所述基于所述装配交互系统构建对应的三维虚拟模型，包括：
[0136]
利用数据仿真子系统构建所述装配交互系统对应的数据仿真模型和相关特性仿真模型；
[0137]
接收外部控制数据，并对所述外部控制数据进行数据解析，得到控制命令；
[0138]
将所述控制命令传输给三维模型创建子系统并利用所述三维模型创建子系统对所述数据仿真模型和所述相关特性仿真模型进行模型加载，得到三维虚拟模型。
[0139]
详细地，所述相关特性仿真模型包括燃油数据仿真模型、燃油控制仿真模型、空气数据仿真模型、气源仿真模型、排气仿真模型、点火系统数据模型和连续运动数据模型，所述数据仿真子系统包括发动机仿真模块、燃油仿真模块等。三维模型创建子系统根据接收到的外部控制数据进行模型加载，所述模型加载是指对三维模型实时动画、运动情况和模型特效进行显示，在本发明实施例中，三维虚拟模型的显示方式包括整体显示、透视显示、部分显示和动态拆分显示。
[0140]
进一步地，所述根据预构建的正交投影变换矩阵对所述三维虚拟模型进行正交变换，得到变换后的模型，包括：
[0141]
提取出所述三维虚拟模型中的三维数据，并将所述正交投影变换矩阵与所述三维虚拟模型中的三维数据进行相乘计算；
[0142]
根据相乘计算得到的数据构建对应的模型，得到变换后的模型。
[0143]
具体地，所述预构建的正交投影变换矩阵为：
[0144][0145]
其中，to为正交投影变换矩阵，right、left、top、bottom、far和near均为形参，t
x
、ty和tz为在x轴、y轴和z轴上的固定参数。
[0146]
进一步地，所述将所述变换后的模型映射至预设世界坐标系中之前，所述方法还包括：
[0147]
分别对变换后的模型进行平移变换、旋转变换和缩放变换。
[0148]
详细地，将变换后的模型经过一系列平移、旋转和缩放等三维变换置于统一的世界坐标系中，便于后续进行观察操作。
[0149]
具体地，选取目标仿真工具构建所述预设世界坐标系中变换后的模型对应的虚拟仿真平台。其中，所述目标仿真工具是指vega系统，vega系统作为一种视景驱动软件平台，大量用于仿真和虚拟现实的系统开发中。
[0150]
其中，所述虚拟仿真平台是一种可以创建、体验虚拟世界的计算机仿真系统，它可以利用计算机生成三维虚拟环境，模拟现实场景，用户可以通过多种传感设备与虚拟世界进行交互，参与了解并影响其中的事件，具有使人亲身体验沉浸在这种虚拟环境中并与之相互作用的能力，通过虚拟现实模拟可以提供一种可迁移的经验，学习者可以在训练中进行反复尝试，直到达到最佳状态或者想要达成的结果。
[0151]
步骤四、获取多个不同用户对应的用户终端，调用预设套接字函数创建所述用户终端对应的流套接字，并基于所述流套接字建立所述用户终端与虚拟仿真系统之间的连接。
[0152]
本发明实施例中，获取多个不同用户对应的用户终端，其中，多个不同的用户可以是指用户a、用户b或者用户c，用户对应的终端是指站点与用户的交互设备。这些交互设备可以是台式计算机、笔记本、掌上计算机等，也可以是其他智能终端设备，如平板等。在本方案中，可以为用户a使用台式计算机，用户b使用笔记本，用户c使用平板。
[0153]
具体地，所述调用预设套接字函数创建所述用户终端对应的流套接字，包括：
[0154]
根据所述预设套接字函数创建终端套接字，并将所述终端套接字绑定在指定端口上；
[0155]
调用连接函数监听连接请求，若所述虚拟仿真系统接受所述连接请求则将所述终端套接字返回为流套接字。
[0156]
详细地，所述预设套接字函数为socket，socket用于描述ip地址和端口，是一个通信链的句柄，一个完整的socket通信程序一般包括创建socket、打开连接到socket的输入
输出流，按照一定的协议对socket进行读或者写操作以及关闭socket等几个步骤。
[0157]
进一步地，基于所述流套接字建立所述用户终端与虚拟仿真系统之间的连接，根据流套接字建立的连接更加便捷，同时便于更方便的访问和开发各种网络应用的程序，在本方案中，可以通过socket网络通信技术，实现对同一个仿真内容进行交互控制。例如：发动机拆解的虚拟仿真系统课件，用户a、用户b、用户c......等多个用户可以共同在线上实现一起学习，多个用户可以同时实现对同一个发动机模型进行拆解等课程内容，并且相互可以观察到对方的操作状态。
[0158]
步骤五、当接收到内容交互请求时，令所述用户终端对应的用户在所述虚拟仿真系统中执行虚拟交互操作。
[0159]
本发明实施例中，当接收到内容交互请求时，可以使得用户终端对应的用户在虚拟仿真系统执行虚拟交互操作，即用户a、用户b和用户c可以共同在线上实现一起学习，多个用户可以同时实现对同一个发动机模型进行拆解等课程内容，并且相互可以观察到对方的操作状态。同时，所述虚拟仿真系统中包含有关于对发动机模型进行拆解的丰富且生动的课件，因此可以帮助用户实现高效且便捷的学习，以及解决了同一空间下多个仿真应用间的协同操作问题。
[0160]
本发明实施例中，通过任意课程的相关课程资料构建教学辅助课件，并对教学辅助课件进行课件拓展处理，使得生成的装配交互系统更加丰富，基于装配交互系统构建三维虚拟模型并进行一系列模型处理和平台构建，生成可以用于虚拟现实仿真的平台，并通过流套接字实现对同一个仿真内容进行交互控制，进而实现虚拟交互操作。因此本发明提出的基于mr录播技术的多人协同虚拟交互装置可以解决基于mr录播技术的多人协同虚拟交互的效率较低的问题。
[0161]
如图3所示，是本发明一实施例提供的实现基于mr录播技术的多人协同虚拟交互方法的电子设备的结构示意图。
[0162]
所述电子设备可以包括处理器10、存储器11、通信接口12和总线13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如基于mr录播技术的多人协同虚拟交互程序。
[0163]
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：sd或dx存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡(smart media card，smc)、安全数字(secure digital，sd)卡、闪存卡(flash card)等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如基于mr录播技术的多人协同虚拟交互程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
[0164]
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(central processing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(control unit)，利
用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如基于mr录播技术的多人协同虚拟交互程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。
[0165]
所述通信接口12用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(display)、输入单元(比如键盘(keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
[0166]
所述总线13可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该总线13可以分为地址总线、数据总线、控制总线等。所述总线13被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
[0167]
图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
[0168]
例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、wi-fi模块等，在此不再赘述。
[0169]
进一步地，所述电子设备还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。
[0170]
可选地，该电子设备还可以包括用户接口，用户接口可以是显示器(display)、输入单元(比如键盘(keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
[0171]
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
[0172]
所述电子设备中的所述存储器11存储的基于mr录播技术的多人协同虚拟交互程序是多个指令的组合，在所述处理器10中运行时，可以实现：
[0173]
获取任意课程的相关课程资料，将所述相关课程资料划分为不同的课程章节，并基于超文本结构的形式将所述不同的课程章节组合为教学辅助课件；
[0174]
利用预获取的知识库和装配模型交互模块对所述教学辅助课件进行课件拓展处
理，得到装配交互系统；
[0175]
基于所述装配交互系统构建对应的三维虚拟模型，根据预构建的正交投影变换矩阵对所述三维虚拟模型进行正交变换，得到变换后的模型，将所述变换后的模型映射至预设世界坐标系中，并选取目标仿真工具构建所述预设世界坐标系中变换后的模型对应的虚拟仿真平台；
[0176]
获取多个不同用户对应的用户终端，调用预设套接字函数创建所述用户终端对应的流套接字，并基于所述流套接字建立所述用户终端与虚拟仿真系统之间的连接；
[0177]
当接收到内容交互请求时，令所述用户终端对应的用户在所述虚拟仿真系统中执行虚拟交互操作。
[0178]
具体地，所述处理器10对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
[0179]
进一步地，所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)。
[0180]
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
[0181]
获取任意课程的相关课程资料，将所述相关课程资料划分为不同的课程章节，并基于超文本结构的形式将所述不同的课程章节组合为教学辅助课件；
[0182]
利用预获取的知识库和装配模型交互模块对所述教学辅助课件进行课件拓展处理，得到装配交互系统；
[0183]
基于所述装配交互系统构建对应的三维虚拟模型，根据预构建的正交投影变换矩阵对所述三维虚拟模型进行正交变换，得到变换后的模型，将所述变换后的模型映射至预设世界坐标系中，并选取目标仿真工具构建所述预设世界坐标系中变换后的模型对应的虚拟仿真平台；
[0184]
获取多个不同用户对应的用户终端，调用预设套接字函数创建所述用户终端对应的流套接字，并基于所述流套接字建立所述用户终端与虚拟仿真系统之间的连接；
[0185]
当接收到内容交互请求时，令所述用户终端对应的用户在所述虚拟仿真系统中执行虚拟交互操作。
[0186]
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0187]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0188]
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单
元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
[0189]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
[0190]
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
[0191]
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
[0192]
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
[0193]
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
技术特征：
1.一种基于mr录播技术的多人协同虚拟交互方法，其特征在于，所述方法包括：获取任意课程的相关课程资料，将所述相关课程资料划分为不同的课程章节，并基于超文本结构的形式将所述不同的课程章节组合为教学辅助课件；利用预获取的知识库和装配模型交互模块对所述教学辅助课件进行课件拓展处理，得到装配交互系统；基于所述装配交互系统构建对应的三维虚拟模型，根据预构建的正交投影变换矩阵对所述三维虚拟模型进行正交变换，得到变换后的模型，将所述变换后的模型映射至预设世界坐标系中，并选取目标仿真工具构建所述预设世界坐标系中变换后的模型对应的虚拟仿真平台，其中所述预构建的正交投影变换矩阵为：其中，t
o
为正交投影变换矩阵，right、left、top、bottom、far和near均为形参，t
x
、t
y
和t
z
为在x轴、y轴和z轴上的固定参数；获取多个不同用户对应的用户终端，调用预设套接字函数创建所述用户终端对应的流套接字，并基于所述流套接字建立所述用户终端与虚拟仿真系统之间的连接；当接收到内容交互请求时，令所述用户终端对应的用户在所述虚拟仿真系统中执行虚拟交互操作。2.如权利要求1所述的基于mr录播技术的多人协同虚拟交互方法，其特征在于，所述将所述相关课程资料划分为不同的课程章节，包括：提取出所述相关课程资料中的多个不同的课程标题，并对多个所述课程标题进行类型识别，得到所述课程标题的类型；以所述类型为预设类型的课程标题作为划分节点将所述相关课程资料划分为不同的课程章节。3.如权利要求1所述的基于mr录播技术的多人协同虚拟交互方法，其特征在于，所述基于超文本结构的形式将所述不同的课程章节组合为教学辅助课件，包括：以所述相关课程资料的课程名作为结构起点，以多个所述课程章节作为结构节点进行超文本结构构建，得到课件章节划分结构；基于各知识点的联系对所述课件章节划分结构进行知识拓展，得到标准划分结构，并将所述标准划分结构作为教学辅助课件输出。4.如权利要求3所述的基于mr录播技术的多人协同虚拟交互方法，其特征在于，所述基于各知识点的联系对所述课件章节划分结构进行知识拓展，得到标准划分结构，包括：选定所述课程章节划分结构中的任意一个课程章节作为目标章节；利用知识点提取模型提取出所述目标章节中的多个不同的知识点；
基于所述各知识点的联系对多个所述知识点进行关联处理，得到标准划分结构。5.如权利要求1所述的基于mr录播技术的多人协同虚拟交互方法，其特征在于，所述利用预获取的知识库和装配模型交互模块对所述教学辅助课件进行课件拓展处理，得到装配交互系统，包括：构建由帮助信息板块和记录板块构建的专家系统模块部分，并将所述专家系统模块部分嵌入至所述装配模型交互模块中，得到标准装配交互模块；根据预设的连接关系将所述知识库、所述标准装配交互模块和检测模块进行模块连接，得到装配交互系统。6.如权利要求1所述的基于mr录播技术的多人协同虚拟交互方法，其特征在于，所述基于所述装配交互系统构建对应的三维虚拟模型，包括：利用数据仿真子系统构建所述装配交互系统对应的数据仿真模型和相关特性仿真模型；接收外部控制数据，并对所述外部控制数据进行数据解析，得到控制命令；将所述控制命令传输给三维模型创建子系统并利用所述三维模型创建子系统对所述数据仿真模型和所述相关特性仿真模型进行模型加载，得到三维虚拟模型。7.如权利要求1所述的基于mr录播技术的多人协同虚拟交互方法，其特征在于，所述将所述变换后的模型映射至预设世界坐标系中之前，所述方法还包括：分别对变换后的模型进行平移变换、旋转变换和缩放变换。8.如权利要求1所述的基于mr录播技术的多人协同虚拟交互方法，其特征在于，所述调用预设套接字函数创建所述用户终端对应的流套接字，包括：根据所述预设套接字函数创建终端套接字，并将所述终端套接字绑定在指定端口上；调用连接函数监听连接请求，若所述虚拟仿真系统接受所述连接请求则将所述终端套接字返回为流套接字。9.如权利要求1所述的基于mr录播技术的多人协同虚拟交互方法，其特征在于，所述根据预构建的正交投影变换矩阵对所述三维虚拟模型进行正交变换，得到变换后的模型，包括：提取出所述三维虚拟模型中的三维数据，并将所述正交投影变换矩阵与所述三维虚拟模型中的三维数据进行相乘计算；根据相乘计算得到的数据构建对应的模型，得到变换后的模型。
技术总结
本发明涉及人工智能技术，揭露了一种基于MR录播技术的多人协同虚拟交互方法，包括：根据任意课程的相关课程资料构建教学辅助课件，并对教学辅助课件进行课件拓展，得到装配交互系统，对基于装配交互系统构建的三维虚拟模型进行正交变换，得到变换后的模型，将变换后的模型映射至世界坐标系并构建世界坐标系中变换后的模型对应的虚拟仿真平台，创建用户终端对应的流套接字并基于流套接字建立用户终端与虚拟仿真系统之间的连接，当接收到内容交互请求时，令用户终端对应的用户在所述虚拟仿真系统中执行虚拟交互操作。本发明还提出一种基于MR录播技术的多人协同虚拟交互装置。本发明可以解决基于MR录播技术的多人协同虚拟交互的效率较低的问题。的效率较低的问题。的效率较低的问题。
