(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211245639.7 (22)申请日 2022.10.12 (71)申请人 中通服建设有限公司 地址 510000 广东省广州市越秀区原 道路 17号 (72)发明人 邹远辉　黄宏业　罗少康　杨柳扬　 李晓辉　 (74)专利代理 机构 广东省中源正拓专利代理事 务所(普通 合伙) 44748 专利代理师 党冲 (51)Int.Cl. H04L 65/1108(2022.01) H04L 65/401(2022.01) H04L 65/1069(2022.01) H04L 67/131(2022.01)H04N 7/14(2006.01) G06F 3/14(2006.01) G06F 9/54(2006.01) G06T 19/00(2011.01) G06Q 10/00(2012.01) G06Q 50/30(2012.01) (54)发明名称 基于AR的通信应急设备协助检修系统 (57)摘要 本发明公开了基于AR的通信应急设备协助 检修系统， 涉及AR协助检修技术领域。 第一浏览 器和第二浏览器， 通过WebRTC服务器建立的直接 通信路径进行音视频通信； 背景显示模块同步显 示音视频通信时的视频画面和采集模块采集的 背景视频画面； 第二共享显示模块采集并显示协 助数据， 将协助数据经由WebSocket服务器发送 给第一共享显示模块； 第一共享显示模块， 用于 确定协助数据的目标显示坐标和目标显示尺寸； 投影模块， 用于在AR终端 正前方预设距离投影虚 拟屏幕， 并在虚拟屏幕上以目标显示尺寸显示协 助数据。 上述系统提高应急维修人员的维修效率 避免延误情况。 权利要求书2页 说明书6页 附图1页 CN 115314474 A 2022.11.08 CN 115314474 A 1.基于AR的通信应急设备协助检修系统， 其特征在于， 包括AR终端、 协助终端、 WebSocket服务器和WebRTC服务器； 所述AR终端包括第一浏览器、 采集模块、 投影模块和第 一共享显示模块； 所述协助终端包括第二浏览器、 背景显示模块和第二共享显示模块； 所述WebRTC服务器， 用于在所述第一浏览器和所述第二浏览器之间进行NAT穿越， 建立 所述第一浏览器和所述第二浏览器之间的直接通信路径； 所述第一浏览器和所述第二浏览器， 用于通过 所述直接通信路径进行音视频通信； 所述背景显示模块， 用于同步显示音视频通信时的视频画面和所述采集模块采集的背 景视频画面； 所述第二共享显示模块， 用于采集并显示协助数据， 将所述协助数据经由所述 WebSocket服 务器发送给 所述第一共享显示模块； 所述第一共享显示模块， 用于确定所述协助数据的目标显示 坐标和目标显示尺寸； 所述投影模块， 用于在所述AR终端正前方预设距离投影虚拟屏幕， 并在所述虚拟屏幕 上以所述目标显示尺寸显示所述协助数据。 2.根据权利要求1所述的基于AR的通信应急设备协助检修系统， 其特征在于， 所述第一 共享显示模块包括 坐标转换子模块和缩放子模块； 所述坐标转换子模块， 用于将所述协助数据在所述第 二共享显示模块的坐标转化为在 所述虚拟屏幕上的坐标， 作为所述目标显示 坐标； 所述缩放子模块， 用于根据 所述协助 数据在所述第 二共享显示模块中的尺寸以及所述 第二共享显示模块、 所述虚拟屏幕和所述采集模块的尺寸参数， 计算所述协助数据在所述 虚拟屏幕上的尺寸， 作为所述目标显示尺寸。 3.根据权利要求2所述的基于AR的通信应急设备协助检修系统， 其特征在于， 所述目标 显示尺寸包括目标长度和目标宽度； 所述缩放子模块具体用于： 计算所述协助数据在所述虚拟屏幕上的所述目标长度： 为所述目标长度， 为所述协助数据在所述第二共享显示模块中的长度， 为所述 虚拟屏幕的长度， 为所述第二共享显示模块的长度， 为所述采集模块与所述虚拟屏幕 之间的距离， 为所述采集模块的焦距； 计算所述协助数据在所述虚拟屏幕上的所述目标宽度： 为所述目标宽度， 为所述协助数据在所述第二共享显示模块中的宽度， 为所 述虚拟屏幕的宽度， 为所述第二共享显示模块的宽度， 为所述采集模块与所述虚拟屏权　利　要　求　书 1/2 页 2 CN 115314474 A 2幕之间的距离， 为所述采集模块的焦距。 4.根据权利要求1所述的基于AR的通信应急设备协助检修系统， 其特征在于， 所述AR终 端还包括定位跟踪模块和惯性传感器； 所述定位跟踪模块包括即时定位与地图构建SLAM子 模块和惯性 导航子模块； 所述SLAM子模块， 用于对采集所述协助数据时的初始画面进行初始定位创建初始坐标 系； 所述惯性导航子模块， 用于获取所述惯性传感器的数据， 确定当前画面相对于初始坐 标系的偏移量； 所述第一共享显示模块， 还用于根据所述偏移量调整所述协助数据的实时位置 。 5.根据权利要求4所述的基于AR的通信应急设备协助检修系统， 其特征在于， 所述定位 跟踪模块还 包括偏差矫 正模块； 所述SLAM子模块， 还用于当检测到所述偏移量小于预设阈值， 对当前画面进行定位得 到矫正信息； 所述偏差矫正模块， 用于根据所述矫正信息确定所述惯性传感器的静态偏差， 根据所 述静态偏差调整所述协助数据的实时位置 。 6.根据权利要求5所述的基于AR的通信应急设备协助检修系统， 其特征在于， 所述偏差 矫正模块为扩展卡尔曼 滤波器。 7.根据权利要求1所述的基于AR的通信应急设备协助检修系统， 其特征在于， 所述 WebRTC服务器包括信令服务器和穿越服务器； 所述穿越服务器为STUN服务器、 TURN服务器 和ICE服务器中的任一 一种； 所述信令服 务器， 用于所述第一浏览器和所述第二浏览器之间的信令交 互； 所述穿越服务器， 用于在所述第一浏览器和所述第 二浏览器之间进行NAT穿越， 建立所 述第一浏览器和所述第二浏览器之间的直接通信路径。 8.根据权利要求1所述的基于AR的通信应急设备协助检修系统， 其特征在于， 所述背景 显示模块和所述第二共享显示模块的尺寸相同， 且所述第二共享显示模块覆盖在所述背 景 显示模块之上。 9.根据权利要求1所述的基于AR的通信应急设备协助检修系统， 其特征在于， 所述协助 数据包括文字和图像中的至少一种。 10.根据权利要求1所述的基于AR的通信应急设备协助检修系统， 其特征在于， 所述AR 终端还包括视频显示模块； 所述视频显示模块， 用于同步显示音视频通信时的视频画面。权　利　要　求　书 2/2 页 3 CN 115314474 A 3