(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211024804.6 (22)申请日 2022.08.25 (71)申请人 中国人民解 放军63921部队 地址 100028 北京市朝阳区左家庄12号院 申请人 中国航空规划设计 研究总院有限公 司 (72)发明人 贾佳　黄娅　陈默　冯中华　 崔展鹏　周云龙　张立乾　马文茂　 李金芝　孙鹏　张超　孙星　 王春阳　 (74)专利代理 机构 中国航空专利中心 1 1008 专利代理师 张淑华 (51)Int.Cl. G06T 19/00(2011.01) G06Q 10/00(2012.01) (54)发明名称 基于MR设备的弱可视加注作业指导及维修 上报系统及方法 (57)摘要 本发明属于发射场火箭燃料加注弱可视条 件下的作业指导和维修上报领域， 涉及基于MR设 备的弱可视加注作业指导及维修上报系统及方 法。 通过使用MR设备预采样加注场景并标注模型 特征位置获取设备坐标， 使用sift特征检测算法 检测图像中的特征点， 将特征点及描述子记录在 文件中， MR设备运行时通过可见模型部分推导被 遮挡设备的位置， 通过采集现场的场景图像， 采 用图像去雾算法对实时图像做增强处理得到实 时增强图像。 在加注作业过程中， MR设备可动态 获取当前加注作业的作业流程并生成相应的作 业指导。 实施本发明， 能降低作业难度和风险， 提 升加注作业和维修作业的效率， 同时可作为一种 加注作业训练、 演习 、 实操考核的有效手段。 权利要求书2页 说明书5页 附图2页 CN 115512079 A 2022.12.23 CN 115512079 A 1.基于MR设备的弱可视加注作业指导及维修上报系统的上报方法， 其特征在于， 包括 如下的步骤： 步骤S1， 通过MR设备上的摄像头对发射场内的环境进行扫 描， 拍摄各场景的场景图像， 并记录每张拍摄时MR设备在发射场内的位姿， 要求拍摄的所有图像可以覆盖发射场加注区 域所有的可视范围， 将拍摄的图像集及其 位姿作为模板； 步骤S2， 使用sift特征检测算法检测图像中的特征点， 并记录每幅图像的描述子， 将特 征点及其描述子记录在文件中， 为后续场景的特 征匹配提供 数据； 步骤S3， 使用矩形框或轮廓包围框对加注系统中的泵、 阀等关键部件进行标注， 获得其 在图像中的二维坐标； 步骤S4， 加注人员在现场作 业时， MR作业指导系统将场景模板图像的描述子文件、 MR设 备的位姿以及关键 部件在模板图像中的二维坐标读取到内存中； 步骤S5， 加注人员所佩戴的MR眼镜实时采集现场的场景图像， 采用图像去雾算法对实 时图像做增强处 理， 然后基于 雾图模型并结合 折射率与A值计算得到实时增强图像； 步骤S6， 计算如步骤S5所述的实时增强图像的sift特征描述子， 先采取随机抽样的策 略在步骤S4所述的模板图像特征子的集合中抽取1％比例的特征子， 并将其与实时增强 图 像的特征子进 行匹配， 若不存在可以匹配的特征点， 则重新进 行抽样与匹配， 若存在可以匹 配的特征点， 则选择该特征点所在的图像的所有特征点与实时增强图像的特征点进行匹 配， 验证匹配结果， 从而得到可以匹配的模板图像； 利用MR眼镜的SLAM功能， 实现在弱 可视 环境下对操作模型的位置还原； 步骤S7， 步骤S6为在弱可视话环境下对遮挡设备的还原过程， 实现还原后， 通过MR设备 与综合管控平台的数据传输， MR设备接收管控平 台的作业任务配置文件， 解析Json格式的 配置文件， 动态生成作业指导看板并在空间定位； 步骤S8， 作业指导过程中， MR设备计算实时拍摄的场景图像与匹配到的模板图像之间 的相对位姿， 并依据匹配到的模板图像的位姿计算当前拍摄实时图像时MR设备的位姿， 实 现加注人员在现场的定位； 步骤S9， 依据步骤S8所描述的实时场景图像与匹配到的模板图像之间的相对位姿关 系， 并根据关键部件在 模板图像上的标注信息， 推算 实时场景图像的位置， 并将关键部件的 三维模型在图像上进行叠加， 实现弱可视条件下的作业指导； 步骤S10， 当现场发生故障时， 现场操作人员通过MR设备调出故障上报模块， 向综合管 控平台报告故障。 综合管控平台根据上报的故障类型， 推送给MR设备维修作业指 令和指导， 现场操作人员根据指导指令 完成维修作业。 2.如权利要求1所述的基于MR设备的弱可视加注作业指导及维修上报系统的上报方 法， 其特征在于， 所述步骤S1， 进一步包括： MR设备具备拍照功能， 并将加注场景可覆盖区域 全部拍照作为 位姿模版。 3.如权利要求1所述的基于MR设备的弱可视加注作业指导及维修上报系统的上报方 法， 其特征在于， 所述步骤2， 使用sift算法进行特征点识别， 并将信息存储在文件中， 进一 步包括对加注场景中的泵阀等关键设备 特征点的标注及二维坐标。 4.如权利要求1所述的基于基于MR设备的弱可视加注作业指导及维修上报系统 的上报 方法， 其特征在于， 所述步骤5进一步包括基于图像去雾的暗通道理论对图像的折射率进 行权　利　要　求　书 1/2 页 2 CN 115512079 A 2预估， 然后计算前0.1％亮度像素的位置点中亮度最高的像素值A。 5.如权利要求1所述的基于MR设备的弱可视加注作业指导及维修上报系统的上报方 法， 其特征在于， 所述步骤6采取随机抽样的策略在模板图像特征子的集合中抽取1％比例 的特征子， 并将其与实时增强图像的特 征子进行匹配， 得到可以匹配的模板图像。 6.基于MR设备的弱可视加注作业指导及维修上报系统， 其特征在于， 包括MR设备以及 与综合管控平台； 综合管控平台包括数据采集模块、 数据解析模块、 数据通信模块、 数据 处 理模块； 可通过数据通信模块与MR设备建立连接， MR发送订阅设备实时数据信息到数据处 理模块， 数据处理模块将数据进 行解析并作出响应， 数据采集模块对现场设备、 传感器输出 的实时数据进行采集， 通过数据解析模块解析为Json字符串形式， 并通过数据通信模块将 解析后的实时数据根据订阅消息发送到 MR设备端。 7.如权利要求6所述的基于MR设备的弱可视加注作业指导及维修上报系统， 其特征在 于， 所述MR设备为具备SLAM定位、 无线通信、 摄像头拍照、 声音输入输出、 按键交互功能的设 备。 8.如权利要求6所述的基于MR设备的弱可视加注作业指导及维修上报系统， 其特征在 于， 当现场出现故障时， MR设备将设备编码、 故障类型以及现场图片发送至综合管控平台， 综合管控平台依据故障类型为MR设备推送相应的维修指导方案 。 9.如权利要求6所述的基于MR设备的弱可视加注作业指导及维修上报系统， 其特征在 于， 维修上报中的故障指导内容， 根据综合管控平台解析的故障类型返回相应的指导手册。 10.如权利要求6所述的基于MR设备的弱可视加 注作业指导及维修上报系统， 其特征在 于， 所述MR设备为即墨MR设备。权　利　要　求　书 2/2 页 3 CN 115512079 A 3