(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210631719.X (22)申请日 2022.06.06 (71)申请人 国家电网有限公司 地址 100031 北京市西城区西长安 街86号 申请人 国网湖北省电力有限公司信息通信 公司 (72)发明人 李磊　周正　廖荣涛　王逸兮　 董亮　刘芬　胡欢君　叶宇轩　 王晟玮　张剑　宁昊　陈家璘　 (74)专利代理 机构 武汉楚天专利事务所 421 13 专利代理师 胡盛登 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/80(2017.01) G06T 15/04(2011.01)G06T 17/00(2006.01) (54)发明名称 一种基于双目视觉与图像深度融合的机房 三维重建方法 (57)摘要 本申请涉及一种基于双目视觉与图像深度 融合的机房三维重建方法， 包括以下步骤： 步骤 1： 确定实际机房设备的尺寸； 根据实际机房的设 备布局位置确定实际机房设备模 型的具体位置； 步骤2： 通过帧相机采集实际机房设备图像， 将图 像的特征点匹配信息通过视觉即时定位与地图 构建方法基于本质矩 阵恢复出当前帧相机相对 于前一帧的位姿变换矩阵； 步骤3： 根据实际机房 设备模型的具体位置、 位姿变换矩阵采用数据融 合技术对多视结果与深度学习网络深度值进行 融合构建三维机房。 本申请采用数据融合技术对 多视结果与深度学习网络深度值进行融合， 以解 决重建点稀 疏性的问题。 提升三维机房重建精度 以及机房数字 孪生智能化 监控能力。 权利要求书2页 说明书4页 附图1页 CN 115131432 A 2022.09.30 CN 115131432 A 1.一种基于双 目视觉与图像深度融合的机房三维重建方法， 其特征在于， 包括以下步 骤： 步骤1： 确定实际机房设备的尺寸； 对比3DSMax与Unity3D中实际机房设备的尺寸差异 从而确定3DSMax中建模的比例尺； 通过3DSMax建立简化的实际机房设备模型， 并使用 Photoshop根据实际机房设备模 型的UV展开图 以及实际机房设备的照片截图处理成合适的 模型贴图； 使用3DSMax导出Unity3D中实际机房设备模 型； 根据实际机房的设备布局位置确 定实际机房设备模型的具体位置； 步骤2： 通过帧相机采集实际机房设备图像， 将采集的实际机房设备图像通过特征提取 方法得到实际机房设备图像的特征点匹配信息， 将图像的特征点匹配信息通过视觉 即时定 位与地图构建方法基于 本质矩阵恢复出当前帧相机相对于前一帧的位姿变换矩阵； 步骤3： 根据实际机房设备模型的具体位置、 位姿变换矩阵采用数据融合技术对多视结 果与深度学习网络深度值进行融合构建三维机房。 2.根据权利要求1所述的一种基于双目视觉与图像深度融合的机房三维重建方法， 其 特征在于， 所述 步骤2， 具体为： 根据帧相机模型， 空间一 点在前一帧实际机房设备图像中的像素点的位置为： p1＝KP 空间一点在后一帧实际机房设备图像中的像素点的位置为： p2＝K(RP+t) 其中， K为相机内参， R为当前帧相机坐标系的相机运动矩阵， t为参考坐标系的相机运 动矩阵， P为空间中坐标点； 基于极线约束定理， 得到： 基于最小二乘法或者SVD分解方法得到前一帧实际机房设备图像与后一帧实际机房设 备图像之间相机的位姿变化矩阵； 所述位姿变化矩阵包括： 当前帧相机坐标系的相机运动矩阵、 参考坐标系的相机运动 矩阵。 3.根据权利要求1所述的一种基于双目视觉与图像深度融合的机房三维重建方法， 其 特征在于， 所述 步骤3， 具体如下： 引入第i帧图像先验信息和第i+k图像先验信息； 所述图像先验信息包括： 图像帧的位置、 姿态信息及两帧图像共视点像素位置信息； 利用多视几何三角化测量法计算共识点的深度信息Do及协方差矩阵Ωo； 其中， Do为目标在第i+k帧相机坐标系下的深度值； 基于深度学习网络， 计算第i+k图像帧 的深度图I， 提取出步骤1中目标处的深度信息Db， 及对应的协方差矩阵Ωb； 计算融合后的深度值， 计算方法如下： Da＝Db+W·(Do‑Db) 其中， 基于深度学习 得到的深度图I中像素深度的相对关系， 计算 融合图像中对应 像素位置的深度值， 具体 计算过程如下：权　利　要　求　书 1/2 页 2 CN 115131432 A 2D(m， n)＝f({Dw||Pw‑P(m， n)|＜ δ }) 其中， Dw表示当前像素点邻域内窗口内， 半径为δ 的深度信息， Pw、 P(m， n)分别表示邻域内 像素点及当前像素点， f( ·)为非线性映射。权　利　要　求　书 2/2 页 3 CN 115131432 A 3