(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211021812.5 (22)申请日 2022.08.24 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 吴刚　吴维维　冯东明　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 朱小兵 (51)Int.Cl. G06V 20/17(2022.01) G06V 20/10(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06N 20/00(2019.01) (54)发明名称 一种基于无人机与深度学习的桥梁形象进 度自动识别方法 (57)摘要 本发明提供了一种基于无人机与深度学习 的桥梁形象进度自动识别方法， 具体步骤如下： 获取桥梁粗略点云模型， 通过对粗略点云模型进 行路径规划， 采集得到桥梁多角度全 方位的航拍 图像， 处理生成精细的桥梁点云模型， 对点云模 型进行标注赋 予构件语义标签。 采用深度学习模 型， 通过使用四个编码器和解码器来学习点的特 征， 把桥梁点云数据集作为模型输入进行训练， 得到具有自动识别桥梁主要构件功能的网络模 型。 通过对两个不同施工时期的桥梁点云进行识 别， 比较桥梁主要构件数量变化， 删除两期数据 中的重复点云， 得到桥梁形象进度变化情况。 本 发明对桥梁构 件识别完整且准确， 可在还原真实 施工场景的同时掌握各构 件详细施工进度， 效率 高， 成本低。 权利要求书2页 说明书5页 附图2页 CN 115393745 A 2022.11.25 CN 115393745 A 1.一种基于无人机与深度学习的桥梁形象进度自动识别方法， 其特征在于， 包括以下 步骤： S1、 通过无人机航拍桥梁图像， 经处理生成桥梁点云模型， 并补全模型缺失处点云数 据； S2、 将生成的桥梁点云模型进行人工标注， 并划分为成训练集、 验证集和测试集， 将点 云数据进行 预处理， 得到用于模型训练的数据； S3、 建立深度学习网络模型， 输入经过步骤S2处理的桥梁点云数据， 通过局部特征 聚合 模块和注意力池化模块后提取出数据特征， 训练得到具有自动识别桥梁点云构件的语义分 割网络模型； S4、 将测试数据输入训练好的网络模型中， 将测试集中桥梁点云主要构件用不同颜色 自动显示； S5、 对两个不同施工时期的桥梁点云识别结果进行后处理， 比较桥梁主要构件数量的 变化， 将变化部分点云用其 他颜色显示， 实现桥梁形象进度自动识别。 2.根据权利要求1所述的一种基于无人机与深度学习的桥梁形象进度自动识别方法， 其特征在于： 步骤S1具体步骤如下： S101、 采用无 人机对桥梁结构进行倾 斜摄影， 生成桥梁倾 斜摄影模型； S102、 进行精细化的无 人机航线规划， 获取多角度全方位的桥梁图像； S103、 处理无人机航拍图像， 生成精细化 桥梁点云模型， 并补全 模型缺失的点云数据。 3.根据权利要求1所述的一种基于无人机与深度学习的桥梁形象进度自动识别方法， 其特征在于： 步骤S102 中， 规划的无人机精细化航线需要编写KML文件， 文件中应该包括航 点的经纬度、 海拔高度坐标和每个航点处无人机执行的动作指 令信息， 生产的KML文件需要 导入到无 人机中。 4.根据权利要求1所述的一种基于无人机与深度学习的桥梁形象进度自动识别方法， 其特征在于： 步骤S103中， 通过后 期处理来补 全模型缺 失的点云数据： 找到模型缺 失所在位 置， 手动飞行 无人机拍摄该位置图像， 重新 生成完整精确的点云模型。 5.根据权利要求1所述的一种基于无人机与深度学习的桥梁形象进度自动识别方法， 其特征在于： 步骤S2中， 用于桥梁点云数据标注的软件为CloudCompare， 标注 好的数据集按 照7:2:1划分为训练集、 验证集和测试集， 经过后处理后生成txt文件、 pkl文件和ply文件， 输入网络进行训练。 6.根据权利要求1所述的一种基于无人机与深度学习的桥梁形象进度自动识别方法， 其特征在于： 步骤S3中， 深度学习网络模 型为RandLA‑Net模型， 该网络通过使用四个编码器 和解码器来学习点的特征， 最后使用一个全连接层来预测每个点的语义信息， 在聚合特征 的过程中采用了注意力机制， 每一编码层都在进行下采样的同时进行特征升维； 对于解码 层， 首先用KNN算法寻找每个点云的最近邻点， 然后通过最邻近插值对点的特征集合进 行上 采样， 并通过跳跃层连接上采样特征与编码层产生的中间特征， 最后输入MLP结构对每个点 的语义信息进行 预测。 7.根据权利要求6所述的一种基于无人机与深度学习的桥梁形象进度自动识别方法， 其特征在于： 步骤S3中， RandLA ‑Net模型采用基于 权重的交叉熵损失， 损失计算公式如下：权　利　要　求　书 1/2 页 2 CN 115393745 A 2其中， ωx为某类别权重， 取为该类别标签点数量的倒数， ytrue为实际标签值， ypred为实 际预测的概 率值。 8.根据权利要求1所述的一种基于无人机与深度学习的桥梁形象进度自动识别方法， 其特征在于： 步骤S 3中， 局部特征聚合模块包括一个相对位置编码单元， 用于将输入点云块 的空间坐标、 相对位置坐标、 中心 点坐标和相对距离进 行特征拼接， 以提供给网络更丰富的 几何信息 。 9.根据权利要求1所述的一种基于无人机与深度学习的桥梁形象进度自动识别方法， 其特征在于： 步骤S5中， 使用的点云后处理方法为建立KD ‑tree， 假设第一个施工阶段的桥 梁点云为点云A， 后一个施工阶段为点云B， 首先遍历B中的点， 查询其在A中是否有相同的点 云， 记录相同点在B中的索引值， 通过索引值删除点云B中的重复点后， 得到B ‑A点云， 即桥梁 施工进度。 10.根据权利要求1所述的一种基于无人机与深度学习的桥梁形 象进度自动识别方法， 其特征在于： 步骤S5中， 得到两期点云的变化后， 给这些点添加统一的颜色信息， 实现将变 化点云用其 他颜色显示。权　利　要　求　书 2/2 页 3 CN 115393745 A 3