(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210158986.X (22)申请日 2022.02.21 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市雁塔区太白南 路2号 (72)发明人 侯彪　蒋小明　焦李成　张小华　 任博　任仲乐　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 高博 (51)Int.Cl. G06V 20/10(2022.01) G06V 20/17(2022.01) G06V 10/22(2022.01) G06V 10/764(2022.01)G06V 10/766(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于Nvidia Jetson嵌入式硬件的无人机实 时目标检测方法及系统 (57)摘要 本发明公开了一种基于Nv idia Jetson嵌入 式硬件的无人机实时目标检测方法及系统， 构建 深度神经网络训练数据； 构建深度全 卷积特征提 取神经网络和预测网络； 对构建的网络模型进行 训练； 用训练好的深度全卷积神经网络模型对测 试样本集进行预测； 将训练好并且完成测试的模 型转换为ONNX模型； 对ONNX模型进行测试； 使用 TensorRT和TKDNN对ONNX模型进行加速。 本发明 可用于无人机目标检测、 野外 救援等现实生活应 用。 权利要求书4页 说明书12页 附图3页 CN 114565842 A 2022.05.31 CN 114565842 A 1.基于Nvidi a Jetson嵌入式硬件的无人机实时目标检测方法， 其特征在于， 包括以下 步骤： S1、 构建深度神经网络训练数据和深度神经网络 评估数据； S2、 构建深度全卷积特征提取神经网络、 特征融合网络和目标分类回归 网络， 将深度全 卷积特征提取神经网络、 特征融合网络和目标分类回归网络按照 构建顺序进 行组合构建完 整的目标检测网络； S3、 利用步骤S1构建的深度神经网络训练数据对步骤S2构建的目标检测网络进行训 练； S4、 利用步骤S3训练后的目标检测网络对步骤S1构 建的深度神经网络评估数据进行预 测， 得到预测结果； S5、 对步骤S4得到的预测结果进行解码， 得到真正的目标检测结果， 将真正的目标检测 结果与步骤S1构建的深度神经网络评估数据的目标标注结果进 行比对， 完成对步骤S 3训练 完成的目标检测模型的预测效果评估， 得到 评估检测精度最高的训练目标检测模型； S6、 使用TensorRT和tkDNN深度学习加速库在 Nvidia Jetson嵌入式硬件对步骤S5检测 精度最高的训练目标检测模型进行推理部署加速， 实现无 人机的实时目标检测。 2.根据权利 要求1所述的基于Nvidi a Jetson嵌入式硬件的无人机实时目标检测方法， 其特征在于， 步骤S1中， 首先进行数据集转换， 根据现有两顶点坐标标注数据， 计算标注矩 形的中心、 长宽， 并进行数据归一化， 将归一化的标注矩形 的中心、 长宽及目标类别作为图 像对应的标注数据， 将标注矩形归一化后的中心(ox,oy)、 归一化长宽(w,h)和目标类别作为 图像对应的标注数据， 然后 将转换后的数据集按照9： 1的比例划分， 90％的图片及其对应的 转换后的标注数据用于深度神经网络训练， 剩余 10％的图片及其对应的转换后的标注数据 用于深度神经网路评估。 3.根据权利 要求2所述的基于Nvidi a Jetson嵌入式硬件的无人机实时目标检测方法， 其特征在于， 标注 矩形框的归一 化中心(ox,oy)计算如下： 标注矩形的归一 化长宽(w,h)计算如下： 其中， (x1,y1,x2,y2)为两点标注矩形的左上角坐标和右下角坐标， W、 H分别为图像的长 和宽。 4.根据权利 要求1所述的基于Nvidi a Jetson嵌入式硬件的无人机实时目标检测方法， 其特征在于， 步骤S2中， 将骨干网络CSPDarkNet53作为深度全 卷积特征提取神经网络， 并将 骨干网络 CSPDarkNet53预定义输入尺寸调整为512 ×512； 构建具有三组输入和三组输出的三层FPN的轻量级特征融合网络， 将主干网 CSPDarkNet53输出的三组特征图输入特征融合网络得到三组不同特征抽象程度和融合程权　利　要　求　书 1/4 页 2 CN 114565842 A 2度的特征图； 将检测算法YOLOv4的目标分类回归网络作为目标分类回归网络， 将特征融合网络输出 的三组特征图分别输入目标分类回归网络， 输出各个特征图每个像素位置是否有目标的概 率、 每个像素位置的目标分类为某个类别的概率、 及每个像素位置的目标边界框的中心坐 标相对于当前像素位置的偏移量和边界框 宽高的未解码数值。 5.根据权利 要求1所述的基于Nvidi a Jetson嵌入式硬件的无人机实时目标检测方法， 其特征在于， 步骤S3具体为： S301、 从步骤S1中划分的训练数据集中读取预定义数量的图片及其标注数据， 然后将 读取的图片缩放至512x512， 将图片数值均除以255， 进 行像素值归一化， 然后输入步骤S2中 构建的骨干网络 CSPDarkNet53进行特征提取； S302、 步骤S301进行特征提取后， 输出尺寸分别为64x64x256、 32x32x512、 16x16x1024 的三组特征图， 然后将三组特征图输入步骤S2构建的特征融合网络进行特征融合， 特征融 合网络输出尺寸分别为64x64x25 6、 32x32x512、 16x16x1024的融合特 征图； S303、 将步骤S302输出的三组特征图输入步骤S2中构建的目标分类回归网络， 输出各 个特征图每个像素位置是否有目标的概率、 每个像素位置的目标分类为某个类别的概率、 及每个像素位置的目标边界框的中心坐标相对于当前像素位置的偏移量和 边界框宽高的 未解码数值； S304、 将步骤S303的输出进行解码得到预测的真正边界框及其对应的类别， 使用标注 数据和解码后预测的真正边界框及其对应的类别计算损失， 进 行步骤S2定义的目标检测网 络的反向传播优化。 6.根据权利 要求5所述的基于Nvidi a Jetson嵌入式硬件的无人机实时目标检测方法， 其特征在于， 步骤S3 01中， 用预设锚点对训练数据的标签oxe,oye进行编码具体为： (oxe,oye)＝(cx‑ox,cy‑oy) 用预测锚点对训练数据的宽高we,he进行编码具体为： 其中， cx,cy为三个预测特征图映射回输入图像对应网格的归一化左上角坐标， pw,ph为 预设锚点的归一化长宽， ox,oy为标注矩形归一化后的中心， w， h分别为 标注矩形的归一化长 和宽。 7.根据权利 要求5所述的基于Nvidi a Jetson嵌入式硬件的无人机实时目标检测方法， 其特征在于， 步骤S 302中， 将目标外接矩形与锚点框交并最大的作为正样本， 剩余的锚点作 为负样本， 正样本的回归损失l oss为：权　利　要　求　书 2/4 页 3 CN 114565842 A 3