(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210186497.5 (22)申请日 2022.02.28 (71)申请人 广州赛特智能科技有限公司 地址 510000 广东省广州市黄埔区南翔三 路19号A栋201 （仅限办公） (72)发明人 张立家　杨晓东　李振　赖志林　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 李礼 (51)Int.Cl. G06V 20/58(2022.01) G06K 9/62(2022.01) G06V 10/56(2022.01) G06V 10/25(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) (54)发明名称 交通信号灯识别方法、 装置、 计算机设备和 存储介质 (57)摘要 本发明实施例公开了一种交通信号灯识别 方法、 装置、 计算机设备和存储介质， 包括： 通过 车辆上的多个定位传感器的传感数据确定车辆 的位姿数据， 位姿数据包括车辆的位置数据； 控 制车辆上的摄像头采集包含交通信号灯的图像； 根据位置数据和预设的电子地图从图像中确定 出交通信号灯的感兴趣区域， 电子地图上标注有 交通信号灯的位置数据； 将感兴趣区域输入识别 网络中获得交通信号灯的识别结果， 识别网络包 括输入层、 与输入层连接的特征提取子网络、 与 特征提取子网络连接的形状分类子网络和颜色 分类子网络。 本发明实施例可以避免交通信号灯 误检和漏检的问题， 能够准确检测出交通信号 灯， 并且占用硬件计算资源低， 识别速度快， 有利 于车辆实时驾驶决策。 权利要求书2页 说明书13页 附图3页 CN 114639085 A 2022.06.17 CN 114639085 A 1.一种交通信号灯识别方法， 其特 征在于， 包括： 通过车辆上的多个定位传感器的传感数据确定所述车辆的位姿数据， 所述位姿数据包 括所述车辆的位置数据； 控制车辆上的摄 像头采集包 含交通信号灯的图像； 根据所述位置数据和预设的电子地图从所述图像中确定出所述交通信号灯的感兴趣 区域， 所述电子地图上 标注有所述交通信号灯的位置数据； 将所述感兴趣区域输入识别网络中获得所述交通信号灯的识别结果， 其中， 所述识别 网络包括输入层、 与所述输入层连接的特征提取子网络、 与所述特征提取子网络连接的形 状分类子网络和颜色 分类子网络 。 2.如权利要求1所述的交通信号灯识别方法， 其特征在于， 所述定位传感器包括GPS传 感器、 车载里程计、 惯性测量单元以及激光雷达， 所述通过车辆上的多个定位传感器的传感 数据确定所述车辆的位姿数据， 包括： 融合所述车载里程计、 所述惯性测量单元以及所述激光雷达 中的至少一个的传感数据 和所述GP S传感器的传感数据得到所述车辆的位姿数据。 3.如权利要求2所述的交通信号灯识别方法， 其特征在于， 所述融合所述车载里程计、 惯性测量单元以及激光雷达中的至少一个的传感数据和所述GPS传感器的传感数据得到所 述车辆的位姿数据， 包括： 将所述GP S传感器输出的位置数据作为所述车辆的第一 位置数据； 在所述车载里程计所采集的第二位置数据中确定出与所述第一位置数据误差最小的 目标位置数据， 以及与所述 目标位置数据关联的第一姿态数据， 所述第一姿态数据为所述 车载里程计在采集所述目标位置数据时所采集到的姿态数据； 获取所述车辆在所述目标位置数据所指示的位置时所述惯性测量单元输出的第二姿 态数据； 根据所述第一姿态数据和所述第二姿态数据计算所述车辆的姿态数据； 将所述激光雷达所采集到的每帧点云数据与点云地图进行匹配， 得到所述车辆在采集 到每帧点云数据时的第三位置数据， 并从所述第三位置数据中确定出与所述第一位置数据 误差最小的第四位置数据； 采用所述目标位置数据和所述第四位置数据对所述第一位置数据进行修正得到所述 车辆的位置数据。 4.如权利要求1 ‑3任一项所述的交通信号灯识别方法， 其特征在于， 所述根据所述位置 数据和预设的电子地图从所述图像中确定出 所述交通信号灯的感兴趣区域， 包括： 根据所述位置数据和预设的电子地图从所述图像中确定出所述交通信号灯的初始定 位区域； 将所述初始定位区域输入目标检测网络中得到所述交通信号灯的感兴趣区域。 5.如权利要求4所述的交通信号灯识别方法， 其特征在于， 所述根据所述位置数据和预 设的电子地图从所述图像中确定出 所述交通信号灯的初始定位区域， 包括： 根据所述车辆的位置数据将所述电子地图中所述交通信号灯的位置数据转换为车辆 坐标系下的位置数据； 根据所述摄像头在所述车辆上的安装关系， 将所述交通信号灯在车辆坐标系下的位置权　利　要　求　书 1/2 页 2 CN 114639085 A 2数据转换为在所述摄 像头坐标系下的位置数据； 利用所述图像的图像坐标系， 将所述交通信号灯在所述摄像头坐标系下的位置数据转 换在所述图像坐标系下的位置数据； 将所述图像中包含所述交通信号灯在所述图像坐标系下的位置数据所指示的像素点 的区域确定为所述交通信号灯的图像区域； 对所述图像区域进行外扩处 理得到所述交通信号灯的初始定位区域。 6.如权利要求1 ‑3任一项所述的交通信号灯识别方法， 其特征在于， 在将所述感兴趣区 域输入识别网络中获得 所述交通信号灯的识别结果之前， 还 包括： 将所述感兴趣区域输入 亮灯区域检测模型中， 得到所述交通信号灯的亮灯区域。 7.如权利要求6所述的交通信号灯识别方法， 其特征在于， 所述将所述感兴趣区域输入 识别网络中获得 所述交通信号灯的识别结果， 包括： 将所述亮灯区域输入所述识别网络的输入层， 所述识别网络 中特征提取子网络用于提 取所述亮灯区域的图像特征并分别输入形状分类子网络和颜色分类子网络， 以通过形成分 类网络输出所述亮灯区域的指示标识的形状， 以及通过所述颜色分类子网络输出所述指示 标识的颜色。 8.如权利要求1 ‑3任一项所述的交通信号灯识别方法， 其特征在于， 所述控制车辆上的 摄像头采集包 含交通信号灯的图像， 包括： 控制车辆上的摄 像头按照预设周期采集包 含交通信号灯的多张图像； 在将所述感兴趣区域输入识别网络中获得 所述交通信号灯的识别结果之后， 还 包括： 按照每张图像的采集 顺序， 将多张图像的所述识别结果序列化， 得到序列化识别结果。 9.一种交通信号灯识别装置， 其特 征在于， 包括： 位姿数据确定模块， 用于通过车辆上的多个定位传感器的传感数据确定所述车辆的位 姿数据， 所述 位姿数据包括所述车辆的位置数据； 图像采集模块， 用于控制车辆上的摄 像头采集包 含交通信号灯的图像； 感兴趣区域确定模块， 用于根据所述位置数据和预设的电子地图从所述图像中确定出 所述交通信号灯的感兴趣区域， 所述电子地图上 标注有所述交通信号灯的位置数据； 识别模块， 用于将所述感兴趣区域输入识别网络中获得所述交通信号灯的识别结果， 其中， 所述识别网络包括输入层、 与所述输入层连接的特征提取子网络、 与所述特征提取子 网络连接的形状分类子网络和颜色 分类子网络 。 10.一种计算机设备， 其特 征在于， 所述计算机设备包括： 一个或多个处 理器； 存储装置， 用于存 储一个或多个 计算机程序， 当所述一个或多个计算机程序被所述一个或多个处理器执行， 使得所述一个或多个处 理器实现如权利要求1 ‑8中任一项所述的交通信号灯识别方法。 11.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该计算机程序被 处理器执行时实现如权利要求1 ‑8中任一项所述的交通信号灯识别方法。权　利　要　求　书 2/2 页 3 CN 114639085 A 3