(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210238271.5 (22)申请日 2022.03.11 (71)申请人 四川云从 天府人工智能科技有限公 司 地址 610000 四川省成 都市中国 （四川） 自 由贸易试验区成都天府新区煎茶街道 菁蓉南三街99号 (72)发明人 王洁琼　杨浚琦　吴凡　 (74)专利代理 机构 北京瀚仁知识产权代理事务 所(普通合伙) 11482 专利代理师 陈敏　屠晓旭 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/80(2022.01) G06V 10/24(2022.01)G06V 10/62(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06T 7/73(2017.01) (54)发明名称 商品识别方法、 装置及存 储介质 (57)摘要 本发明涉及图像处理技术领域， 具体提供一 种商品识别方法、 装置及存储介质， 旨在解决现 有技术无法实现对于不同类别商品混合放置在 一起的识别问题。 为此目的， 本发明的商品识别 方法包括下述步骤： 获取商品的视频信息和重量 信息； 基于视频信息确定每个商品的可见光图 像； 基于每个商品的可见光图像和重量信息对商 品进行识别。 如此， 实现了不同类别商品混合放 置在一起的商品识别， 提高了商品识别的准确 率。 权利要求书2页 说明书7页 附图3页 CN 114612827 A 2022.06.10 CN 114612827 A 1.一种商品识别方法， 其特 征在于， 包括下述 步骤： 获取商品的视频信息和重量信息； 基于所述视频信息确定每 个商品的可 见光图像； 基于所述每 个商品的可 见光图像和重量信息对所述商品进行识别。 2.根据权利要求1所述的商 品识别方法， 其特征在于， 基于所述视频信 息确定每个商品 的可见光图像包括： 基于所述视频信息确定所述视频信息中每一视频帧图像的商品位置； 基于所述商品位置从所述视频帧图像中获取每 个商品的商品单图； 调整所述商品单图的尺寸至预设尺寸， 得到所述每 个商品的可 见光图像。 3.根据权利要求1所述的商 品识别方法， 其特征在于， 所述识别包括识别商 品数量和商 品类型； 所述重量信息为每个商品对应的重量信息； 基于所述每个商品的可见光图像和重 量信息对所述商品进行识别包括： 将所述每个商品的可见光图像和重量信 息输入检测网络模型， 得到每个商 品的商品数 量； 将所述每个商品的可见光图像和重量信 息输入特征识别深度学习 模型， 得到所述每个 商品的商品类型； 所述检测网络模型为Faster ‑rcnn网络； 所述特征识别深度学习模型为 VGG网络或轻量级网络 。 4.根据权利要求1所述的商品识别方法， 其特 征在于， 还 包括： 在获取商 品的视频信 息和重量信 息之后， 对所述视频信 息中的视频帧图像进行对齐操 作， 得到对齐图像； 基于所述对齐图像确定每 个商品的可 见光图像； 基于所述每 个商品的可 见光图像和重量信息对所述商品进行识别。 5.根据权利要求4所述的商 品识别方法， 其特征在于， 对所述视频信 息中的视频帧图像 进行对齐操作， 得到对齐图像包括： 从所述视频帧图像中筛 选出参考图像， 并将其它视频帧图像作为感知图像； 对所述参考图像进行特征检测得到参考特征， 对所述感知图像进行特征检测得到感知 特征； 将所述参考特征和感知特 征进行匹配以建立特 征对应函数； 采用所述特 征对应函数对所述感知图像进行对齐； 利用对齐后的感知图像和所述 参考图像合成对齐图像。 6.根据权利要求1所述的商品识别方法， 其特 征在于， 还 包括： 从所述视频信息中获取每 个商品的运动轨 迹； 基于所述 运动轨迹确定每 个商品是否为用户购买商品； 在所述商 品为用户购买商 品的情况下， 判断所述用户购买商 品的商品数量是否大于预 设购买商品数量， 若是， 发送预警信息 至第三方平台。 7.根据权利要求1所述的商品识别方法， 其特征在于， 还包括： 分别统计已售卖商品数 量和剩余商品数量， 并对所述已售卖商品数量和剩余商品数量进行展示。 8.一种商品识别装置， 其特 征在于， 包括： 获取模块， 被 配置为获取商品的视频信息和重量信息；权　利　要　求　书 1/2 页 2 CN 114612827 A 2确定模块， 被 配置为基于所述视频信息确定每 个商品的可 见光图像； 识别模块， 被配置为基于所述每个商品的可见光图像和重量信息对所述商品进行识 别。 9.一种电子设备， 包括处理器和存储装置， 所述存储装置适于存储多条程序代码， 其特 征在于， 所述程序 代码适于由所述处理器加载并运行以执行权利要求 1至7中任一项 所述的 商品识别方法。 10.一种计算机可读存储介质， 其中存储有多条程序代码， 其特征在于， 所述程序代码 适于由处 理器加载并运行以执 行权利要求1至7中任一项所述的商品识别方法。权　利　要　求　书 2/2 页 3 CN 114612827 A 3