(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210807302.4 (22)申请日 2022.07.11 (71)申请人 济南大学 地址 250000 山东省济南市 市中区南 辛庄 路336号 (72)发明人 李忠涛　刘圣勇　程文轩　赵帅　 杨磊　马晓雯　傅晨　 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/70(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的食品粗加工违规检测 方法 (57)摘要 本发明公开了一种基于深度学习的食品粗 加工违规检测方法， 涉及图像识别和食品安全检 测技术领域。 本发明通过获取食品粗加工间图 像， 识别出粗加工间常用用具和容器， 例如菜刀、 厨刀、 锯齿刀、 去骨刀、 去皮刀、 箩筐、 砧板、 周转 盆、 不锈钢盆、 垃圾桶、 拖把等， 通过训练好的神 经网络模型进行目标检测， 获取这些用具和容器 的二维坐标， 与标记区域进行位置判定， 通过预 设逻辑判定粗加工间工作人员在食品粗加工期 间是否出现违规行为， 与人工监督食品粗加工相 比， 本发明检测效率更高， 实时性更好， 信息化程 度有很大提高。 权利要求书2页 说明书5页 附图5页 CN 114863371 A 2022.08.05 CN 114863371 A 1.一种基于深度学习的食品粗加工违规检测方法， 应用于深度学习技术领域， 其特征 在于， 包括以下步骤： S1、 在粗加工间一侧墙壁斜上方安装主摄像头一， 在与该侧墙壁垂直一面墙壁斜上方 安装主摄像头二， 安装位置可以使得两个主摄像头拍摄到食品粗加工间整个地面区域和工 作台区域； S2、 粗加工间进行用具和容器色系管理， 对加工动物性、 植物性食 品和水产品的用具和 容器使用红绿蓝三色进行区分； S3、 采集大量粗加工间使用的用具和容器图片， 将所有采集图片进行人工标注， 获得训 练数据集； S4、 利用训练数据集对神经网络初始模型进行训练， 以得到神经网络检测模型； S5、 通过主摄像头一和二传来的画面， 人工标注二维区域， 具体为粗加工间工作 区域、 加工动物性食品操作台、 加工植物性食品操作台、 加工水产品操作台、 粗加工工作台、 垃圾 桶存放区域、 清洗食品性原料水池、 清洗拖把水池和存放加工用具和容器区域； 考虑到两个 摄像头拍摄方向为 斜下方向和画面畸变， 所有标定区域皆视作凸四边形； S6、 检测流程以主动或被动方式开启， 主动是定时开启， 被动是粗加工间工作人员在开 始工作时手动开启； S7、 检测流程开启后， 进入粗加工状态， 定时从主摄像头一和主摄像头二各抽取一帧， 进行目标检测， 然后对是否出现违规行为进行判断， 只有从两个摄像头画面都检测出来是 同类违规行为才记录为有效违规操作； 以下情景为违规操作， 情景一， 在粗加工期间， 工作 人员混用加工不同类食品的用具或容器； 情景二， 在粗加工期间， 工作人员在清洗食品原料 的水池内清洗拖 把； S8、 粗加工间工作人员在加工完食品后， 需要归位用具、 容器、 拖把、 垃圾桶 到规定摆放 位置， 完成后以手动 或定时方式结束粗加工期间违规检测， 并进入粗加工完成期间违规检 测； S9、 检测流程进入粗加工完成期间状态， 每3s从主摄像头一和主摄像头二各抽取一帧， 持续两分钟， 进行目标检测， 然后判断是否出现违规行为， 以下情景为违规操作， 情景一， 工 作人员在粗加工结束后未归位用具和容器； 情景二， 未归位垃圾桶或垃圾桶已经归位， 但是 垃圾桶检测状态为 开启状态， 即垃圾桶未加盖； S10、 在粗加工完成期间， 目标检测在规定时间内结束， 当前检测流程结束， 等待下一次 开启。 2.根据权利要求1所述的基于深度学习的食 品粗加工违规检测方法， 其特征在于： 步骤 S4所述神经网络初始模型为卷积神经网络， 包括但不限于Yolo、 SSD等模型， 训练步骤具体 包括将人工标注好的数据集进行数据增强， 具体为翻转图像、 旋转角度、 对比度增强、 亮度 增强、 颜色增强和mixup方式， 利用数据集训练神经网络初始模型 得到神经网络检测模型。 3.根据权利要求1所述的基于深度学习的食 品粗加工违规检测方法， 其特征在于： 步骤 S5获取主摄像头一和二画 面后， 各抽取一帧， 由于摄像头画 面畸变， 标记区域均视作凸四边 形， 标记步骤为 顺时针选中凸四边形四点并依次连线， 然后将四点 坐标进行储 存。 4.根据权利要求1所述的基于深度学习的食 品粗加工违规检测方法， 其特征在于： 步骤 S7中的情景一判断方式为： 在粗加工期间， 检测到用具和容器， 标出用具和容器轮廓C1矩形权　利　要　求　书 1/2 页 2 CN 114863371 A 2区域后， 在C1区域内使用opencv颜色直方图进行颜色识别， 获得C1区域中心点M1与检测种 类， 如检测种类为红色厨刀， 红色代表加工动物性食品， 因此点M1将与加工植物性食品操作 台、 加工水产品操作台区域进行区域运算， 如果M1在加工植物性食品操作台或加工水产品 操作台区域内部， 则判定为混用粗加工用具， 如果两个主摄像头画面同时检测到混用粗加 工用具， 且持续30帧， 即算作工作人员混用加工不同类食品的用具或容器； 具体的区域运算 方式为： 根据标定区域为凸四边形和目标检测框为矩形的特点,在摄像机画 面坐标系中， 设 目标检测框中心坐标为M点， 标定区域凸四边形四个点顺时针为A、 B、 C、 D，  通过连续计算矢 量叉积， 如满足AB ×AM>0、 BC×BM>0、 CD×CM>0、 DA×DM>0， 即证明点M在凸 四边形ABCD内部； 步骤S7中的情景二判断方式为： 在粗加工期间， 检测到拖把头区域C2， 将 C2区域中心点M2与 清洗食品性原料区域进 行区域运算， 如果M2在该区域内部， 且持续画 面帧数30帧， 即算作工 作人员在加工清洗食品原料的水池内清洗拖 把。 5.根据权利要求1所述的基于深度学习的食 品粗加工违规检测方法， 其特征在于： 步骤 S9的情景一判断方式为： 将存放加工用具和容器区域进行遮罩处理后进行目标检测， 如果 检测到菜刀、 厨刀、 锯齿刀、 去骨刀、 去皮刀、 箩筐、 周转盆、 砧板、 拖把中的任意一类， 记录目 标框C3， 将 C3中心点M3和粗加工间工作区域进 行区域运算， 如果M3在该区域内部， 即算作工 作人员在粗加工工作结束后未归位用具和容器;步骤S9中的情景二判断方式为： 当检测到 垃圾桶， 对于目标框C4， 将 C4中心点M4和垃圾桶存放区域进行区域运算， 如果M4不在该区域 内， 即算作未归位垃圾桶， 如果垃圾桶已经归位， 但是垃圾桶检测 状态为开启状态， 即算作 垃圾桶未加盖， 出现这两种任意 一种情况即算作满足该情景。权　利　要　求　书 2/2 页 3 CN 114863371 A 3