(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210757131.9 (22)申请日 2022.06.30 (65)同一申请的已公布的文献号 申请公布号 CN 114821819 A (43)申请公布日 2022.07.29 (73)专利权人 南通同兴健身器材有限公司 地址 226000 江苏省南 通市港闸区国强路 511-1号 (72)发明人 张桢　 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/52(2022.01) G06V 10/26(2022.01) G06V 10/75(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 审查员 任俊鹏 (54)发明名称 一种健身动作实时监控方法及人工智能识 别系统 (57)摘要 本发明涉及图像识别技术领域， 具体涉及一 种健身动作实时监控 方法及人工智能识别系统。 该方法包括： 获取图像与人体关键点类别标注图 像； 对图像进行人体部位分割； 获取每个人体关 键点类别所对应的人体部位分割的平均面积， 并 依此获取每个 关键点的高斯分布大小、 高斯分布 标准差； 将人体 关键点类别标注 转换为坐标一维 分布向量， 同时获取标签值分布向量； 根据图像 与坐标一维分布向量、 标签值分布向量训练神经 网络； 根据所述每个人员的人体姿态信息进行人 员健身动作状态识别。 该方法基于图像中的人体 部位面积来获取不同分布大小与标准差的人体 姿态标注， 降低了人为标注的歧义性， 同时利用 一维向量来实现人体姿态图像识别， 节省计算资 源， 检测精度高。 权利要求书3页 说明书8页 附图1页 CN 114821819 B 2022.09.23 CN 114821819 B 1.一种健身动作实时监控方法， 其特 征在于， 该监控方法包括以下步骤： 部署相机采集RGB图像； 对所述RGB图像进行标注， 得到人体关键点类别标注图像； 将所 述RGB图像与所述人体关键点类别标注图像组成数据集； 对所述RGB图像利用BodyPix  2.0进行人体部位分割， 得到人体部位分割图像； 建立人 体关键点与人体部位的对应关系， 基于所述对应关系获取所述数据集中每个人体关键点类 别所对应的人体部位分割的平均面积； 基于所述每个人体关键点类别所对应的人体部位分 割的平均面积获取每 个关键点类别中每 个关键点的高斯分布大小、 高斯分布标准差； 基于所述每个关键点的高斯分布大小、 高斯分布标准差获取图像的x坐标一维分布向 量和y坐标一维分布向量； 根据所述人体关键点类别标注图像中关键点的位置获取图像中 每个人员的标签值； 根据所述图像的x坐标一维分布向量、 y坐标一维分布向量和所述图像 中每个人员的标签值 获取x标签值分布向量、 y标签值分布向量； 所述图像的x坐标一 维分布 向量、 y坐标一维分布向量和、 x标签值分布向量、 y标签值分布向量组成标签数据； x坐标一维分布向量和y坐标一维分布向量的获取 方法为： 首先生成宽度为 w的x坐标一维向量， 高度为h的y坐标一维向量； 对于每个一维向量， 将关键点相应的规范化坐标代入一维高斯分布的函数中， 同时根 据其分布大小将该坐标得到的邻域规范化坐标进 行代入， 得到每一个关键点的一 维高斯分 布值； 所述每个关键点的规范化坐标为0， 根据 该关键点的分布大小获取其邻域， 邻域的规范 化坐标是为以关键点为原点的坐标； 最终代入一维高斯分布函数后求取出高斯分布概率 值， 再进行归一化， 得到该关键点及相应 分布大小的一 维高斯分布概率值； 所述每个关键点 都有其相应的分布大小及一维高斯分布标准差； 然后将所有关键点进行一一代入与计算， 并将每张图像所有关键点计算得到的一维高 斯分布概 率值进行相加， 即可 得到每张图像的x坐标一维分布向量和y坐标一维分布向量； 每个人员的标签值的计算方法为： n表示图像中的第n个人员， K表示关键点类别的数量， 分别表示第n个人员第i个 关键点的X、 Y坐标， w、 h 分别为图像的宽、 高， 该标签值包含两部分， 前面为x标签值， 后面为y 标签值 建立第一神经网络， 根据所述RGB图像与所述标签数据训练所述第一神经网络； 利用所述第 一神经网络获取预测标签数据； 根据 所述预测标签数据获取图像中每个人 员的人体姿态信息； 根据所述每个人员的人体姿态信息建立第二神经网络， 用以识别人员的健身动作状 态。 2.根据权利要求1所述的一种健身动作实时监控方法， 其特征在于， 所述每个关键点的 高斯分布大小的计算方法为： 权　利　要　求　书 1/3 页 2 CN 114821819 B 2表示第l类别关键点中第 i个关键点的分布大小， 表示第l类别关键点所对应的人 体部位分割的平均面积， 表示第l类别关键点中第i个关键点所对应的该人体部位分割 的面积， 为向上取整函数， 表示基准高斯分布大小。 3.根据权利要求1所述的一种健身动作实时监控方法， 其特征在于， 所述每个关键点的 高斯分布标准差的计算方法为： 表示第l类别关键点中第i个关键点的高斯分布标准差， 表示第l类别关键点所对 应的人体部位分割的平均面积， 表示第l类别关键点中第i个关键点所对应的该人体部 位分割的面积， 为向上取整函数， 表示基准高斯分布标准差 。 4.根据权利要求1所述的一种健身动作实时监控方法， 其特征在于， 所述x标签值分布 向量、 y标签值分布向量的获取 方法为： 首先获取人员所有关键点的一维高斯分布概率值， 然后将所有关键点的一维高斯分布 概率值相应位置进行求和， 然后求平均， 得到平均一维高斯分布概率， 并将其与标签值相 乘， 得到标签分布向量； 由于坐标向量表示为x、 y两个一维向量， 因此同样有x标签值分布向量、 y标签值分布向 量； 每一个人员的所有类别关键点标签值 为相同的一个值。 5.根据权利要求1所述的一种健身动作实时监控方法， 其特征在于， 所述第 一神经网络 的结构与损失函数为： 所述第一神经网络的结构为图像编码器、 全连接网络 两部分； 图像编码器的输入为RGB图像， 其作用为特征提取， 然后得到特征图， 特征图进行展平 操作得到特征向量， 将特征向量输入全连接网络进 行拟合， 输出每一类 关键点的x坐标一 维 分布向量、 y坐标一维分布向量、 x标签值分布向量、 y标签值分布向量； 损失函数如下： 分别表示x坐标一维分布向量标签、 网络预测的x坐标一维分布向量标签； 分别表示y坐标一维分布向量标签、 网络预测的y坐标一维分布向量标签； 分别表 示x标签值分布向量、 网络预测的x标签值分布向量； 分别表示y标签值分布向量标 签、 网络预测的y标签值分布向量。 6.根据权利要求1所述的一种健身动作实时监控方法， 其特征在于， 所述根据 预测标签 数据获取图像中每 个人员的人体姿态信息的方法为：权　利　要　求　书 2/3 页 3 CN 114821819 B 3