(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211194709.0 (22)申请日 2022.09.29 (71)申请人 广东机电职业 技术学院 地址 510515 广东省广州市白云区同和蟾 蜍石东路2号 (72)发明人 汪承研　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 李君 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 40/70(2022.01) G06F 40/30(2020.01)G06F 40/289(2020.01) G16H 50/30(2018.01) G16H 20/10(2018.01) G16H 40/67(2018.01) G16H 40/20(2018.01) A61B 5/16(2006.01) A61B 5/11(2006.01) A61B 5/0205(2006.01) G10L 25/63(2013.01) G10L 25/30(2013.01) G10L 25/90(2013.01) (54)发明名称 识别方法、 急救决策方法、 介质及生命健康 智能监护系统 (57)摘要 本发明公开了一种识别方法、 急救决策方 法、 介质及生命健康智 能监护系统， 所述识别方 法包括： 获取目标人员的脸部表情数据、 动作行 为数据、 语调数据和语音数据； 对所述语音数据 进行解释， 得到语义数据； 将所述脸部表情数据、 所述动作行为数据、 所述语调数据和所述语义数 据输入对应训练好的多尺度特征融合网络模型， 得到脸部情感要素识别结果、 动作行为识别结 果、 语调情感要素识别结果和语义情感要素识别 结果。 本发明通过采集语调、 语音、 动作行为等数 据， 并运用人工智 能自然语言、 深度学习算法处 理， 创造性地解决了目标人员的情感难以感知和 异常行为难以实时识别的问题， 为生命与健康监 护提供了极其重要的数据。 权利要求书2页 说明书12页 附图12页 CN 115271002 A 2022.11.01 CN 115271002 A 1.一种情感要素与动作行为识别方法， 其特 征在于， 所述方法包括： 获取目标 人员的脸部表情数据、 动作行为数据、 语调数据和语音数据； 对所述语音数据进行解释， 得到语义数据； 将所述脸部表情数据、 所述动作行为数据、 所述语调数据和所述语义数据输入对应训 练好的多尺度特征融合网络模型， 得到脸部情感要 素识别结果、 动作行为识别结果、 语调情 感要素识别结果和语义情感要素识别结果。 2.根据权利要求1所述方法， 其特征在于， 所述多尺度特征融合网络模型以ResNet ‑101 为骨干网络； 输入所述多尺度 特征融合网络模型的数据依次经过四组多次卷积操作和0.5倍下采样 操作， 生成四个尺度不同的特征图， 其中， 所述特征图依次分为第一初始特征图、 第二初始 特征图、 第三初始特 征图和第四初始特 征图； 所述第四初始特 征图通过1   ×  1 卷积操作生成第一临时性特 征图； 所述第一临时性特征图通过2倍上采样操作并与1   × 1卷积操作后的第三特征图进行 特征融合， 以生成第二临时性特 征图； 所述第二临时性特征图通过2倍上采样操作并与1   × 1卷积操作后的第二特征图进行 特征融合， 以生成第一临时性特 征图； 所述第一临时性特征图、 第二临时性特征图和第三临时性特征图分别通过3   × 3 卷 积操作生成第一 最终特征图、 第二 最终特征图和第三 最终特征图。 3.根据权利要求1 ‑2任一项所述方法， 其特征在于， 所述对所述语音数据进行解释， 得 到语义数据， 具体包括： 根据语义分析系统， 对所述语音数据进行解释， 得到语义数据； 所述语义分析系统包括 新词发现功能、 批量分词功能和语言统计功能。 4.根据权利要求1 ‑2任一项所述方法， 其特征在于， 根据声学特征参数组合， 确定所述 语调情感要素识别结果； 所述语调情 感要素识别结果包括第一高兴、 第一愉悦、 第一轻松、 第 一平和、 第一紧张、 第一激动和第一伤 心的其中之一； 根据语义信息元 所记录的标签， 确定所述语义情感要素识别结果； 所述语义情 感要素识别结果包括第二高兴、 第二愉悦、 第二轻松、 第 二平和、 第二紧张、 第二激动和第二伤 心的其中之一。 5.一种急救决策 方法， 其特 征在于， 所述方法包括： 获取目标 人员的实时心率数据和实时呼吸频率数据； 对脸部情感要素识别结果、 动作行为识别结果、 语调情感要素识别结果和语义情感要 素识别结果进行综合研判， 形成情绪标签和异常行为指针； 根据生命与健康多维度数据智能分析引擎， 对所述实时心率数据、 所述实时呼吸频率 数据、 所述情绪标签和所述异常行为指针进行处 理， 以判断目标 人员是否需要急救； 所述脸部情感要素识别结果、 动作行为识别结果、 语调情感要素识别结果和语义情感 要素识别结果 通过权利要求1 ‑4任一项所述方法获取 得到。 6.根据权利要求5所述方法， 其特征在于， 所述对脸部情感要素识别结果、 动作行为识 别结果、 语调情感要素识别结果和语义情感要素识别结果进行综合研判， 形成情绪标签和权　利　要　求　书 1/2 页 2 CN 115271002 A 2异常行为指针， 具体包括： 对脸部情感要素识别结果、 语调情感要素识别结果和语义情 感要素识别结果赋予不同 的权重并作为第一维数据； 将动作行为识别结果作为第二维数据； 对所述第一维数据和所述第 二维数据进行相互补充和支撑， 并经过决策机综合分析之 后， 输出情绪标签和异常行为指针； 所述情绪标签包括第三愉悦、 第三平和、 第一郁闷、 危急的其中之一； 所述异常行为指针包括行为轻度异常、 行为中度异常、 行为高度异常的其中之一。 7.根据权利要求5所述方法， 其特征在于， 所述根据生命与健康多维度 数据智能分析引 擎， 对所述 实时心率数据、 所述实时呼吸频率数据、 所述情绪标签和所述异常行为指针进 行 处理， 以判断目标 人员是否需要急救， 具体包括： 在选定时间段内， 累积目标人员的心率和呼吸频率， 得到历史心率数据和历史呼吸频 率数据； 对所述历史心率数据和所述历史呼吸频率数据进行变异性分析； 当所述实时心率数据和/或所述实时呼吸频率数据 过低、 过高或骤停时， 将所述情绪标 签和所述异常行为指针作为辅助决策 数据， 由此判断目标 人员是否需要急救。 8.一种生命健康智能监护系统， 其特征在于， 所述系统包括生命体征探测模块、 图像采 集模块、 音频采集模块、 深度学习模块、 情感 感知和行为识别模块和生命健康与监护模块； 所述生命体征探测模块， 用于采集目标 人员的实时心率数据和实时呼吸频率数据； 所述图像采集模块， 用于采集目标 人员的脸部表情数据和动作行为数据； 所述音频采集模块， 用于采集目标人员的语调数据和语音数据， 并对所述语音数据进 行解释， 得到语义数据； 所述深度学习模块， 用于将所述脸部表情数据、 所述动作行为数据、 所述语调数据和所 述语义数据输入对应训练好的多尺度特征融合网络模型， 得到脸部情感要素识别结果、 动 作行为识别结果、 语调情感要素识别结果和语义情感要素识别结果； 所述情感感知和行为识别模块， 用于对四种识别结果进行综合研判， 形成情绪标签和 异常行为指针； 所述生命健康与监护模块， 用于根据生命与健康多维度数据智能分析引擎， 对所述实 时心率数据、 所述 实时呼吸频率数据、 所述情绪标签和所述异常行为指 针进行处理， 以判断 目标人员是否存在潜在疾病和/或生命风险。 9.根据权利要求8所述生命健康智能监护系统， 其特征在于， 所述系统还包括目标跟随 模块和通信与导航模块； 所述目标跟随模块与生命体征探测模块、 图像采集模块、 音频采集 模块、 通信与导 航模块连接； 所述 生命体征探测模块包括毫米波雷达 。 10.一种存储介质， 存储有程序， 其特征在于， 所述程序被处理器执行时， 实现权利要求 1‑4任一项所述方法和/或权利要求5 ‑7任一项所述方法。权　利　要　求　书 2/2 页 3 CN 115271002 A 3