(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211061955.9 (22)申请日 2022.09.01 (71)申请人 全民认证科技(杭州)有限公司 地址 310019 浙江省杭州市江干区九环路 48号8幢4层401室至40 6室 (72)发明人 骆锴　霍红文　项朝平　 (74)专利代理 机构 杭州中港知识产权代理有限 公司 33353 专利代理师 施建勇 (51)Int.Cl. G06Q 50/16(2012.01) G06Q 30/00(2012.01) G06F 16/35(2019.01) G06F 16/38(2019.01) G10L 25/63(2013.01)G10L 25/30(2013.01) G10L 15/06(2013.01) (54)发明名称 适用于未来社区的物业信息管理方法、 系 统、 设备及 介质 (57)摘要 本申请公开了一种适用于未来社区的物业 信息管理方法、 系统、 设备及介质， 方法包括： 获 取客户信息， 并生成虚拟客服； 获取预设的与该 客户信息相应的处理方案信息； 通过语音合成技 术将处理方案信息通过虚拟客服发送给客户； 通 过设备检测到客户情绪超出预设范围， 触发人工 客服； 对人工客服发送的信息进行处理， 提高客 户的满意度； 当获取到客户信息时， 生成虚拟客 服； 并根据客户信息， 获取预设的与该客户信息 相应的处理方案信息； 然后将处理方案信息通过 虚拟客服发送给客户； 此时若检测到客户情绪超 出预设范围， 触发人工客服， 本技术方案能够根 据客户的情绪， 及时触发人工客服， 可 以及时处 理用户的问题， 提高用户的满意度， 提升用户的 体验感。 权利要求书2页 说明书8页 附图5页 CN 115375508 A 2022.11.22 CN 115375508 A 1.一种适用于未来社区的物业信息管理方法， 其特 征在于， 所述方法包括： 获取客户信息， 并生成虚拟客 服； 根据所述 客户信息， 获取 预设的与该 所述客户信息相应的处 理方案信息； 通过语音合成技 术将所述处 理方案信息通过 所述虚拟客 服发送给客户； 通过设备检测到客户情绪超出 预设范围， 触发人工客 服； 对人工客 服发送的信息进行处 理， 提高客户的满意度。 2.如权利要求1所述的适用于未来社区的物业信 息管理方法， 其特征在于， 通过设备检 测到客户情绪超出 预设范围， 触发人工客 服包括： 通过麦克风和摄 像头获取客户的信息； 选取人脸标准图， 并根据获得的所述人脸标准图， 构建神经网络模型； 选取远程录音文件， 结合情 感语录库， 使用工具进行语言情 感提取， 完善所述神经网络 模型； 录制客服人员的面部表情， 作为虚拟客 服对客形象； 进行语音情绪检测 和视频情绪检测； 根据客户操作， 从数据库中获取 预设方案， 渲染虚拟客 服合成唇形同步人脸视频； 播放虚拟客 服形象和答复语音， 引导 客户完成业 务办理； 当客户出现较差的情绪波动时， 转入人工客 服。 3.如权利要求1所述的适用于未来社区的物业信 息管理方法， 其特征在于， 对人工客服 发送的信息进行处 理包括： 获取人工服务过程中向客户发送的信息； 对信息进行处 理， 形成文本信息； 预设违规检测项目； 所述文本信息在所述违规检测项目中是否存在违规； 若违规， 根据违规的问题， 对解决方案知识库进行查询， 获取解决方案； 根据解决方案， 对违规的所述文本信息进行纠正处 理， 并发送给客户； 若不违规； 将所述文本信息发送给客户。 4.如权利要求2所述的适用于未来社区的物业信 息管理方法， 其特征在于， 进行语音情 绪检测和视频情绪检测包括： 将语音信 息和视频信 息输入至预先训练的情绪检测模型， 检测与语音信 息和视频信 息 相应的情绪信息， 以此检测用户情绪。 5.如权利要求4所述的适用于未来社区的物业信 息管理方法， 其特征在于， 所述情绪检 测模型通过如下 方式训练： 获取历史音视频信息， 该历史音视频信息包括： 历史用户音视频信息、 历史作业信息； 根据所述历史音视频信息， 基于人脸面部特征提取算法、 语音情感特征提取算法来训练该 神经网络模型。 6.如权利要求5所述的适用于未来社区的物业信 息管理方法， 其特征在于， 所述情绪检 测模型包括： 语音情绪检测模型和视频情绪检测模型； 将语音信 息和视频信 息输入至预先训练的情绪检测模型包括： 将周期性获取的音频信权　利　要　求　书 1/2 页 2 CN 115375508 A 2息进行分帧处理， 并将分帧处理后的音频信息输入至所述语音情绪检测模型， 进行语音情 绪检测操作； 将周期性获取 的视频信息的最后一帧图像输入至所述视频情绪检测模型， 进 行视频情绪检测操作。 7.一种适用于未来社区的物业信息管理系统， 其特 征在于， 所述系统包括： 请求接收单 元， 用于接收客户发送的信息； 虚拟客服触发单 元， 根据客户发送的信息触发虚拟客 服操作， 显示虚拟客 服形象； 处理方案获取单元， 用于获取用户的语言信息和视频信息， 并根据获取的语言信息和 视频信息获取 预设的与该客户信息相应的处 理方案信息； 处理方案播放单元， 用于基于语音合成技术将所述处理方案信 息通过所述虚拟客服形 象播 放给用户， 以便 于该用户执 行相应的操作； 人工服务触发单元， 用于响应于根据所述音视频信息检测到用户情绪超出预设范围， 触发人工服 务操作， 以便 于帮助该用户完成相应的操作。 8.如权利要求7 所述的适用于未来社区的物业信息管理系统， 其特 征在于， 所述处理方案播放单元包括： 转换模块， 用于基于所述语音合成技术将所述处理方案 信息转换为处 理方案语音信息； 处理方案播放模块， 用于基于语音驱动唇形同步算法和所述处理方案语音信 息渲染所 述虚拟客 服形象， 合成唇 形同步虚拟客户人脸视频并播 放该处 理方案语音信息 。 9.一种电子设备， 包括： 一个或多个处 理器； 存储装置， 其上存 储有一个或多个程序； 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述处理器实现如权利要 求1至6任意一项所述的方法。 10.一种计算机存储介质， 其上存储有计算机程序， 其中， 所述计算机程序被处理器执 行时实现如权利要求1至 6任意一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115375508 A 3