(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210731923.9 (22)申请日 2022.06.25 (71)申请人 平安银行股份有限公司 地址 518000 广东省深圳市罗湖区深南 东 路5047号 (72)发明人 陈杭　陈子意　朱益兴　于欣璐　 李骁　 (74)专利代理 机构 深圳紫藤知识产权代理有限 公司 44570 专利代理师 黄灵飞 (51)Int.Cl. G06Q 30/00(2012.01) G06Q 40/02(2012.01) G10L 15/26(2006.01) G10L 17/26(2013.01)G06F 40/30(2020.01) (54)发明名称 一种数据标注方法、 装置、 计算机设备及存 储介质 (57)摘要 本申请实施例公开了一种数据标注方法、 装 置、 计算机设备及存储介质， 其中， 该方法包括从 银行客服坐席与客户的历史通话数据中选取第 一待标注数据和第二待 标注数据， 对第一待 标注 数据进行人工标注， 得到带有情绪标签的第一标 注音频和第一标注音 频文本， 基于情绪标签在音 频和文本中的位置， 获取第一声音特征和第一文 本特征， 通过情绪分析模型对第一声音特征和第 一文本特征进行情绪识别， 基于识别结果和情绪 标识对模型进行训练， 将第二待标注数据进行切 分， 基于切分结果获取第二声音特征和第二文本 特征， 通过情绪分析模型基于第二声音特征和第 二文本特征进行情绪识别以及情绪标签的自动 标注。 通过上述方式， 实现半监督式的数据标注， 节省人力成本 。 权利要求书3页 说明书11页 附图2页 CN 115063155 A 2022.09.16 CN 115063155 A 1.一种数据标注方法， 其特 征在于， 所述方法包括： 从银行客服坐席与客户的历史通话数据中选取出第 一待标注数据和第 二待标注数据， 将所述第一待标注数据发送给人工端进行人工标注， 得到第一标注数据， 所述第一标注数 据包括带有情绪标签的第一标注音频和第一标注音频文本， 其中， 所述情绪标签包括情绪 标识以及被所述情绪标识标注的音频或音频文本的位置信息， 所述第一标注音频和所述第 一标注音频文本的情绪标签中记录的情绪标识相同； 基于所述第 一标注音频的情绪标签中的位置信 息， 获取所述第 一标注音频中的情绪标 注音频段， 获取所述情绪标注音频 段的第一声 音特征； 基于所述第 一标注音频文本的情绪标签中的位置信 息， 获取所述第 一标注数据的情绪 标注句段， 获取 所述情绪标注句段的第一文本特 征； 通过情绪分析模型基于所述第 一声音特征和所述第 一文本特征进行情绪识别， 得到情 绪识别结果， 基于所述情绪识别结果和所述情绪标签， 对所述情绪分析模型进行训练； 对所述第二待标注数据进行音频段切分， 得到多段音频数据， 基于多段所述音频数据 得到对应的音频文本； 获取所述音频数据的第 二声音特征及所述文本数据的第 二文本特征， 通过所述情绪分 析模型基于所述第二声音 特征和所述第二文本特征进 行情绪识别， 基于识别结果对所述音 频数据和所述文本数据进行情绪标签的自动标注。 2.根据权利要求1所述的数据标注方法， 其特征在于， 所述基于所述第 一标注音频的情 绪标签中的位置信息， 获取所述第一标注音频中的情绪标注音频段， 获取所述情绪标注音 频段的第一声 音特征， 包括： 基于所述情绪标识， 对所述情绪标注音频 段进行分类； 利用预设音频算法， 获取相同类别的所述情绪标注音频段的声音频谱图， 基于所述声 音频谱图获取用于表征情绪的第一声 音特征。 3.根据权利要求1所述的数据标注方法， 其特征在于， 所述基于所述第 一标注音频文本 的情绪标签中的位置信息， 获取所述第一标注数据的情绪标注句段， 获取所述情绪标注句 段的第一文本特 征， 包括： 基于所述情绪标识， 对所述情绪标注句段进行分类； 利用预设文本算法， 获取相同类别的所述情绪标注句段的情绪特征词， 基于所述情绪 特征词获取用于表征情绪的第一文本特 征。 4.根据权利要求1所述的数据标注方法， 其特征在于， 所述获取所述音频数据的第 二声 音特征及所述文本数据的第二文本特征， 通过所述情绪分析模型基于所述第二声音特征和 所述第二文本特征进 行情绪识别， 基于识别结果对所述音频数据和所述文本数据进行情绪 标签的标注， 包括： 在所述情绪分析模型中设置音频权 重和文本 权重； 在识别出所述第 二声音特征及其对应的所述第 二文本特征的情绪标识不同时， 基于所 述音频权重和所述文本权重的权重比值， 确定所述第二声音 特征及其对应的所述第二文本 特征的情绪标识。 5.根据权利要求1所述的数据标注方法， 其特征在于， 所述从银行客服坐席与客户的历 史通话数据中选取出第一待标注数据和第二待标注数据， 将所述第一待标注数据发送给人权　利　要　求　书 1/3 页 2 CN 115063155 A 2工端进行人工标注， 得到第一标注数据， 所述第一标注数据包括带有情绪标签的第一标注 音频和第一标注音频文本， 其中， 所述情绪标签包括情绪标识以及被所述情绪标识标注的 音频或音频文本的位置信息， 所述第一标注音频和所述第一标注音频文本的情绪标签中记 录的情绪标识相同， 包括： 从银行客服坐席与客户的历史通话数据中选取出第 一待标注数据， 所述第 一待标注数 据包括第一待标注音频； 将所述第一待标注音频输入语音分离模型， 所述语音分离模型根据不同说话人的声纹 特征， 对所述第一待标注音频做分离和标记处 理； 将处理后的所述第一待标注音频输入文本识别模型， 得到对应的第一待标注音频文 本； 从剩下的所述历史通话数据中选取第 二待标注数据， 并发送 处理后的所述第 一待标注 音频和所述第一待标注音频文本给 人工端进行人工标注。 6.根据权利要求5所述的数据标注方法， 其特征在于， 所述将处理后的所述第 一待标注 音频输入文本识别模型， 得到与所述第一待标注音频对应的第一待标注文本， 包括： 将所述第一待标注音频输入文本识别模型， 所述文本识别模型对所述第 一待标注音频 中的有声音频段的语义进 行识别， 并确定所述第一待标注音频中的空白频段在所述第一待 标注音频中的空白位置， 所述空白频 段为所述第一待标注音频中的无声频 段； 基于语义识别结果及所述空白位置， 得到初始文本； 将所述初始文本输入深度神经网络模型中， 确定所述空白位置中的标点符号位置， 并 自动标记标点符号， 将剩 下的所述空 白位置的前后相邻的语句进行连接， 得到第一待标注 文本。 7.根据权利要求1所述的数据标注方法， 其特征在于， 所述从银行客服坐席与客户的历 史通话数据中选取出第一待标注数据和第二待标注数据， 将所述第一待标注数据发送给人 工端进行人工标注， 得到第一标注数据， 所述第一标注数据包括带有情绪标签的第一标注 音频和第一标注音频文本， 包括： 对所述第一待标注数据和所述第二待标注数据进行预处理， 所述预处理包括降噪处 理。 8.一种数据标注装置， 其特 征在于， 所述装置包括： 人工标注单元， 用于从银行客服坐席与客户的历史通话数据中选取出第 一待标注数据 和第二待标注数据， 将所述第一待标注数据发送给人工端进行人工标注， 得到第一标注数 据， 所述第一标注数据包括带有情绪标签的第一标注音频和 第一标注音 频文本， 其中， 所述 情绪标签包括情绪标识以及被所述情绪标识标注的音频或音频文本的位置信息， 所述第一 标注音频和所述第一标注音频文本的情绪标签中记录的情绪标识相同； 声音特征获取单元， 用于基于所述第一标注音频的情绪标签中的位置信息， 获取所述 第一标注音频中的情绪标注音频 段， 获取所述情绪标注音频 段的第一声 音特征； 文本特征获取单元， 用于基于所述第一标注音频文本的情绪标签中的位置信息， 获取 所述第一标注数据的情绪标注句段， 获取 所述情绪标注句段的第一文本特 征； 模型训练单元， 用于通过情绪分析模型基于所述第 一声音特征和所述第 一文本特征进 行情绪识别， 得到情绪识别结果， 基于所述情绪识别结果和所述情绪标签， 对所述情绪分析权　利　要　求　书 2/3 页 3 CN 115063155 A 3