(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211147741.3 (22)申请日 2022.09.21 (71)申请人 北京云迹科技股份有限公司 地址 100089 北京市海淀区北四环西路67 号7层702室 (72)发明人 郭俊廷　支涛　 (74)专利代理 机构 北京嘉科知识产权代理事务 所(特殊普通 合伙) 11687 专利代理师 杨波 (51)Int.Cl. G06F 16/332(2019.01) G06Q 30/00(2012.01) G06F 16/33(2019.01) G06F 16/35(2019.01) G06F 40/30(2020.01) (54)发明名称 自动应答评价方法及装置 (57)摘要 本公开涉及计算机技术领域， 提供了一种自 动应答评价方法及装置。 该方法包括： 将当前对 话文本的当前回答文本和当前响应文本输入到 预置的情绪识别模型， 得到情绪向量， 将当前回 答文本和当前响应文本输入到预置的意图识别 模型， 得到意图向量， 其中， 当前对话文本包括当 前提问文本、 当前回答文本和当前响应文本； 将 情绪向量和意图向量输入到预置的用户响应融 合模型， 得到融合向量； 将当前提问文本和当前 回答文本输入到预置的单轮问答编码模型， 得到 问答向量； 将融合向量和问答向量输入到预置的 融合解码模 型， 得到对当前对话文本进行评价的 评价结果。 采用上述技术手段， 可 以解决智 能客 服回答用户提问时用户体验不佳的技 术问题。 权利要求书2页 说明书9页 附图4页 CN 115221306 A 2022.10.21 CN 115221306 A 1.一种自动应答评价方法， 其特 征在于， 所述方法包括： 将当前对话文本的当前回答文本和当前响应文本输入到预置的情绪识别模型， 得到情 绪向量， 将所述当前回答文本和所述当前响应文本输入到预置的意图识别模型， 得到意图 向量， 其中， 所述当前对话文本包括当前提问文本、 所述当前回答文本和所述当前响应文 本； 将所述情绪向量和所述 意图向量输入到预置的用户响应融合模型， 得到融合向量； 将所述当前提问文本和所述当前回答文本输入到预置的单轮问答编码模型， 得到问答 向量； 将所述融合向量和所述问答向量输入到预置的融合解码模型， 得到对所述当前对话文 本进行评价的评价结果。 2.根据权利要求1所述的方法， 其特征在于， 所述用户响应融合模型、 所述单轮问答编 码模型和所述融合 解码模型通过 联合训练方法得到， 该 联合训练方法包括： 使用通用领域对话文本和对应的情绪与意图相关标签对所述用户响应融合模型进行 预训练； 使用历史对话文本、 领域词和对应的乱序标签对所述单轮问答编码模型进行预训练， 所述历史对话文本包括历史提问文本、 历史回答文本和历史响应文本； 使用所述历史提问文本、 所述历史回答文本和对应的响应情绪标签、 响应意图标签以 及回答文本得分标签进行联合训练， 直到所述用户响应融合模型、 所述单轮问答编码模型 和所述融合 解码模型收敛。 3.根据权利要求2所述的方法， 其特征在于， 所述情绪识别模型和所述意图识别模型的 训练方法包括： 使用历史对话文本对所述情绪识别模型和所述 意图识别模型分别进行 预训练； 使用所述历史回答文本、 所述历史响应文本和对应的响应情绪标签对经过预训练的情 绪识别模型的参数进行调整， 完成对所述情绪识别模型的训练； 使用所述历史回答文本、 所述历史响应文本和对应的响应意图标签对经过预训练的意 图识别模型的参数进行调整， 完成对所述 意图识别模型的训练。 4.根据权利要求2所述的方法， 其特征在于， 使用所述历史提问文本、 所述历史回答文 本和对应的响应情绪标签、 响应意图标签以及历史回答文本得分标签进行联合训练， 直到 所述用户响应融合模型、 所述单轮问答编码模型和所述融合 解码模型收敛， 包括： 将所述响应情绪标签和所述响应意图标签拼接后输入所述用户响应融合模型， 得到融 合向量； 将所述历史提问文本和所述历史回答文本输入所述单轮问答编码模型， 得到问答向 量； 将所述融合向量和所述问答向量输入到所述融合解码模型， 得到所述历史对话文本的 得分概率； 根据所述得分概率和所述历史回答文本得分标签计算损失函数值， 并根据所述损失函 数值重复训练所述用户响应融合模型、 所述单轮 问答编码模型和所述融合解码模型收敛， 直到所述损失函数值收敛。 5.根据权利要求2所述的方法， 其特征在于， 将所述响应情绪标签和所述响应意图标签权　利　要　求　书 1/2 页 2 CN 115221306 A 2拼接后输入所述用户响应融合模型， 得到融合向量， 包括： 将所述响应情绪标签和所述响应意图标签拼接后输入所述用户响应融合模型， 经过融 合编码器编码及响应融合 解码器解码， 得到所述融合向量。 6.根据权利要求2所述的方法， 其特征在于， 将所述历史提问文本和所述历史回答文本 输入所述单轮问答编码模型， 得到问答向量， 包括： 将所述历史提问文本和所述历史回答文本输入所述单轮问答编码模型， 经过问答编码 器编码和均值池化操作， 得到对应的语义向量； 将两个语义向量 拼接后经 过问答解码器解码， 得到所述问答向量。 7.根据权利要求2所述的方法， 其特征在于， 使用所述历史对话文本对所述情绪识别模 型和所述 意图识别模型分别进行 预训练， 包括： 采用所述历史回答文本和所述历史响应文本的拼接文本对所述情绪识别模型进行预 训练； 采用所述历史回答文本和所述历史响应文本的拼接文本对所述意图识别模型进行预 训练。 8.一种自动应答评价装置， 其特 征在于， 包括： 单向量获取模型， 用于将当前对话文本的当前回答文本和当前响应文本输入到预置的 情绪识别模型， 得到情绪向量， 以及将所述当前回答文本和所述当前响应文本输入到预置 的意图识别模型， 得到意图向量， 其中， 所述当前对话文本包括当前提问文本、 所述当前回 答文本和所述当前响应文本； 向量融合模型， 用于将所述情绪向量和所述意图向量输入到预置的用户响应融合模 型， 得到融合向量； 问答编码模型， 用于将所述当前提问文本和所述当前回答文本输入到预置的单轮问答 编码模型， 得到问答向量； 融合解码模型， 用于将所述融合向量和所述问答向量输入到预置的融合解码模型， 得 到对所述当前对话文本进行评价的评价结果。 9.一种电子设备， 包括存储器、 处理器以及存储在所述存储器中并且可在所述处理器 上运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1至 7中任一项所述方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如权利要求1至7中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115221306 A 3