(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211011707.3 (22)申请日 2022.08.23 (71)申请人 贾维辰 地址 518000 广东省深圳市南 山区南海大 道3688号 (72)发明人 贾维辰　李德凤　李丽青　陈毅强　 (51)Int.Cl. G10L 25/60(2013.01) G10L 15/26(2006.01) G06F 40/253(2020.01) G06F 40/295(2020.01) G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 一种基于机器学习的自动化口译评估方法 及评估系统 (57)摘要 本发明涉及口译评估技术领域， 公开了一种 基于机器学习的自动化口译评估方法及评估系 统， 其方法包括： S1.构建标准源语数据集， 且标 准源语数据集中包含有源语音频S ‑Audio、 源文 本S‑Text、 权威目标语音频T ‑Audio、 目标文本T ‑ Text； S2.根据选择播放T ‑Audio， 被测 试者进行 口译练习， 且在口译练习的同时采集并记录被测 试者的练习音频ST ‑Audio； S3.根据设定需求并 使用机器学习技术对T ‑Audio、 T‑Text、 ST‑Audio 进行信息准确度、 表达流畅度、 语言准确度特征 的抽取和评估； S4.根据评估结果计算被测试者 的口译评分， 并向被测试者输出评估 结果及口译 评分； 综上， 本发明既能辅助教师和学员进行口 译训练， 提升口译评估的正确性和一致性； 又能 辅助人工 评估， 提升 评估效率、 降低评估者负荷。 权利要求书2页 说明书5页 附图2页 CN 115394320 A 2022.11.25 CN 115394320 A 1.一种基于 机器学习的自动化口译评估方法， 其特 征在于， 包括下述 步骤： S1.构建标准源语数据集， 且所述标准源语数据集中包含有源语音频S ‑Audio、 源文本 S‑Text、 权威目标语音频T ‑Audio、 目标文本T ‑Text； S2.根据选择播放T ‑Audio， 被测试者进行口译练习， 且在口译练习的同时采集并记录 被测试者的练习音频ST ‑Audio； S3.根据设定需求 并使用机器学习技术对T ‑Audio、 T‑Text、 ST‑Audio进行信息准确度、 表达流畅度、 语言准确度特 征的抽取和评估； S4.根据评估结果计算被测试者的 口译评分， 并向被测试者输出评估结果及口译评分。 2.根据权利要求1所述的一种基于机器学习的自动化口译评估方法， 其特征在于： 在所 述步骤S1中还包括构建语料库， 所述语料库用于单独储存源文本S ‑Text和目标文本T ‑ Text， 且语料库为 位于用户端的本地语料库或位于网络上的远程语料库。 3.根据权利要求1所述的一种基于机器学习的自动化口译评估方法， 其特征在于， 所述 步骤S2中， 采集被测试者练习音频ST ‑Audio并记录时包括： 在练习过程中， 被测试者在每句结束时执 行确认操作， 确认后记录保存并执 行断句。 4.根据权利要求2所述的一种基于机器学习的自动化口译评估方法， 其特征在于， 所述 步骤S3中， 包括： a)使用ASR技 术将ST‑Audio按照步骤S2中断句后所 形成的分句转录为文本ST ‑Text； b)训练语速分类模型， 并使用训练好的语速分类模型对ST ‑Audio进行评估， 得到每句 分句的表达流利度得分； c)训练文本相似度匹配模型， 并使用训练好的文本相似度匹配模型对T ‑Text和ST ‑ Text进行相似度匹配， 得到每句分句的信息准确度得分； d)训练语法错误检测模型和命名实体识别 模型， 并使用训练好的语法错误检测模型对 ST‑Text进行语 法错误检测， 使用训练好的命名实体识别模型对T ‑Text和ST ‑Text中具有特 定意义的实体进行识别和匹配， 得到每句分句的语言准确度得分。 5.根据权利要求1所述的一种基于机器学习的自动化口译评估方法， 其特征在于， 所述 步骤S4中， 按如下公式加权计算口译评分： Score＝α·Score{InfoCom}+β·Score{FluDel]+γ·Score{TLQual} α +β +γ＝1 其中： Score{InfoCom}、 Score{FluDel}、 Score{TLQual}分别代表被测试者的ST ‑Audio在信息准 确度、 表达流 畅度、 语言准确度三个指标中的得分情况， α、 β、 γ为权重参数， 所述权重参数 根据口译任务进行设置 。 6.一种基于 机器学习的自动化口译评估系统， 其特 征在于， 包括： 语料处理模块； 用于构建标准源语数据集， 且所述标准源语数据集中包含有源语音频 S‑Audio、 源文本S ‑Text、 权威目标语音频T ‑Audio、 目标文本T ‑Text； 口译练习模块； 用于播放T ‑Audio， 还用于在被测试者进行口译练习时采集并记录被测 试者的练习音频ST ‑Audio； 口译评估模块； 用于根据设定需求并使用机器学习技术对ST ‑Audio进行信息准确度、 表达流畅度、 语言准确度特 征的抽取和评估； 结果计算及推送模块； 用于计算被测试者的口译评分， 还用于向被测试者输出评估结权　利　要　求　书 1/2 页 2 CN 115394320 A 2果及口译评分。 7.根据权利要求6所述的一种基于机器学习的自动化口译评估系统， 其特征在于， 所述 语料处理模块还用于构造语料库， 所述语料库用于单独储存源文本S ‑Text和目标文本T ‑ Text， 且语料库为 位于用户端的本地语料库或位于网络上的远程语料库。 8.根据权利要求6所述的一种基于机器学习的自动化口译评估系统， 其特征在于， 所述 口译练习模块采集被测试者练习音 频并记录时， 包括： 在练习过程中， 被测试者在每句结束 时执行确认操作， 确认后记录保存并执 行断句。 9.根据权利要求8所述的一种基于机器学习的自动化口译评估系统， 其特征在于， 所述 口译评估模块评估中设有已完成训练的语速分类模型、 文本相似度匹配模型、 语法错误检 测模型和命名实体识别模型， 且所述口译评估 模块评估ST ‑Audio时包括： a)使用ASR技 术将ST‑Audio按照步骤S2中断句后所 形成的分句转录为文本ST ‑Text； b)使用训 练好的语速分类模型对ST ‑Audio进行评估， 得到每句分句的表达流利度得 分； c)使用训练好的文本相似度匹配模型对T ‑Text和ST ‑Text进行相似度匹配， 得到每句 分句的信息准确度得分； d)使用训练好的语法错误检测模型对ST ‑Text进行语法错误检测， 使用训练好的命名 实体识别模型对T ‑Text和ST ‑Text中具有特定意义的实体进行识别和匹配， 得到每句分句 的语言准确度得分。 10.根据权利要求6所述的一种基于机器学习的自动化口译评估系统， 其特征在于， 所 述结果计算及推送模块包括： 计算单元， 按如下公式加权计算口译评分： Score＝α·Score{InfoC。 m}+β·Score{FluDel}+γ·Score{TLQual} α +β +γ＝1 其中： Score{InfoCom}、 Score{FluDel}、 Score{TLQual}分别代表被测试者的ST ‑Audio在信息准 确度、 表达流 畅度、 语言准确度三个指标中的得分情况， α、 β、 γ为权重参数， 所述权重参数 根据口译任务进行设置； 提醒单元， 用于在计算完成后， 向被测试者发送提醒通知； 显示单元， 用于在被测试者点击提醒通知后， 显示所述口译评估模块的评估结果以及 所述计算单 元所计算的 口译评分。权　利　要　求　书 2/2 页 3 CN 115394320 A 3