(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211215558.2 (22)申请日 2022.09.30 (71)申请人 阿里巴巴 （中国） 有限公司 地址 311121 浙江省杭州市余杭区五常街 道文一西路969号3幢5层5 54室 (72)发明人 李嘉辉　胡立　王琪　张邦　 (74)专利代理 机构 北京博浩百 睿知识产权代理 有限责任公司 1 1134 专利代理师 谢湘宁 (51)Int.Cl. G09B 21/00(2006.01) G06T 13/20(2011.01) G06T 13/40(2011.01) G06F 40/30(2020.01) G10L 15/26(2006.01) (54)发明名称 手语的播报方法及处 理器 (57)摘要 本申请公开了一种手语的播报方法及处理 器。 其中， 该方法包括： 对由语音信息转化成的文 本数据进行切分处理， 得到至少一段子文本数 据， 其中， 子文本数据用于描述语音信息中的子 语音内容； 基于子语音内容的语音播报参数， 生 成与子文本数据对应的虚拟动作参数； 响应于播 报子语音内容， 触发虚拟形象基于虚拟动作参数 输出对应的手语动作。 本申请解决了手语播报的 效率低的技 术问题。 权利要求书3页 说明书20页 附图8页 CN 115527426 A 2022.12.27 CN 115527426 A 1.一种手 语的播报方法， 其特 征在于， 包括： 对由语音信 息转化成的文本数据进行切分处理， 得到至少一段子文本数据， 其中， 所述 子文本数据用于描述所述语音信息中的子语音内容； 基于所述子语音内容的语音播报参数， 生成与所述子文本数据对应的虚拟动作参数； 响应于播报所述子语音内容， 触发虚拟形象基于所述虚拟动作参数输出对应的手语动 作。 2.根据权利要求1所述的方法， 其特征在于， 所述虚拟动作参数包括手语动作及其播报 时间戳， 基于所述子语音内容的语音播报参数， 生成与所述子文本数据对应的虚拟动作参 数， 包括： 在数据库中查询与所述子文本数据对应的所述手 语动作； 基于所述子语音内容的播报时间戳， 确定查询到的所述手 语动作的所述 播报时间戳。 3.根据权利要求2所述的方法， 其特征在于， 基于所述子语音内容的播报时间戳， 确定 查询到的所述手 语动作的所述 播报时间戳， 包括： 响应于所述子文本数据的长度 大于第一阈值， 基于所述子文本数据对应的所述子语音 内容的播报时间戳和手语动作序列 的长度， 确定查询到的所述手语动作 的所述播报时间 戳， 其中， 所述手语动作序列包括所述手语动作和用于将所述手语动作平滑过渡至下一手 语动作的过渡动作。 4.根据权利要求3所述的方法， 其特征在于， 基于所述子文本数据对应的所述子语音内 容的播报时间戳和手语动作序列的长度， 确定查询 到的所述手语动作的所述播报时间戳， 包括： 基于所述子文本数据对应的所述子语音内容的播报时间戳和所述手语动作序列的长 度， 确定查询到的所述手 语动作的播报速度和/或播报时长； 基于查询到的所述手语动作的播报速度和/或播报时长， 确定查询到的所述手语动作 的所述播报时间戳。 5.根据权利要求3所述的方法， 其特 征在于， 所述方法还 包括： 对查询到的所述手 语动作和所述下一手 语动作进行编辑， 得到编辑结果； 对所述编辑结果进行动作连接处 理， 得到所述过渡动作。 6.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 基于所述子语音内容的播报速度和/或所述子语音内容的播报时长， 确定所述子语音 内容的播报时间戳， 其中， 所述子语音内容的播报时长包括开始播报所述子语音内容到开 始播报所述子语音内容在所述语音信息中下一子语音内容之间的静音时长 。 7.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 响应于所述子文本数据的长度小于第 二阈值， 基于所述子文本数据生成所述虚拟形象 的面部动作参数； 在触发所述虚拟形 象基于所述虚拟动作参数输出对应的所述手语动作时， 触发所述虚 拟形象基于所述 面部动作参数输出对应的面部动作。 8.根据权利要求7所述的方法， 其特征在于， 基于所述子文本数据生成所述虚拟形 象的 面部动作参数， 包括： 对所述子文本数据进行情绪识别， 得到情绪信息； 基于所述情绪信息生成所述虚拟形权　利　要　求　书 1/3 页 2 CN 115527426 A 2象的表情动作的表情动作参数， 其中， 所述表情动作的播时间戳与查询 到的所述手语动作 的播报时间戳相对应； 和/或 对所述子文本数据进行关键字识别， 得到关键字； 基于所述关键字生成所述虚拟形象 的唇语动作的唇语动作参数， 其中， 所述唇语动作的播报时间戳与查询 到的所述手语动作 的播报时间戳相对应。 9.根据权利要求1至8中任意 一项所述的方法， 其特 征在于， 所述方法还 包括： 响应于对所述虚拟形象的手语动作的中断指令， 中断输出所述手语动作， 且将所述子 文本数据中 断为第一子文本数据； 基于所述第一子文本数据对应的第一子语音内容的语音 播报参数， 生成与所述第一子文本数据对应的第一虚拟动作参数； 响应于播报所述第一子 语音内容， 触发所述虚拟形象基于所述第一虚拟动作参数输出对应的手 语动作； 和/或， 响应于对所述虚拟形象的手语动作的插播指令， 对所述插播指令 中的插播文本数据和 所述子文本数据进行合并， 得到第二子文本数据； 基于所述第二子文本数据对应的第二子 语音内容的语音播报参数， 生成与所述第二子文本数据对应的第二虚拟动作参数； 响应于 播报所述第二子语音内容， 触发所述虚拟形象基于所述第二虚拟动作参数， 输出对应的手 语动作。 10.一种手 语的播报方法， 其特 征在于， 包括： 在虚拟现实VR设备或增强现实AR设备 上输入语音信息； 基于所述语音信 息中子语音内容的语音播报参数， 生成与所述子语音内容对应的虚拟 动作参数， 并驱动所述VR设备或所述AR设备播报所述子语音内容； 在所述VR设备或增强现实AR设备的呈现画面上展示虚拟形象， 并展示所述虚拟形象基 于所述虚拟动作参数而输出的手 语动作。 11.一种手 语的播报方法， 其特 征在于， 包括： 响应于对操作界面的输入操作指令， 输入语音信息； 响应于对所述语音信 息的翻译操作指令， 将所述语音信 息翻译为虚拟形象的虚拟动作 参数， 其中， 所述虚拟动作参数为基于所述语音信息中子语音内容的语音播报参数获取到， 所述子语音内容由文本数据中子文本数据进行描述， 所述文本数据由所述语音信息转化 到； 在所述操作界面上渲染展示所述虚拟形 象， 以及触发所述虚拟形象基于所述虚拟动作 参数输出对应的手 语动作。 12.一种手 语的播报方法， 其特 征在于， 包括： 通过调用第 一接口获取语音信息， 其中， 所述第 一接口包括第一参数， 所述第 一参数的 参数值为所述语音信息； 对由所述语音信 息转化成的文本数据进行切分处理， 得到至少一段子文本数据， 其中， 所述子文本数据用于描述所述语音信息中的子语音内容； 基于所述子语音内容的语音播报参数， 生成与所述子文本数据对应的虚拟动作参数； 通过调用第 二接口输出所述虚拟动作参数， 其中， 所述第 二接口包括第 二参数， 所述第 二参数的值为所述虚拟动作参数， 所述虚拟动作参数用于在播报所述子语音内容时， 触发 虚拟形象输出对应的手 语动作。 13.一种处理器， 其特征在于， 所述处理器用于运行程序， 其中， 所述程序运行时执行权权　利　要　求　书 2/3 页 3 CN 115527426 A 3