(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211128827.1 (22)申请日 2022.09.16 (71)申请人 北京达佳互联信息技 术有限公司 地址 100085 北京市海淀区上地西路6号1 幢1层101D1-7 (72)发明人 王俊　张大威　邓峰　王晓瑞　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 李加欣 (51)Int.Cl. G10L 15/18(2013.01) G10L 15/02(2006.01) G10L 15/26(2006.01) G06F 40/30(2020.01) G06K 9/00(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 语义文本的生成方法、 装置、 电子设备及存 储介质 (57)摘要 本公开提供了一种语义文本的生 成方法、 装 置、 电子设备及存储介质， 属于音频处理技术领 域。 该方法包括： 获取音频信号的梅尔谱图； 通过 语义识别模 型中的音 频特征提取网络， 基于时空 注意力机制和通道注意力机制， 对 所述梅尔谱图 进行特征提取， 得到音频特征矩阵； 通过所述语 义识别模型中的文本生成网络， 基于所述音 频特 征矩阵， 生成语义文本。 上述方案不仅基于时空 注意力机制来提取音频信号的特征， 还能够基于 通道注意力机制来提取音 频信号的特征， 使 得提 取到的音频特征矩 阵能够准确表示音频信号的 特征， 从而能够提高语义文本的准确率， 进而更 加准确表达音频信号的语义。 权利要求书3页 说明书24页 附图14页 CN 115206305 A 2022.10.18 CN 115206305 A 1.一种语义文本的生成方法， 其特 征在于， 所述方法包括： 获取音频信号的梅尔谱图； 通过语义识别模型中的音频特征提取网络， 基于时空注意力机制和通道注意力机制， 对所述梅尔谱图进行特征提取， 得到音频特征矩阵， 所述语义识别模型用于识别输入的音 频信号所表达的语义； 通过所述语义识别模型中的文本生成网络， 基于所述音频特征矩阵， 生成语义文本， 所 述语义文本用于描述所述音频信号所表达的语义。 2.根据权利要求1所述的语义文本的生成方法， 其特征在于， 所述基于时空注意力 机制 和通道注意力机制， 对所述 梅尔谱图进行 特征提取， 得到音频 特征矩阵， 包括： 通过所述音频特征提取网络中的卷积神经层， 对所述梅尔谱图进行特征提取， 得到第 一特征； 基于所述时空注意力机制， 对所述第一特 征进行处 理， 得到第二特 征； 基于所述 通道注意力机制， 对所述第二特 征进行处 理， 得到第三特 征； 基于所述第一特 征、 所述第二特 征以及所述第三特 征， 确定所述音频 特征矩阵。 3.根据权利要求2所述的语义文本的生成方法， 其特征在于， 所述基于所述 时空注意力 机制， 对所述第一特 征进行处 理， 得到第二特 征， 包括： 基于所述时空注意力机制， 对所述第一特 征进行深度卷积， 得到第一中间特 征； 对所述第一中间特 征进行逐点卷积， 得到第二中间特 征； 将所述第一特 征与所述第二中间特 征的哈达 玛积， 确定为所述第二特 征。 4.根据权利要求2所述的语义文本的生成方法， 其特征在于， 所述基于所述通道注意力 机制， 对所述第二特 征进行处 理， 得到第三特 征， 包括： 基于所述通道注意力 机制， 对所述第 二特征进行处理， 得到第三中间特征， 所述第三中 间特征中的元 素用于表示所述第二特 征中不同通道的权 重； 将所述第三中间特 征与所述第二特 征的哈达 玛积， 确定为所述第三特 征。 5.根据权利要求2所述的语义文本的生成方法， 其特征在于， 所述基于所述第一特征、 所述第二特 征以及所述第三特 征， 确定所述音频 特征矩阵， 包括： 对所述第一特 征进行全局池化和线性卷积， 得到第四中间特 征； 对所述第二特 征和所述第三特 征进行残差和卷积， 得到第五中间特 征； 基于所述第四中间特 征和所述第五中间特 征， 确定所述音频 特征矩阵。 6.根据权利要求1 ‑5任一项所述的语义文本的生成方法， 其特征在于， 所述方法还包 括： 通过所述语义识别模型中的关键字预测网络， 对所述梅尔谱图进行关键字识别， 得到 关键字特征， 所述关键 字特征用于表示所述音频信号中的关键 字； 所述通过所述语义识别模型中的文本生成网络， 基于所述音频特征矩阵， 生成语义文 本， 包括： 通过所述语义识别模型中的文本生成网络， 基于所述音频特征矩阵和所述关键字特 征， 生成所述语义文本 。 7.根据权利要求6所述的语义文本的生成方法， 其特征在于， 所述对所述梅尔谱图进行 关键字识别， 得到关键 字特征， 包括：权　利　要　求　书 1/3 页 2 CN 115206305 A 2获取预设的多个关键 字； 通过所述关键字预测网络中的多个卷积层， 对所述梅尔谱图进行多次卷积， 得到第六 中间特征； 基于所述第六中间特征， 确定出现的至少一个目标关键字， 得到所述关键字特征， 所述 关键字特征包括所述音频信号中出现的所述至少一个目标关键 字的特征。 8.根据权利要求6所述的语义文本的生成方法， 其特征在于， 所述通过所述语义识别模 型中的文本生成网络， 基于所述音频特征矩阵和所述关键字特征， 生成所述语义文本， 包 括： 通过所述语义识别模型中的文本生成网络， 对所述音频特征矩阵和所述关键字特征进 行处理， 得到所述音频信号的第一文本特征， 所述第一文本特征用于表示所述音频信号所 表达的语义； 将所述第一文本特 征与所述关键 字特征进行拼接， 得到第二文本特 征； 基于所述音频 特征矩阵和所述第二文本特 征， 生成所述语义文本 。 9.根据权利要求8所述的语义文本的生成方法， 其特征在于， 所述通过所述语义识别模 型中的文本生成网络， 对所述音频特征矩阵和所述关键字特征进行处理， 得到所述音频信 号的第一文本特 征， 包括： 通过所述语义识别模型中的文本生成网络， 对所述音频特征矩阵和所述关键字特征进 行处理， 得到所述语义文本的首个字符； 对于所述语义文本 中除首个字符外的其他任一字符， 通过所述语义识别模型中的文本 特征提取网络， 对位于所述字符之前 的至少一个字符进行特征提取， 得到所述字符在所述 第一文本特 征中对应的元 素值， 所述字符对应的元 素值用于预测所述字符。 10.根据权利要求8所述的语义文本的生成方法， 其特征在于， 所述基于所述音频特征 矩阵和所述第二文本特 征， 生成所述语义文本， 包括： 基于所述第二文本特征， 获取位置编码特征， 所述位置编码特征用于表示各个字符的 顺序特征； 将所述位置编码特 征与第二文本特 征进行融合， 得到融合特 征； 基于所述融合特 征和所述音频 特征矩阵， 生成所述语义文本 。 11.根据权利要求1 ‑5任一项所述的语义文本的生成方法， 其特征在于， 所述方法还包 括： 通过所述音频特征提取网络， 基于时空注意力机制和通道注意力机制， 对样本音频信 号的样本梅尔谱图进行 特征提取， 得到样本音频 特征矩阵； 通过所述语义识别模型中的关键字预测网络， 对所述样本梅尔谱图进行关键字识别， 得到样本关键 字特征， 所述样本关键 字特征用于表示所述样本音频信号中的关键 字； 通过所述语义识别模型中的文本特征提取网络， 对样本标签进行特征提取， 得到第一 样本文本特 征， 所述样本标签用于描述所述样本音频信号所表达的语义； 将所述第一样本文本特 征与所述样本关键 字特征进行拼接， 得到第二样本文本特 征； 通过所述文本生成网络， 基于所述样本音频特征矩阵和所述第二样本文本特征， 生成 所述样本音频信号的样本语义文本； 基于所述样本语义文本和所述样本标签的差异， 训练所述语义识别模型。权　利　要　求　书 2/3 页 3 CN 115206305 A 3