(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211203956.2 (22)申请日 2022.09.29 (71)申请人 中国电信股份有限公司 地址 100033 北京市西城区金融大街31号 (72)发明人 王昊　杨明川　李伟　刘振华　 秦芊　 (74)专利代理 机构 北京律智知识产权代理有限 公司 11438 专利代理师 李建忠 (51)Int.Cl. G06N 20/00(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于梯度调节的多模态情绪分析方法、 装 置、 设备及存 储 (57)摘要 本公开提供了一种基于梯度调节的多模态 情绪分析方法、 装置、 设备及存储， 涉及人工智 能、 多模态情感分析技术领域。 将三种情绪模态 数据中的第一情绪模态数据当做第一训练集， 进 行动态梯度训练， 确定第一参数； 将三种情绪模 态数据中的第二情绪模态数据当做第二训练集， 进行动态梯度训练， 根据第一参数确定第二参 数； 将三种情绪模态数据中的第三情绪模态数据 当做第三训练集， 进行梯度训练， 根据第二参数 确定第三参数， 得到训练完成的多模态情绪分析 模型。 本公开根据不同模态流的不同信息进行梯 度训练， 使得模 型在进行多模态数据训练时得以 自适应地调节梯度， 有效地解决了同时训练模态 数据不平衡问题。 权利要求书2页 说明书11页 附图7页 CN 115496226 A 2022.12.20 CN 115496226 A 1.一种基于梯度调节的多模态情绪分析 方法， 其特 征在于， 包括： 将三种情绪模态数据中的第一情绪模态数据当做第一训练集， 进行动态梯度训练， 确 定第一参数； 将三种情绪模态数据中的第二情绪模态数据当做第二训练集， 进行动态梯度训练， 根 据所述第一 参数确定第二 参数； 将三种情绪模态数据中的第三情绪模态数据当做第三训练集， 进行梯度训练， 根据所 述第二参数确定第三 参数， 得到训练完成的多模态情绪分析模型。 2.根据权利要求1所述的基于梯度调节的多模态情绪分析方法， 其特征在于， 动态梯度 训练包括： 获取训练集； 将所述训练集采样一个批次作为第一批次； 将所述第一批次在多模态情绪分析模型中前向传播， 确定所述第一批次的差异比； 根据所述第一批次的差异比， 确定所述第一批次的调节比； 将所述第一批次在多模态情绪分析模型中反向传播， 确定梯度； 根据所述调节比与梯度， 更新所述多模态情绪分析模型的参数。 3.根据权利要求1所述的基于梯度调节的多模态情绪分析方法， 其特征在于， 所述方法 还包括： 获取同一种情绪的三种时序长度不同模态数据； 对所述三种时序长度不同模态数据分别编码， 确定第一情绪模态数据、 第二情绪模态 数据和第三情绪模态数据。 4.根据权利要求3所述的基于梯度调节的多模态情绪分析方法， 其特征在于， 所述方法 还包括： 对编码后的第 一情绪模态数据、 第 二情绪模态数据和第 三情绪模态数据通过平均池化 操作进行 特征提取。 5.根据权利要求1所述的基于梯度调节的多模态情绪分析方法， 其特征在于， 所述方法 还包括： 采用注意力机制学习各个模态数据预设的关注部分； 对每个模态的数据进行压缩， 并与其 他模态的信息进行 预设信息共享。 6.根据权利要求1所述的基于梯度调节的多模态情绪分析方法， 其特征在于， 所述第 一 情绪模态数据为文本数据， 第二情绪模态数据为音频 数据， 第三情绪模态数据为视 觉数据。 7.一种基于梯度调节的多模态情绪分析 方法， 其特 征在于， 包括： 获取第一情绪模态数据、 第二情绪模态数据和第三情绪模态数据； 将所述第一情绪模态数据、 第 二情绪模态数据和第 三情绪模态数据输入预先训练好的 多模态情绪分析模型， 输出情绪分析结果， 其中， 所述多模态情绪分析模型是将三种情绪模 态数据分别进行动态梯度调节训练得到的。 8.一种基于梯度调节的多模态情绪分析装置， 其特 征在于， 包括： 第一梯度训练模块， 用于将三种情绪模态数据中的第一情绪模态数据当做第一训练 集， 进行动态梯度训练， 确定第一 参数； 第二梯度训练模块， 用于将三种情绪模态数据中的第二情绪模态数据当做第二训练权　利　要　求　书 1/2 页 2 CN 115496226 A 2集， 进行动态梯度训练， 根据所述第一 参数确定第二 参数； 第三梯度训练模块， 用于将三种情绪模态数据中的第三情绪模态数据当做第三训练 集， 进行梯度训练， 根据所述第二参数确定第三参数， 得到训练完成的多模态情绪分析模 型。 9.一种基于梯度调节的多模态情绪分析装置， 其特 征在于， 包括： 数据获取模块， 用于获取第一情绪模态数据、 第二情绪模态数据和第三情绪模态数据； 多模态情绪分析模块， 用于将所述第一情绪模态数据、 第二情绪模态数据和第三情绪 模态数据输入预先训练好的多模态情绪分析模型， 输出情绪分析结果， 其中， 所述多模态情 绪分析模型 是将三种情绪模态数据分别进行动态梯度调节训练得到的。 10.一种电子设备， 其特 征在于， 包括： 处理器； 以及 存储器， 用于存 储所述处 理器的可 执行指令； 其中， 所述处理器配置为经由执行所述可执行指令来执行权利要求1～7中任意一项所 述基于梯度调节的多模态情绪分析 方法。 11.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1～7中任意一项所述的基于梯度调节的多模态情绪分析方 法。权　利　要　求　书 2/2 页 3 CN 115496226 A 3