(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210108867.3 (22)申请日 2022.01.28 (71)申请人 西安电子科技大 学 地址 710000 陕西省西安市雁塔区太白南 路2号 (72)发明人 李光夏　蒋云展　 (74)专利代理 机构 西安嘉思特知识产权代理事 务所(普通 合伙) 6123 0 专利代理师 王萌 (51)Int.Cl. G06Q 10/04(2012.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06Q 50/26(2012.01) (54)发明名称 基于Transformer的多模态自相关补偿的时 序预测方法 (57)摘要 本发明公开了一种基于Tran sformer的多模 态自相关补偿的时序预测方法， 包括： 获取当前 环境中气体的多模态数据； 将多模态数据输入至 预先训练好的时序预测模型， 以使时序预测模型 中的特征提取模块对多模态数据中不同模态类 型的数据分别进行特征提取； 将特征提取后的数 据输入至时序预测模型中的数据处理模块， 以使 数据处理模块对特征提取后的数据进行归一化 处理和时序化处理， 得到待预测数据； 利用 Transformer预测模型根据待预测进行预测， 得 到当前时刻之后预设时间段内的气体浓度。 本发 明使得时序预测模型在预测时综合考虑多种模 态因素， 通过引入自相关补偿 机制使得时序预测 模型可以自适应的消除多模态融合数据中的自 相关误差， 提高了预测的精度。 权利要求书2页 说明书8页 附图3页 CN 114580709 A 2022.06.03 CN 114580709 A 1.一种基于Transformer的多模态自相关补偿的时序预测方法， 其特 征在于， 包括： 获取当前环境中气体的多模态数据； 将所述多模态数据输入至预先训练好的时序 预测模型， 以使所述 时序预测模型中的特 征提取模块对所述多模态数据中不同模态类型的数据分别进行特征提取， 得到第一类数 据； 将所述第一类数据输入至所述 时序预测模型中的数据处理模块， 以使所述数据模块对 所述第一类数据进行归一 化处理和时序化处 理， 得到第二类数据； 利用Transformer预测模型根据所述第二类数据进行预测， 得到当前时刻之后预设时 间段内的气体浓度。 2.根据权利要求1所述的基于Transformer的多模态自相关补偿的时序预测方法， 其特 征在于， 所述将所述多模态数据输入至预先训练好的时序预测模型， 以使所述时序预测模 型中的特征提取模块对所述多模态数据中不同模态类型的数据分别进 行特征提取， 得到第 一类数据的步骤， 包括： 将所述多模态数据输入至预先训练好的时序 预测模型， 以使所述 时序预测模型中的特 征提取模块在将所述多模态数据根据模态类型划分为视频数据、 音频数据、 时序数据之后， 利用卷积神经网络将所述视频数据的每一帧图像数据转换为一维数据、 利用循环神经网络 提取所述音频数据的音频特征、 利用因果卷积网络提取所述时序数据的周期特征， 并使所 述特征提取模块利用全连接层将所述一 维数据、 所述音频特征和所述周期特征映射至特征 空间， 得到第一类数据。 3.根据权利要求1所述的基于Transformer的多模态自相关补偿的时序预测方法， 其特 征在于， 所述数据处 理模块包括归一 化网络； 所述归一 化网络按照如下公式对所述第一类数据归一 化处理； 其中， xi为第i个第一类 数据， m为第一类数据的维度大小， ∈为预设的偏移项， γ和β 为归一化网络对归一化后的数 据进行拉伸和平 移的预设参数。 4.根据权利要求3所述的基于Transformer的多模态自相关补偿的时序预测方法， 其特 征在于， 所述数据处 理模块还 包括三角定位网络； 所述三角定位网络按照如下公式， 确定归一 化的第一类数据的时序位置信息： 其中， pos表示待编码的时序位置信息在归一化的第一类数据的相对位置， i表示归一 化的第一类数据的维度， dmodel表示第二类数据的维度。 5.根据权利要求1所述的基于Transformer的多模态自相关补偿的时序预测方法， 其特 征在于， 所述Transformer预测模型包括： 编码器Encoder模型和编码器Decoder模型； 所述利用Transformer预测模型根据所述第二类数据进行 预测的步骤， 包括：权　利　要　求　书 1/2 页 2 CN 114580709 A 2将所述第二类数据输入Transformer预测模型， 使Encoder模型按照预设时间段从所述 第二类数据中获得多个局部数据后， 确定各个局部数据相对于所述第二类数据的自相关程 度的概率分布， 并使Decoder模型根据所述自相关程度的概率分布， 确定 当前时刻之后预设 时间段内的气体浓度。 6.根据权利要求5所述的基于Transformer的多模态自相关补偿的时序预测方法， 其特 征在于， 所述时序预测模型采用如下步骤训练得到： 获取训练样本， 所述训练样本包括 不同时刻下 大气环境中的第一气体浓度数据； 将所述训练样本输入待训练时序预测模型， 以使所述待训练时序 预测模型的特征提取 模块在将所述第一气 体浓度数据划分为视频数据、 音 频数据、 时序数据之后， 利用待训练卷 积神经网络将所述视频数据的每一帧图像数据转换为一 维数据、 利用待训练循环神经网络 提取所述音频数据的音频特征、 利用待训练因果卷积网络提取所述时序数据的周期特征， 并使所述特征提取模块利用全连接层将所述一维数据、 所述音频特征和所述周期特征映射 至特征空间， 得到特 征数据； 将所述特征数据输入至所述待训练时序预测模型中的数据处理模块， 以使所述数据模 块对所述特 征数据进行归一 化处理和时序化处 理， 得到预处 理后的数据； 将预处理后的数据输入至待训练的Transformer自注意力模型， 利用自注意力机制预 测所述训练样本在当前时候后预设时间段内的第一气体浓度； 根据所述第一气体浓度、 所述第一气体浓度对应的实 际气体浓度以及预设损 失函数， 计算损失值； 判断所述损失值是否达到预设值； 若否， 则调整所述待训练卷积神经网络、 所述待训练 循环神经网络、 所述因果卷积网络、 所述Encoder模 型和所述Decoder模 型的参数， 并返回所 述将所述训练样本输入待训练时序预测模型 的步骤； 若是， 则对当前待训练神经网络中的 Transformer预测模型进行参数补偿， 得到训练完成的时序预测模型。 7.根据权利要求6所述的基于Transformer的多模态自相关补偿的时序预测方法， 其特 征在于， 按照如下公式对当前待训练神经网络中的Transformer预测模型进行参数补偿： et＝Xt‑f(Xt‑1,…,Xt‑w； θ′) 其中， Xt为第一气体浓度数据的时刻t， T为第一气体浓度数据的时序长度， et为第一气 体浓度数据间的自相关误差， θ为当前待训练神经网络中Transformer预测模型的模型参 数， 为补偿参数。 8.根据权利要求7所述的基于Transformer的多模态自相关补偿的时序预测方法， 其特 征在于， 所述预设损失函数为： 其中， p(xi)表示预测得到的i 位置的第一气体浓度， q(xi)表示i位置的实际气体浓度。权　利　要　求　书 2/2 页 3 CN 114580709 A 3