(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211186199.2 (22)申请日 2022.09.27 (71)申请人 三峡大学 地址 443000 湖北省宜昌市西陵区大 学路8 号三峡大学计算机与信息学院 (72)发明人 但志平　蒋保洋　张洪志　刘致远　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 肖艳 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/289(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种多模态谣言检测方法及系统 (57)摘要 本发明提供一种多模态谣言检测方法及系 统， 属于大数据处理技术领域， 包括： 获取事件检 测源数据； 采用预训练transformer模型提取所 述事件检测源 数据的文本特征和视觉特征； 基于 交叉注意力机制， 将所述文本特征和所述视觉特 征进行多模态融合， 得到多模态融合特征； 对所 述多模态融合特征进行谣言检测， 得到谣言事件 检测结果。 本发明通过引入预训练transformer 模型分别提取文本特征和视觉特征， 并进行多模 态融合后进行检测分类， 相比现有方法， 更好地 利用社交媒体上多模态帖子的信息， 检测效果更 好， 鲁棒性更强。 权利要求书2页 说明书8页 附图3页 CN 115545039 A 2022.12.30 CN 115545039 A 1.一种多模态谣言检测方法， 其特 征在于， 包括： 获取事件检测源数据； 采用预训练t ransformer模型提取 所述事件检测源数据的文本特 征和视觉特征； 基于交叉注意力机制， 将所述文本特征和所述视觉特征进行多模态融合， 得到多模态 融合特征； 对所述多模态融合特 征进行谣言检测， 得到谣言事 件检测结果。 2.根据权利要求1所述的多模态谣言检测方法， 其特征在于， 所述获取事件检测源数据 之后， 还包括： 对所述事件检测源数据中的文本数据进行文本预处理， 得到预处理文本数据， 所述文 本预处理包括过 滤特殊符号和分词； 对所述事件检测源数据中的图像数据进行图像预处理， 得到预处理图像数据， 所述图 像预处理包括图像 格式转换、 过 滤无效数据和统一图像尺寸。 3.根据权利要求2所述的多模态谣言检测方法， 其特征在于， 采用预训练transformer 模型提取 所述事件检测源数据的文本特 征， 包括： 将所述预处 理文本数据转 化为词向量， 所述词向量包括任一文本单词和词向量维度； 基于所述任一文本单词和所述词向量维度， 得到文本 输入矩阵； 将所述文本输入矩阵输入至文本分类卷积神经网络模型Text ‑CNN， 得到文本语义特 征； 将所述文本输入矩阵输入至经过预训练的双向编码表征转换器BERT， 得到文本词特 征。 4.根据权利要求2所述的多模态谣言检测方法， 其特征在于， 采用预训练transformer 模型提取 所述事件检测源数据的视 觉特征， 包括： 将所述预处 理图像数据输入至经 过预训练的视 觉转换器ViT， 得到 视觉特征。 5.根据权利要求1所述的多模态谣言检测方法， 其特征在于， 所述基于交叉注意力机 制， 将所述文本特 征和所述视 觉特征进行多模态融合， 得到多模态融合特 征， 包括： 基于所述文本特征确定文本查询向量和文本键向量， 由所述文本查询向量与 所述文本 键向量进行矩阵相乘， 得到文本词注意力矩阵； 基于所述视觉特征确定视觉查询向量和视觉键向量， 由所述视觉查询向量和所述视觉 键向量进行矩阵相乘， 得到 视觉注意力矩阵； 确定文本模态权重、 视觉模态权重和偏置值， 由所述文本词注意力矩阵、 所述文本模态 权重、 所述视觉注意力矩阵、 所述视觉模态权重和所述偏置值进行加 权求和， 并由softmax 逻辑回归函数处 理， 得到多模态 注意力矩阵； 将所述多模态注意力矩阵与文本词特征进行矩阵相乘， 并与文本语义特征进行矩阵拼 接， 得到所述多模态融合特 征。 6.根据权利要求1所述的多模态谣言检测方法， 其特征在于， 所述对所述多模态融合特 征进行谣言检测， 得到谣言事 件检测结果， 包括： 将所述多模态融合特征输入全连接层的权重矩阵， 与偏置值求和之后， 由softmax逻辑 回归函数处 理， 以获得谣言预测概 率； 基于所述谣言预测概 率， 确定所述谣言事 件检测结果。权　利　要　求　书 1/2 页 2 CN 115545039 A 27.一种多模态谣言检测系统， 其特 征在于， 包括： 获取模块， 用于获取事 件检测源数据； 提取模块， 采用预训练transformer模型提取所述事件检测源数据的文本特征和视觉 特征； 融合模块， 用于基于交叉注意力机制， 将所述文本特征和所述视觉特征进行多模态融 合， 得到多模态融合特 征； 检测模块， 用于对所述多模态融合特 征进行谣言检测， 得到谣言事 件检测结果。 8.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至6任一项所 述多模态谣言检测方法。 9.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机 程序被处 理器执行时实现如权利要求1至 6任一项所述多模态谣言检测方法。 10.一种计算机程序产品， 包括计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现如权利要求1至 6任一项所述多模态谣言检测方法。权　利　要　求　书 2/2 页 3 CN 115545039 A 3