(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211155406.8 (22)申请日 2022.09.22 (71)申请人 中国电子科技 集团公司第十五研究 所 地址 100083 北京市海淀区北四环中路21 1 号 (72)发明人 王立才　唐瀚超　罗琪彬　武广胜　 (74)专利代理 机构 北京慕达星云知识产权代理 事务所 (特殊普通合伙) 11465 专利代理师 符继超 (51)Int.Cl. G06F 16/732(2019.01) G06N 3/04(2006.01) G06F 16/332(2019.01)G06F 16/383(2019.01) G06F 16/783(2019.01) G06F 40/295(2020.01) G06F 40/30(2020.01) G06V 20/40(2022.01) (54)发明名称 一种基于多模态的轨 迹文本匹配方法 (57)摘要 本发明公开了一种基于多模态的轨迹文本 匹配方法， 包括： 提取轨迹 特征， 并计算不同语义 层轨迹特征矩阵； 对文本进行语义标注， 将文本 的单词按照语义结构划分成不同的语义层次并 构建语义拓 扑图， 基于RGCN模型对语义拓扑图的 节点进行聚合并基于注意力机制更新节点得到 词特征向量； 计算对应层次的轨迹特征矩阵和词 特征向量的相似度并进行加权求和获得整体相 似度得分。 通过将文本划分为不同语义层次分别 进行独立编码， 既保留了的文本的细节信息， 同 时也保留了轨迹和文本中拓扑结构， 提高了匹配 检索的准确度； 同时引入注意力机制和参数共享 的方法减少了 计算参数量， 提高了 计算效率。 权利要求书4页 说明书9页 附图1页 CN 115248877 A 2022.10.28 CN 115248877 A 1.一种基于多模态的轨 迹文本匹配方法， 其特 征在于， 包括： S1： 提取轨 迹特征， 并计算 不同语义层轨 迹特征矩阵； S2： 对文本进行语义标注， 将文本的单词按照语义结构划分成不同的语义层次并构建 语义拓扑图， 基于RGCN模型对语义拓扑图的节点进 行聚合并基于注意力机制更新节点得到 词特征向量； S3： 计算对应层次的轨迹特征矩阵和词特征向量的相似度并进行加权求和获得整体相 似度得分。 2.根据权利要求1所述的一种基于多模态的轨 迹文本匹配方法， 其特 征在于， S1包括： S11： 提取轨迹数据的三类维度信息数据， 并将提取的三类维度信息数据进行加权融 合； S12： 计算一条轨迹信息中每个轨迹点的特征向量， 在全局层将所有轨迹点的特征向量 聚合为全局向量， 在动作层将所有轨迹点特征向量聚合为动作向量， 在实体层将所有轨迹 点的特征向量聚合 为实体向量， 获得不同语义层轨 迹特征矩阵。 3.根据权利要求2所述的一种基于多模态的轨迹文本匹配方法， 其特征在于， S11具体 包括： 三类维度信息包括轨 迹空间维度、 轨 迹状态维度和轨 迹属性维度； 提取轨迹数据的三类维度信息数据计算公式为： 加权融合公式为： 其中 表示对三类维度信息数据的学习结果， 表示 三个独立的学习参数矩阵， 表示三类维度信息数据， 为融合函数， 表示不同的融合 参数。 4.根据权利要求3所述的一种基于多模态的轨迹文本匹配方法， 其特征在于， S12具体 包括： S121： 计算一条轨迹信息中每个轨迹点的特征向量 ， ， 一条轨迹的向 量组e=[ ,... ]， M表示一条轨迹中轨迹点的数量， e为一条轨迹的向量组， 为轨 迹点的向量； S122： 为了与不同语义层次的文本进行匹配， 通过相互独立的三个权重参数 ， 和 对轨迹点的特 征向量进行处 理， 得到三个 独立表示的轨 迹特征向量组， 计算公式为： 其中 ， 和 代表三个不同的可学习权重参数矩阵， 表示全局层轨迹点特征权　利　要　求　书 1/4 页 2 CN 115248877 A 2向量， 表示动作层轨 迹点特征向量， 表示实体层轨 迹点特征向量； S123： 在全局层将所有轨迹点的特征向量聚合为全局向量 ， 在动作层将所有轨迹点 特征向量聚合为动作向量 [ ,... ]， 在实体层将所有轨迹点的特征向量 聚合为实体向量 [ ,... ]， 获得不同语义层轨 迹特征矩阵。 5.根据权利要求4所述的一种基于多模态的轨迹文本匹配方法， 其特征在于， S2具体包 括： S21： 分析每 个句子中的动词、 名词短语、 动词与对应的名词之间的关系； S22： 将句子整体作为根节点， 将动词作为动作节点与根节点相连， 将名词短语作为实 体节点与对应的动作节点相连， 将动作节点与实体节点连接的边作为语义关系， 形成不用 的语义层次； S23： 基于双向LSTM模型将每个句子中的动作节点和实体节点嵌入为一个向量， 记录句 子中每个单词的词向量 W=[ ,... ]； S24： 将所有单词的词向量 通过注意力机制聚合 为全局事 件节点向量； S25： 获取句子中动作节点和 实体节点嵌入向量后的词向量， 并进行最大池化运算， 对 应得到动词节点向量和实体节点向量； S26： 基于全局事件节点向量、 动词节点向量和 实体节点向量构建语义拓扑图， 将全局 事件节点向量、 动词节点向量和实体节点向量作为初始化的节点向量输入至RGCN模型， 并 基于注意力机制更新节点， 得到词特 征向量。 6.根据权利要求5所述的一种基于多模态的轨迹文本匹配方法， 其特征在于， 动作节点 和实体节点嵌入为 一个向量的计算公式为： 式中， 是词向量的嵌入矩阵， 是正向LSTM网络的可学习偏重参数， 是反向LSTM网络 的可学习偏重参数， 表示正向计算句子i中单词的词向量， 表示反向计算句子i中单 词的词向量， 表示正向计算句子i ‑1中单词的词向量， 表示反向计算句子i+1中单词 的词向量， 表示最终的词向量表示； 全局事件节点向量 计算公式为： 式中， 表示学习 参数矩阵， 表示词向量， 表示在语义拓扑图中与 有连接关 系的词的词向量， N表示整个 语义拓扑图中与 有连接关系的词的个数； 动词节点向量 ， 实体节点向量权　利　要　求　书 2/4 页 3 CN 115248877 A 3