(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211184291.5 (22)申请日 2022.09.27 (71)申请人 北京有竹居网络技 术有限公司 地址 101299 北京市平谷区林荫北街13号 信息大厦802室 (72)发明人 荆雅　何科技　孔涛　 (74)专利代理 机构 泰和泰律师事务所 51219 专利代理师 焦玲 (51)Int.Cl. G06F 40/205(2020.01) G06V 20/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 20/00(2019.01) G01C 21/20(2006.01) (54)发明名称 导航方法、 装置和电子设备 (57)摘要 本公开实施例公开了导航方法、 装置和电子 设备。 该方法包括： 基于获取的历史步信息集合 及当前步的视觉信息， 对历史步信息集合进行冗 余信息处理， 得到冗余信息处理后的第一历史步 信息集合， 所述历史步信息集合包括至少一个历 史步信息， 历史步信息包括历史视觉信息； 基于 所述第一历史步信息集合、 当前步的视觉信息及 文本指令信息， 确定下一步的移动信息。 由于对 历史信息集合进行冗余信息处理， 减少了参与下 一步决策的历史步信息中的冗余信息， 可以减少 历史步中的冗余信息对下一步导航决策带来的 负面影响， 从而 使得导航信息更加精准。 权利要求书2页 说明书13页 附图3页 CN 115545004 A 2022.12.30 CN 115545004 A 1.一种导 航方法， 包括： 基于获取的历史步信 息集合及 当前步的视觉信 息， 对历史步信 息集合进行冗余信 息处 理， 得到冗余信息处理后的第一历史步信息集合， 所述历史步信息集合包括至少一个历史 步信息， 历史步信息包括历史步视 觉信息； 基于所述第一历史步信息集合、 当前步的视觉信息及文本指令信息， 确定下一步的移 动信息。 2.根据权利要求1所述的方法， 其中， 所述历史步视觉信息包括历史步视觉特征， 以及 所述基于获取的历史步信息集合及当前步的视觉信息， 对历史步信息集合中的历史步信息 进行冗余信息处 理， 得到冗余信息处 理后的第一历史步信息集 合， 包括： 从当前步视 觉信息中提取当前步视 觉特征； 根据当前步视觉特征及历史步可靠度， 对历史步信 息集合中历史步视觉特征进行冗余 信息处理， 得到冗余信息处 理后的第一历史步信息集 合。 3.根据权利要求2所述的方法， 其中， 所述根据当前步视觉特征及历史步可靠度， 对历 史步视觉特征进行冗余信息处 理， 得到冗余信息处 理后历的第一历史步信息集 合， 包括： 将所述当前步视觉特征、 历史步可靠度及历史步视觉特征输入到预设擦 除单元， 得到 第一擦除信息； 利用所述第 一擦除信 息对历史步信 息集合中的历史步视觉特征进行冗余信 息处理， 得 到第一历史步信息集 合。 4.根据权利要求1 ‑3任一项所述的方法， 其中， 文本指令信息包括指令文本特征； 第一 历史步信息集合中包括冗余信息处理后的至少一个第一历史步视觉特征； 所述基于所述第 一历史步信息集 合和当前步的视 觉信息及文本指令信息， 确定下一 步的移动信息， 包括： 将所述第一历史步信 息集合中的各第 一历史步视觉特征、 当前步视觉特征以及下一步 视角特征与文本指令特征进行跨模态特征信息处理， 得到第二历史步视觉信息集合、 第一 下一步视角特 征和第一文本指令特 征； 根据所述第 二历史步视觉信 息集合、 第 一下一步视角特征和第 一文本指令特征确定下 一步的移动信息 。 5.根据权利要求4所述的方法， 其中， 所述将所述第 一历史步信 息集合中的各第 一历史 步视觉特征、 当前步视觉特征以及下一步视角特征与文本指令特征进 行跨模态特征信息处 理， 得到第二历史步视 觉信息集 合、 第一下一 步视角特 征和第一文本指令特 征， 包括： 将所述第一历史步信 息集合中的各第 一历史步视觉特征、 当前步视觉特征以及下一步 视角特征与文本指令特征， 输入到预先训练的跨模态转换单元， 由所述跨模态转换单元输 出所述第二历史步视觉信息集合、 第一下一步视角特征和第一文本指令特征； 所述跨模态 转换单元用于对视 觉特征和文本特 征进行交叉处 理。 6.根据权利要求5所述的方法， 其中， 所述跨模态转换单元包括多级组合网络， 每一级 组合网络包括： 跨模态 注意力网络、 自注意力网络和前馈网络； 其中 所述跨模态注意力网络用于对融合后的历史步视觉特征、 当前步视觉特征以及下一步 视角特征与文本指令特 征进行交叉分析处 理； 所述自注意力网络用于对由所述跨模态注意力网络输出的交叉分析处理后的历史步 视觉特征、 当前步视 觉特征以及下一 步视角特 征与文本指令特 征在进行自注意力处 理；权　利　要　求　书 1/2 页 2 CN 115545004 A 2所述前馈网络用于将自注意力网络的输出传输给 下一级组合网络 。 7.根据权利要求4所述的方法， 其中， 所述历史步信息还包括历史步可靠度； 所述方法 还包括： 将所述第一历史步信 息集合中的各第 一历史步视觉特征、 当前步视觉特征以及下一步 视角特征与文本指令特征进行跨模态特征信息处理， 得到第二历史步视觉信息集合、 第一 下一步视角特 征和第一文本指令特 征； 将所述第二历史步视觉信 息集合中的第 二历史步视觉特征、 各历史步对应的可靠度和 第一文本指令特 征输入到预设擦除单 元， 得到第二擦除信息； 利用所述第二擦除信息对第二历史步视觉特征集合中的各历史步视觉特征进行冗余 信息处理， 得到所述第三历史步视 觉信息集 合； 根据所述第三历史步视觉信息集合中的第三视觉全局特征和第一指令文本特征确定 当前步视 觉特征的可靠度。 8.根据权利要求7所述的方法， 其中， 所述根据所述第 三历史步视觉特征集合中的第 三 视觉全局特 征和第一指令文本特 征确定当前步视 觉特征的可靠度， 包括： 将所述第三视觉全局特征和第 一指令文本特征输入到预先训练 的可靠度 预测单元， 由 所述可靠度预测单 元输出当前步视 觉特征的可靠度。 9.一种导 航装置， 包括： 冗余信息处理单元， 用于基于获取的历史步信息集合及当前步的视觉信息， 对历史步 信息集合进行冗余信息处理， 得到冗余信息处理后的第一历史步信息集合， 所述历史步信 息集合包括至少一个历史步信息， 历史步信息包括历史步视 觉信息； 移动信息确定单元， 用于基于所述第一历史步信息集合、 当前步的视觉信息及文本指 令信息， 确定下一 步的移动信息 。 10.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储装置， 用于存 储一个或多个程序， 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实 现如权利要求1 ‑8中任一所述的方法。 11.一种计算机可读介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执行 时实现如权利要求1 ‑8任一所述的方法。权　利　要　求　书 2/2 页 3 CN 115545004 A 3