(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210277342.2 (22)申请日 2022.03.17 (71)申请人 苏州大学 地址 215000 江苏省苏州市吴中区石湖西 路188号 (72)发明人 于文博　黄鹤　沈纲祥　 (74)专利代理 机构 苏州市中南伟业知识产权代 理事务所(普通 合伙) 32257 专利代理师 李柏柏 (51)Int.Cl. G06V 10/143(2022.01) G06V 10/58(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种高光谱特 征提取方法、 装置及存 储介质 (57)摘要 本发明涉及一种高光谱 特征提取方法、 装置 及计算机存储介质， 本发明提出的基于多模态注 意力编码的高光谱特征提取方法， 通过构建空间 维序贯特征提取模块实现对像元空间数据中两 种序贯信息的有效提取， 通过双向长短期记忆层 移除序贯特征提取过程序贯方向对性能的影响， 通过针对不同序贯信息来构建不同注意力权重 矩阵， 实现对序贯信息中重要部分的强化， 实现 信息的高性能融合， 最终有效提升提取到的特征 的表达能力。 权利要求书4页 说明书13页 附图4页 CN 114742985 A 2022.07.12 CN 114742985 A 1.一种高光谱特 征提取方法， 其特 征在于， 包括： 选取高光谱图像进行归一化处理得到原域高光谱图像X ×Y×B， X和Y是各波长下高光 谱图像的空间尺 寸， B是高光谱图像的波 段个数， 设置邻域滑动窗口s， 嵌入维数为d， 对 所述 原域高光谱图像的每一个高光谱像元选取其周围尺寸为s ×s的邻域像元作为该像元 的空 间数据， 得到邻域高光谱空间数据集； 将所述原域高光谱图像和所述邻域高光谱空间数据集输入预先训练好的高光谱深度 网络模型中； 将所述邻域高光谱空间数据集输入静态 空间维序贯特征提取模块中， 所述邻域高光谱 空间数据集经过尺 寸变换层后输入m个静态单元， 所述静态单元包括双向长 短期记忆层、 第 一平均池化层和静态注意力层， 利用所述静态注 意力层计算所述第一平均池化层输出结果 的欧式权重矩阵和光谱权重矩阵， 并分别进行归一化操作， 将所述欧式权重矩阵和所述光 谱权重矩阵按位相乘得到静态权重矩阵， 利用所述静态权重矩阵计算得到输出并经过第二 平均池化层后生成静态序贯特 征图像； 将所述邻域高光谱空间数据集输入动态 空间维序贯特征提取模块中， 所述邻域高光谱 空间数据集经过所述尺寸变换层和 拼接层后输入m个动态单元， 所述动态单元包括所述双 向长短期记忆层、 所述第一平均池化层和动态注意力层， 利用所述动态注意力层计算所述 第一平均池化层输出结果的权重矩阵， 并进 行归一化操作， 得到动态权重矩阵， 利用所述动 态权重矩阵计算得到 输出并经 过所述第二平均池化层后生成动态序贯特 征图像； 利用光谱特 征提取模块 提取所述原域高光谱图像的特 征得到原域 光谱特征图像； 将所述静态序贯特征图像、 所述动态序贯特征图像和所述原域光谱特征图像融合得到 最终光谱特 征图像； 利用解码模块对所述 最终光谱特 征图像解码生成目标光谱特 征图像。 2.根据权利要求1所述的高光谱特征提取方法， 其特征在于， 所述预训练高光谱深度网 络模型包括： 依据公式Γ＝ΓR+ΓKL构建损失函数： 其中， ∑( ·)为将括号内的内容全部加在一起， Indata为所述原域高光谱图像， Outdata为所述目标光谱特 征图像， μ为所述融合特 征图像， δ 为第三原域 光谱特征图像； 选用步长为10‑3的Adam优化器训练所述高光谱深度网络模型直至所述损失函数收敛。 3.根据权利要求1所述的高光谱特征提取方法， 其特征在于， 所述将所述邻域高光谱空 间数据集输入静态空间维序贯特 征提取模块中包括： 将所述邻域高光谱空间数据集的X ×Y个尺寸为1 ×s×s×B的空间数据输入所述尺寸 变换层， 输出尺寸 为1×s2×B； 将X×Y个尺寸为1 ×s2×B的空间数据输入所述静态单元的双向长短期记忆层， 输出尺 寸为1×s2×2d；权　利　要　求　书 1/4 页 2 CN 114742985 A 2将X×Y个尺寸为1 ×s2×2d的空间数据输入所述静态单元的第一平均池 化层， 输出尺寸 为1×s2×d； 将X×Y个尺寸为1 ×s2×d的空间数据输入所述静态单元的静态注意力层， 变换尺寸得 到尺寸为1×s×s×d的矩阵 对所述矩阵 的X×Y个空间数据依据公式 对每个所述空 间数据位置在[i,j](1≤i≤s， 1≤j≤s)的样本pi,j与中心像元 之间的欧氏距离进 行按位存 储得到X×Y个尺寸为1×s×s的所述欧式权 重矩阵ME； 对X×Y个空间数据依据公式 对每个所述空间数据位置在[i,j]的样本 pi,j与中心样本 之间的光谱距离进行按位存储得到X ×Y个尺寸为1 ×s×s的所述光 谱权重矩阵MS； 对每个所述欧式权重矩阵ME和每个所述光谱权重矩阵MS进行归一化操作 对每个所述欧式权重矩阵与对应的所述光谱权重矩阵进行按位相乘操作得到X ×Y个 静态权重矩阵M＝ME×MS； 将X×Y个尺寸为1×s×s的所述静态权 重矩阵M的尺寸维度扩张为1 ×s×s×1； 计算输出X ×Y个 其尺寸为1 ×s×s×d， 转换尺寸为1 ×s2×d输入所述第 二平均池化层生成所述静态序贯特 征图像Output1。 4.根据权利要求1所述的高光谱特征提取方法， 其特征在于， 所述将所述邻域高光谱空 间数据集输入动态空间维序贯特 征提取模块中包括： 将所述邻域高光谱空间数据集的X ×Y个尺寸为1 ×s×s×B的空间数据输入所述尺寸 变换层， 输出尺寸 为 将X×Y个尺寸为 的空间数据输入所述拼接层 ， 输出尺寸为 将X×Y个尺寸为 的空间数据输入所述动态单元的双向长短期记忆层， 输 出尺寸为1×k×2d； 将X×Y个尺寸为1 ×k×2d的空间数据输入所述静态单元的第一平均池化层， 输出尺寸 为为1×k×d的矩阵H； 将所述矩阵H输入所述动态单元的动态注意力层， 对矩阵H的X ×Y个空间数据依据公式权　利　要　求　书 2/4 页 3 CN 114742985 A 3