(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210144122.2 (22)申请日 2022.02.17 (71)申请人 青岛理工大 学 地址 266520 山东省青岛市黄岛区嘉陵江 东路777号 (72)发明人 郝思媛　刘佳璇　夏裕凤　赵锟　 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于TRANSFORMER特征融合的高光谱影 像分类方法 (57)摘要 本发明提供的是一种基于TRANSFORMER特征 融合的高光谱影像分类方法， 通过将空 ‑谱信息 特征与深层关联信息融合， 更有效地利用影像光 谱特征与空间特征， 显著提高图像的分类精度。 提出方法包 括空‑谱信息挖掘 、 基于Transformer 的特征融合、 预测三个步骤。 空 ‑谱信息挖掘是通 过影像转置和三通道卷积神经网络的构建， 充分 挖掘影像中包含的空 ‑谱信息； 基于Transformer 的特征融合是将三通道获取的影像分别输入 Transformer的三个编码器中， 然后利用解码器 将空谱特征进行融合， 获取融合的空 ‑谱特征； 预 测是将Transformer融合的空谱特征输入到 softmax中， 从而得到分类 器的分类精度。 权利要求书1页 说明书6页 附图3页 CN 114627370 A 2022.06.14 CN 114627370 A 1.一种基于TRANSFORMER特征融合的高光谱影像分类方法， 其特征在于， 包括以下步 骤： S1： 将原始高光谱影 像进行主成分 分析(PCA)处 理； S2： 影像转置处理， 令 X∈RB×M×N表示PCA后获得的图像立方体， 其中 B，M和N分别是通道 数、 高度和宽度， X1和X3是转置X后的图像立方体， 其大小分别 为B×N×M和M×B×N，X2代表 原始X； S3： 将X1、X2、X3作为三通道卷积神经网络的输入， 进行空 ‑谱信息挖掘， 三个卷积神经网 络均由三维和 二维卷积神经网络组成， 将三通道卷积神经网络挖掘得到的空 ‑谱信息的特 征图分别表示 为X1new、X2new、X3new； S4： 将S3所述特 征图X1new、X2new、X3new， 通过语义标记器传递 转换为序列 T1、T2和T3； S5： 将T1、T2和T3输入三个Transformer的三个编码器中， 这三个编码器具有相同的结 构， 由多头自注意力 （MSA） 和多层感知模块 （MLP） 组成， 来获取不同维度特征的更高层次关 联信息T1new、T2new和T3new； S6： 将空‑谱信息特征图级联 Xnew=concat{ X1new, X2new, X3new}， 同时将深层关联序列信 息级联Tnew=concat{ T1new, T2new, T3new}； S7： 采用Transformer的解码器模块进行特征融合， 将 Xnew和Tnew融合， 获得融合特征 Xfusion， 更有效地利用影 像光谱特 征与空间特 征； S8： 从解码器获得的融合特 征Xfusion直接输入预测模块进行分类。 2.根据权利要求1所述的一种基于TRANSFORMER特征融合的高光谱影像分类方法， 其特 征在于， 所述步骤S2中影像转置 处理的公式为 X1, X3=Transpose (X)，Transpose (.)表示一 次转置。 3.根据权利要求1所述的一种基于TRANSFORMER特征融合的高光谱影像分类方法， 其特 征在于， 所述步骤S3中三通道卷积神经网络的卷积核的大小， 需要根据输入图像尺寸进行 调整。 4.根据权利要求1所述的一种基于TRANSFORMER特征融合的高光谱影像分类方法， 其特 征在于， 所述 步骤S4中通过语义标记器传递 X1new, X2new, X3new得到序列 T1、T2和T3， 公式为： Ti=(Ai)TXinew Ai=( σ(φ(Xinew; W)))T 其中φ(.)表示具有可 学习核W∈RC×L的逐点卷积， σ(.)是用于规范 特征图Ai∈R(HW)×L。权　利　要　求　书 1/1 页 2 CN 114627370 A 2一种基于 TRANSFORMER特征融合的高光谱影像分类方 法 技术领域 [0001]本发明涉及高光谱影像分类方法， 特别是涉及一种基于TRANSFORMER特征融合的 高光谱影 像分类方法， 属于 遥感信息处 理技术领域。 背景技术 [0002]高光谱图像包含数百个连续的光谱带， 它们携带着丰富的光谱信息， 因此可用于 作物分析、 地质测绘、 矿产勘探、 国防研究、 城市测量、 军事监测和其他领域。 然而， 由于高光 谱图像成像机理复杂、 数据量大等特点， 给高光谱图像分类工作带来了 很大的挑战。 [0003]深度学习方法是目前较流行的高光谱分类方法， 与传统的手工制作的特征相比， 深度特征更加抽象、 稳健， 并且不受局部变化的影响。 因此， 许多研究人员致力于优化基本 的网络框架。 如， Li等人提出了一个有效的分类框架， 使用深度信念网络 （DBN） 提取深度光 谱特征， 并采用主动学习算法迭代选择高质量标记样本作为训练样本。 随后， Zhong等人提 出了一种改进的DBN模型， 其中在预训练阶段使用多变量DBN和标准化的微调程序。 然而， DBN主要用于提取光谱信息， 会丢失大量的空间信息。 同样的问题 也存在于一 维卷积神经网 络(1D CNN)中， 它只作用于单一的光谱像素， 而忽略了该像素周围的空间相关性。 此外， 递 归神经网络 （RNNs） 也被用来学习 光谱序列中各通道之间的依赖关系， 例如Mou等人首次将 RNNs应用于高光谱图像分类， 其中RN Ns使用了一个新的激活函数来分析高光谱序列数据。 [0004]然而， 这又抛弃了原始HS I中包含的空间信息。 为此， Zhang等人进一步改进了一维 CNN， 并设计了一维CNN ‑ConvcapsNet 。 使其能够提取空间特征。 此外， 二维CNN(2D  CNN)已逐 渐成为高光谱分类任务的主流骨干以提取有代表性的空间特征。 Lee等人提出了一种上下 文CNNs， 它可以通过共同利用相邻单个像素的局部空间光谱关系， 优化探索局部的上下文 互动关系。 然而， 二 维CNN只对 （高、 宽） 维度进 行卷积运算。 这使 得它无法从不同的维度上充 分挖掘光谱和空间信息。 Ying等人提出了三维CNNs （3D  CNNs） ， 它不依赖于任何预处理或后 处理。 同时， 它可以有效地提取空间特征。 然而， 3D  CNN比2D CNN更复杂， 计算成本更高。 为 了降低3D  CNN的复杂性并更好地利用。 Roy等人将2D  CNN和3D CNN结合起来， 构建了 HybridSN， 其中3D  CNN被用来提取提取联合空间 ‑光谱特征， 而2D  CNN则进一步学习更抽象 的空间表征。 [0005]在特征提取之后， 融合是分类任务的另一个重要步骤。 传统的融合是在特征层面 （早期融合） 或在决策分数层面 （后期融合） 实现的。 对于特征层面的融合， 其中深度特征是 通过直接堆叠它们来融合的。 对于后 期融合。 最常见的策略是 统一权重融合。 它为每个概率 矩阵分配统一的权重值。 然而， 它们都没有考虑到特征之 间的相关性。 因此我们把目光投向 了自然语言处理 （NLP） 领域， 其模型更加灵活。 Transformer是一个seq2seq模型 （由编码器 和解码器组成） ， 已被广泛使用。 Transformer是一个多头模型， 它已经与CNN整合， 用于不同 的任务。 例如， Zhang等人提出了一个新颖的双分支架构(即TransFuse)。 它由一个CNN分支 和一个Transformer分支组成， 然后在BiFusion模块中融合。 另一种方法其中的空间 ‑光谱 变换器 （SST） 是通过融合CNN和Transformer来构建的。 同时Qing等人将注意力机制与说　明　书 1/6 页 3 CN 114627370 A 3