Deep Encoder–Decoder Networks for Classification of Hyperspectral and LiDAR Data
2020-11-19

论文地址:https://ieeexplore.ieee.org/abstract/document/9179756

论文代码:https://github.com/danfenghong/IEEE_GRSL_EndNet

本文目的:本文提出EndNet来对HSI和LiDAR数据分类。

模型:

image-20201119191103134.png

如图1所示,EndNet框架组成:

  • 特征提取网络(FE-Net或encoder)
  • 带标签的融合模块(F-Net)
  • reconstruction(or decoder)网络(R-Net)

A、FE-Net:以分层形式提取特征

对于两个输入X1∈R(d1 * N),X2∈R(d2 * N),d1、d2为输入维度,N为像素数。其第l层的第i个像素的特征表示为:

image-20201119192115882

s = 1,2表示不同的模态,f为非线性函数(sigmoid/ReLU),在激活函数之前加入BN层。

B、F-Net:用于融合FE-Net提取的特征

image-20201119204248596

如图1所示,将FE-Net网络得到的两个输出concat操作后输入F-Net,F-Net由一系列的编码层、BN层、ReLU层(即h函数)组成。F-Net的输出经过softmax得到ont-hot标签。

C、R-Net:用于提高从FE-Net提取的特征的融合水平

image-20201119204127536

D、总目标函数:

FE-Net、F-Net、R-Net具体结构如表一:

image-20201119204542003.png

部分实验结果上表一,C1-C15表示类别