引言
精确的土地覆盖和土地利用的分类问题主要通过高光谱图像(HSI)来解决。但是当某一图像地不同区域具有相似的光谱信息时，高光谱对其不能很好地区分。随着遥感技术的发展，激光雷达(LiDAR)可以测量地球表面同一物体的不同方位而获得一个三维模型。与高光谱数据不同，LiDAR数据可以记录对象的海拔信息，从而为高光谱数据提供补充信息。例如，如果建筑物的屋顶和道路都由混凝土组成，则仅使用高光谱数据很难区分它们，因为它们的光谱信息相似。但是，由于LiDAR数据具有不同的高度，因此可以准确地对这两个类别进行分类。相反，LiDAR数据无法区分由不同材料（例如沥青和混凝土）组成且高度相同的两条不同的道路。因此，本文采取将高光谱图像与LiDAR数据融合的策略进行地物的分类。
方法
1、所提模型的框架
1、对于HSI图像：将其进行PCA降维以减少冗余信息，接着将降维后的图片裁剪为一个个小patch
对于LiDAR图像：直接提取图像小patch(patch的空间位置与HSI的patch一一对应并保持一样)
2、将裁剪好的patch输入特征学习阶段(三层CNN)，并且最后两层CNN共享参数权重
3、在融合模块(Fusion module)，我们构造了三个分类器。将两个输出的CNN层分别送进一个分类器，两个CNN层的融合特征也被送进一个分类器。
2、经过 Coupled CNNs 进行特征学习
设：高光谱图像Xh ∈ R(m*n*b)，对应的LiDAR图像Xl ∈ R(m * n）—— m：Image高度；n：Image宽度；b：HSI的光谱通道数
目标：融合来自Xh和Xl的信息，以改善分类性能。
注：由于多径散射和子像素成分异质性的影响，Xh通常在捕获的光谱信息和相应的材料之间表现出非线性关系。当处理X1时，这种非线性特性将被放大。
本文设计了一个coupled CNN框架，可以有效地从Xh和Xl学习：
1、先用PCA提取Xh的前k个主成分，以减少冗余频谱信息。
2、对于每个像素，从Xh中选择以该像素为中心的patch：xh ∈ R(p * p * k)，从Xl中选择对应的patch：xl ∈ R(p * p)。本文p=11
3、将xh和xl分别放入三个卷积层学习特征。
（1）Conv1：将xh和xl分别放入不同的卷积层（蓝色框和橙色框）学习特征。其中BN层来规范化和加速训练过程，ReLU层学习非线性特征，最大池化层用来减少数据差异和计算复杂性。
（2）Conv2：采用coupled策略，将HS网络和LiDAR网络共享参数。它可以将参数数量显着减少两倍，这对于少量的训练样本非常有用；它还能使这两个网络相互学习。
（3）Conv3：与conv2一样，采用coupled策略。
3、高光谱和LiDAR数据融合
获得xh和xl的特征表示后，如何将它们组合起来成为另一个重要问题。大多数现有的深度学习模型将它们堆叠在一起，使用一些完全连接的层来融合它们。本文提出了一种基于feature-level和decision-level的融合策略。
设：Rh∈R(128 * 1)——xh的学习特征；Rl∈R(128 * 1)——xl的学习特征
1、基于feature-level层面(特征与特征的融合)：将Rh与Rl特征采用concat，max，sum操作得到一个新的特征 F(Rh, Rl)
2、我们将这三个要素分别输入到三个输出层f1, f2, f3
3、基于decision-level层面(输出层的融合)：将所有输出层集成在一起以产生最终结果。整个融合过程可以表述为：
其中feature-level的sum和max融合策略：
sum：
max：
其中decision-leve的融合策略，使用加权求和的方法(y1时Rh经过f1的输出)表示如下：
y1的损失函数：
整个模型的损失函数：
实验
Houston Data VS Trento Data：
实验对比：
注：CNN-HS(仅使用HSI训练)、CNN-LiDAR(仅使用LiDAR训练)、CNN-F-C(feature-level层面拼接)、CNN-F-M(feature-level层面maximum)、CNN-F-S(feature-level层面sum)、CNN-DF-C(feature-level和decision-level融合拼接)、CNN-DF-M(feature-level和decision-level融合maximum)、CNN-DF-S(feature-level和decision-level融合sum)
可视化的结果：
模型对比：
