Feature Extraction for Classification of Hyperspectral and LiDAR Data Using Patch-to-Patch CNN
2020-11-26 #cv

论文地址：https://ieeexplore.ieee.org/document/8467496

(论文存在两个疑惑)

Contributions

  • 本文提出了一种多尺度的PToP的CNN模型，该模型考虑从三个通道的角度提取特征。
  • 分层融合模块利用PToP CNN提取的联合特征进行分类。该模块首先将上一步从多尺度滤波器组获得的空谱特征联合得到一组新的特征，然后将其送到卷积块中，进行“多层块拼接”操作。
  • 本文使用滑动滑窗从HSI和LiDAR数据中收集训练集(patch)进行训练

Model

image-20201126130527177.png

A. Feature Extraction by PToP CNN

如上：设SourceⅠ表示HSI，Source Ⅱ表示LiDAR数据。特征提取阶段期望去寻找SourceⅠ到Source Ⅱ的关系。对于图像X的像素x的patch，其HSI图像与LiDAR图像之间存在关系(W, b为参数) (疑惑：如果这样，那不是就将HSI近似转化为LiDAR图像了？) ：

image-20201126140323289

具体的特征提取部分(PToP CNN)如下：

image-20201126130606259.png

B. Hierarchical Fusion Module

image-20201126130736690.png

如图：右边部分是左边部分的一个分支。由于很难同时优化8个分支的参数，因此此处分别训练分层融合模块的每个分支。 (具体实现还有疑惑)

实验结果(部分)

image-20201126130812436.png

PREV
2020-11-26 #cv
NEXT