多光谱的空间特征和光谱特征Statistics of Real-World Hyperspectral Images

Statistics of Real-World Hyperspectral Images

作者采集了一个多光谱数据集
然后根据数据集 的统计信息分析 多光谱的空间特征和光谱特征
主要利用了pca方法

http://vision.seas.harvard.edu/hyperspec/

1.数据集

https://vision.seas.harvard.edu/hyperspec/d2x5g3/

1. 50张高光谱图像 at steps of 10nm from 420nm to 720nm.
   

2. 27张在人造光源下拍摄的高光谱图像
   用于评估结果
   在本文中并未使用，本文主要分析50张高光谱图像的一些统计信息

我下载了数据集，看一下图像：
上面2张是单通道图像
左下角是取 5，15，25通道
右下角是 mask, mask为1是应该被去掉的

2.spatial-spectral representation

目的是为了分析光谱图像的特征

作者利用patch 8x8 来分析，
具体来说就是将图像分为 8x8的patch.

那么每个patch的 形状就是 64x31, 64个像素，31个通道。

接下来就是如何用一些维数更低的特征表示 所有 64x31的patch

如下：pca的方法找出 正交基V
每个V的size也是 64x31

得到的正交基如下图所示：
左图中31个channel映射成了颜色

3.Separable Basis Components

上面用 spatial + spectral的 整体patch 求pca
那么是否可以 分别求spatial 和 spectral的特征呢？
是可以的

求得的spatial的特征应该和一般图像求的一样把。。。。

分别pca后的top特征如下：

4.进一步分析

不同的spatial特征和光谱特征组合后的 方差是怎样的？如下图
每个spatial basis 和 不同的spectral basis组合后的趋势是大概相同的。
s1-s5是top spatial basis
ck是 top spectral basis

再看一下不同的组合的方差

C1 的重要性不言而喻，与其他spatial basis组合都可以由高的方差。
另一方面也说明 spatial的变化是多样的，而spectral是相对较少的特征就可以表示

5.复现一下

5.1.patch的特征和方差和论文近似，

因为我没有用所有50张图像，只用了10张。也许用50张和论文更接近

5.2 spatial的basis和 spectral的basis

都是只显示top20

6.coef model

就是所有patch 按照pca分解后，特征矩阵对应的系数的分布情况

x 的j,k表示的是 spatial basis和spectral basis的序号
图7中 x11 表示第一个spatial basis和第一个spectral basis 。
图中是对应的所有patch的系数分布log

图8很有意思表示的是第二个spatial basis 与 排名1，2的两种spectral basis组合的系数分布图，接近高斯分布。

7.join model

这一部分没有看明白什么意思