第三章：图像增强
一、概念
1.图像增强是通过某种技术有选择地突出对某一具体应用有用的信息，削弱或抑制一些无用的信息。
2. 图像增强处理不是无损处理，不能增加原图像的信息。
3. 图像增强按所处理的对象不同可分为： 灰度图像增强和彩色图像增强。
图像增强按增强处理所在空间不同分为： 空域增强方法和频域增强方法。
●空域增强：直接在图像所在的二维空间进行处理，即直接对每一像素的灰度值进行处理。
空域增强按技术不同可分为灰度变换和空域滤波。灰度变换是一种点处理方法。
灰度变换：基于点操作，将每一个像素的灰度值按照一定的数学变换公式转换为一个新的灰度值。常用方法：对比度增强、直方图均衡化等。
空域滤波：基于邻域处理，应用某一模板对每个像素及其周围邻域的所有像素进行某种数学运算，得到该像素的新的灰度值。图像平滑与锐化技术就属于空域滤波。
●频域增强：首先经过傅里叶变换将图像从空间域变换到频率域，然后在频率域对频谱进行操作和处理，再将其反变换到空间域，从而得到增强后的图像。
4.图像增强效果评价：定性和定量评价。
●定量评价：无统一标准。一般从图像的信息量、标准差、均值、纹理度量值和具体研究对象的光谱特征等方面与原始图像进行比较评价。
●定性评价：主要从人的主观感觉出发，依靠图像的视觉效果进行评价。 定性评价又分为绝对评价与相对评价。
●常用的灰度变换函数主要有：
1.线性灰度变换：将输入图像（原始图像）灰度值的动态范围按线性关系公式拉伸扩展至指定范围或整个动态范围。
2.分段线性灰度变换：局部扩展拉伸某一范围的灰度值，或对不同范围的灰度值进行不同的拉伸处理，即分段线性拉伸。分段线性拉伸是仅将某一范围的灰度值进行拉伸，而其余范围的灰度值实际上被压缩了。
3.非线性灰度变换：非线性拉伸不是对图像的整个灰度范围进行扩展，而是有选择地对某一灰度值范围进行扩展，其他范围的灰度值则有可能被压缩。
与分段线性拉伸区别:非线性拉伸不是通过在不同灰度值区间选择不同的线性方程来实现对不同灰度值区间的扩展与压缩，而是在整个灰度值范围内采用统一的非线性变换函数，利用函数的数学性质实现对不同灰度值区间的扩展与压缩。
常用的非线性扩展方法：(1) 对数扩展 (2)指数扩展 (3)幂次变换 （4）灰度分层 （5）位图切割
二、直方图变换增强
直方图是多种空间域处理技术的基础，直方图操作能有效地用于图像增强。
1.灰度直方图
灰度直方图是灰度值的函数，它描述了图像中各灰度值的像素个数。通常用横坐标表示像素的灰度级别，纵坐标表示对应的灰度级出现的频率（像素的个数）。
2.直方图的性质
（1）直方图反映了图像中的灰度分布规律，没有位置信息。
（2）任何一幅特定的图像都有唯一的直方图与之对应，但不同的图像可以有相同的直方图。
（3）直方图具有可叠加性：如果一幅图像有多个不相连的区域组成，并且每个区域的直方图已知，则整幅图像的直方图是多个区域的直方图之和。
3.直方图的统计特征——矩、绝对矩、中心距、绝对中心距和熵。
4.直方图均衡化
通过把原图像的直方图通过变换函数修正为分布比较均匀的直方图，从而改变图像整体偏暗或整体偏亮，灰度层次不丰富的情况，这种技术叫直方图均衡化。 通过修改直方图的方法增强图像是一种实用而有效的处理技术。
●基本思想：是使目标图像的直方图具有平直的直方图，从而改变图像整体偏暗或整体偏亮，灰度层次不丰富的情况。直观概念是对在图像中像素个数多的灰度级进行展宽，而对像素个数少的灰度级进行缩减，从而达到清晰图像的目的。
●基本方法：通过灰度r的概率密度函数，求出灰度变换函数，建立等值像素出现的次数与结果图像像素值之间的关系。形成一种自动调节图像对比度质量的算法。
5.直方图均衡化计算
即：给定原始直方图数据求均衡化的直方图数据。
★例题：
提示1：nk为该灰度级的数量。n为像素点个数，如64×64的图像，有64×64个像素点。
提示2：上图中rk是什么呢？因为有八个灰度级，所以平均分成八份。rk就是这八个灰度级的横坐标，如下图。
求解步骤：
（1）计算S0~S7的值。
（2）将计算的值以1/7为量化单位进行舍入。舍入后查看有几个灰度级。如下图有s0=1/7、s1=3/7、s2=5/7、s3=6/7、s4=1这五个灰度级。
原灰度级和均衡化的灰度级关系：r0映射为s0，r1映射为s1，r2映射为s2，r3和r4共同映射为s3，r5和r6、r7共同映射s4。
（3）将均衡化的数据相同的灰度级填入原直方图相应灰度级的位置。均衡化的nk则为映射到该灰度级的数据数量之和。右边就是我们均衡化后的直方图数据。
6.直方图规定化
直方图均衡化能够得到近似均匀分布的直方图。但由于变换函数采用累积分布函数，也只能产生近似均匀的直方图的结果，这样就会限制它的效果。
实际应用中，有时需要具有特定直方图的图像，以便能够增强图像中某些灰度级。直方图规定化方法可以按照预先设定的某个形状来调整图像的直方图。
直方图规定化就是把直方图均衡化结果映射到设想的理想直方图上，是对直方图均衡化处理的一种有效的扩展。直方图均衡化处理是直方图规定化的一个特例。
★例题：
解答：
（1）均衡化
（2）画表
三、空间平滑滤波增强
空域平滑滤波器的设计比较简单，常用的有邻域均值法和中值滤波法，前者是线性的，后者则是非线性的。
1. 邻域平均法（相当于卷积操作）
（1）非加权均值滤波
假设图像由许多灰度恒定的小块组成，相邻像素间存在很高的空间相关性，而噪声则相对独立。可以将一个像素及其邻域内的所有像素的平均灰度值赋给平滑图像中对应的像素，从而达到平滑的目的，又称均值滤波或局部平滑法。（目标图像像素周围像素求均值）
● 均值滤波法的增强效果：
（2）加权均值滤波
★例题：
解： g(7,5)=1/16(26×1+38*2+37×1+40×2+68×4+75×2+36×1+55×2+73×1)=53.875≈54
2. 中值滤波
●中值滤波优缺点：对脉冲干扰及椒盐噪声的抑制效果好，在抑制随机噪声的同时能保持图像中的细节部分，防止边缘模糊。对点、线等细节较多的图像不太合适。
★例题：
解题步骤：
中值滤波的效果：
3. 超限像素平滑法
4. 高斯滤波
四、频域增强
图像增强除可在空域进行外，也可以在变换域进行。变换域增强是首先经过某种变换将图像从空间域变换到变换域，然后在变换域对频谱进行操作和处理，再将其反变换到空间域，从而得到增强后的图像。
在变换域处理中最为关键的是变换处理，一般是线性变换，并且满足一定的正交条件。
在图像增强处理中，最常用的正交变换是傅立叶变换。当采用傅立叶变换进行增强时，把这种变换域增强称为频域增强。
1. 频域滤波的主要步骤:
(1)对原始图像 f(x,y) 进行傅立叶变换得到 F(u,v)。
(2)将 F(u,v) 与传递函数 H(u,v) 进行卷积运算得到 G(u,v)。
(3)将 G(u,v) 进行傅立叶逆变换得到增强图 g(x,y)。频域滤波的核心在于如何确定传递函数，即H(u,v)。
H(u,v)为传递函数/滤波器函数。
常用的傅里叶变换：一维傅里叶变换、二维傅里叶变换、一维离散傅立叶变换、二维离散傅立叶变换。
2. 频谱的频域移中
常用的傅立叶正反变换公式都是以零点为中心的公式，其结果中心最亮点却在图像的左上角，作为周期性函数其中心最亮点将分布在四角，这和正常的习惯不同，因此，需要把这个图像的零点移到显示的中心。例如把F(u,v)的原零点从左上角移到显示屏的中心。
频域移位特性：对频域信号进行移位，时域信号需要乘以一个对应的指数函数。图像信号在进行变换之前需要对每一个像素乘以(-1)^x+y次方。简言之，一正一负，每隔一个像素乘以一个负号。
3. 滤波方式
（1）低通滤波（消除噪声，但图像变模糊）
➢图像从空间域变换到频率域后，其低频分量对应图像中灰度值变化比较缓慢的区域，高频分量则表征图像中物体的边缘和随机噪声等信息。
➢低通滤波是指保留低频分量，而通过滤波器函数H(u,v)减弱或抑制高频分量的过程。
➢低通滤波与空域中的平滑滤波器一样可以消除图像中的随机噪声,减弱边缘效应，起到平滑图像的作用。
图像平滑是指受传感器和大气等因素的影响，遥感图像上会出现某些亮度变化过大的区域,或出现一些亮点(也称噪声。这种为了抑制噪声使图像亮度趋于平缓的处理方法就是图像平滑。图像平滑实际上是低通滤波,平滑过程会导致图像边缘模糊化。
低通滤波器：
▲理想低通滤波器
理想低通滤波器效果：
缺点： 理想低通滤波器的平滑作用非常明显，但由于变换有一个陡峭的波形，它的反变换H(x,y)有强烈的振铃特性，使滤波后图像产生模糊效果。因此这种理想低通滤波实用中不能采用！！
▲巴特沃斯低通滤波器
特点：在通过频率与截止频率之间没有明显的不连续性，不会出现“振铃”现象，其效果好于理想低通滤波器。
▲指数低通滤波器
特点：指数低通滤波器从通过频率到截止频率之间没有明显的不连续性，而是存在一-个平滑的过渡带。指数低通滤波器实用效果比Butterworth低通滤波器稍差，但仍无明显的振铃现象。
▲梯形低通滤波器
特点：结果图像的清晰度较理想低通滤波器有所改善，振铃效应也有所减弱。应用时可调整D1值，既能达到平滑图像的目的，又可以使图像保持足够的清晰度。
（2）高通滤波（消除模糊，实现锐化图像）
图像的边缘、细节主要在高频，图像模糊是由于高频成分较弱产生的。为了消除模糊，突出边缘，可以采用高通滤波的方法，使低频分量得到抑制，从而达到增强高频分量，使图像的边沿或线条变得清晰，实现图像的锐化。
高通滤波器：
▲理想高通滤波器：
▲Butterworth滤波器：
▲指数滤波器：
▲梯形高通滤波器：
四种高通滤波器比较：
➢理想高通有明显振铃，图像的边缘模糊不清。
➢Butterworth 高通效果较好，振铃不明显，但计算复杂。
➢指数高通效果比Butterworth差些，但振铃也不明显。
➢梯形高通的效果是微有振铃、但计算简单，故较常用。.
➢一般来说，不管在图像空间域还是频率域，采用高频滤波不但会使有用的信息增强，同时也使噪声增强。因此，不能随意地使用。
（3）带阻滤波与带通滤波
（4）同态滤波
五、图像的锐化
1. 基本方法：微分方法、高通滤波。
图像在传输或变换过程中会退化，典型的现象是图像模糊，因而在图像判读和识别过程中，需要增强边缘信息，使得识别目标更容易。
图像锐化的目的是使灰度反差增强，从而增强图像中边缘信息，有利于轮廓抽取。轮廓或边缘是图像中灰度变化率最大的地方。因此，轮廓抽取就是要找一种方法把图像的最大灰度变化处找出来。
图像平滑通过积分过程使得图像边缘模糊，图像锐化则通过微分而使图像边缘突出、清晰。
图像边缘一般都是通过对图像进行梯度运算来实现的。
图像的边缘检测通常涉及到卷积操作，这可以看作是对图像进行导数操作的一种近似。在这种情况下，卷积核（filter）可以看作是导数的近似。
●梯度与边缘
梯度值正比于像素之差。对于一幅图像中突出的边缘区，其梯度值较大;在平滑区域梯度值小;对于灰度级为常数的区域，梯度为零。
边缘(Edge)是指图像局部特性的不连续性，灰度或结构等信息的突变处称之为边缘。例如，灰度级的突变、颜色的突变、纹理结构的突变等。图像边缘是图像最基本的特征。边缘是一个区域的结束，也是另一个区域的开始，利用该特征可以分割图像。
2. 梯度算子：利用像素点上下、左右邻点灰度差检测边缘。
我们需要将该算子与图像中的每个像素进行卷积运算。卷积运算的过程是将算子与图像的局部区域进行元素级别的乘法，并将乘积相加，最后得到一个新的像素值。这个新的像素值表示了该位置上的梯度大小。
（1）Roberts（罗伯特）算子–梯度交叉算子
（2）Sobel算子
过程：
两个方向的梯度相加：
（3）Prewitt梯度算子
（4）Laplacian算子—二阶微分算子
3. 四个算子的特点：
➢Roberts算子：利用局部差分算子寻找边缘，边缘定位精度较高，但容易丢失一部分边缘，同时由于图像没经过平滑处理，因此不具备能抑制噪声能力。该算子对具有陡峭边缘且含噪声少的图像效果较好。
➢Sobel算子和Prewitt算子：都是对图像先做加权平滑处理，然后再做微分运算，所不同的是平滑部分的权值有些差异，因此对噪声具有一定的抑制能力，但不能完全排除检测结果中出现的虚假边缘。虽然这两个算子边缘定位效果不错，但检测出的边缘容易出现多像素宽度。
➢Laplacian算子：不依赖于边缘方向的二阶微分算子，对图像中的阶跃型边缘点定位准确，该算子对噪声非常敏感，它使噪声成分得到加强，这两个特性使得该算子容易丢失一部分边缘的方向信息，造成一些不连续的检测边缘，同时抗噪声能力比较差。
六、色彩增强
➢常用的彩色增强方法有真彩色增强技术、假彩色增强技术和伪彩色增强技术三种。
➢真彩色增强技术和假彩色增强技术两种方法着眼于对多幅灰度图像的合成处理，一般是将三幅图像分别作为红、绿、整个通道进行合成。
➢伪彩色增强技术是对一幅恢度图像的处理，通过一定的方法，将一幅灰度图像变换生成一幅彩色图像。
1. 真色彩增强
➢能真实反映自然物体本来颜色的图像叫真彩色图像。
➢在没有彩色摄像机的情况下，可以通过真彩色增强技术实现真彩色处理。
处理过程：首先用加有红色滤色片的摄像机(黑白摄像机)摄取彩色图像，经数字化送入一块图像存储板存起来，然后用带有绿色滤色片的摄像机摄取图像，经数字化送入第二块图像存储板，最后用带有蓝色滤色片的摄像机摄取图像，存储在第三块图像存储板内。这样，就可以在彩色监视器上合成一幅真彩色图像。
2. 假色彩增强
假彩色(falsecolor)增强是将–幅彩色图像映射为另–幅彩色图像，从而达到增强彩色对比，使某些图像达到更加醒目的目的。如将一幅自然彩色图像或多光谱图像通过映射函数变换成新的三基色分量，彩色合成使感兴趣目标呈现出与原图像中不同的、奇异的彩色。
3. 伪色彩增强
伪彩色(pesudo color)增强则是把一幅灰度图像的不同灰度级映射为一幅彩色图像的技术手段。
详细来说就是把一幅黑白图像的每个不同灰度级按照线性或非线性的映射函数变换成不同的彩色，得到一幅彩色图像，使原图像细节更易辨认。
●三种方法：
（1）密度分割法
特别地，如果将每一个灰度值都划分成一个区间，如将8bit灰度图像划分成256个区间，就是索引图像。可以认为索引图像是由灰度图像经密度分割生成的。
一般，每一灰度值区间赋予何种颜色由具体应用决定，并无规律可言，但相邻灰度值区间的颜色差别不宜太小/大。此法比较直观、简单，缺点是变换出的彩色数目有限。
（2）空间域灰度级-彩色变换
根据色度学的原理，将原图像f(x,y)中每一个像元的灰度值分别经过红、绿、蓝三种独立变换Tp(.), Ta(.)和Tp(.)，变成红、绿、蓝三基色分量R(x,y), G(x,y), B(x,y)分量图像，然后用它们分别去控制彩色显示器的红、绿、蓝电子枪，便可以在彩色显示器的屏幕上合成一幅彩色图像。
（3）频率域伪色彩增强
把黑白图像从空间域经傅里叶变换变到频率域，然后在频率域内用三个不同传递特性的滤波器将图像分离成三个独立的分量，对每个范围内的频率分量分别进行傅里叶反变换，得到三幅代表不同频率分量的单色图像，接着对这三幅图像作进一步的处理(如直方图均衡化)，最后将它们作为三基色分量分别加到彩色显示器的红、绿、蓝显示通道，从而实现频率域的伪彩色增强。
第四章 图像编码与压缩
1. 编码的必要性：数字图像的庞大数据对计算机的处理速度、存储容量都提出过高的要求，因此必须把数据量压缩。
➢图像、声音这些媒体确实具有很大的压缩潜力。
➢数据之所以能够压缩是基于原始信源的数据存在着很大的冗余度。以目前常用的位图格式的图像存储方式为例，像素与像素之间无论是在行方向还是在列方向都具有很大的相关性，因而整体上数据的冗余度很大，在允许一定限度失真的前提下，能够对图像数据进行很大程度的压缩。
➢压缩前后的图像可能会造成失真。失真一般都是在人眼允许的误差范围之内，压缩前后的图像如果不做非常细致的对比是很难觉察出两者的差别的。因此，数据压缩技术是多媒体系统中一项十分关键的技术。
2. 图像数据冗余包括：空间冗余、时间冗余、结构冗余、知识冗余、视觉冗余、图像区域的相同性冗余、纹理的统计冗余。
3. 图像编码分类
根据解压重建后的图像和原始图像之间是否具有误差，可以将图像编码与压缩方法分为无损压缩和有损压缩两大类。
（1）无损压缩：
➢无损压缩可以精确无误地从压缩数据中恢复出原始数据。常见的无损压缩技术包括：基于统计概率的方法和基于字典的技术。
➢基于统计概率的方法：依据信息论中的变长编码定理和信息熵有关知识，用较短代码代表出现概率大的符号，用较长代码代表出现概率小的符号，从而实现数据压缩。统计编码方法中具有代表性的是利用概率分布特性的霍夫曼(Huffman)编码方法，另一种是算术编码。
➢基于字典的技术：一 种是游程编码，适用于灰度级不多、数据相关性很强的图像数据的压缩。最不适用于每个像素都与它周围的像素不同的情况。另一.种称之为LZW编码，LZW在对数据文件进行编码的同时，生成了特定字符序列的表以及它们对应的代码。
（2）有损压缩：
有损编码是以丢失部分信息为代价来换取高压缩比。有损压缩方法主要有有损预测编码方法、变换编码方法等。
根据编码作用域划分，图像编码分为空间域编码和变换域编码两大类。
若从具体编码技术来考虑，又可分为预测编码、变换编码、统计编码、轮廓编码、模型编码等。
▲图像压缩编码的评价准则：
在图像压缩编码中，解码图像与原始图像可能会有差异，因此，需要评价压缩后图像的质量。描述解码图像相对原始图像偏离程度的测度一般称为保真度(逼真度)准则。
常用的准则可分为两大类：客观保真度准则和主观保真度准则。
主观保真度准则：一种常用的方法是对一组(不少于20人)观察者显示图像，并将他们对该图像的评分取平均，用来评价幅图像的主观质量。
4. 图像编码模型
一个图像压缩系统包括两个不同的结构块:编码器和解码器。图像f(x,y)输入到编码器中，编码器可以根据输入数据生成一组符号。在通过信道进行传输之后，将经过编码的表达符号送入解码器，经过重构后，生成输出图像。
编码器由一个信源编码器和一个信道编码器构成，解码器包括一个信道解码器，后面跟一个信源解码器。
如果编码器和解码器之间的信道是无噪声的，则信道编码器和信道解码器可以略去。
（1）信源编码器与信源解码器
信源编码器的任务是减少或消除输入图像中的编码冗余、像素间冗余或心理视觉冗余。
从原理来看主要分为三个阶段:
●第一阶段将输入数据转换为可以减少输入图像中像素间冗余的数据的集合。
●第二阶段设法 去除原图像信号的相关性。
●第三阶段是找一种更近于熵，又利于计算机处理的编码方式。
（2）信道编码器与信道解码器
➢背景:信源编码器几乎不包含冗余，它对噪声传送有很高的敏感性。
➢信道带有噪声或易于出现错误时，信道编码和解码处理作用明显。
➢信道编码器和解码器通过向信源编码数据中插入预制的冗余数据，即验证码，来减少信道噪声的影响。
5. 信道编码技术
（1）奇偶校验位–最简单的信道编码技术
➢奇偶校验位：用来添加至二进制数据中的比特位，通过确保整个二进制数据信息中“1”的个数是奇数还是偶数，来判断数据是否在传输过程中发生改变。
➢存在两种类型的检测方式：奇校验和偶校验。
➢在奇校验检测方式中，检查需要发送数据序列中1的个数。如果序列中1的个数是奇数，为了保证加上“冗余位”后，整串序列中1的个数最后为奇数，冗余位上应该设置为“0";如果在没有添加“冗余位”之前，数据序列中的1的个数为偶数，那么为了最后把1的个数凑成-一个奇数，冗余位上应该设置为“1”。
缺点： 数据在传输过程中发生了改变，但并不知道是哪一位发生了 改变，无法纠正错误。数据传输过程中有2位发生改变，此法无效。
（2）海明码
奇偶校验位只有1个冗余位，而海明码具有多个冗余位。即向被编码数据中加入足够的位数(冗余位)以确保可用的码字间变化的位数最小(海明距离)。
▲确定海明码的冗余位：
★例题： 假设需要传输的数据信息是由7位二进制位组成。设计海明码。
解题：
（1）根据上述公式确定冗余位数。
m=7，即2^r >=r+8，r至少为4。则冗余位为4位。因此，整个信息流有11个二进制位。其中有7位数据位和4位冗余位。
（2）确定冗余位的位置。
海明码对于冗余位的位置有特殊的规定。所有2的幂次位作为冗余位。
（3）将海明码进行分组，有四个冗余位则分为4组。 第一个冗余位对应第一个分组，依次类推。先将索引号变为二进制形式。如11为1011，10为1010。
第一分组：索引号的二进制码。从右往左数，第一位有1的则构成第一组。如第一组有索引号1、3、5、7、9、11。
第二分组：索引号的二进制码。从右往左数，第二位有1的则构成第二组。
第三分组、第四分组同理。
（4）填充数据位。 将传输数据信息的7位二进制码从左向右依次填入数据位中。
（5）填冲冗余位（奇偶校验位）
假如我们使用奇校验。
对于冗余位①：我们使用分组1。
对于冗余位②：我们使用分组2。
（6）最终海明码
补充：海明码如何纠错与改正错误信息？
➢海码通过检查每一小组的“奇校验”，来确定是否发生了错误。
➢第一组(1,3,5,7,9,11) : 1的个数为6位，不满足“奇校验”，因此，这一组中肯定有某个数据发生了错误，但不能确定具体位置。为了达到“奇校验”，我们补充并记录1个1来达到奇数个1。
➢第二组(2,3,6,7,10,11) : 1的个数为3位，满足“奇校验”，因此，可以断定这一组中没有任何一位数据发生改变。所以，只需要记录0。
➢第三组(4,5,6,7) : 1的个数为2位，不满足“奇校验”，因此，这一组中也有数据发生改变。所以，必须补1个1来达到奇数个1。
➢第四组(8,9,10,11) : 1的个数为3位，满足“奇校验”，只需要补0。
最后我们将记录的0/1数据从下往后上读写。即0101，也就是10进制数5。即5号位上数据发生了变化，只需要对5号位上的数据进行处理即可。
