1#
- 融合
- 配准
- 底片
- middle format
- full format
- 半底片
图像显示打印#
- 半调输出
- 利用人眼的集成特性，通过控制二值点的形式（数量尺寸形状）来获取视觉上不同的灰度感觉。
- 是一种将灰度图像转化为二值图像的技术。
- 幅度调制（不行）
- 频率调制：缺点：点增益
- 控制数量实现：
- 调制模版
- 2x2 -> 5
- 3x3 -> 10
- 4x4(最常用)
- 调制模版
- dpi:dot per inch(2.54cm)
- 彩色半调技术：
- 每种rgb只有饱和色和黑色
- 实际打印使用的是红绿蓝的补色
视觉过程#
- 锥细胞柱细胞
- 人眼是跳着看的
- 人的注意力机制
- 自顶向下
- 自底向上
- 人的注意力机制
空间分辨率和幅度分辨率#
- 真彩色
2#
-
像素的邻域
- 4邻域
- 对角邻域
- 8邻域
-
邻接和连接
- 4连接：两个像素p,v在V中取值且r在中
- 8连接：两个像素p,v在V中取值且r在中
- 混合连接（m连接）：满足一项情况之一：
- 在中
- 在中，且是空集
-
图像坐标变换
- 平移
- 旋转
- 缩放
-
插值
- 前向映射
- 后向映射
- 放大后图像整数坐标点映射到原始图像
- 零阶插值（会产生伪边界）
- 双线性插值
- 双三次插值
图像间运算的应用
- 算术运算
- 加法的应用
- 通过叠加图像取平均值降低噪声
- 减法
- 视频监控
- 加法的应用
- 逻辑运算
- 补
- 与
- 或
- 异或 点运算（直接灰度映射）
- 图像求反
- 增强对比度
- 动态范围压缩 -> 调节图像明暗
- 灰度切分
2.7 直方图变换#
2.7.1 直方图均衡化#
-
直方图：1-D的离散函数
- 提供了图像像素的灰度的分布情况
-
均衡化的基本思想
- 使像素灰度的动态范围最大
-
映射曲线
直方图规定化
-
根据像素数量比确定映射函数
-
给定需要做均衡化的图像和你期望的均衡化的值就可以求出均衡化的的映射函数（实际上就是累积分布函数）
-
给定和,就可以求出映射函数
-
-> 累积分布函数 -> 映射到灰阶上 ->
-
彩色的用同一个映射函数做映射
4 空域增强技术#
- 改善图像质量、改善视觉效果
- 空域：指由像素组成的空间
- 模板操作：
- 与周围的像素进行处理的操作
- 分类
- 线性/非线性
- 平滑（模糊、消除噪声）/ 锐化（增强被模糊的细节）
- 模板卷积（利用图像邻域的相关性）
线性平滑滤波器#
- 邻域平均（平滑滤波器）
- 积分图实现快速均值滤波
- 加权平均（高斯滤波器）
- 邻域平均忽视了平滑过程中各像素的贡献比例
- 距离中心越远的，贡献越小
- 问题：未考虑边缘
非线性平滑滤波器#
- 双边滤波
- 结合图像空间邻近度与像素相似度
- 双边滤波可以在降噪的同时很好的保持边缘
- 缺点：计算复杂度高
- 当越大，即当前像素点与邻域像素点的灰度值差异越大，则降低邻域像素权重。
- 控制空间域的标准差，越大越模糊， 控制灰度域的标准差，越小边缘越清晰。
- 中值滤波
- 既能消除噪声又能保持细节（不模糊）
- 排序选中值。
- 能很好地处理椒盐噪声
- 存在边缘漂移现象
- 缺点：排序导致复杂度高
- 快速中值滤波器
- 使用直方图加速中值滤波
- 自适应中值滤波
- 中值滤波器受滤波窗口大小影响较大，用于消除噪声和保护图像细节，两者相互冲突。
非线性锐化滤波器#
- 利用微分可以锐化图像
- 平坦->低频 边缘->高频
边缘提取#
-
prewitt算子
- 水平方向（检测垂直边缘）： -1 & 0 & 1 \\ -1 & 0 & 1 \\ -1 & 0 & 1 \end{bmatrix} $$
- 垂直方向（检测水平边缘）： -1 & -1 & -1 \\ 0 & 0 & 0 \\ 1 & 1 & 1 \end{bmatrix} $$
- 梯度幅值计算（45°）：
- 梯度方向计算：
-
Sobel算子
- 水平方向（检测垂直边缘）： -1 & 0 & 1 \\ -2 & 0 & 2 \\ -1 & 0 & 1 \end{bmatrix} $$
- 垂直方向（检测水平边缘）： -1 & -2 & -1 \\ 0 & 0 & 0 \\ 1 & 2 & 1 \end{bmatrix} $$
- 梯度幅值计算：
- 梯度方向计算：
-
拉普拉斯算子
- 4邻域形式： 0 & -1 & 0 \\ -1 & 4 & -1 \\ 0 & -1 & 0 \end{bmatrix} $$
- 8邻域形式： -1 & -1 & -1 \\ -1 & 8 & -1 \\ -1 & -1 & -1 \end{bmatrix} $$
- 应用公式： 其中为锐化系数，通常取正值
-
一阶非线性锐化滤波器
-
二阶非线性锐化滤波器 -> 两条线
-
-
锐化：增强边缘
-
Unsharp Masking
-
拉普拉斯算子（二阶非线性锐化滤波器）的缺点：
- 对噪声敏感，会导致一些不希望的扭曲
- 对灰度突变敏感，图像的边缘会出现增强过头的现象
- 增强后的图像容易产生伪边缘
-
LoG滤波器（马儿算子）
- 可以通过调节高斯算子的标准差和半径来控制锐化的尺度
-
DoG滤波器
- 结合高斯滤波器和拉普拉斯滤波器的优点
- 先对图像进行高斯滤波，再对滤波后的图像进行拉普拉斯滤波
- 可以有效抑制噪声，同时保留图像的边缘信息
5 频域增强原理#
傅里叶级数#
- 基本思想：任何周期函数都可以表示为不同频率正弦波和余弦波的线性组合
- 适用条件：满足狄利克雷条件（周期内绝对可积、有限个极值点、有限个间断点）
- 信号 -> 三角函数频率 -> 频域
三角形式#
其中：
- 基频 （T为周期）
- 系数计算：
指数形式（通过欧拉公式推导）#
其中系数：
傅里叶变换#
- 核心思想：将非周期信号分解为连续频率的正弦波分量
- 与傅里叶级数的关系：可视为周期无限大的傅里叶级数推广
连续傅里叶变换#
正变换：
反变换：
离散傅里叶变换（DFT）#
适用于数字信号处理：
二维DFT（图像处理核心）：
卷积定理#
数学表达：
实践意义：
- 空域卷积 → 频域乘积（计算加速）
- 频域乘积 → 空域卷积（滤波实现）
- 适用于线性时不变系统分析
图像处理特殊性：
- 二维卷积需处理行列两个维度
- 需进行频谱中心化（通过fftshift）
- 复数运算需保持相位信息
抽样定理#
奈奎斯特定理：
- 采样频率 （信号最高频率）
- 不满足时会出现混叠（Aliasing）现象
图像处理应用：
- 下采样前必须进行抗混叠滤波
- 数字传感器中的CFA滤波设计
- 莫尔条纹消除原理
数学描述： 连续信号经采样后：
频域效应：
混叠示例：
- 图像中高频纹理产生低频伪影
- 旋转运动产生虚假条纹
- 颜色通道间的串扰
关键性质#
- 线性性：满足叠加原理
- 平移性：
- 对称性：实函数的傅里叶变换具有共轭对称性
- 卷积定理：
频域滤波步骤#
- 对图像进行DFT得到频谱
- 设计频域滤波器（低通、高通、带通）
- 频谱与滤波器函数相乘
- 进行逆DFT返回空域
典型应用#
- 图像频域滤波（去噪、边缘增强）
- 频域特征分析（纹理识别）
- 图像压缩（分离高频/低频信息）
- 快速卷积计算（利用卷积定理）
频域表示#
将空域信号转换为频域后，包含两个核心分量：
-
幅值谱（Magnitude Spectrum）：
- 反映不同频率分量的强度分布
- 决定图像的对比度特征
- 在图像中表现为亮度变化模式
-
相位谱（Phase Spectrum）：
- 记录频率分量的空间位置信息
- 决定图像的结构特征
- 对视觉感知更为重要（实验表明：交换两幅图的相位谱，重建图像会呈现原相位谱对应图像的结构）
应用特性#
- 频域滤波时：
- 低通滤波：主要修改幅值谱（抑制高频分量）
- 高通滤波：同时影响幅值和相位
- 图像重建：
- 仅用幅值谱 → 得到模糊的能量分布
- 仅用相位谱 → 保留边缘结构但丢失对比度
离散傅里叶变换（DFT）#
适用于数字信号处理：
二维DFT（图像处理核心）：
关键性质#
- 线性性：满足叠加原理
- 平移性：
- 对称性：实函数的傅里叶变换具有共轭对称性
- 卷积定理：
频域滤波步骤#
- 对图像进行DFT得到频谱
- 设计频域滤波器（低通、高通、带通）
- 频谱与滤波器函数相乘
- 进行逆DFT返回空域
典型应用#
- 图像频域滤波（去噪、边缘增强）
- 频域特征分析（纹理识别）
- 图像压缩（分离高频/低频信息）
- 快速卷积计算（利用卷积定理）
频域增强#
- 卷积理论是频域技术的基础
- 零相移：不破坏相位谱
频域滤波器设计#
低通滤波器#
作用：保留低频信息，抑制高频信息，实现图像平滑/模糊 数学模型：
- 理想低通滤波器(ILPF)： 1, & \text{if } D(u,v) \leq D_0 \\ 0, & \text{if } D(u,v) > D_0 \end{cases} $$
截断频率 图像频率
振铃效应#
振铃效应是由于理想低通滤波器的频率响应在空间域中引入了振荡现象。这种现象通常表现为图像边缘附近的波纹或振荡，影响图像的视觉质量。振铃效应的产生是因为理想滤波器的频率响应在空间域中对应于一个sinc函数，该函数具有无限长的振荡尾部。 滤波器的振铃点越远，振铃效应越明显。
解决方法：
- 使用巴特沃斯或高斯低通滤波器，它们的频率响应更平滑，能够有效减少振铃效应。
- 调整滤波器的参数以优化频率响应。
-
巴特沃斯低通滤波器(BLPF)： 从1向0衰减，n值越大越接近ILPF
-
高斯低通滤波器(GLPF)：
特点比较：
- ILPF：最简单但会产生振铃效应
- BLPF：n值越大越接近ILPF
- GLPF：最平滑的过渡，空域也是高斯函数
高通滤波器#
作用：保留高频信息，抑制低频信息，实现边缘增强 数学模型：
-
理想高通滤波器(IHPF)：
0, & \text{if } D(u,v) \leq D_0 \\ 1, & \text{if } D(u,v) > D_0 \end{cases} $$ -
巴特沃斯高通滤波器(BHPF)：
-
高通增强滤波器
应用：
- 边缘检测
- 图像锐化
- 细节增强
带通/带阻滤波器#
作用：
- 带通：只保留特定频率范围内的信息
- 带阻：抑制特定频率范围内的信息
数学模型：
1, & \text{if } D_1 \leq D(u,v) \leq D_2 \\ 0, & \text{otherwise} \end{cases} $$ $$ H_{BS}(u,v) = 1 - H_{BP}(u,v) $$ **应用**： - 纹理分析 - 周期性噪声去除 - 特定方向特征提取 ### 同态滤波 - 特点：能消除乘性噪声，能同时压缩图象的整体动态范围 和增加图象中相邻区域间的对比度 -  **基本原理**： 1. 将乘性关系转换为加性关系：$f(x,y) = i(x,y) \cdot r(x,y)$ 2. 取对数：$\ln f(x,y) = \ln i(x,y) + \ln r(x,y)$ 3. 傅里叶变换 4. 高通滤波（压缩照明分量，增强反射分量） 5. 逆变换和指数运算 **应用**： - 动态范围压缩 - 对比度增强 - 阴影消除 ### 频域去噪 **周期性噪声去除**： 1. 傅里叶变换观察噪声特征 2. 设计陷波滤波器（Notch Filter） 3. 滤除噪声频率分量 **带宽自适应滤波**： - 根据局部频谱特性调整滤波器参数 - 保留图像细节的同时去除噪声 ### 频域与空域滤波对比 | 特性 | 频域滤波 | 空域滤波 | |------|---------|---------| | 计算复杂度 | 大核时更高效 | 小核时更高效 | | 滤波器设计 | 直观，易于理解频率特性 | 需从频率特性推导 | | 全局性 | 全局处理 | 局部处理 | | 特定频率处理 | 容易精确控制 | 较难精确控制 | | 实现难度 | 需FFT/IFFT | 直接卷积运算 | ### 实际应用案例 1. **医学图像增强**： - MRI图像的频域去噪 - CT图像的对比度增强 2. **遥感图像处理**： - 卫星图像的大气散射校正 - 周期性条纹去除 3. **工业视觉检测**： - 表面缺陷增强 - 纹理分析与分类 # 5 图像恢复 - 图像恢复： - 技术：无约束和有约束 - 策略：自动和交互 - 处理所在域：空域和频域 ## 图像退化 - 图象退化指由场景得到的图象没能完全反应场景的真实内容，产生了失真等问题 - 透镜象差/色差 - 聚焦不准（失焦） - 模糊 - 噪声 - 抖动 ### 常见噪声 - 热噪声： - 白噪声（频率覆盖整个频谱） - 高斯噪声（幅度符合高斯分布） - 闪烁噪声： - 粉色噪声 - 发射噪声 - 高斯噪声 - 均匀噪声（不存在） - 脉冲噪声 - 退化模型 - 退化模型的计算 - 1D退化过程 - 退化是现行的 - 轮换矩阵 - 退化过程 -> 空间滤波 - 逆滤波 - $$ g(x,y) = f(x,y) * h(x,y) $$ - $$ G(u, v) = c·F(u, v)·H(u,v) $$ - $$ F(u,v) = \frac{G(u,v)}{H(u,v)} $$ - 维纳滤波器 $$\hat{F}(u,v)=[ \frac{H(u,v)^2}{|H(u,v)|^2+s[S_n(u,v)/S_f(u,v)]}]G(u,v)$$ - 维纳滤波器不能实现 - 维纳滤波器的简化表示 $$\hat{F}(u,v)=[ \frac{H(u,v)^2}{|H(u,v)|^2+s}]G(u,v)$$ ## 消除匀速直线运动模糊 - 幅值谱不变，相位谱发生改变 --- # 6 ### 6.1.2 三基色与色匹配 - 三种基本色 - 红 - 绿 - 蓝 - 三色混合/匹配 ### 6.1.3 色度图 - CIE-RGB系统 - CIE-XYZ系统 - 设每种刺激量的比例系数为x,y,z - 所有颜色向量组成x>0,y>0,z>0的三维空间第一象限椎体。 - $x+y+z=1$ - 该截面与三个坐标平面的交线构成一个等价三角形，每一个颜色分量与该平面都有一个交点，每一个点代表一个颜色，该点的坐标就是该颜色的XYZ坐标。 - 色度图（舌形图） - 舌头红蓝底边成为"紫边" - 蓝绿红弧边为单色光，数值为波长 - 用途： - 获得主波长 - 获得混合色 ## 6.2 彩色模型 ### 6.2.1 面向硬设备的彩色模型 - RGB - CMY - 色光三原色 - 物体光三原色 ### 6.2.2 面向视觉感知的彩色模型 - HSI模型 - H：色调 - S：饱和度 - I：密度（intensity，对应成象亮度和图像灰度） - 两个基本特征： - I分量与图像的彩色信息无关 - H和S分量与人感受颜色的方式紧密相连（合成色度） - RGB转HSI - $$ H = \arccos \frac{1}{2} \left[ \frac{R-G+R-B}{2\sqrt{(R-G)^2+(R-B)(G-B)}} \right] $$ - $$ S = \sqrt{\frac{1}{3} (R-G)^2 + (R-B)(G-B)} $$ - $$ I = \frac{1}{3} (R+G+B) $$ - HSI转RGB - $$ R = I \left( 1 + \frac{S \cos H}{C} \right) $$ - $$ G = I \left( 1 - \frac{S \cos H}{C} \right) $$ - $$ B = 3I - (R+G) $$ ### 伪彩色增强 - 原理 - 人眼对颜色比对灰度有较大的分辨能力 - 对原本灰度图像中不同和灰度值的区域赋予不同的颜色以更明显地区分它们 # 7 图像分割 - 把图像空间分成一些有意义的区域，与图像中各种物体目标相对应。 - 基于边缘的分割方法 - 基于阈值的分割方法 - 基于区域的分割方法 - 基于图论的分割方法 - 基于能量泛函的分割方法 ## 7.1 基于边缘的分割方法 ### 7.1.1 检测原理 ### 7.1.3 二阶导数算子 2. 马儿算子 - 在每个分辨率上进行如下计算 - 先用高斯模板卷积 - 在计算卷积后模板的拉普拉斯值 - 检测拉普拉斯图像中的过零点作为边缘点 ### 7.1.4 Canny算子 - 处理流程 1. 高斯滤波滤除噪声 2. 计算每个像素点的梯度强度和方向（Sobel算子） 3. 应用**非极大值抑制**消除边缘检测带来的杂散响应。 4. 应用**双阈值**检测确定真实和潜在的边缘 5. 通过抑制孤立的弱边缘完成边缘检测 - 非极大值抑制 - 对于边缘有且只有一个响应 - 算法： 1. 对每个像素点，将其梯度强度与沿梯度方向的两个像素点的梯度强度进行比较 2. 如果当前像素点的梯度强度大于其两个邻域像素点的梯度强度，则保留该像素点，否则抑制该像素点 - 双阈值检测 - 算法： 1. 如果像素的梯度值高于高阈值，则将其标记为强边缘像素 2. 如果像素的梯度值低于低阈值，则将其标记为非边缘像素 3. 如果像素的梯度值在两个阈值之间，则将其标记为弱边缘像素 4. 对于弱边缘像素，检查其8个邻域像素，如果其中有一个是强边缘像素，则将其标记为边缘像素，否则将其抑制 ## 7.2 基于阈值的分割方法 - 一般把感兴趣的区域或目标叫做前景，在分割后的图像中常用白色表示；其余部分称为背景，用黑色表示 - 单阈值分割 ### 7.2.1 基于全局的阈值分割 #### 最小误判概率算法 - 设前景像素点灰度概率密度函数为p(x)，背景像素点灰度概率密度函数为q(x) - 前景像素个数占图像总像素数百分比为$\theta_1$，背景像素个数占图像总像素数百分比为$\theta_2 = 1-\theta_1$ - 误判概率： - 前景误判为背景的概率：$P_1(T) = \int_T^{\infty} p(x)dx$ - 背景误判为前景的概率：$P_2(T) = \int_{-\infty}^T q(x)dx$ - 总误判概率： $$ E(T) = \theta_1 P_1(T) + \theta_2 P_2(T) $$ - 最优阈值T的求解： 1. 对E(T)求导并令其为0： $$ \frac{dE(T)}{dT} = -\theta_1 p(T) + \theta_2 q(T) = 0 $$ 2. 得到最优阈值条件： $$ \frac{p(T)}{q(T)} = \frac{\theta_2}{\theta_1} $$ - 当前景和背景的灰度分布都服从高斯分布时： $$ p(x) = \frac{1}{\sqrt{2\pi}\sigma_1} e^{-\frac{(x-\mu_1)^2}{2\sigma_1^2}} $$ $$ q(x) = \frac{1}{\sqrt{2\pi}\sigma_2} e^{-\frac{(x-\mu_2)^2}{2\sigma_2^2}} $$ 其中$\mu_1,\sigma_1$和$\mu_2,\sigma_2$分别为前景和背景的均值和标准差 - 迭代求解过程： 1. 初始化阈值T（可取图像平均灰度值） 2. 根据T将图像分为前景和背景两部分 3. 计算两部分的均值$\mu_1$和$\mu_2$ 4. 更新阈值：$T = \frac{\mu_1 + \mu_2}{2}$ 5. 重复步骤2-4直到T收敛或达到最大迭代次数 #### 最大类间方差法OTSU - 基本思想 - 一个阈值T将图像像素分为前景和北京两点集，每一点集的方差尽可能小，也就是类内方差最小 #### 最大熵阈值分割法 ## 7.3 基于区域的图像分割 - 阈值分割的缺点：没有或很少考虑空间关系 - 要点 - 图像中属于某个区域的像素点必须加以标注 - 在同一区域的像素点必须相连 - 区域之间不能重叠 - 在区域R_i中被一个像素点必须遵从某种规则P(R_i) - 两个不同的区域R_i和R_j具有的规则不同 ### 7.3.1 区域生长法 - 基本思想： > 碎碎念：矩阵并查集？递归算法？ - 泛洪填充 - 从种子点开始，向周围像素点扩散，直到达到一定条件停止 - 分水岭算法 - 主要目标是找出分水线 - 自适应的多阈值分割方法 # 8 基元检测 ## 8.1 基元检测概述 - 图像中的基元泛指图像中有比较显著特点的基本单元。 - **边缘**是图像中较底层的基元 - **角点**可以看做两个边缘以接近直角的形式相结合而构成的基元。 - **直线段**可看做两个邻近的又互相平行的边缘相结合而构成的基元。 - **圆**是一种常见的几何形状，圆周可以看做将直线段弯曲，头尾相连而得到 - **孔**表示比较小的圆（相对于周围的区域）。 - 角点检测 - 角点：曲线上曲率最大的点 ## 8.2 Harris算子 - Moravec 算子 - 能够检测出任意角度上的角点 - 检测滑动窗口向上下左右等八个方向运动的变化值的最小值作为判断角点的依据 ## SUSAN算子