概率论和随机信号基础

随机变量

随机变量的定义

随机变量本质上是一个映射关系，它把一个随机事件对应到一个具体的数值上。具体来说，我们有一个随机事件的集合 \Omega，这个集合包含了所有可能发生的随机事件。每当一个随机事件 \lambda 发生时，我们通过随机变量这个映射，把它对应到数字集合 \mathbb{E} 中的某个数 X_\lambda。这个映射关系可以写成：

\begin{aligned} \Omega &\longrightarrow \mathbb{E} \\ \lambda &\longrightarrow X_\lambda \end{aligned}

这里需要理解的关键点是，随机变量并不是一个变化的数，而是一个函数，它的作用是把随机事件转化成具体数值。比如说，掷骰子把"出现某一面"这个随机事件映射成1到6之间的某个数字。

离散值随机变量

当数字集合 \mathbb{E} 是可数的时候，我们称这个随机变量为离散值随机变量。也就是说这个集合里的元素可以一个一个地列举出来，比如自然数集 \mathbb{N} 和整数集 \mathbb{Z}，或者它们的子集，这些子集可以是有限的（比如 \{1,2,3,4,5,6\}）也可以是无限的（比如所有的正整数）。

第一个例子是掷骰子，集合是 \mathbb{E} = \{1,2,3,4,5,6\}，这是一个有限的可数集合。第二个例子是光电二极管在一段时间内产生的光电子数量，这是一个泊松随机变量，它只能取整数值，所以到达集合是 \mathbb{E} = \mathbb{N}，这是一个无限的可数集合。

对于离散值随机变量，对于 \mathbb{E} 中的任意一个数 n，我们定义 P_X(n) 为随机变量 X_\lambda 等于 n 的概率：

\forall n \in \mathbb{E}, \quad P_X(n) = \text{Probability that } X_\lambda = n

只要我们知道了随机变量在每一个可能值上的概率，我们就完全掌握了这个随机变量的统计性质。因此离散值随机变量可以完全由它的概率律来定义

连续值随机变量

当数字集合 \mathbb{E} 是不可数的时候，这个随机变量为连续值随机变量。不可数的典型例子就是实数集 \mathbb{R}、复数集 \mathbb{C}，或者它们的子集，比如某个区间 [a,b]。

对于连续值随机变量，我们无法定义它的概率律。这是因为对于连续随机变量，它取某一个特定值的概率实际上是零。比如说，如果 X_\lambda 是一个在实数集 \mathbb{R} 上取值的连续随机变量，那么 X_\lambda = 1 这个事件的概率是多少呢？答案是零，因为在无限多个实数中，恰好等于1这个特定值的概率是无穷小的。

既然不能用概率律来刻画连续值随机变量，我们就需要累积分布函数（CDF）。累积分布函数不再问 X_\lambda 等于某个特定值的概率，而是问随机变量小于或等于某个值的概率是多少。对于任意实数 x，我们定义：

\forall x \in \mathbb{E}, \quad F_X(x) = \text{Probability of the event } [X_\lambda < x]

累积分布函数就是用 X_\lambda 落在一个区间内的概率来刻画连续随机变量的分布特性。

不过相比累积分布函数，我们更常用的是概率密度函数（PDF）。概率密度函数定义为累积分布函数的导数：

\forall x \in \mathbb{E}, \quad P_X(x) = \frac{dF_X(x)}{dx}

这要求累积分布函数必须是可导的。概率密度函数给出了概率在每个点附近的密度。需要注意的是，P_X(x) 本身不是概率，它只是概率密度，真正的概率是通过对密度函数在某区间上积分得到的。

我们从累积分布函数的定义出发来推导概率密度函数的另一种表达形式，考虑累积分布函数在 x 和 x + dx 两点的差值：

P_X(x) = \lim_{dx \to 0} \frac{F_X(x + dx) - F_X(x)}{dx}

F_X(x) 是 X_\lambda < x 的概率，F_X(x + dx) 是 X_\lambda < x + dx 的概率，两者相减就是 x \leq X_\lambda < x + dx 的概率，也就是 X_\lambda 落在小区间 [x, x+dx) 内的概率。

因此可以改写成：

P_X(x) = \lim_{dx \to 0} \frac{\text{Proba}[X_\lambda < x + dx] - \text{Proba}[X_\lambda < x]}{dx}

由于 \text{Proba}[X_\lambda < x + dx] - \text{Proba}[X_\lambda < x] = \text{Proba}[x < X_\lambda < x + dx]，我们得到：

P_X(x) = \lim_{dx \to 0} \frac{\text{Proba}[x < X_\lambda < x + dx]}{dx}

P_X(x) 描述的是随机变量落在 x 附近一个无穷小区间内的概率，除以这个区间的长度。

要计算随机变量落在区间 [a, b] 内的概率，我们需要把这个区间分成无穷多个小区间，每个小区间的概率贡献是 P_X(x) dx，然后把所有这些贡献加起来，这就变成了积分：

\text{Proba}[a < X_\lambda < b] = \int_a^b P_X(x) dx

图2.1展示了概率律和概率密度函数的直观对比。左图展示的是离散随机变量的概率律，用直方图表示，每个柱子的高度代表随机变量取某个特定值的概率。右图展示的是连续随机变量的概率密度函数，是一条光滑的曲线，曲线下某个区间的面积代表随机变量落在该区间的概率。

矩

我们经常用矩机变量的特征，而不是用完整的概率律或概率密度函数。在这一节中，我们只考虑连续值随机变量的情况，对于离散值随机变量，我们只需要把积分换成求和就可以了。

随机变量的函数的平均值（期望值）

假设 X_\lambda 是一个随机变量，f(x) 是一个从 \mathbb{E} 到 \mathbb{R} 的映射。那么 f(X_\lambda) 本身也是一个随机变量，因为对于每一个随机事件 \lambda，X_\lambda 给出一个数值，然后 f 把这个数值映射到另一个数值 f(X_\lambda)。我们定义这个新的随机变量的平均值为：

E[f(X_\lambda)] = \int_{\mathbb{E}} f(x) P_X(x) dx

要计算 f(X_\lambda) 的平均值，我们考虑 f(x) 在每一个可能的 x 值处的取值，然后用概率密度 P_X(x) 作为权重进行加权平均。积分就是把所有可能的 x 值的贡献累加起来。如果在某个 x 处，概率密度 P_X(x) 很大，说明 X_\lambda 经常取这个 x 值附近的值

当我们要应用大数定律或中心极限定理（这些会在后面的章节中讨论）时，积分 \int_{\mathbb{E}} f(x) P_X(x) dx 必须是绝对收敛的，也就是说积分 \int_{\mathbb{E}} |f(x)| P_X(x) dx 必须存在且有限。因为如果积分不是绝对收敛的，那么期望值可能不存在或者是无穷大，这样的话大数定律和中心极限定理就无法应用。

矩

随机变量的 n 阶矩定义为：

M_n = E[X_\lambda^n] = \int_{\mathbb{E}} x^n P_X(x) dx

这里我们取 f(x) = x^n，也就是说，n 阶矩就是随机变量的 n 次方的期望值。不同阶的矩刻画了随机变量分布的不同特征。

一阶矩 M_1 = E[X_\lambda] 就是随机变量的平均值或均值，它告诉我们随机变量"集中"在哪个位置。
二阶矩 M_2 = E[X_\lambda^2] 与随机变量的"分散程度"有关。
更高阶的矩刻画了分布的形状特征，比如三阶矩与分布的偏度有关，四阶矩与分布的峰度有关。

随机变量的 n 阶中心矩定义为：

\widetilde{M}_n = E[(X_\lambda - E[X_\lambda])^n]

中心矩是对 (X_\lambda - E[X_\lambda]) 的幂次求期望。中心矩刻画的是随机变量围绕其均值的分布特征，而不依赖于均值本身的位置。

一阶中心矩 \widetilde{M}_1 = E[X_\lambda - E[X_\lambda]] 总是等于零，这是因为期望值的线性性质：

E[X_\lambda - E[X_\lambda]] = E[X_\lambda] - E[X_\lambda] = 0

二阶中心矩叫方差：

\sigma_X^2 = E\left[(X_\lambda - E[X_\lambda])^2\right]

方差衡量的是随机变量偏离其均值的程度。如果方差很小，说明随机变量大部分时候都很接近均值，分布很集中，如果方差很大，说明随机变量经常偏离均值，分布很分散。方差的平方确保了偏差总是正的（无论是正向偏离还是负向偏离）

进一步展开方差计算公式：

E\left[(X_\lambda - E[X_\lambda])^2\right] = E[X_\lambda^2] - (E[X_\lambda])^2

随机变量例子

高斯随机变量

高斯随机变量（也称为正态随机变量）的概率密度函数形式为：

P_X(x) = \frac{1}{\sqrt{2\pi}\sigma} \exp\left[-\frac{(x-m)^2}{2\sigma^2}\right]

这个概率密度函数依赖于两个参数：均值 m 和标准差 \sigma。它是一个关于 x 的函数，当 x = m 时达到最大值1，随着 x 远离 m，指数项快速衰减。这个衰减的速度由 \sigma 控制：\sigma 越小，衰减越快，分布越集中在均值附近，\sigma 越大，衰减越慢，分布越分散。分母中的 (2\sigma^2) 就是控制这个衰减速度的。前面的归一化因子 1/(\sqrt{2\pi}\sigma) 确保整个概率密度函数在整个实数轴上的积分等于1。

如果观测到的物理现象是大量基本现象的叠加结果，那么根据中心极限定理，无论这些基本现象的概率密度函数是什么，它们之和的概率密度函数都趋向于高斯分布。这就是为什么即使单个基本现象不是高斯的，它们的总体效应往往表现为高斯分布。

泊松变量

泊松随机变量用于表示离散事件发生的概率。在光学中，它们用于表示在给定时间内到达传感器的光子数量。

假设平均光子通量是 F，也就是说平均每单位时间有 F 个光子。如果我们在时间间隔 \tau 内进行观测，那么平均会有 \lambda = F\tau 个光子到达。注意这里 \lambda 是一个平均数，是期望值，实际测量到的光子数不会总是恰好等于 \lambda，而是会围绕 \lambda 涨落。测量到的光子数是一个离散的随机变量，它的均值等于 \lambda，而它的概率律服从泊松分布：

P_N(n) = \exp[-\lambda] \frac{\lambda^n}{n!}

泊松分布的一个特殊性质是，它的方差等于它的均值：

\sigma_N^2 = \lambda

我们可以定义一个信噪比，用平均光子数的平方除以方差：

\rho = \frac{E[N]^2}{\sigma_N^2} = \lambda

这个信噪比正比于平均光子数。这意味当平均通量 \lambda 很大时，由于泊松噪声引起的涨落相对于平均值来说变得可以忽略，因此噪声虽然存在会被淹没在强信号中了，测量结果的相对不确定性很低

展示了受泊松噪声影响的天文图像。这个图采用了反转表示，光子到达的像素显示为黑色。图(a)是用长观测时间获得的图像，此时 \lambda 很大，由于信噪比正比于 \lambda，所以图像质量较好，噪声相对较小。图(b)和(c)是同一场景的两幅连续图像，但观测时间非常短，此时 \lambda 很小，泊松噪声非常明显，图像几乎被噪声淹没。这个例子直观地展示了泊松噪声特性：当平均光子数很小时，噪声的相对影响非常大。

Gamma变量

Gamma随机变量取连续的正值。它的概率密度函数定义在 \mathbb{R}^+ 上，形式为：

P_X(x) = \frac{L^L}{\Gamma(L)m^L} x^{L-1} \exp\left(-\frac{Lx}{m}\right)

这里 \Gamma(x) 是Gamma函数。Gamma函数的定义是 \Gamma(x) = \int_0^\infty t^{x-1} e^{-t} dt，它是阶乘函数在实数域上的推广。当 x 是正整数时，\Gamma(x) = (x-1)!。Gamma函数的作用是归一化常数，确保概率密度函数的积分等于1。

Gamma概率密度函数依赖于两个参数：均值 m 和阶数 L。可以证明，这个分布的方差等于：

\sigma_X^2 = \frac{m^2}{L}

当 L 很大时，方差相对于均值的平方很小，分布很集中
当 L 很小时，方差相对较大，分布较分散。

我们看Gamma变量的一个特殊情况。当Gamma变量的阶数 L = 1 时，它就变成了指数变量。将 L = 1 代入公式，我们得到：

P_X(x) = \frac{1}{m} \exp\left(-\frac{x}{m}\right)

这就是指数分布的概率密度函数。

Gamma随机变量常用于建模散斑噪声。考虑一个均匀表面，它在非相干照明下以强度 m 反射光。如果用相干光（比如激光）照射这个表面，且表面高度涨落的标准差远大于波长，那么就会观察到被表面反射的光的空间涨落。这种现象的概率密度函数是指数分布。

图展示了农业区域的SAR（合成孔径雷达）图像。右侧显示了这类图像的概率密度函数，它呈现指数形式的散斑特征。

散斑噪声（指数分布，即 L=1 的Gamma分布）的均值是 m，方差是 m^2 。因此，信噪比为：

\rho = \frac{m^2}{m^2} = 1

散斑噪声的信噪比恒等于1，与平均强度无关。与泊松噪声相反，泊松噪声的信噪比正比于平均光子数，所以我们可以通过增加信号功率来提高信噪比。但对于散斑噪声，无论增加多少信号功率，信噪比始终是1。这就是为什么散斑噪声非常难处理。

随机变量的耦合

考虑两个随机变量 X_\lambda 和 Y_\lambda，它们的统计关系由联合累积分布函数（joint CDF）或联合概率密度函数（joint PDF）来刻画。

联合累积分布函数

首先定义联合累积分布函数。对于两个随机变量 X_\lambda 和 Y_\lambda，它们的联合累积分布函数定义为：

F_{XY}(x,y) = \text{Proba.}[X_\lambda < x \text{ and } Y_\lambda < y]

即 X_\lambda 小于 x 且同时 Y_\lambda 小于 y 这两个事件同时发生的概率是多少。

联合概率密度函数

对应地，联合概率密度函数定义为联合累积分布函数对两个变量的偏导数：

P_{XY}(x,y) = \frac{\partial F_{XY}(x,y)}{\partial x \partial y} = \lim_{dx,dy \to 0} \frac{\text{Proba.}[x < X_\lambda < x + dx \text{ and } y < Y_\lambda < y + dy]}{dx \, dy}

分子表示 X_\lambda 落在 [x, x+dx] 区间内且 Y_\lambda 落在 [y, y+dy] 区间内的概率。这是一个二维小矩形区域，面积为 dx \cdot dy。用这个概率除以面积，就得到了概率密度。

我们可以从联合概率密度函数推导出每个单独随机变量的概率密度函数，这就引出了边缘概率密度函数的概念。对于两个随机变量 X_\lambda 和 Y_\lambda，如果它们的联合概率密度函数是 P_{XY}(x,y)，那么它们各自的边缘概率密度函数定义为：

P_X(x) = \int P_{XY}(x,y) \, dy \quad \text{and} \quad P_Y(y) = \int P_{XY}(x,y) \, dx

如果我们把 P_{XY}(x,y) 画成一个二维函数，那么 P_X(x) 就是把这个二维函数沿着 y 方向积分（投影）到 x 轴上得到的一维函数。从概率的角度理解，P_X(x) 是 X_\lambda 等于 x 的概率密度，不管 Y_\lambda 取什么值，这对应于把所有可能的 y 值的贡献加起来，也就是对 y 积分。

独立性

有了联合概率密度函数的概念，我们可以精确定义两个随机变量之间的统计独立性。两个随机变量 X_\lambda 和 Y_\lambda 被称为统计独立的，当且仅当它们的联合概率密度函数可以分解为两个边缘概率密度函数的乘积：

P_{XY}(x,y) = P_X(x) \, P_Y(y)

如果两个随机变量是独立的，那么它们在概率空间中的联合分布就是各自分布的简单乘积，没有任何耦合或相关性。

条件概率密度函数

条件概率密度函数表示在已知一个随机变量取某个值的条件下，另一个随机变量的概率分布。对于两个随机变量 X_\lambda 和 Y_\lambda，在已知 Y_\lambda = y 的条件下，X_\lambda 的条件概率密度函数定义为：

P_{X|Y}(x|y) = \frac{P_{XY}(x,y)}{P_Y(y)}

从数学上看，我们把联合概率"归一化"到 Y_\lambda = y 这个条件上。

贝叶斯关系

贝叶斯关系给出了联合概率密度函数的两种不同分解方式之间的联系：

P_{XY}(x,y) = P_{X|Y}(x|y) P_Y(y) = P_{Y|X}(y|x) P_X(x)

如果我们知道 P_{Y|X}(y|x)（即已知 X 时 Y 的条件分布）和边缘分布 P_X(x) 和 P_Y(y)，我们就可以推导出反向的条件概率 P_{X|Y}(x|y)（即已知 Y 时 X 的条件分布）。在信号处理中，这个关系经常用于统计推断：我们可能知道信号产生观测数据的模型（即 P_{Y|X}，其中 X 是信号，Y 是观测），但我们真正想知道的是给定观测数据，信号是什么（即 P_{X|Y}）。

随机变量之和

考虑两个独立的随机变量 X_\lambda 和 Y_\lambda，它们的概率密度函数分别是 P_X(x) 和 P_Y(y)。如果我们定义一个新的随机变量 Z_\lambda = X_\lambda + Y_\lambda，那么 Z_\lambda 的概率密度函数等于 P_X(x) 和 P_Y(y) 的卷积：

P_Z(z) = [P_X * P_Y](z) = \int P_X(z - u) P_Y(u) \, du

要计算 Z_\lambda = z 的概率密度，我们需要考虑所有可能的 (x,y) 组合使得 x + y = z。由于 X_\lambda 和 Y_\lambda 是独立的，它们的联合概率密度是 P_X(x) P_Y(y)。对于固定的 z，所有满足 x + y = z 的点形成一条直线。我们需要沿着这条直线积分。如果我们令 u = y，那么 x = z - u，积分就变成 \int P_X(z-u) P_Y(u) du，这正是卷积的定义。

随机变量向量

定义

设 \mathbf{X}_\lambda = (X_\lambda^1, \ldots, X_\lambda^K) 是一个 K 维随机向量。它的累积分布函数定义为：

F_{\mathbf{X}}(x_1, x_2, ..., x_K) = \text{Proba}\left[X_\lambda^1 < x_1 \ldots \text{ and } \ldots X_\lambda^K < x_K\right]

对应地，联合概率密度函数定义为累积分布函数对所有变量的偏导数：

\begin{aligned} P_{\mathbf{X}}(x_1, x_2, ..., x_K) &= \frac{\partial F_{\mathbf{X}}(x_1, x_2, ..., x_K)}{\partial x_1 \ldots \partial x_K} \\ &= \lim_{dx_1,...dx_K \to 0} \frac{\text{Proba}[x_1 < X_\lambda^1 < x_1 + dx_1 \ldots \text{ and } \ldots x_K < X_\lambda^K < x_K + dx_K]}{dx_1 \ldots dy_K} \end{aligned}

分子是随机向量落在一个 K 维的小超立方体内的概率，这个超立方体的各边长度分别是 dx_1, \ldots, dx_K。分母是这个超立方体的体积 dx_1 \cdots dx_K。所以概率密度函数 P_{\mathbf{X}}(x_1, x_2, ..., x_K) 表示的是概率在 K 维空间中点 (x_1, \ldots, x_K) 附近的密度。

随机向量可以用它的矩来刻画。最广泛使用的是一阶矩（均值）和二阶矩（协方差矩阵）。对于一个 K 维随机向量 \mathbf{X}_\lambda = (X_\lambda^1, \ldots, X_\lambda^K)，其联合概率密度函数为 P_{\mathbf{X}}(x_1, x_2, ..., x_K)，它的均值定义如下：

E[\mathbf{X}_\lambda] = \int \mathbf{x} P(\mathbf{x}) d\mathbf{x}

这里 \mathbf{x} = (x_1, x_2, ..., x_K) 是一个 K 维向量，d\mathbf{x} = dx_1 \, dx_2 ... dx_K 表示在 K 维空间中的体积元。这个积分是在整个 K 维空间上进行的。E[\mathbf{X}_\lambda] 第 i 个分量就是 E[X_\lambda^i]。

协方差矩阵是一个 K \times K 的矩阵，定义如下：

\Gamma_{ij} = E\left[\left(X_\lambda^i - E[X_\lambda^i]\right) \left(X_\lambda^j - E[X_\lambda^j]\right)\right] = E[X_\lambda^i X_\lambda^j] - E[X_\lambda^i] E[X_\lambda^j]

协方差矩阵的第 (i,j) 个元素 \Gamma_{ij} 衡量的是第 i 个分量和第 j 个分量之间的相关性。当 i = j 时，\Gamma_{ii} = E[(X_\lambda^i - E[X_\lambda^i])^2] 就是第 i 个分量的方差。当 i \neq j 时，\Gamma_{ij} 衡量的是第 i 个分量和第 j 个分量的协方差。

我们还可以用向量记号来写协方差矩阵，这样表达更简洁：

\Gamma = E\left[\{\mathbf{X}_\lambda - E[\mathbf{X}_\lambda]\} \{\mathbf{X}_\lambda - E[\mathbf{X}_\lambda]\}^T\right] = E[\mathbf{X}_\lambda \mathbf{X}_\lambda^T] - E[\mathbf{X}_\lambda] E[\mathbf{X}_\lambda]^T

随机向量的相关性

协方差矩阵是对称的，这从定义就很明显：

\Gamma_{ij} = E[(X_\lambda^i - E[X_\lambda^i])(X_\lambda^j - E[X_\lambda^j])] = E[(X_\lambda^j - E[X_\lambda^j])(X_\lambda^i - E[X_\lambda^i])] = \Gamma_{ji}

乘法的交换律保证了协方差矩阵的对称性。

协方差矩阵是正定的，这意味着对于任意非零向量 \mathbf{v} \in \mathbb{R}^K，都有 \mathbf{v}^T \Gamma \mathbf{v} \geq 0。具体推导如下：设 \mathbf{X}_\lambda 的均值为 \mathbf{m}，那么 \mathbf{v}^T \mathbf{X}_\lambda 的均值是 \mathbf{v}^T \mathbf{m}。因此方差是：

E[(\mathbf{v}^T \mathbf{X}_\lambda - \mathbf{v}^T \mathbf{m})^2] = E[\mathbf{v}^T (\mathbf{X}_\lambda - \mathbf{m}) (\mathbf{X}_\lambda - \mathbf{m})^T \mathbf{v}] = \mathbf{v}^T E[(\mathbf{X}_\lambda - \mathbf{m})(\mathbf{X}_\lambda - \mathbf{m})^T] \mathbf{v} = \mathbf{v}^T \Gamma \mathbf{v}

由于方差肯定是非负的，所以 \mathbf{v}^T \Gamma \mathbf{v}\geq 0

因此协方差矩阵总是可以对角化的，并且它的特征值都是正的。换句话说，协方差矩阵可以写成：

\Gamma = U \Lambda U^T

其中 U 是一个酉矩阵（满足 UU^T = I，I 是单位矩阵），\Lambda 是一个对角矩阵：

\Lambda = \begin{bmatrix} \lambda_1 & 0 & \ldots & 0 \\ 0 & \lambda_2 & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \lambda_K \end{bmatrix}

并且所有的特征值满足 \lambda_k \geq 0 对所有 k。这个分解被称为特征值分解或对角化。

如果随机向量的协方差矩阵具有 \Gamma = \sigma^2 I 的形式，其中 I 是单位矩阵，我们称这个随机向量为方差为 \sigma^2 的白噪声。

高斯随机向量

唯一一个能够进行简单计算的随机向量模型就是高斯模型。高斯随机向量 \mathbf{X}_\lambda = (X_\lambda^1, \ldots, X_\lambda^K) 定义在 \mathbb{R}^n 上，具有以下概率密度函数：

P_{\mathbf{X}}(\mathbf{x}) = \frac{1}{(\sqrt{2\pi})^K \sqrt{\det[\Gamma]}} \exp\left[-\frac{1}{2} (\mathbf{x} - \mathbf{m})^T \Gamma^{-1} (\mathbf{x} - \mathbf{m})\right]

这里 \mathbf{m} 表示均值向量，\Gamma 表示协方差矩阵，T 表示矩阵转置，\det[\Gamma] 表示矩阵 \Gamma 的行列式。
指数项中的 (\mathbf{x} - \mathbf{m})^T \Gamma^{-1} (\mathbf{x} - \mathbf{m}) 是一个二次型，它推广了一维高斯分布中的 (x-m)^2/\sigma^2。
归一化因子 1/((\sqrt{2\pi})^K \sqrt{\det[\Gamma]}) 确保概率密度函数在整个空间上的积分等于1。
(\sqrt{2\pi})^K 对应于 K 个独立高斯分布的归一化因子的乘积
\sqrt{\det[\Gamma]} 考虑了协方差矩阵带来的体积缩放效应。

生成高斯相关随机向量

通过线性变换生成

考虑一个白高斯随机向量 \mathbf{X}，它具有零均值和单位方差。我们想要从它生成一个均值为零、协方差矩阵为 \Gamma 的随机向量。由于 \Gamma 是对称的（协方差矩阵的基本性质），我们可以从它的特征值分解以如下方式定义它的平方根：

\Gamma^{1/2} = U \Lambda^{1/2} U^T

我们已经知道协方差矩阵 \Gamma 可以分解为 \Gamma = U \Lambda U^T，其中 U 是酉矩阵，\Lambda 是包含特征值的对角矩阵，现在我们定义 \Gamma^{1/2}，它的构造方式是保持 U 不变，但把对角矩阵 \Lambda 的每个元素取平方根，得到 \Lambda^{1/2}。

我们可以验证 \Gamma^{1/2} 的平方确实等于 \Gamma：

(\Gamma^{1/2})^2 = (U \Lambda^{1/2} U^T)(U \Lambda^{1/2} U^T) = U \Lambda^{1/2} (U^T U) \Lambda^{1/2} U^T = U \Lambda^{1/2} I \Lambda^{1/2} U^T = U \Lambda U^T = \Gamma

这里用到了 U^T U = I（酉矩阵的性质）和 \Lambda^{1/2} \Lambda^{1/2} = \Lambda（对角矩阵相乘）

现在让我们定义一个新的随机向量 \mathbf{Y}，它是对白噪声向量 \mathbf{X} 进行如下线性变换得到的：

\mathbf{Y} = \Gamma^{1/2} \mathbf{X}

\mathbf{Y} 仍然是高斯的，因为高斯随机变量的线性变换仍然是高斯的。现在我们来计算 \mathbf{Y} 的协方差矩阵：

E[\mathbf{Y} \mathbf{Y}^T] = E[\Gamma^{1/2} \mathbf{X} \mathbf{X}^T (\Gamma^{1/2})^T] = \Gamma^{1/2} E[\mathbf{X} \mathbf{X}^T] (\Gamma^{1/2})^T = \Gamma^{1/2} I (\Gamma^{1/2})^T = \Gamma

首先，期望运算可以和矩阵乘法交换，所以我们可以把 \Gamma^{1/2} 提到期望外面。其次，由于 \mathbf{X} 是方差为1的白噪声，它的协方差矩阵 E[\mathbf{X} \mathbf{X}^T] 等于单位矩阵 I。最后，由于 \Gamma^{1/2} 是对称的，(\Gamma^{1/2})^T = \Gamma^{1/2}，所以 \Gamma^{1/2} I \Gamma^{1/2} = (\Gamma^{1/2})^2 = \Gamma。

这样我们就证明了 \mathbf{Y} 的协方差矩阵是 \Gamma，如果我们希望生成的向量具有非零均值 \mathbf{m}，只需要在 \mathbf{Y} 上加上常向量 \mathbf{m} 即可。

线性滤波

实际上，从 \mathbf{X} 到 \mathbf{Y} 的变换 \mathbf{Y} = \Gamma^{1/2} \mathbf{X} 是一个线性滤波过程。设 \mathbf{h}^k 表示矩阵 \Gamma^{1/2} 的第 k 行向量（其中 k \in [0, K-1]）。那么向量 \mathbf{Y} 的第 k 个元素等于：

Y_k = [\mathbf{h}^k]^T \mathbf{X} = \sum_{n=0}^{K-1} h_n^k X_n

这个公式表明，\mathbf{Y} 的每个分量 Y_k 都是 \mathbf{X} 的所有分量的加权和，权重由向量 \mathbf{h}^k 给出。这就是线性滤波的本质：输出是输入的线性组合。

现在假设矩阵 \Gamma^{1/2} 具有特殊的结构，使得所有的行向量 \mathbf{h}^k（其中 k \in [0, K-1]）都是由同一个向量 \mathbf{h} 通过循环移位构造的：

h_n^k = h_{(k-n) \bmod K}

矩阵的第 k 行的第 n 个元素等于向量 \mathbf{h} 的第 (k-n) \bmod K 个元素。这里 \bmod K 表示除以 K 的余数，意味着矩阵的每一行都是上一行循环右移一位得到的。换句话说，矩阵 \Gamma^{1/2} 具有如下形式：

\Gamma^{1/2} = \begin{pmatrix} h_0 & h_{K-1} & h_{K-2} & \ldots & h_1 \\ h_1 & h_0 & h_{K-1} & \ldots & h_2 \\ h_2 & h_1 & h_0 & \ldots & h_3 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ h_{K-1} & h_{K-2} & h_{K-3} & \ldots & h_0 \end{pmatrix}

这种矩阵被称为循环矩阵。循环矩阵的特点是，第一行确定之后，其他所有行都可以通过循环移位得到。在这种情况下，我们有：

Y_k = \sum_{n=0}^{K-1} X_n h_{(k-n) \bmod K}

这个表达式实际上就是数字卷积，并且使用了循环边界条件。创建相关向量 \mathbf{Y} 的过程就是用确定性的滤波器 \mathbf{h} 对随机白噪声向量 \mathbf{X} 进行卷积。

这揭示了相关性的物理意义：相关性可以看作是白噪声经过一个滤波器之后的结果。滤波器 \mathbf{h} 决定了相关性的结构。如果 \mathbf{h} 是一个很窄的脉冲（大部分元素接近零，只有几个元素不为零），那么生成的向量 \mathbf{Y} 的相关性就很弱，如果 \mathbf{h} 是一个宽的函数，那么 \mathbf{Y} 的相关性就很强。

傅里叶空间中的滤波

首先定义傅里叶矩阵：

F_{kn} = \exp\left[2i\pi \frac{kn}{K}\right] \quad ; \quad k \in [0, K-1] \text{ and } n \in [0, K-1]

傅里叶矩阵的每个元素是一个复指数函数，其中 i = \sqrt{-1} 是虚数单位。这个矩阵是离散傅里叶变换（DFT）的矩阵表示。向量 \mathbf{X} 的离散傅里叶变换等于：

\widetilde{\mathbf{X}} = F^\dagger \mathbf{X}

这里 \dagger 表示共轭转置运算（F^\dagger = [F^*]^T ）。相应地，逆傅里叶变换是 \mathbf{X} = F \widetilde{\mathbf{X}}。傅里叶矩阵是酉矩阵 F^\dagger F = I。

循环矩阵的重要性质

循环矩阵 M 的特征向量就是傅里叶矩阵的列：

M = F \widetilde{M} F^\dagger

其中 \widetilde{M} 是一个对角矩阵，它的元素是向量 \mathbf{h} 的离散傅里叶变换 \widetilde{\mathbf{h}}。循环矩阵在傅里叶基下是对角化的。换句话说，傅里叶基是循环矩阵的特征向量。

由这个性质我们可以得到：

F^\dagger (M\mathbf{X}) = \widetilde{M} \widetilde{\mathbf{X}} = \widetilde{\mathbf{h}} \widetilde{\mathbf{X}}

其中根据定义：

[\widetilde{\mathbf{h}} \widetilde{\mathbf{X}}]_k = \widetilde{h}_k \widetilde{X}_k \quad, \quad k \in [0, K-1]

这个结果告诉我们经过滤波的随机向量 M\mathbf{X} 的傅里叶变换，等于滤波器 \mathbf{h} 的傅里叶变换和随机向量 \mathbf{X} 的傅里叶变换的逐点乘积。这实际上是卷积定理在离散情况下的表现：时域中的卷积对应于频域中的乘法。

因此，用快速傅里叶变换（FFT）算法生成相关随机向量是非常容易的。具体过程是：首先生成白噪声向量 \mathbf{X}，对它进行FFT得到 \widetilde{\mathbf{X}}，然后在频域中乘以滤波器的频率响应 \widetilde{\mathbf{h}}，最后进行逆FFT，就得到了相关的随机向量。这个方法在计算上非常高效，因为FFT算法的复杂度是 O(K \log K)，远小于直接计算卷积的 O(K^2) 复杂度。

例子

图中展示了通过滤波生成相关噪声的例子。数据大小是 K = 512，滤波器具有高斯形状，标准差分别为 \sigma = 3 和 \sigma = 6。

图(a)显示的是原始的白随机向量，它的值在各个位置之间是完全独立的，看起来非常无规律。图(b)显示的是标准差 \sigma = 3 的高斯滤波器，这是一个相对窄的脉冲。图(c)显示的是用这个滤波器对图(a)进行滤波后的结果，可以看到噪声变得平滑了一些，相邻点之间有了一定的相关性。图(d)显示的是标准差 \sigma = 6 的高斯滤波器，这个滤波器更宽。图(e)显示的是用这个更宽的滤波器对图(a)进行滤波后的结果，噪声变得更加平滑，相关性更强。可以看到，当滤波器的"宽度"增加时，噪声变得更加相关。

这个方法也适用于生成随机图像。随机白图像的大小是 512 \times 512 像素。我们用两个二维高斯滤波器对它进行卷积，滤波器的标准差分别为 (\sigma_x = 3, \sigma_y = 3) 和 (\sigma_x = 15, \sigma_y = 3)。图 a 显示的是白高斯随机图像，每个像素的值都是独立的，看起来就像雪花噪声。图b显示的是用各向同性高斯滤波器（\sigma_x = 3, \sigma_y = 3）滤波后的结果，图像变得平滑，但在各个方向上的平滑程度相同。图c显示的是用各向异性高斯滤波器（\sigma_x = 15, \sigma_y = 3）滤波后的结果，可以明显看到水平方向的相关性比垂直方向强得多，形成了类似条纹的结构。

最后，在图d中，白随机图像与具有以下频率响应的滤波器进行了卷积：

\widetilde{h}_{\mu\nu} = \frac{1}{(\mu^2 + \nu^2)}

它被称为"1/f^2"噪声。这个滤波器的频率响应随着频率的平方倒数衰减。在低频部分（\mu 和 \nu 都很小），滤波器的响应很大，所以低频成分被放大，在高频部分，滤波器的响应很小，所以高频成分被抑制。

随机变量的和

有两个定理给出了求和的重要性质：大数定律和中心极限定理。

考虑一个独立随机变量序列 \{X_\lambda^k, k \in \mathbb{N}\}，这些随机变量具有相同的均值 m_X 和方差 \sigma_X^2。我们定义一个新的随机变量序列：

\overline{X}_\lambda^n = \frac{1}{n} \sum_{i=1}^{n} X_\lambda^i

这个新的随机变量 \overline{X}_\lambda^n 是前 n 个随机变量的算术平均值。现在计算 \overline{X}_\lambda^n 的均值 m_Y^n 和方差 V_Y^n。

由于期望运算的线性性：

m_Y^n = E[\overline{X}_\lambda^n] = E\left[\frac{1}{n} \sum_{i=1}^{n} X_\lambda^i\right] = \frac{1}{n} \sum_{i=1}^{n} E[X_\lambda^i] = \frac{1}{n} \sum_{i=1}^{n} m_X = \frac{1}{n} \cdot n m_X = m_X

所以无论 n 是多少，平均值的期望总是等于单个随机变量的均值 m_X。这是因为我们只是在对同分布的随机变量求平均。

由于这些随机变量是独立的，它们的协方差为零，所以和的方差等于方差的和：

V_Y^n = \text{Var}[\overline{X}_\lambda^n] = \text{Var}\left[\frac{1}{n} \sum_{i=1}^{n} X_\lambda^i\right] = \frac{1}{n^2} \sum_{i=1}^{n} \text{Var}[X_\lambda^i] = \frac{1}{n^2} \sum_{i=1}^{n} \sigma_X^2 = \frac{1}{n^2} \cdot n \sigma_X^2 = \frac{\sigma_X^2}{n}

方差随着 n 的增加而减小，具体地说是以 1/n 的速率减小。当 n 趋向无穷大时，方差趋向于零。这就引出了大数定律。

大数定律

大数定律表述如下：设 \{X_\lambda^k, k \in \mathbb{N}\} 是一个独立随机变量序列，具有相同的均值 m（方差可以不同）。那么随机变量序列 \overline{X}_\lambda^n 几乎必然收敛到 m，即当 n 趋向无穷大时，\overline{X}_\lambda^n = m 的概率趋向于1。

大数定律表明如果我们对足够多的随机变量求和并除以它们的个数，结果会收敛到一个确定性的值，也就是均值（期望值）

但是这个定理有一个重要的前提条件：被求和的随机变量必须有均值。例如，柯西随机变量的一阶矩是不存在的。

在图中展示了 \overline{X}_\lambda^n 作为 n 的函数的演化，针对序列 \{X_\lambda^k, k \in \mathbb{N}\} 的两种不同实现。在高斯序列的情况下（图a），\overline{X}_\lambda^n 收敛到0，这符合大数定律。但在柯西序列的情况下（图b)，\overline{X}_\lambda^n 并不收敛，这正是因为柯西分布的均值不存在。

中心极限定理

设 \{X_\lambda^k, k \in \mathbb{N}\} 是一个独立随机变量序列，具有相同的概率密度函数 P_X(x)、均值 m_X 和方差 \sigma_X^2。我们定义随机变量序列：

Y_\lambda^n = \frac{1}{\sqrt{n}} \sum_{i=1}^{n} X_\lambda^i

注意这里和大数定律中定义的 \overline{X}_\lambda^n 有区别，这里我们除以的是 \sqrt{n} 而不是 n。

让我们计算 Y_\lambda^n 的均值 m_Y^n 和方差 V_Y^n。

均值的计算是：

m_Y^n = E[Y_\lambda^n] = E\left[\frac{1}{\sqrt{n}} \sum_{i=1}^{n} X_\lambda^i\right] = \frac{1}{\sqrt{n}} \sum_{i=1}^{n} E[X_\lambda^i] = \frac{1}{\sqrt{n}} \cdot n m_X = \sqrt{n} m_X

方差的计算是：

V_Y^n = \text{Var}[Y_\lambda^n] = \text{Var}\left[\frac{1}{\sqrt{n}} \sum_{i=1}^{n} X_\lambda^i\right] = \frac{1}{n} \sum_{i=1}^{n} \text{Var}[X_\lambda^i] = \frac{1}{n} \cdot n \sigma_X^2 = \sigma_X^2

所以 Y_\lambda^n 的方差不依赖于 n，始终等于单个随机变量的方差。但均值随 \sqrt{n} 增长。

现在中心极限定理（简化版本）定义随机变量序列：

Z_\lambda^n = \frac{Y_\lambda^n - m_Y^n}{\sqrt{V_Y^n}}

这个随机变量依法收敛到一个零均值、标准差等于1的高斯随机变量。依法收敛的意思是，随机变量序列的累积分布函数收敛到高斯分布的累积分布函数

\lim_{n \to \infty} F_n(t) = F(t)

其中 F_n(t) 是 Z_\lambda^n 的累积分布函数，F(t) 是标准高斯分布的累积分布函数。

这种收敛导致特征函数（概率密度函数的傅里叶变换）的简单收敛。

中心极限定理说，只要把 Y_\lambda^n 减去它的均值，然后除以它的标准差，得到一个标准化的随机变量 Z_\lambda^n，无论原始随机变量 X_\lambda^i 的概率密度函数 P_X(x) 是什么，只要它们是独立同分布的并且有有限的均值和方差，Z_\lambda^n 的分布都会趋向于标准高斯分布。

这个结果非常重要，因为它表明无论被求和的随机变量的概率密度函数是什么，结果都趋向于高斯随机变量。收敛通常相当快，如图所示。

当 n=1 时，概率密度函数是矩形的（均匀分布）。当 n=2 时，两个均匀随机变量的和已经呈现出三角形的分布，开始向钟形靠近。当 n=3 时，三个均匀随机变量的和的概率密度函数已经非常接近高斯分布了。这说明收敛速度确实很快，即使只有几个随机变量相加，结果就已经近似高斯了。

这个定理可以推广到被求和的随机变量具有不同概率密度函数的情况。当然它们都必须有均值和方差。设 m_i 表示随机变量 i 的均值，\sigma_i^2 表示它的方差。我们定义和：

S_\lambda^n = \sum_{i=1}^{n} X_\lambda^i

这个和的均值和方差分别等于：

M_n = \sum_{i=1}^{n} m_i \quad \text{et} \quad V_n = \sum_{i=1}^{n} \sigma_i^2

这是因为期望的线性性（均值是期望的和）和独立随机变量的方差可加性（方差是方差的和）。

那么标准化的随机变量：

Z_\lambda^n = \frac{S_\lambda^n - M_n}{\sqrt{V_n}}

依法收敛到零均值、单位方差的高斯随机变量，如果满足：

\forall i \in \mathbb{N}, \quad \frac{\sigma_i^2}{V_n} \xrightarrow{n \to +\infty} 0

这个条件的意思是，任何一个单独项的方差 \sigma_i^2 相对于总方差 V_n 必须趋向于零。换句话说，和中的任何一项的涨落都不能主导其他项的涨落。如果某一项的方差远大于其他所有项，那么这一项会主导整个和的行为，中心极限定理就不再适用。

随机函数

随机函数（或随机过程）是一个函数，它的实现依赖于一个随机事件。因此它是从随机事件集合 \Omega 到函数集合 \mathcal{F} 的映射：

\begin{aligned} \Omega &\longrightarrow \mathcal{F} \\ \lambda &\longrightarrow X_\lambda(t) \end{aligned}

对于每一个随机事件 \lambda，X_\lambda(t) 是一个确定的函数，它依赖于参数 t。但不同的随机事件 \lambda 会产生不同的函数，所以从整体来看，X_\lambda(t) 是一个随机函数。

因此，对于随机函数 X_\lambda(t)，我们有两种观察角度。对于给定的实现（固定的 \lambda），X_\lambda(t) 是一个确定性函数，它描述了这个特定实现随时间的演化。在给定的时间（固定的 t 值），X_\lambda(t) 是一个随机变量，它描述了在这个时刻所有可能实现的统计分布。这两个视角是随机过程理论的核心：时间演化和统计涨落。

展示了随机函数的示意图，包括集合均值和时间均值。图中显示了多个不同的实现 X_{\lambda_1}(t)、X_{\lambda_2}(t)、X_{\lambda_3}(t) 等，每条曲线代表对应于不同随机事件 \lambda_1、\lambda_2、\lambda_3 等的函数实现。最下面的曲线 m_X(t) 表示集合均值，它是在每个时刻 t 对所有可能实现进行平均得到的。图的右侧大括号标注了时间均值 \mu_X^{\lambda}，它是对某一个固定实现沿时间轴进行积分平均得到的。

两种角度下的均值和协方差

对于随机函数，我们可以定义两种不同类型的"均值"。

首先是集合均值（或称期望）。集合均值是对所有实现进行平均。它定义为：

m_X(t) = E[X_\lambda(t)]

这是一个关于 t 的确定性函数。如果我们在不同的时刻 t 进行这个操作，就得到了一个关于 t 的函数 m_X(t)。这个函数描述了随机函数在每个时刻的平均行为。

其次是时间均值。时间均值是计算信号的归一化积分。它定义为：

\mu_X^{\lambda} = \lim_{T_1, T_2 \to +\infty} \frac{1}{T_2 + T_1} \int_{-T_1}^{T_2} X_{\lambda}(t) dt

对于某一个固定的实现 \lambda，X_{\lambda}(t) 是一个关于 t 的确定性函数。我们把这个函数在一个时间区间 [-T_1, T_2] 上积分，然后除以区间长度 T_2 + T_1，得到这个区间上的平均值。当区间长度趋向无穷大时的极限，就是时间均值。但不同的实现 \lambda 会给出不同的时间均值，所以 \mu_X^{\lambda} 是一个随机变量。

我们还可以定义两种类型的协方差函数。

集合协方差函数定义为：

\begin{aligned} \Gamma_{XX}(t_1, t_2) &= E[\{X_\lambda(t_1) - m(t_1)\} \{X_\lambda(t_2) - m(t_2)\}] \\ &= E[X_\lambda(t_1) X_\lambda(t_2)] - m(t_1) \, m(t_2) \end{aligned}

它是关于 t_1 和 t_2 的确定性函数。这个函数刻画的是随机函数在两个不同时刻 t_1 和 t_2 的值之间的统计相关性。如果 \Gamma_{XX}(t_1, t_2) 很大，说明知道 X_\lambda(t_1) 的值能提供很多关于 X_\lambda(t_2) 的信息，如果 \Gamma_{XX}(t_1, t_2) = 0，说明这两个时刻的值是不相关的。

时间协方差函数（或称自相关函数）定义为：

C_{XX}^{\lambda}(\tau) = \lim_{T_1, T_2 \to +\infty} \frac{1}{T_2 + T_1} \int_{-T_1}^{T_2} (X_\lambda(t) - \mu_X^{\lambda}) (X_\lambda(t + \tau) - \mu_X^{\lambda}) \, dt

这个函数刻画的是某一个固定实现中，相隔时间 \tau 的两个点之间的时间相关性。我们把 X_\lambda(t) 和 X_\lambda(t + \tau) 都减去它们的时间均值，相乘，然后在整个时间轴上平均。如果 C_{XX}^{\lambda}(\tau) 随着 \tau 的增大而快速衰减到零，说明这个信号的相关时间很短，如果衰减很慢，说明相关时间很长。

平稳性和遍历性

平稳性和遍历性是随机函数的两个重要性质。

随机函数 X_\lambda(t) 称为一阶平稳: 如果它的集合均值 m(t) 不依赖于时间。换句话说，m(t) 是一个常数，我们可以记为 m。这意味着随机函数的平均在时间上是不变的。

二阶平稳: 如果它是一阶平稳的，并且它的集合协方差函数具有如下性质：

\Gamma_{XX}(t_1, t_2) = \Gamma_{XX}(t_2 - t_1)

换句话说，协方差函数只依赖于两个时刻的时间间隔 t_2 - t_1，而不依赖于具体的时刻本身。我们可以记 \tau = t_2 - t_1，则协方差函数可以写成 \Gamma_{XX}(\tau)，它只是时间差 \tau 的函数。这意味着随机函数的相关性结构在时间上是不变的，在任何时刻，相隔时间 \tau 的两个点之间的相关性都是一样的。

类似地，随机函数 X_\lambda(t) 称为一阶遍历: 如果它的时间均值 \mu_X^{\lambda} 不依赖于实现 \lambda。换句话说，无论我们选择哪一个实现，计算出来的时间均值都是一样的。

二阶遍历: 如果它是一阶遍历的，并且它的时间协方差函数 C_{XX}^{\lambda}(\tau) 不依赖于实现 \lambda。这意味着不同实现的时间相关性结构都是一样的。

平稳性和遍历性的性质是对称的，因为从一个到另一个，只需要交换集合平均和时间平均。如果随机函数 X_\lambda(t) 既是平稳的又是遍历的，那么它的集合均值和时间均值相等：

m_X(t) = \mu_X^{\lambda} = m

并且它的集合协方差函数等于它的时间协方差函数（自相关函数）：

\Gamma_{XX}(t, t + \tau) = C_{XX}^{\lambda}(\tau) = \Gamma_{XX}(\tau)

平稳随机函数的滤波

对信号进行的最常见的操作是线性滤波。设 X_\lambda(t) 是一个零均值、协方差函数为 \Gamma_{XX}(t) 的平稳随机函数，h(t) 是一个脉冲响应为 h(t) 的线性滤波器。我们可以定义用滤波器 h(t) 对 X_\lambda(t) 进行滤波得到的随机函数：

Y_{\lambda}(t) = \int h(t - u) X_{\lambda}(u) du = [h * X_{\lambda}](t)

可以证明 Y_{\lambda}(t) 是平稳的、零均值的，并且它的协方差函数是：

\Gamma_{YY}(t) = [h \otimes h](t) * \Gamma_{XX}(t)

首先计算滤波器 h(t) 和它自己的相关 [h \otimes h](t)，然后把这个相关函数与输入的协方差函数 \Gamma_{XX}(t) 进行卷积，即可得到。

信号处理与成像系统

整体概述

全局优化与协同设计

协同设计强调的是两个方向的必然联系：

第一个方向是，一个成像系统的好坏不仅取决于传感器的质量或光学元件的精度，更取决于后续的信号处理能力，比如数字处理算法。这些算法包括估计、恢复等多种技术以获得高质量的最终结果。

第二个方向则相反，当我们想要设计高效的数字处理方法时，必须深入了解成像设备的物理原理和技术特性。比如，如果不知道某个传感器的噪声主要是高斯噪声还是泊松噪声，就无法选择合适的去噪算法。

图像处理中的核心问题

根据我们要从图像中提取的信息类型不同，可以将图像处理任务分为三大类：

参数估计任务是指从图像中提取某些可以用数值表示的量。比如跟踪任务需要估计目标的位置坐标，配准任务需要估计图像之间的几何变换参数，光谱信息提取则需要估计每个波长的强度。这类任务问题在于如何从含噪声的观测数据中准确地估计出这些参数值。

恢复任务的目标是从测量得到的、可能退化的图像中找到一个好的图像。测量图像可能因为各种原因（模糊、噪声、采样不足等）与真实场景存在差异，恢复任务就是要反推出更接近真实的图像。

检测任务则是做出二元判决：图像中某个目标、某条边缘或某种特征是存在还是不存在。与估计任务不同，检测不关心精确的数值，而只关心是或否的答案。

课程的三大理论支柱

第一个理论框架是经典估计理论。核心问题：如何找到一个好的估计方法，以及如何评估这个方法的精度，比如无偏性、最小方差等准则。更深层次的问题是，给定一个具体的估计问题和观测数据，我们怎么知道哪种估计方法是最优的？同时，在我们应用某个估计方法之前，能否预测它的性能如何，能达到什么样的精度？

第二个理论框架是贝叶斯理论。当待估计的参数数量与观测数据的数量相当时，经典的估计理论往往会失效，因为自由度太多，问题是欠定的。贝叶斯理论通过引入正则化来解决这个问题，正则化的本质是加入先验知识，通过对参数施加某些约束或假设某些先验分布，使得欠定问题变得可解。这在图像处理中特别常见，因为高分辨率图像包含的像素数（也就是未知参数数）往往非常大，而我们的观测可能是有限的或者退化的。

第三个理论框架是检测理论。这个理论研究如何构建高效的检测算法，以及如何定义图像中的对比度。重要的是检测的准确性——即漏检率和误检率要尽可能低。而对比度的定义则直接关系到检测的难易程度，如果我们能够正确定义和量化图像中目标与背景之间的对比度，就能够设计出更有效的检测策略。

这三个理论框架分别对应着参数估计、图像恢复和目标检测这三类基本的图像处理任务。

估计问题的基本框架

问题的建立

我们面对的基本情况是这样的：通过某种测量过程，我们获得了 N 个观测值，这 N 个观测值形成一个集合，就叫做样本。

现在需要理解两个容易混淆但本质不同的概念。第一个是观测样本，用符号 \chi 表示：

\chi = \{x_1, ..., x_N\}

这是一个确定性向量。就是说一旦完成了测量，这些数值 x_1, x_2, ..., x_N 就固定了

但在测量之前，这些数值是不确定的，它们本质上是随机变量。为了区分这两个概念，我们引入随机向量 \chi_{\lambda}：

\chi_{\lambda} = \{x_1^{\lambda}, ..., x_N^{\lambda}\}

观测样本 \chi 实际上是随机样本 \chi_{\lambda} 的一次实现。

统计量的概念

任何以样本为输入的确定性函数都称为统计量，记为：

T[\chi] = t(x_1, ..., x_N)

当我们把观测样本 \chi（确定性的）代入这个函数时，得到的 T[\chi] 是一个确定的数值。但是，如果我们把随机样本 \chi_{\lambda} 代入同一个函数，得到的 T[\chi_{\lambda}] 就是一个随机变量了。

估计的本质就是设计一个合适的函数 T，使得 T[\chi] 能够很好地代表我们想要估计的参数。比如，如果想估计数据的平均值，我们自然会想到用样本均值作为统计量。

似然函数的引入

随机样本 \chi_{\lambda} 作为一个随机向量，它的概率性质由一个联合概率密度函数 P_{\theta}(\chi) 来完全描述，其中 \theta 是一个参数，可以是标量也可以是向量。在估计理论的语境中，这个概率密度函数记作似然函数：

L(\chi|\theta) = P_{\theta}(\chi)

作为PDF，我们通常把 \theta 看作已知的参数，关心的是给定 \theta 时，观测到不同 \chi 的概率。但在估计问题中，我们已经观测到了数据 \chi（它是固定的），而 \theta 是未知的，我们想通过数据来推断 \theta。

在实际计算中，我们常常使用对数似然函数：

\ell(\chi|\theta) = \ln[P_{\theta}(\chi)]

使用对数有两个好处：一是可以把连乘变成求和，简化计算，二是数值上更稳定，因为概率的连乘很容易导致数值下溢。

独立同分布样本的特殊情况

如果这 N 个随机变量彼此统计独立，并且它们都服从相同的边缘概率密度函数 P_{\theta}(x)，我们就说这个样本是独立同分布的，简称为 i.i.d. 样本。

对于 i.i.d. 样本，联合概率密度函数可以分解为各个边缘密度函数的乘积：

L(\chi|\theta) = \prod_{i=1}^{N} P_{\theta}(x_i)

由于各个观测值彼此独立，整个样本的联合概率就等于每个观测值概率的乘积。相应地，对数似然函数变成了求和形式：

\ell(\chi|\theta) = \ln[L(\chi|\theta)] = \sum_{i=1}^{N} \ln[P_{\theta}(x_i)]

指数分布的具体例子

考虑指数分布，其边缘PDF为：

P_{\theta}(x) = \frac{1}{\theta} \exp\left[-\frac{x}{\theta}\right]

这个分布定义在 x \geq 0 的范围内，参数 \theta > 0。参数 \theta 在这里既是分布的尺度参数，也等于分布的期望值。

对于由这个分布产生的 i.i.d. 样本，我们可以写出对数似然函数。首先对单个观测值取对数：

\ln[P_{\theta}(x_i)] = \ln\left(\frac{1}{\theta}\right) - \frac{x_i}{\theta} = -\ln\theta - \frac{x_i}{\theta}

然后对所有 N 个观测值求和：

\ell(\chi|\theta) = \sum_{i=1}^{N} \left(-\ln\theta - \frac{x_i}{\theta}\right) = -N\ln\theta - \frac{1}{\theta}\sum_{i=1}^{N} x_i

这个对数似然函数本身就是一个统计量，因为它是样本 \{x_1, ..., x_N\} 的确定性函数。当我们把实际观测到的数据代入，得到一个确定的数值，如果代入的是随机样本，它就是一个随机变量。

给定从指数分布中抽取的 i.i.d. 样本，我们的目标是估计参数 \theta。应该提出什么样的估计方法呢？

在设计估计方法之前，我们需要了解这个分布的一些基本性质。对于指数分布，其期望值为：

E[X_{\lambda}] = \theta

参数 \theta 直接就是随机变量的均值。这是一个非常重要的性质，它暗示了一种可能的估计策略：用样本均值来估计 \theta。

而指数分布的方差为：

\text{Var}[X_{\lambda}] = E[(X_{\lambda} - E[X_{\lambda}])^2] = \theta^2

方差等于参数的平方，这意味着随着 \theta 增大，数据的波动也会按平方关系增大。

了解了分布的这些基本性质后，我们就可以开始思考如何设计合理的估计量，以及如何评估估计量的好坏。

两种估计方法的提出

回到指数分布的估计问题。我们知道指数分布的期望值是 \theta，方差是 \theta^2。基于这两个性质，我们可以自然地提出两种不同的估计方法。

第一种方法直接利用期望值等于 \theta 这个性质。既然总体的期望是 \theta，那么直接用样本均值来估计它。

\hat{\theta}_1(\chi) = \frac{1}{N}\sum_{i=1}^{N} x_i

这个估计量就是把所有观测值加起来除以观测次数，得到样本的平均值。

第二种方法利用的是方差等于 \theta^2 这个性质。既然方差是 \theta^2，我们可以先估计出方差，然后对其开平方根来得到 \theta 的估计。样本方差的标准估计公式是样本的二阶矩减去样本均值的平方，因此第二个估计量为：

\hat{\theta}_2(\chi) = \sqrt{\frac{1}{N}\sum_{i=1}^{N} x_i^2 - \left(\frac{1}{N}\sum_{i=1}^{N} x_i\right)^2}

现在面临一个关键问题：这两种方法哪一个更好？第一种方法简单直接，第二种方法利用了更多的信息。我们需要一个明确的、可以量化的标准来比较不同估计量的优劣。这就引出了估计量质量评价的问题。

估计理论的整体框架

为了系统地回答如何设计好的估计量和如何评价估计量的质量这两个问题，估计理论建立了一套完整的框架。这个框架包含五个主要部分。

第一部分是估计问题的形式化定义，这在前面已经完成了。我们明确了什么是样本、统计量、似然函数等基本概念。

第二部分是建立测量估计量好坏的标准。没有评价标准，就无法比较不同方法的优劣。我们需要一个数学上严格定义的质量度量。

第三部分是具体的估计方法。有了评价标准后，会介绍两种构造估计量基本方法：矩方法和最大似然估计。矩方法基于用样本矩来估计总体矩，而最大似然估计则基于使观测数据出现的概率最大化。

第四部分涉及估计效率的理论极限。即使有了估计量，我们还想知道它的性能能好到什么程度。Cramer-Rao下界给出了任何无偏估计量方差的理论下限，这让我们可以判断一个估计量是否已经达到了理论上的最优。

第五部分是鲁棒估计。经典估计理论往往假设数据完全符合某个概率模型，但实际数据可能包含异常值或偏离模型假设。鲁棒估计研究如何设计对这些偏离不敏感的估计方法。

均方误差：估计量质量的度量标准

要评价一个估计量的好坏，我们需要知道两个量。第一个是待估计参数的真实值，记为 \theta_0。第二个是估计量本身，记为 T[\chi_{\lambda}]。注意这里用的是随机样本 \chi_{\lambda}，因为我们要评价的是估计量作为随机变量的统计性质。

最自然的质量标准是均方误差，定义为估计值与真值之差的平方的期望：

\text{MSE}(T[\chi_{\lambda}]) = E\left[(T[\chi_{\lambda}] - \theta_0)^2\right]

我们希望估计值 T[\chi_{\lambda}] 尽可能接近真值 \theta_0。由于估计量是随机的，每次实验得到的估计值都可能不同，因此我们考察它与真值之差的平方在长期平均意义下有多大。MSE越小，说明估计量的性能越好。

为了更深入地理解MSE，我们需要对这个表达式进行推导。从定义出发：

\text{MSE} = E[(T - \theta_0)^2]

这里为了简化记号，省略了 T 的下标。现在进行变换，在括号中同时加上和减去 E(T)：

\text{MSE} = E\left[\left((T - E(T)) - (\theta_0 - E(T))\right)^2\right]

T - E(T) 这一项代表了估计量偏离其自身期望的部分，这反映了估计的随机波动性。
\theta_0 - E(T) 这一项则代表估计量的期望与真值之间的系统性偏差。

我们给这两部分起个名字，令：

\delta(T) = T - E(T)

b_T = \theta_0 - E(T)

第一个量 \delta(T) 称为估计的偏差（deviation），它是一个随机变量，均值为零。第二个量 b_T 称为估计的 bias，它是一个确定的数，衡量估计量系统性地偏离真值的程度。

现在将原式展开成平方和的形式：

\text{MSE} = E\left[(\delta(T))^2 - 2\delta(T) \cdot b_T + b_T^2\right]

对这个表达式取期望，由于期望算子的线性性，可以分别对每一项取期望：

\text{MSE} = E[\delta^2(T)] + E[b_T^2] - 2E[\delta(T) \cdot b_T]

现在仔细看每一项的含义。第一项 E[\delta^2(T)] 就是估计量的方差，记为 \sigma_T^2。第二项 E[b_T^2] 由于 b_T 是一个常数，所以等于 b_T^2。第三项需要仔细分析：

E[\delta(T) \cdot b_T] = b_T \cdot E[\delta(T)] = b_T \cdot E[T - E(T)] = b_T \cdot 0 = 0

这一项等于零是因为 b_T 是常数可以提出期望符号外，而 \delta(T) 的期望根据定义就是零。因此最终得到了MSE的重要分解公式：

\text{MSE} = \sigma_T^2 + b_T^2

这个公式揭示了估计误差的两个来源。方差项 \sigma_T^2 反映了估计的不稳定性，即由于数据的随机性导致的估计值的波动。即使估计量的期望恰好等于真值，由于每次观测的样本不同，估计结果仍会有随机波动，方差就是度量这种波动大小的指标。bias项 b_T^2 则反映了估计的系统性错误，如果估计量的期望本身就不等于真值，那么即使采集无限多的数据，估计结果的平均值也会偏离真值，这种系统性的偏离就是bias。

理想的估计量应该同时具有小方差和零bias。零bias意味着 E(T) = \theta_0，这样的估计量称为无偏估计量。对于无偏估计量，MSE就等于方差。但在某些情况下，允许一点点bias可能会显著降低方差，从而使得总的MSE更小。这种方差和bias之间的权衡是估计理论中的一个重要主题。

有了MSE这个标准，我们现在就可以回去比较前面提出的两个估计量 \hat{\theta}_1 和 \hat{\theta}_2 的优劣了。只需要分别计算它们的MSE，MSE更小的那个就是更好的估计量。

估计量的几何直观理解

通过一个图示可以更直观地理解 bias 和方差这两个概念。考虑估计量 T(\chi_{\lambda}) 作为随机变量的概率密度函数。这个密度函数的横坐标代表估计量可能取的值。

首先是真值 \theta_0，这是我们想要估计的目标，它是一个固定的点。其次是估计量的期望 E[T(\chi_{\lambda})]，这代表了如果我们进行无限多次独立实验，估计值的平均位置会落在哪里。如果这个期望恰好等于 \theta_0，那么密度函数的中心就对准了真值，估计量就是无偏的。但如果期望偏离了真值，从 E[T(\chi_{\lambda})] 到 \theta_0 的距离就是 bias b_T。

概率密度函数的宽度则反映了方差的大小。密度函数越窄，说明估计值在期望附近的集中程度越高，方差就越小，估计越稳定。密度函数越宽，说明估计值的分散程度越大，方差就越大，估计的不确定性就越高。从期望位置向两侧延伸一个标准差 \sigma_T 的距离，大致标识了估计值的主要分布范围。

理想情况下，我们希望密度函数既窄又正好对准真值，也就是既要小方差又要零 bias 。但在实际问题中，这两个目标有时会相互冲突，需要在它们之间取得平衡。

算术平均作为均值估计量

现在考察一个最基本也最常用的估计量：算术平均。假设我们有 N 个独立的随机变量 x_i，它们都具有相同的期望 m_0 和相同的方差 \sigma_0^2。算术平均定义为：

\overline{X} = \frac{1}{N}\sum_{i=1}^{N} x_i

首先分析这个估计量的期望。利用期望的线性性：

E[\overline{X}] = \frac{1}{N}\sum_{i=1}^{N} E[x_i] = \frac{1}{N} \cdot N m_0 = m_0

这个结果表明 E[\overline{X}] = m_0，也就是说算术平均的期望恰好等于真实的总体均值。因此算术平均是一个无偏估计量。这个性质非常重要，它保证了当我们用样本均值来估计总体均值时，在长期平均意义下不会产生系统性的偏差。

接下来计算算术平均的方差。这里需要利用两个性质：第一，各个观测值彼此独立，第二，常数因子可以从方差中提取出来（但要平方）。

\text{VAR}[\overline{X}] = \frac{1}{N^2}\sum_{i=1}^{N} \text{VAR}[x_i] = \frac{1}{N^2} \cdot N\sigma_0^2 = \frac{\sigma_0^2}{N}

这里第一个等号用到了独立性，使得交叉项的协方差都为零，因此和的方差等于方差的和。第二个等号用到了所有 x_i 具有相同方差。最终得到：

\text{VAR}[\overline{X}] = \frac{\sigma_0^2}{N}

算术平均的方差随着样本数 N 的增加而减小，具体来说是按 1/N 的速度递减。这意味着当我们收集更多数据时，样本均值会越来越接近真实均值，估计的可靠性会提高。这是统计推断的基础之一。

由于算术平均是无偏的，它的均方误差就等于它的方差，即 \text{MSE}[\overline{X}] = \sigma_0^2/N。

经验方差作为方差估计量

现在考虑如何估计总体方差 \sigma_0^2。最自然的想法是使用经验方差（也叫样本方差）：

S^2 = \frac{1}{N}\sum_{i=1}^{N}(x_i - \overline{X})^2 = \frac{1}{N}\sum_{i=1}^{N}x_i^2 - \overline{X}^2

这个公式有两种等价的写法。第一种形式直观地表示为各个观测值与样本均值之差的平方的平均。第二种形式则是利用了平方差展开，把它写成样本的二阶矩减去样本均值的平方。

现在的问题是，S^2 是不是 \sigma_0^2 的无偏估计？为了回答这个问题，我们需要计算 E[S^2]。采用第二种形式进行计算更方便。首先需要知道一个关于方差的基本关系式：

\text{VAR}[x_i] = E[x_i^2] - E[x_i]^2

从这个式子可以得到：

E[x_i^2] = \text{VAR}[x_i] + E[x_i]^2

现在计算 E[S^2]：

E[S^2] = \frac{1}{N}\sum_{i=1}^{N} E[x_i^2] - E[\overline{X}^2]

对第一项，利用上面的关系式：

\frac{1}{N}\sum_{i=1}^{N} E[x_i^2] = \frac{1}{N}\sum_{i=1}^{N}(\text{VAR}[x_i] + E[x_i]^2) = \frac{1}{N} \cdot N(\sigma_0^2 + m_0^2) = \sigma_0^2 + m_0^2

对第二项，同样利用方差与期望的关系：

E[\overline{X}^2] = \text{VAR}[\overline{X}] + E[\overline{X}]^2 = \frac{\sigma_0^2}{N} + m_0^2

将两项相减：

E[S^2] = (\sigma_0^2 + m_0^2) - \left(\frac{\sigma_0^2}{N} + m_0^2\right) = \sigma_0^2 - \frac{\sigma_0^2}{N} = \frac{N-1}{N}\sigma_0^2

这个结果非常重要：

E[S^2] = \frac{N-1}{N}\sigma_0^2

这表明 S^2 不是 \sigma_0^2 的无偏估计！它系统性地低估了真实方差， bias 为 -\sigma_0^2/N。为什么会出现这个系数 (N-1)/N？原因在于我们在计算经验方差时使用的是样本均值 \overline{X} 而不是真实均值 m_0。由于 \overline{X} 本身是从同一组数据中计算出来的，各个观测值与 \overline{X} 的偏差会比它们与 m_0 的偏差更小，这就导致了方差的低估。

不过，这个估计量是渐近无偏的。当 N 趋于无穷大时，(N-1)/N 趋于 1， bias 趋于零。对于大样本，这个 bias 的影响就可以忽略了。

既然 S^2 是有偏的，我们很容易构造一个无偏估计量。只需要对 S^2 乘以一个修正因子：

S'^2 = \frac{N}{N-1}S^2

这样就有：

E[S'^2] = \frac{N}{N-1}E[S^2] = \frac{N}{N-1} \cdot \frac{N-1}{N}\sigma_0^2 = \sigma_0^2

这就是为什么在统计学中，方差的无偏估计通常写成除以 N-1 而不是除以 N 的形式。

经验方差的方差

知道了经验方差的期望（即 bias ）后，我们还需要知道它的方差，才能完整评估它的MSE。经验方差的方差计算比较复杂，其一般表达式为：

\text{VAR}[S^2] = \frac{\overline{M}_4 - \sigma_0^4}{N} - \frac{2(\overline{M}_4 - 2\sigma_0^4)}{N^2} + \frac{\overline{M}_4 - 3\sigma_0^4}{N^3}

这里 \overline{M}_4 是四阶中心矩，定义为：

\overline{M}_n = E[(X_{\lambda} - E[X_{\lambda}])^n]

当 N 很大时，后面的高阶项可以忽略，方差近似为：

\text{VAR}[S^2] \approx \frac{\overline{M}_4 - \sigma_0^4}{N}

对于特别重要的高斯（正态）分布样本，四阶中心矩有一个特殊的性质。高斯分布的四阶中心矩等于 3\sigma_0^4，代入上面的公式得到：

\text{VAR}[S^2] \simeq \frac{3\sigma_0^4 - \sigma_0^4}{N} = \frac{2\sigma_0^4}{N}

这个结果表明，对于高斯样本，经验方差的标准差大约是 \sqrt{2/N} \cdot \sigma_0^2，也就是说方差估计的不确定性与 \sigma_0^2 成正比，并且随样本数的平方根递减。

两个基本估计量的总结

现在可以总结我们得到的两个最基本的估计量。

第一个例子是算术平均作为均值的估计量：

\overline{X} = \frac{1}{N}\sum_{i=1}^{N} x_i

它具有以下性质：期望为 E[\overline{X}] = m_0，因此是无偏估计，方差为 \text{VAR}[\overline{X}] = \sigma_0^2/N，随样本数线性递减。

第二个例子是经验方差作为方差的估计量：

S^2 = \frac{1}{N}\sum_{i=1}^{N}(x_i - \overline{X})^2 = \frac{1}{N}\sum_{i=1}^{N}x_i^2 - \overline{X}^2

它的期望为 E[S^2] = \frac{N-1}{N}\sigma_0^2，因此是有偏的，但渐近无偏。它的方差为一个复杂表达式，在一般情况下为

\text{VAR}[S^2] \approx (\overline{M}_4 - \sigma_0^4)/N

在高斯样本的特殊情况下简化为

\text{VAR}[S^2] \simeq 2\sigma_0^4/N

这两个例子让我们得到了一些小结论。首先，即使对于最简单的参数（如均值和方差），构造好的估计量也需要仔细分析。其次，无偏性虽然是一个理想的性质，但并非总是能达到或者必须达到的。有时候一个有偏但方差小的估计量可能比无偏但方差大的估计量更好。最后，估计量的性质往往依赖于样本数。

指数分布估计量的数值对比

回到之前提出的指数分布估计问题。我们有两个候选估计量，一个是基于均值的 \hat{\theta}_1(\chi) = \frac{1}{N}\sum_{i=1}^{N} x_i，另一个是基于方差的 \hat{\theta}_2(\chi) = \sqrt{\frac{1}{N}\sum_{i=1}^{N} x_i^2 - (\frac{1}{N}\sum_{i=1}^{N} x_i)^2}。仅从理论分析可能难以直观判断哪个更好，因此这里通过数值模拟来比较它们的实际性能。

模拟实验的设置是这样的：真实参数设为 \theta_0 = 1，每次生成一个包含 N=100 个观测值的指数分布样本，然后用两种方法分别计算估计值。这个过程重复 10^5 次（十万次），相当于进行了十万个独立实验。把这十万个估计值做成直方图，就可以看出每个估计量作为随机变量的概率分布。

图中显示了两条曲线。蓝色实线对应第一个估计量 \hat{\theta}_1，绿色虚线对应第二个估计量 \hat{\theta}_2。真值 \theta_0=1 。

首先，两个估计量的分布都大致对称且集中在真值附近，说明它们都能提供合理的估计。

其次，蓝色曲线明显更窄更高，意味着第一个估计量的方差更小，估计值更集中。绿色曲线则更宽更矮，显示出更大的分散性。

第一个估计量的期望约为 E[\hat{\theta}_1] \approx 0.9998，几乎精确等于真值1，验证了它的无偏性。它的标准差约为 \sqrt{\text{VAR}[\hat{\theta}_1]} \approx 0.1002，这与理论预测一致：由于指数分布的方差是 \theta^2 = 1，样本均值的标准差应该是 \theta/\sqrt{N} = 1/\sqrt{100} = 0.1。

第二个估计量的期望约为 E[\hat{\theta}_2] \approx 0.9851，明显小于真值1，这说明它是有偏的，系统性地低估了参数。它的标准差约为 \sqrt{\text{VAR}[\hat{\theta}_2]} \approx 0.1367 ，bias 约为 1 - 0.9851 = 0.0149。

现在可以回答哪个估计量更好这个问题了。虽然第二个估计量利用了方差信息，看起来使用了更多的数据特征，但它的表现反而不如第一个估计量。原因有两个：一是它有 bias ，系统性地低估参数，二是它的方差更大，估计结果更不稳定。

在设计估计量时，使用更复杂的统计量或更多的计算并不一定能带来更好的性能。有时候最简单直接的方法反而是最好的。对于指数分布的参数估计，直接用样本均值就是一个优秀的选择。

直方图估计：概率密度函数的非参数估计

前面讨论的都是参数估计问题，也就是假设数据服从某个已知形式的分布（如指数分布），我们的任务是估计分布的参数。但是如果我们连数据服从什么分布都不知道，能否从样本中估计出整个概率密度函数？

直方图是一个近似方案，基本思路是把随机变量的取值范围划分成若干个不重叠的小区间，记第 k 个区间为 \xi_k。然后我们要估计的不是单个参数，而是一系列概率：

P_k = \text{Proba}[X_{\lambda} \in \xi_k] = \int_{\xi_k} P_X(x)dx

这个概率表示随机变量落在第 k 个区间内的可能性。如果我们知道了所有区间的概率 P_1, P_2, \ldots，就相当于知道了概率密度函数的一个离散化近似。

如何从样本中估计 P_k？数频率。设 n_k 为样本中落在区间 \xi_k 内的观测值个数，那么估计量就是：

\widehat{P}_k = \frac{n_k}{N}

在 N 个观测值中，有 n_k 个落在区间 \xi_k 内，所以我们估计落入这个区间的概率就是 n_k/N。当我们把所有区间的估计概率画出来，每个区间画一个高度为 \widehat{P}_k 的矩形，就得到了直方图。

为了分析这个估计量的统计性质，我们引入一个指示变量。对于第 i 个观测值和第 k 个区间，定义：

[Y_i^k]_{\lambda} = \begin{cases} 1 & \text{if } x_i^{\lambda} \in \xi_k \\ 0 & \text{otherwise} \end{cases}

这个指示变量在观测值落入区间时取1，否则取0。那么落入区间的观测值总数就是：

n_k = \sum_{i=1}^{N} [Y_i^k]_{\lambda}

因此估计量可以重写为：

\widehat{P}_k = \frac{1}{N}\sum_{i=1}^{N} [Y_i^k]_{\lambda}

这个形式让我们看出 \widehat{P}_k 实际上是 N 个指示变量的算术平均。每个指示变量 [Y_i^k]_{\lambda} 都是一个伯努利随机变量，它只取0或1两个值，取1的概率恰好是 P_k。

伯努利随机变量的期望就等于它取1的概率：

E[Y_i^k] = P_k

因此估计量的期望为：

E[\widehat{P}_k] = \frac{1}{N}\sum_{i=1}^{N} E[Y_i^k] = \frac{1}{N} \cdot N P_k = P_k

这表明 \widehat{P}_k 是 P_k 的无偏估计。无论真实概率 P_k 多大多小，频率估计在长期平均意义下都会给出正确的值。

伯努利随机变量的方差有一个特殊的公式：

\text{VAR}[Y_i^k] = P_k(1 - P_k)

由于各个观测值独立，估计量的方差就是：

\text{VAR}[\widehat{P}_k] = \frac{1}{N^2}\sum_{i=1}^{N} \text{VAR}[Y_i^k] = \frac{1}{N^2} \cdot N P_k(1-P_k) = \frac{P_k(1-P_k)}{N}

方差的大小不仅依赖于样本数 N，还依赖于真实概率 P_k 本身。当 P_k 接近0或1时，方差会变小，当 P_k = 0.5 时，方差达到最大值 1/(4N)。

但更关键的问题是估计的相对精度。一个常用的度量是相对标准差，也就是标准差除以期望：

\rho = \frac{E[\widehat{P}_k]}{\sqrt{\text{VAR}[\widehat{P}_k]}} = \frac{P_k}{\sqrt{P_k(1-P_k)/N}} = \sqrt{\frac{N P_k}{1-P_k}}

这个相对精度告诉我们，要获得好的估计质量，不仅需要足够大的样本数 N，还需要 P_k 本身不能太小。如果 P_k 很小，意味着样本很少落入区间 \xi_k，即使总样本数很大，落入这个特定区间的样本数 n_k 仍然很少，导致估计非常不可靠。

具体来说，如果 P_k 很小，那么 1-P_k \approx 1，相对精度近似为 \sqrt{NP_k}。比如如果 P_k = 0.01，即使 N=1000，相对精度也只有 \sqrt{1000 \times 0.01} = \sqrt{10} \approx 3.16，这意味着估计的标准差大约是期望值的30%，非常不精确。

这就是为什么在构造直方图时，我们不能把区间划分得太细。如果区间太小，每个区间的真实概率 P_k 就会很小，导致估计质量很差。但如果区间太大，又会损失分布细节，无法准确刻画概率密度函数的形状。如何选择合适的区间大小（通常称为带宽选择），是非参数密度估计中的一个核心问题。这个例子也提示我们，即使估计量是无偏的，当被估计的量本身很小时，估计仍然可能很不准确。

矩方法估计器

前面我们通过直觉提出了一些估计量，但没有给出一般性的方法。矩方法是最早也是最直观的估计方法之一，它提供了一个系统化的框架来构造估计量。

矩方法的基本思想是利用样本矩来估计总体矩，然后通过矩与参数之间的关系来反推参数。假设我们的概率分布由参数向量 \theta = \{\theta_1, \theta_2, \theta_3\} 确定，包含三个未知参数。矩方法的步骤是这样的：首先考虑这个分布的前三阶矩。第 n 阶矩定义为随机变量 n 次方的期望：

M_n = E[X_{\lambda}^n] = \int x^n P_{\theta}(x)dx

这些矩是参数 \theta 的函数，记为 M_1(\theta_1, \theta_2, \theta_3)、M_2(\theta_1, \theta_2, \theta_3)、M_3(\theta_1, \theta_2, \theta_3)。它们被称为统计矩或理论矩。

另一方面，我们可以从样本中计算经验矩。第 n 阶经验矩就是样本值 n 次方的算术平均：

\frac{1}{N}\sum_{i=1}^{N} x_i^n

矩方法的核心想法是：用经验矩来估计相应的统计矩，即令经验矩等于统计矩。这给出了一个包含三个方程的方程组：

\begin{cases} M_1(\theta_1, \theta_2, \theta_3) = \frac{1}{N}\sum_{i=1}^{N} x_i \\ M_2(\theta_1, \theta_2, \theta_3) = \frac{1}{N}\sum_{i=1}^{N} x_i^2 \\ M_3(\theta_1, \theta_2, \theta_3) = \frac{1}{N}\sum_{i=1}^{N} x_i^3 \end{cases}

方程组的左边是参数的函数（统计矩），右边是从样本计算出的具体数值（经验矩）。解这个方程组，得到的 \theta_1, \theta_2, \theta_3 就是矩估计量。无论什么分布，只要知道矩与参数的关系，就可以用同样的方式构造估计量。

需要注意的是，我们使用的矩的阶数应该与待估计参数的个数相等。如果有三个参数就用前三阶矩，如果有两个参数就用前两阶矩。这样才能保证方程组有确定的解。

高斯分布的矩估计

高斯分布有两个参数，均值 m 和方差 \sigma^2，记为 \theta = (m, \sigma^2)。高斯分布的一阶矩就是均值：

M_1(m, \sigma^2) = m

二阶矩（注意是原点矩而非中心矩）根据方差的定义式可以得到。由于 \sigma^2 = E[X^2] - E[X]^2，因此：

M_2(m, \sigma^2) = E[X^2] = \sigma^2 + m^2 = m^2 + \sigma^2

建立矩方程组，令统计矩等于经验矩。第一个方程是 m 等于样本均值，第二个方程是 m^2 + \sigma^2 等于样本的二阶矩：

\begin{cases} m = \frac{1}{N}\sum_{i=1}^{N} x_i \\ m^2 + \sigma^2 = \frac{1}{N}\sum_{i=1}^{N} x_i^2 \end{cases}

解这个方程组非常直接。第一个方程立即给出均值的估计：

\widehat{m} = \overline{X}

将第一个方程代入第二个方程，得到：

\left(\frac{1}{N}\sum_{i=1}^{N} x_i\right)^2 + \widehat{\sigma}^2 = \frac{1}{N}\sum_{i=1}^{N} x_i^2

移项后：

\widehat{\sigma}^2 = \frac{1}{N}\sum_{i=1}^{N} x_i^2 - \left(\frac{1}{N}\sum_{i=1}^{N} x_i\right)^2

注意到右边正是经验方差 S^2 的表达式。因此高斯分布的矩估计就是：

\widehat{m} = \overline{X} \quad \text{ and } \quad \widehat{\sigma}^2 = S^2

这告诉我们，用样本均值估计总体均值、用经验方差估计总体方差，这两个最自然的做法实际上就是矩方法的结果。矩方法为这些直观的估计提供了理论基础。

伽马分布及其矩估计

伽马分布的概率密度函数为：

P_X(x) = \frac{L^L}{\Gamma(L)m^L} x^{L-1} \exp\left(-\frac{Lx}{m}\right)

这里 \Gamma(L) 是伽马函数，定义为：

\Gamma(x) = \int_0^{+\infty} t^{x-1}e^{-t}dt

伽马分布有两个参数。第一个是 m，它是分布的均值，这个参数控制分布的位置。第二个是 L，称为阶数或形状参数，它控制分布的形状。

伽马随机变量可以表示为 L 个独立的指数随机变量之和。如果 Y_1, Y_2, \ldots, Y_L 是 L 个独立同分布的指数随机变量，每个的期望为 m/L，那么它们的和 X = Y_1 + Y_2 + \cdots + Y_L 服从参数为 (m, L) 的伽马分布。

伽马分布的方差：

\sigma_X^2 = \frac{m^2}{L}

当阶数 L 增大时，在保持均值 m 不变的情况下，方差会减小。具体来说，方差与 1/L 成正比。这意味着随着 L 增大，分布会变得越来越集中在均值附近。

图示展示了不同 L 值对应的伽马分布形状。当 L=1 时，伽马分布退化为指数分布，密度函数在 x=0 处达到最大值，然后单调递减。当 L=2 时，密度函数在接近零的地方有一个小的峰。随着 L 增大到10，密度函数变得越来越像高斯分布，呈现明显的钟形曲线，峰值更高更窄。这个现象背后的原因是中心极限定理：伽马随机变量是 L 个独立随机变量的和，当 L 很大时，根据中心极限定理，这个和的分布会趋近于高斯分布。因此，图中特别标注了：随着 L 增加，概率密度变得更窄（方差减小），并且趋向于高斯分布。

现在用矩方法估计伽马分布的两个参数。伽马分布的一阶矩就是均值：

M_1 = m

要计算二阶矩，可以利用方差与矩的关系 \sigma^2 = M_2 - M_1^2，因此：

M_2 = \sigma^2 + M_1^2 = \frac{m^2}{L} + m^2 = m^2\left(1 + \frac{1}{L}\right) = \frac{m^2(L+1)}{L}

但更常用的做法是直接用一阶矩和二阶中心矩（即方差）。建立方程组：

\begin{cases} M_1 = m \\ M_2 - M_1^2 = \frac{m^2}{L} \end{cases}

第一个方程给出：

\widehat{m} = \overline{X}

第二个方程的左边是 M_2 - M_1^2，这正是方差的定义，因此可以用经验方差 S^2 来估计。从第二个方程可以得到：

\frac{m^2}{L} = S^2

将 m = \overline{X} 代入：

\frac{\overline{X}^2}{L} = S^2

解出 L：

\widehat{L} = \frac{\overline{X}^2}{S^2}

这个估计公式含义：阶数的估计等于样本均值平方除以样本方差。由于伽马分布的方差与 1/L 成正比，当我们观察到方差相对于均值平方很小时，就说明 L 很大，反之，如果方差相对于均值平方很大，就说明 L 很小。

雷达图像噪声的实际应用

矩估计在图像处理中有一个经典应用：雷达图像的斑点噪声分析。雷达成像系统（如合成孔径雷达SAR）产生的原始图像具有特殊的噪声特性。由于相干成像的物理原理，雷达图像的每个像素强度不是简单的高斯噪声，而是服从指数分布。这种噪声被称为斑点噪声（speckle），其概率密度函数呈指数衰减形态，如图所示。

指数分布实际上就是 L=1 的伽马分布。这意味着原始雷达图像的噪声非常强：信号变化范围很大，视觉质量很差，难以辨识目标。

为了改善图像质量，一个常用的方法是空间平均。具体做法是对每个像素，用它周围邻域内像素的平均值来代替它。比如用 3 \times 3 邻域平均，就是把每个像素替换为以它为中心的9个像素的平均值。

平均之后的图像噪声特性发生了根本变化。由于每个新像素值是9个原始像素值的平均，而每个原始像素服从指数分布（L=1 的伽马分布），根据伽马分布的可加性，9个独立指数随机变量的和服从 L=9 的伽马分布。因此平均后的图像（除以9后）仍然服从伽马分布，但阶数变成了 L=9。

从图中可以看出效果的差异。右上角显示了处理后图像的强度分布，概率密度函数呈现出 L=9 伽马分布的形状，比原始的指数分布更加集中。对应的图像视觉上也明显更平滑，目标更容易识别。这是因为方差从原来的 m^2（指数分布）降低到 m^2/9（L=9 的伽马分布），噪声的相对强度减小了9倍。

最大似然估计的基本思想

矩方法提供了一种构造估计量的系统方法，现在介绍另一个更常用的估计方法：最大似然估计。

最大似然估计的核心思想非常直观，我们已经观测到了一组数据 \chi = \{x_1, \ldots, x_N\}，这组数据已经实实在在地发生了。似然函数 L(\chi|\theta) 告诉我们：在不同的参数值 \theta 下，观测到这组数据的概率密度是多少。既然这组数据已经发生了，我们自然认为最合理的参数值应该是那个使得这组数据出现概率最大的值。这就是最大似然原理：选择能够最大化似然函数的参数值作为估计值。

最大似然估计量的形式化定义为：

\widehat{\theta}_{ml} = \arg\max_{\theta} [L(\chi|\theta)]

这个式子的含义是：在所有可能的参数值中，找到那个使得 L(\chi|\theta) 达到最大值的 \theta，这个 \theta 就是最大似然估计。

要找到似然函数的最大值，标准的方法是求导数并令其为零。如果随机变量 X_{\lambda} 的取值范围不依赖于参数 \theta（这是一个技术性条件，在大多数常见分布中都满足），那么最大似然估计 \widehat{\theta}_{ml} 就是似然方程的解：

\frac{\partial L(\chi|\theta)}{\partial \theta}\bigg|_{\widehat{\theta}_{ml}} = 0

这是一个关于 \theta 的方程，解这个方程就能得到最大似然估计。此外还需要验证二阶导数条件，确保找到的是最大值点而非最小值点：

\frac{\partial^2 L(\chi|\theta)}{\partial \theta^2}\bigg|_{\widehat{\theta}_{ml}} < 0

在实际应用中，我们通常不直接对似然函数求导，而是对对数似然函数 \ell(\chi|\theta) = \ln[L(\chi|\theta)] 求导。这样做有两个好处：第一，对数把乘积变成求和，大大简化了计算，第二，由于对数函数是单调递增的，似然函数在哪里达到最大值，对数似然函数也在同一个地方达到最大值，因此两种做法是完全等价的。

所以最大似然方程也可以写成：

\frac{\partial \ell(\chi|\theta)}{\partial \theta} = 0

这个形式在计算上更加方便，是实际使用中的标准做法。

高斯分布的最大似然估计

现在用最大似然方法来估计高斯分布的参数。高斯分布的边缘概率密度函数为：

P_X(x) = \frac{1}{\sqrt{2\pi\sigma}} \exp\left[-\frac{(x-m)^2}{2\sigma^2}\right]

参数向量是 \theta = (m, \sigma)，包含均值和标准差两个参数。对于独立同分布的样本，对数似然函数是各个观测值对数概率的和：

\ell(\chi|\theta) = -N\log[\sqrt{2\pi\sigma}] - \frac{1}{2\sigma^2}\sum_{i=1}^{N}(x_i - m)^2

对单个观测值取对数：

\ln P_X(x_i) = \ln\left(\frac{1}{\sqrt{2\pi\sigma}}\right) - \frac{(x_i-m)^2}{2\sigma^2} = -\frac{1}{2}\ln(2\pi) - \ln\sigma - \frac{(x_i-m)^2}{2\sigma^2}

对 N 个观测值求和，注意 -\ln\sigma 这一项会重复 N 次，而 -\frac{1}{2}\ln(2\pi) 这一项是常数，对优化没有影响可以忽略：

\ell(\chi|m,\sigma) = -N\ln\sigma - \frac{1}{2\sigma^2}\sum_{i=1}^{N}(x_i-m)^2

现在有两个参数需要估计，因此需要对两个参数分别求偏导数。先对均值 m 求偏导：

\frac{\partial \ell(m,\sigma)}{\partial m} = -\frac{1}{2\sigma^2} \cdot \frac{\partial}{\partial m}\sum_{i=1}^{N}(x_i-m)^2

注意 (x_i-m)^2 对 m 的导数是 -2(x_i-m)：

\frac{\partial \ell(m,\sigma)}{\partial m} = \frac{1}{\sigma^2}\sum_{i=1}^{N}(x_i-m)

令这个偏导数为零：

\sum_{i=1}^{N}(x_i-m) = 0

展开得到：

\sum_{i=1}^{N}x_i - Nm = 0

因此：

\widehat{m}_{ml} = \frac{1}{N}\sum_{i=1}^{N}x_i = \overline{X}

均值的最大似然估计就是样本均值，这与矩估计的结果完全一致。

再对方差参数 \sigma 求偏导。这里需要小心，因为 \sigma 既出现在分子位置又出现在分母位置：

\frac{\partial \ell(m,\sigma)}{\partial \sigma} = -\frac{N}{\sigma} + \frac{1}{\sigma^3}\sum_{i=1}^{N}(x_i-m)^2

令这个偏导数为零：

-\frac{N}{\sigma} + \frac{1}{\sigma^3}\sum_{i=1}^{N}(x_i-m)^2 = 0

两边乘以 \sigma^3：

-N\sigma^2 + \sum_{i=1}^{N}(x_i-m)^2 = 0

因此：

\widehat{\sigma}^2_{ml} = \frac{1}{N}\sum_{i=1}^{N}(x_i-\widehat{m}_{ml})^2 = S^2

方差的最大似然估计也是经验方差。这里需要注意，在计算方差估计时，我们应该用已经估计出的均值 \widehat{m}_{ml} 而不是真实但未知的均值 m。

结论是：对于高斯分布，最大似然估计与矩估计给出了完全相同的结果。这因为高斯分布具有特殊的性质，但这个结论并不对所有分布都成立，比如伽马分布。

伽马分布的最大似然估计

伽马分布的概率密度函数为：

P_X(x) = \frac{L^L}{\Gamma(L)m^L} x^{L-1} \exp\left(-\frac{Lx}{m}\right)

对独立同分布样本的对数似然函数进行计算。首先对单个观测值取对数，然后求和：

\ell(\chi|m,L) = NL\ln L - N\ln[\Gamma(L)] - NL\ln m + (L-1)\sum_{i=1}^{N}\ln x_i - \frac{L}{m}\sum_{i=1}^{N}x_i

这个表达式比高斯分布的对数似然复杂得多，因为伽马函数 \Gamma(L) 本身就不是简单的初等函数。

先对均值参数 m 求偏导。注意只有最后两项包含 m：

\frac{\partial \ell}{\partial m} = -\frac{NL}{m} + \frac{L}{m^2}\sum_{i=1}^{N}x_i

令偏导数为零：

-\frac{NL}{m} + \frac{L}{m^2}\sum_{i=1}^{N}x_i = 0

约去 L 并整理：

\frac{1}{m^2}\sum_{i=1}^{N}x_i = \frac{N}{m}

因此：

\widehat{m}_{ml} = \frac{1}{N}\sum_{i=1}^{N}x_i = \overline{X}

均值的最大似然估计仍然是样本均值，这与矩估计相同。这其实是合理的，因为 m 就是伽马分布的一阶矩。

但对于参数 L，情况就复杂了。对 L 求偏导：

\frac{\partial \ell}{\partial L} = N\ln L + N - N\frac{\partial \ln[\Gamma(L)]}{\partial L} - N\ln m + \sum_{i=1}^{N}\ln x_i - \frac{1}{m}\sum_{i=1}^{N}x_i

这里出现了 \frac{\partial \ln[\Gamma(L)]}{\partial L}，这个导数被称为双伽马函数（digamma function），记为 \psi(L)。令偏导数为零得到：

\ln L - \psi(L) = \ln\left[\frac{\sum_{i=1}^{N}x_i}{N}\right] - \frac{\sum_{i=1}^{N}\ln x_i}{N}

令左边写成 f(L)：

f(L) = \ln\left[\frac{\sum_{i=1}^{N}x_i}{N}\right] - \frac{\sum_{i=1}^{N}\ln x_i}{N}

即:

f(L) = \ln L - \psi(L)

其中双伽马函数的定义式为：

\psi(L) = \frac{\partial \{\ln[\Gamma(L)]\}}{\partial L}

这个方程没有解析解，必须用数值方法求解。这与矩估计形成了鲜明对比。回顾矩估计的结果：

\widehat{L}_{矩} = \frac{\overline{X}^2}{S^2}

矩估计给出了一个显式公式，可以直接计算。而最大似然估计则需要解一个超越方程，虽然在理论上可能具有更好的统计性质，但计算上更加复杂。

这个例子说明了最大似然估计和矩估计的一个重要区别：矩估计通常计算简单，有显式公式，而最大似然估计在理论上更优（在某些渐近意义下），但可能需要数值计算。对于伽马分布的参数 L，如果对精度要求不高或样本量较小，矩估计可能是更实用的选择，如果需要最佳的估计精度且有充足的计算资源，则应该使用最大似然估计。

Cramér-Rao下界：估计精度的理论极限

前面我们讨论了如何构造估计量以及如何用均方误差来评价估计量的质量。现在面临一个更深刻的问题：对于一个给定的估计问题，估计精度能好到什么程度？有没有一个理论上的极限？Cramér-Rao下界给出了任何无偏估计量方差的下限。

Cramér-Rao下界的表述需要一个条件：随机变量 X_{\lambda} 的定义域不依赖于参数 \theta。这个条件在大多数常见分布中都满足，比如高斯分布、指数分布、泊松分布等。在这个条件下，任何参数 \theta 的无偏估计量 T(\chi_{\lambda}) 的方差都满足一个不等式：

\sigma_T^2(\theta) \geq \frac{1}{I_F(\theta)}

这个不等式就是Cramér-Rao下界。不等式右边的 I_F(\theta) 称为Fisher信息，它的定义为：

I_F(\theta) = -E\left[\frac{\partial^2 \ln L(\chi|\theta)}{\partial \theta^2}\right]

Fisher信息涉及对数似然函数 \ln L(\chi|\theta) 关于参数 \theta 的二阶导数。这个二阶导数描述了对数似然函数在参数空间中的曲率。导数是在真值 \theta_0 处计算的，然后对这个二阶导数取期望，期望是关于似然函数 L(\chi|\theta) 来计算的。负号的存在是因为二阶导数通常是负的（对数似然函数在最大值点附近是向下凹的），加上负号后Fisher信息成为一个正量。

Fisher信息越大，说明对数似然函数在真值附近的曲率越大，即似然函数的峰越尖锐。直观上，如果似然函数的峰很尖锐，那么从数据中定位参数真值就相对容易，估计的不确定性就小。相反，如果似然函数的峰很平坦，那么很大范围内的参数值都能给出相近的似然值，估计的不确定性就大。因此，Fisher信息可以理解为数据中包含的关于参数的信息量：信息越多，估计的方差下界越小。

基于Cramér-Rao下界，我们可以定义两个重要概念。最小方差无偏估计量，简称MVUE，是指在所有无偏估计量中方差最小的那个。如果一个估计量的方差恰好达到了Cramér-Rao下界，我们就称它为有效估计量。有效估计量是最优的，因为它的方差已经达到了理论上可能的最小值，不可能再有其他无偏估计量能超越它。

指数分布的Cramér-Rao下界计算

考虑指数分布：

P_{\theta}(x) = \frac{1}{\theta}\exp\left[-\frac{x}{\theta}\right]

我们已经知道对数似然函数为：

\ln L(\chi|\theta) = -N\ln\theta - \frac{1}{\theta}\sum_{i=1}^{N} x_i

第一步是计算对数似然函数关于 \theta 的一阶导数：

\frac{\partial \ln L(\chi|\theta)}{\partial \theta} = -\frac{N}{\theta} + \frac{1}{\theta^2}\sum_{i=1}^{N} x_i

第二步是计算二阶导数：

\frac{\partial^2 \ln L(\chi|\theta)}{\partial \theta^2} = \frac{N}{\theta^2} - \frac{2}{\theta^3}\sum_{i=1}^{N} x_i

第三步是取期望。注意期望是在真值 \theta_0 处计算的，并且 \sum_{i=1}^{N} x_i 的期望等于 N\theta_0：

E\left[\frac{\partial^2 \ln L(\chi|\theta)}{\partial \theta^2}\right] = \frac{N}{\theta^2} - \frac{2}{\theta^3} \cdot N\theta = \frac{N}{\theta^2} - \frac{2N}{\theta^2} = -\frac{N}{\theta^2}

因此Fisher信息为：

I_F(\theta) = -E\left[\frac{\partial^2 \ln L(\chi|\theta)}{\partial \theta^2}\right] = \frac{N}{\theta^2}

第四步得到Cramér-Rao下界：

\text{CRLB} = \frac{1}{I_F(\theta)} = \frac{\theta^2}{N}

现在对比最大似然估计量的方差。我们知道指数分布的最大似然估计量是 \widehat{\theta}_{ml} = \overline{X}，它也是无偏的。样本均值的方差为：

\text{VAR}[\widehat{\theta}_{ml}] = \text{VAR}[\overline{X}] = \frac{\text{VAR}[X]}{N} = \frac{\theta^2}{N}

这里用到了指数分布的方差等于 \theta^2 的性质。比较发现，最大似然估计量的方差恰好等于Cramér-Rao下界。这意味着对于指数分布的参数估计，最大似然估计量是有效估计量，它达到了理论上可能的最佳精度。

横轴是参数 \theta，纵轴是对数似然函数 \ell(\chi|\theta)。对数似然函数在最大似然估计值 \theta_M 处达到峰值。真值 \theta_0 在峰值附近。虚线显示了在 \theta_0 附近，对数似然函数可以用二阶泰勒展开近似：

\ell(\chi|\theta) \approx \ell(\chi|\theta_M) + \frac{1}{2}\frac{\partial^2 \ell(\chi|\theta)}{\partial \theta^2}\bigg|_{\theta_M}(\theta_M - \theta_0)^2

二阶导数的绝对值越大，函数在峰值附近下降得越快，峰越尖锐。Fisher信息本质上是二阶导数绝对值的期望，因此它度量了似然函数峰的尖锐程度。

Cramér-Rao下界的直观意义

通过图示可以更直观地理解Cramér-Rao下界与估计精度的关系。考虑两种情况：一种情况下CRLB很小，另一种情况下CRLB很大。

当CRLB很小时，对应的Fisher信息很大，这意味着对数似然函数的二阶导数绝对值很大，函数的峰很尖锐。在峰值附近，似然值迅速下降，这表明只有非常接近真值的参数值才能给出高的似然。换句话说，数据对参数值的约束很强，我们可以很精确地定位参数。因此小的CRLB对应好的估计精度。

当CRLB很大时，对应的Fisher信息很小，对数似然函数的峰很平坦。在这种情形下，一个较大范围内的参数值都能给出相近的似然值，数据对参数的约束很弱。即使用最优的估计方法，估计的不确定性也不可避免地很大。因此大的CRLB对应弱的估计精度。

估计精度的极限不仅取决于我们用什么方法，更根本地取决于数据本身携带了多少关于参数的信息。如果数据的信息内容有限（Fisher信息小），那么无论用多么聪明的算法，都无法突破这个限制。Cramér-Rao下界正是这个限制的数学表达。

最大似然估计量的渐近效率

虽然不是所有的最大似然估计量都在有限样本下达到Cramér-Rao下界，但最大似然估计在渐近意义下（即当样本数 N 趋于无穷时）具有优良的性质。这些性质由一个重要定理保证。

假设样本大小为 N，似然函数为 L(\chi|\theta)，参数的真值为 \theta_0。如果对数似然函数 L(\chi|\theta) 关于参数 \theta 二阶可导，并且随机变量 X_{\lambda} 的变化范围不依赖于 \theta，那么最大似然方程存在一个解序列 T_N，当样本数 N 增大时，这个解序列具有以下三个性质。

第一，T_N 收敛到参数的真值 \theta_0。这称为一致性，意味着随着数据增多，估计值会越来越接近真实值。

第二，T_N 是渐近无偏且有效的。具体来说，它的 bias 趋于零，并且它的方差趋于Cramér-Rao下界。当 N 很大时：

E[T_N] \to \theta_0, \quad \text{VAR}[T_N] \to \frac{1}{I_F(\theta_0)}

第三，随机变量 T_N 的分布渐近地趋于高斯分布。更准确地说，归一化后的估计误差收敛到标准正态分布：

\frac{T_N - \theta_0}{1/\sqrt{I_F(\theta_0)}} \xrightarrow{law} \mathcal{N}(0,1)

这里 law 表示依分布收敛。无论原始数据服从什么分布，最大似然估计量在大样本下都近似服从高斯分布，并且方差达到理论下界。

指数族与最大似然估计的严格有效性

虽然最大似然估计在渐近意义下总是有效的，但在有限样本情况下，只有特定的分布族能保证最大似然估计严格有效。这个特殊的分布族是指数族。

一个概率分布属于指数族，如果它的概率密度函数可以写成以下形式：

P_{\theta}(x) = \exp[a(x)\alpha(\theta) + b(x) + \beta(\theta)]

这个形式的特点是参数 \theta 只通过函数 \alpha(\theta) 和 \beta(\theta) 出现，而与数据 x 相关的项 a(x) 和 b(x) 与参数分离。指数分布就是一个典型的例子。对于指数分布：

P_{\theta}(x) = \frac{1}{\theta}\exp\left[-\frac{x}{\theta}\right]

可以重写为：

P_{\theta}(x) = \exp\left[-\frac{x}{\theta} - \ln\theta\right]

这里 a(x) = -x，\alpha(\theta) = 1/\theta，b(x) = 0，\beta(\theta) = -\ln\theta，完全符合指数族的形式。

实际上很多重要的分布都属于指数族，包括高斯分布、伽马分布、泊松分布、伯努利分布等。对于这些分布，有两个重要的理论结果。

第一个结果是：如果概率密度函数属于指数族，并且最大似然估计量是无偏的，那么这个估计量的方差最小，即它是最小方差无偏估计量。

第二个结果更强：只有当概率密度函数属于指数族时，才可能存在达到Cramér-Rao下界的估计量。

这两个结果解释了为什么指数分布的最大似然估计量能够达到Cramér-Rao下界。因为指数分布属于指数族，而且它的最大似然估计量（样本均值）恰好是无偏的，因此根据理论，这个估计量必然是有效的。当数据分布属于指数族时，最大似然估计不仅在大样本下是最优的，在有限样本下也达到了理论上可能的最佳性能。

鲁棒估计的必要性

前面讨论的所有估计方法都基于一个关键假设：数据完全符合我们假定的概率模型。比如我们假设数据服从高斯分布或指数分布，然后基于这个假设构造估计量。但在实际应用中，这个假设往往不能完全满足。数据中可能混入异常值，或者真实的噪声分布可能与模型存在偏差。这时候，经典的估计方法可能会表现很差。鲁棒估计就是研究如何设计对模型偏差和异常值不敏感的估计方法。

为了理解异常值的影响，考虑一个混合分布模型。假设观测数据主要来自高斯分布 P_N(x)，但偶尔会出现一些来自柯西分布 P_C(x) 的异常值。混合分布可以写成：

P_{\alpha}(x) = (1-\alpha)P_N(x) + \alpha P_C(x)

这里 \alpha 是混合比例，它控制异常值出现的频率。当 \alpha = 0 时，所有数据都来自高斯分布，没有异常值。当 \alpha > 0 时，有一定比例的数据来自柯西分布。柯西分布的特点是有很长的尾部，即极端值出现的概率远大于高斯分布。

从图示可以看出两种情况的区别。当 \alpha = 0 时，生成的五个信号实现都表现出典型的高斯噪声特征：幅度在正负5之间比较均匀地波动，没有特别突出的尖峰。整个信号看起来相对平稳，波动范围可预测。

但当 \alpha = 0.01（仅仅1%的混合比例）时，情况就大不相同了。虽然大部分时间信号仍然表现得像高斯噪声，但偶尔会出现幅度非常大的尖峰，这些值可以达到正负100甚至更大，远远超出正常高斯噪声的范围。这些极端值就是来自柯西分布的异常值。虽然它们只占1%，但对估计的影响可能是灾难性的。

异常值对不同估计量的影响

为了定量评估异常值的影响，我们比较两个位置参数的估计量：经验均值和中位数。经验均值的定义很简单：

\widehat{m}_1 = \frac{1}{N}\sum_{i=1}^{N} x_i

就是所有观测值的算术平均。中位数的定义稍微复杂一些，需要先将数据排序。如果样本数 N 是奇数，中位数就是排在中间位置的那个值，如果 N 是偶数，通常取中间两个值的平均：

\widehat{m}_2 = \begin{cases} x_{(N+1)/2} & \text{if } N \text{ is odd} \\ x_{N/2} & \text{if } N \text{ is even} \end{cases}

这里 x_{(k)} 表示排序后第 k 小的观测值。

图中展示了这两个估计量的方差如何随混合比例 \alpha 变化。横轴是 \alpha（用对数刻度），纵轴是方差（也用对数刻度）。可以看到两条曲线有完全不同的行为。

经验均值的方差（实线）随着 \alpha 的增加急剧上升。当 \alpha 接近0时，方差大约在 10^{-2} 的量级，这对应于纯高斯噪声的情况。但当 \alpha 增加到0.01时，方差已经显著增大。当 \alpha 继续增大接近1时，方差可以达到 10^{1} 甚至更大，相比无异常值的情况增大了上千倍。这种剧烈的性能退化说明经验均值对异常值极其敏感。即使只有很小比例的异常值，也足以使经验均值变得完全不可靠。

经验均值这么敏感原因在于它给每个观测值相同的权重 1/N。当出现一个极端的异常值（比如幅度为100）时，这个值会直接拉动均值向它的方向移动。由于柯西分布的方差是无穷大的，包含柯西成分的混合分布也有非常大的方差，这导致经验均值的方差随 \alpha 迅速增大。

相比之下，中位数的方差（虚线）保持相对稳定。无论 \alpha 如何变化，中位数的方差基本维持在原来的水平，最多只有轻微的增长。即使当 \alpha 接近1时，中位数的方差仍然远小于经验均值的方差。同样面对异常值，两个估计量的表现如此不同。

中位数它只依赖于数据的秩序而不是具体数值，因此鲁棒性更好。中位数的定义是使得一半数据点比它小，一半数据点比它大。即使某些异常值的幅度非常大，只要它们的数量不超过一半，就不会改变中位数的位置。换句话说，中位数由排序后中间位置的数据决定，而不是所有数据的加权平均。一个异常值无论多么极端，最多只能影响它在排序中的位置，而不能像在均值计算中那样以其数值大小直接影响结果。

鲁棒估计的核心思想：好的鲁棒估计量应该对大部分正常数据敏感，而对少数异常值不敏感。中位数就是这样一个鲁棒估计量。当然，鲁棒性是有代价的。当数据完全符合模型（比如纯高斯噪声，\alpha = 0）时，经验均值是最优的无偏估计量，其方差达到Cramér-Rao下界。而中位数在纯高斯情况下的方差约为均值方差的1.57倍，效率较低。但这个效率损失是值得的，因为它换来了对异常值的鲁棒性。

估计问题的系统化求解步骤

在具体应用估计理论之前，需要明确解决一个估计问题的完整流程。这个流程可以分为四个主要步骤，每个步骤都有其特定的关注点和需要做出的决策。

第一步是为观测信号建立一个合适的模型。这个模型需要包含两个关键要素：待估计的参数和噪声的统计性质。模型的选择不能是任意的，而必须基于对信号采集过程的物理理解。不同的测量系统、不同的物理过程会产生不同类型的噪声。比如光学测量中常见泊松噪声，电子器件中常见高斯噪声，雷达成像中常见指数噪声。理解信号的物理来源是正确建模的前提。

让我们通过一个具体例子来说明。假设我们测量一个指数弛豫过程。无噪声的理想信号具有指数衰减的形式：

s_i = s_0 \exp(-\alpha i), \quad i \in [0, N-1]

这里 i 是时间索引，s_0 是初始幅度，\alpha 是衰减率。我们想要估计的参数可能是 \alpha（告诉我们系统衰减有多快），或者是 s_0（告诉我们初始状态），或者两者都要估计。

但实际测量的信号不可能完美，总会有噪声。如果我们使用的测量仪器引入的是加性高斯噪声，那么观测模型应该写成：

s_i = s_0 \exp(-\alpha i) + b_i

这里 b_i 是噪声项。在加性高斯噪声模型下，每个观测值 s_i 是一个高斯随机变量，其均值为真实信号值 s_0 \exp(-\alpha i)，方差为 \sigma^2（通常假设噪声方差对所有时刻都相同）。

图示展示了同一个指数衰减信号在不同噪声模型下的表现。左上角是无噪声的理想信号，呈现完美的指数衰减曲线，从初始值平滑地下降到接近零。右上角是加入高斯噪声后的信号，可以看到虽然总体趋势仍然是指数衰减，但叠加了看起来随机的上下波动，这些波动的幅度相对均匀，没有特别突出的尖峰。

左下角是加入指数噪声的情况。指数噪声的特点是只能取正值，并且倾向于产生较大的正向脉冲。可以看到信号在某些位置有明显的向上突起，但整体仍然保持指数衰减的趋势。

右下角是泊松噪声的情况。泊松分布常见于光子计数等应用，其特点是方差等于均值。因此在信号幅度大的地方（曲线左侧），噪声的波动也大，在信号幅度小的地方（曲线右侧），噪声的波动也小。这导致一个特殊现象：信号的相对波动（波动与信号值之比）随着信号衰减而增大。在曲线右侧部分，可以看到相对波动明显增大，这是泊松噪声的典型特征。

这四个图清楚地说明了为什么正确的噪声建模如此重要。如果我们错误地假设噪声是高斯的，而实际是泊松的，我们可能会用加权不当的方法进行估计，导致次优的结果。同样，如果数据包含异常值（对应于厚尾分布），但我们仍然使用假设高斯噪声的方法，就会遇到前面讨论的鲁棒性问题。

建立好模型后，后续的三个步骤分别是：选择合适的估计方法（如矩方法、最大似然估计等），计算估计量的统计性质（如方差、 bias 等），以及在必要时考虑鲁棒性问题。

指数弛豫估计问题的完整求解

这个例子是估计指数弛豫信号的衰减参数，它将展示前面讨论的所有理论如何在实际问题中应用。

第一步：建立观测模型

假设真实信号是指数衰减的形式，我们采用加性高斯噪声模型。观测方程为：

s_i = s_0 \exp(-\alpha i) + b_i

这里 i 是时间索引，取值从0到 N-1。s_0 是初始幅度，\alpha 是衰减率（我们要估计的参数），b_i 是噪声。在加性高斯噪声假设下，每个观测值 s_i 是一个高斯随机变量，其均值为无噪声信号值 s_0\exp(-\alpha i)，方差为 \sigma^2。

这个模型意味着观测值 s_i 的概率密度函数为：

P(s_i) = \frac{1}{\sqrt{2\pi\sigma}} \exp\left[-\frac{(s_i - s_0\exp(-\alpha i))^2}{2\sigma^2}\right]

这是一个均值为 s_0\exp(-\alpha i)、标准差为 \sigma 的高斯分布。由于各个时刻的观测值独立，对数似然函数是各个时刻对数概率的和。忽略与参数无关的常数项后，对数似然函数为：

\ell(\alpha) = -\frac{1}{2\sigma^2}\sum_{i=0}^{N-1}[s_i - s_0\exp(-\alpha i)]^2

对数似然函数与观测值和模型预测值之间的平方误差成反比，误差越小，似然越大。

为了找到最大似然估计，需要对 \alpha 求导并令其为零。计算一阶导数：

(s_i - s_0\exp(-\alpha i))^2 对 \alpha 的导数:

2(s_i - s_0\exp(-\alpha i)) \cdot (-s_0)(-i)\exp(-\alpha i)

化简后得到

\frac{d\ell}{d\alpha} = \frac{s_0}{\sigma^2}\sum_{i=0}^{N-1} i\exp(-\alpha i)[s_0\exp(-\alpha i) - s_i]

继续计算二阶导数：

\frac{d^2\ell}{d\alpha^2} = \frac{s_0}{\sigma^2}\sum_{i=0}^{N-1} i^2\exp(-\alpha i)[s_i - 2s_0\exp(-\alpha i)]

第二步：计算Cramér-Rao下界

Fisher信息需要计算二阶导数的期望。注意期望是对观测值 s_i 取的，而 s_i 的期望恰好是 s_0\exp(-\alpha i)。因此：

E\left\langle\frac{d^2\ell}{d\alpha^2}\right\rangle = \frac{s_0}{\sigma^2}\sum_{i=0}^{N-1} i^2\exp(-\alpha i)[s_0\exp(-\alpha i) - 2s_0\exp(-\alpha i)]

化简这个表达式。括号中的项变成 s_0\exp(-\alpha i) - 2s_0\exp(-\alpha i) = -s_0\exp(-\alpha i)，因此：

E\left\langle\frac{d^2\ell}{d\alpha^2}\right\rangle = -\frac{s_0^2}{\sigma^2}\sum_{i=0}^{N-1} i^2\exp(-2\alpha i)

Fisher信息是二阶导数期望的负值：

I_F(\theta) = -E\left\langle\frac{d^2\ell}{d\alpha^2}\right\rangle = \frac{s_0^2}{\sigma^2}\sum_{i=0}^{N-1} i^2\exp(-2\alpha i)

Cramér-Rao下界就是Fisher信息的倒数：

\text{CRLB} = \frac{1}{I_F(\theta)} = \left(\frac{\sigma}{s_0}\right)^2 \frac{1}{\sum_{i=0}^{N-1} i^2\exp(-2\alpha i)}

首先，注意到括号中的项 \sigma/s_0 是噪声标准差与信号初始幅度的比值，它的倒数就是信噪比（SNR）。因此CRLB与 1/\text{SNR}^2 成正比，这意味着信噪比越高，理论上能达到的估计精度越好。

其次，分母中的求和项 \sum_{i=0}^{N-1} i^2\exp(-2\alpha i) 体现了信号的能量分布。如果衰减很快（\alpha 很大），信号很快就衰减到接近零，后面大部分观测值主要是噪声，对估计的贡献有限。如果衰减很慢（\alpha 很小），整个观测窗口内都有较强的信号，对估计更有利。这个依赖关系完全反映在CRLB的表达式中。

第三步：确定估计量

对于这个问题，自然的选择是最大似然估计。从第一步已经知道对数似然函数的表达式。最大似然方程要求一阶导数为零：

\frac{d\ell}{d\alpha} = \frac{s_0}{\sigma^2}\sum_{i=0}^{N-1} i\exp(-\alpha i)[s_0\exp(-\alpha i) - s_i] = 0

这个方程可以改写为：

\sum_{i=0}^{N-1} i\exp(-\alpha i)[s_0\exp(-\alpha i) - s_i] = 0

展开后：

\sum_{i=0}^{N-1} i\exp(-\alpha i) \cdot s_0\exp(-\alpha i) = \sum_{i=0}^{N-1} i\exp(-\alpha i) \cdot s_i

即：

s_0\sum_{i=0}^{N-1} i\exp(-2\alpha i) = \sum_{i=0}^{N-1} i\exp(-\alpha i) \cdot s_i

这个方程的特点是未知参数 \alpha 同时出现在指数函数的幅角中，这使得它是一个超越方程，无法用初等函数的形式给出解析解。因此，这个最大似然估计问题没有闭式解，必须采用数值方法求解。

具体的数值求解可以使用牛顿法、二分法或其他非线性方程求解算法。初值可以通过矩方法或其他简单方法获得。虽然需要数值计算，但这并不影响最大似然估计的理论性质：在满足正则条件下，它仍然是渐近有效的。

虽然对数似然函数的形式看起来像平方误差的和，但最大似然估计并不等同于简单的最小二乘估计。原因在于误差项中的 \exp(-\alpha i) 本身依赖于待估计的参数 \alpha，这使得问题变成了非线性最小二乘问题。只有当参数以线性方式出现在均值中时（如线性回归问题），最大似然估计才会简化为普通的线性最小二乘估计。

这个完整的例子展示了估计理论的实际应用流程：从物理模型出发建立数学模型，推导似然函数，计算理论性能界限，然后设计和分析估计算法。尽管最终的估计方程可能需要数值求解

估计问题求解的第四步：性能评估

完成了前三步（建模、计算CRLB、确定估计量）后，第四步是研究估计量的实际性能。这包括计算估计量的 bias 和方差。虽然理论上可以通过解析计算来得到这些统计特性，但在很多实际问题中，解析计算非常困难甚至不可能。这时候蒙特卡洛模拟就成为了一个强有力的工具。

蒙特卡洛方法的思路是通过大量随机实验来近似统计量的期望值。具体做法是：用已知的参数真值生成大量的模拟数据集，对每个数据集应用估计算法得到一个估计值，然后对这些估计值计算样本均值（估计期望）和样本方差（估计方差）。当模拟次数足够多时，根据大数定律，样本统计量会收敛到真实的统计特性。

这种方法的优势在于它的通用性。无论估计问题有多复杂，无论估计算法是什么形式，只要能够生成数据和运行算法，就可以用蒙特卡洛方法来评估性能。

向量参数的Cramér-Rao下界

到目前为止，我们讨论的都是单个参数的估计问题。但在很多实际应用中，需要同时估计多个参数。比如在前面的指数弛豫例子中，可能既要估计衰减率 \alpha，又要估计初始幅度 s_0。这就需要把CRLB的理论推广到向量参数的情况。

考虑一个统计估计问题，样本为 \chi = \{x_i, i \in [1,N]\}，各个元素统计独立且服从相同的概率密度函数 P_{\theta}(x)。现在参数不再是标量，而是一个向量 \theta = \{\theta_1, ..., \theta_K\}，包含 K 个待估计的分量。似然函数 L(\chi|\theta) 是参数向量 \theta 的函数。

假设我们有一个估计量 \widehat{\theta}，它是样本的函数，输出是对参数向量的估计。如果这个估计量是无偏的，意味着它的期望等于真值：

E\langle\widehat{\theta}\rangle = \theta_0

这里 \theta_0 是参数的真实值。对于向量估计量，我们需要用协方差矩阵来刻画它的精度。协方差矩阵定义为：

\Gamma_{\widehat{\theta}} = E\left\langle(\widehat{\theta} - \theta_0)(\widehat{\theta} - \theta_0)^T\right\rangle

这是一个 K \times K 的矩阵。它的对角元素 [\Gamma_{\widehat{\theta}}]_{ii} 是第 i 个参数估计量的方差，非对角元素 [\Gamma_{\widehat{\theta}}]_{ij} 是第 i 个和第 j 个参数估计量之间的协方差。协方差矩阵完整地描述了估计量各个分量的不确定性以及它们之间的相关性。

Fisher信息矩阵

类似于标量情况，我们需要定义Fisher信息，但现在它不再是一个数，而是一个矩阵。Fisher信息矩阵的第 (i,j) 个元素定义为：

I_{ij}(\theta) = -E\left[\frac{\partial^2 \ln L(\chi|\theta)}{\partial \theta_i \partial \theta_j}\right]

这里导数是对数似然函数关于第 i 个参数和第 j 个参数的混合偏导数，在参数真值处计算，然后取期望。当 i = j 时，这就是关于第 i 个参数的二阶导数，对应于我们之前在标量情况下见到的Fisher信息。当 i \neq j 时，混合偏导数度量了似然函数在参数空间中的曲率如何依赖于不同参数之间的相互作用。

Fisher信息矩阵是对称的，因为混合偏导数的顺序可以交换。更重要的是，在一定的正则条件下，Fisher信息矩阵是正定的，这意味着它可逆。它的逆矩阵记为：

\mathbf{J}(\theta) = \mathbf{I}^{-1}(\theta)

这个矩阵 \mathbf{J}(\theta) 在向量参数情况下扮演着类似于标量情况下 1/I_F(\theta) 的角色，它给出了CRLB。

向量参数的CRLB定理

向量参数的Cramér-Rao下界以矩阵不等式的形式表述。如果随机变量 X_{\lambda} 的定义域不依赖于参数 \theta，那么对于任何无偏估计量 \widehat{\theta}，其协方差矩阵满足：

\forall \mathbf{v} \in \mathbb{R}^K, \, \mathbf{v}^T \Gamma_{\widehat{\theta}} \mathbf{v} \geq \mathbf{v}^T \mathbf{J}(\theta) \mathbf{v}

这个不等式对所有 K 维向量 \mathbf{v} 都成立。这种形式的不等式等价于说矩阵差 \Gamma_{\widehat{\theta}} - \mathbf{J}(\theta) 是正半定的，用符号表示为：

\Gamma_{\widehat{\theta}} - \mathbf{J}(\theta) \succeq 0

正半定的含义是：对于任何非零向量 \mathbf{v}，都有 \mathbf{v}^T(\Gamma_{\widehat{\theta}} - \mathbf{J}(\theta))\mathbf{v} \geq 0。这个条件提供了一种比较两个协方差矩阵大小的方式：如果 \mathbf{A} - \mathbf{B} 正半定，我们就说矩阵 \mathbf{A} 大于等于矩阵 \mathbf{B}（在正半定序的意义下）。

考虑参数的任意线性组合 \mathbf{v}^T\theta = v_1\theta_1 + v_2\theta_2 + \cdots + v_K\theta_K。这个线性组合的估计量是 \mathbf{v}^T\widehat{\theta}，它的方差是 \mathbf{v}^T\Gamma_{\widehat{\theta}}\mathbf{v}。CRLB 告诉我们，这个方差不会小于 \mathbf{v}^T\mathbf{J}(\theta)\mathbf{v}。换句话说，无论我们关心参数的哪个线性组合，该组合的估计精度都受到一个下界的限制。

从向量CRLB提取各个参数的下界

虽然矩阵不等式给出了一个整体的下界，但我们通常更关心每个单独参数的估计精度。如何从矩阵形式的CRLB提取出各个参数的方差下界？

关键是选择特殊的向量 \mathbf{v}。考虑一个单位向量，它的第 i 个分量为1，其他分量都为0：

\mathbf{v} = \begin{bmatrix} 0 \\ \vdots \\ 1 \\ \vdots \\ 0 \end{bmatrix} \leftarrow i

这个向量对应于只关注第 i 个参数，而忽略其他参数。将这个向量代入CRLB不等式：

\mathbf{v}^T\Gamma_{\widehat{\theta}}\mathbf{v} = [\Gamma_{\widehat{\theta}}]_{ii} = \text{VAR}[\widehat{\theta}_i]

左边就是协方差矩阵的第 i 个对角元素，也就是第 i 个参数估计量的方差。同样地：

\mathbf{v}^T\mathbf{J}(\theta)\mathbf{v} = [\mathbf{J}(\theta)]_{ii}

因此CRLB不等式变成：

\text{VAR}[\widehat{\theta}_i] \geq [\mathbf{J}(\theta)]_{ii}

矩阵 \mathbf{J}(\theta) 的对角线元素给出了各个参数估计量方差的下界。第 i 个参数的任何无偏估计量的方差不可能小于 [\mathbf{J}(\theta)]_{ii}。同时 \mathbf{J}(\theta) = \mathbf{I}^{-1}(\theta)，所以这个下界是Fisher信息矩阵逆矩阵的对角元素。

在多参数估计问题中，我们可以先计算Fisher信息矩阵（通过计算对数似然的所有二阶偏导数），然后求逆，其对角线就给出了各个参数的CRLB。

需要注意的是，标量情况下的CRLB（\sigma^2 \geq 1/I_F）是向量情况的特例。当 K=1 时，Fisher信息矩阵退化为一个数，其逆就是 1/I_F，矩阵不等式退化为标量不等式，完全恢复了之前的结果。向量形式的CRLB不仅包含了每个参数的方差下界，还通过整个协方差矩阵的约束，隐含地给出了参数之间相关性的信息。

线性拟合问题：一个经典的多参数估计例子

通过线性拟合例子，我们可以完整地演示如何应用前面学习的估计理论来解决一个具有两个参数的实际问题。

问题的设定如图所示。我们有一系列观测数据点，横坐标是索引 i（可以理解为时间或位置），纵坐标是观测值 y。这些红色的点看起来大致沿着一条直线分布，但又不完全在直线上，而是在直线周围有一些随机波动。我们的任务是找到一条最佳的直线来拟合这些数据点。

第一步：建立观测模型

根据数据的特征，我们假设真实的信号服从线性关系，但观测值受到噪声的影响。模型写为：

\forall i \in [0, N-1], \quad y_i = ai + b + n_i

这个模型包含几个要素。首先是线性信号部分 ai + b，它描述了理想的直线关系。这里 a 是直线的斜率，表示 y 随 i 变化的速率，b 是截距，表示当 i=0 时 y 的值。这两个参数 a 和 b 就是我们要估计的未知量。其次是噪声项 n_i，它导致实际观测值偏离理想直线。根据物理测量过程的特性，我们假设噪声是高斯的，零均值，方差为 \sigma^2。

这个模型意味着每个观测值 y_i 是一个高斯随机变量，其均值为 ai + b，方差为 \sigma^2。由于各个时刻的噪声独立，不同的观测值之间也是统计独立的。

第二步：推导对数似然函数

根据高斯分布的概率密度函数，每个观测值 y_i 的概率密度为：

P(y_i) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left[-\frac{(y_i - ai - b)^2}{2\sigma^2}\right]

由于各个观测值独立，联合概率密度是各个边缘密度的乘积。取对数后，乘积变成求和，并且可以忽略与待估计参数无关的常数项。对数似然函数为：

\ln L(\chi|\theta) = -\frac{1}{2\sigma^2}\sum_{i=0}^{N-1}(y_i - ai - b)^2

这里参数向量是 \theta = (a, b)。这个表达式有一个重要的物理意义：对数似然函数与观测值和模型预测值之间的平方误差成反比。误差越小，似然越大。因此，最大化似然函数等价于最小化平方误差的和。这就是为什么线性拟合的最大似然估计与最小二乘法是一致的——它们本质上是同一个问题的不同表述。

第二步：计算Fisher信息矩阵

为了计算Cramér-Rao下界，需要先得到Fisher信息矩阵。这需要计算对数似然函数关于两个参数的所有二阶偏导数。

先计算关于参数 a 的偏导数。对数似然中与 a 相关的项是 (y_i - ai - b)^2，对 a 求导：

\frac{\partial \ell}{\partial a} = \frac{1}{\sigma^2}\sum_i i(y - ai - b)

这里求导时利用了链式法则：(y_i - ai - b)^2 对 a 的导数是 2(y_i - ai - b) \cdot (-i)，前面的系数 -1/(2\sigma^2) 与 2 相约，负号相消，得到上面的表达式。

类似地，对参数 b 求偏导：

\frac{\partial \ell}{\partial b} = \frac{1}{\sigma^2}\sum_i (y - ai - b)

混合偏导数为：

\frac{\partial \ell}{\partial a \partial b} = -\frac{1}{\sigma^2}\sum_i i

现在计算二阶导数。对 a 的二阶导数：

\frac{\partial^2 \ell}{\partial a^2} = -\frac{1}{\sigma^2}\sum_i i^2

对 b 的二阶导数：

\frac{\partial^2 \ell}{\partial b^2} = -\frac{1}{\sigma^2}N

Fisher信息矩阵的元素是这些二阶导数期望的负值。但注意到这些二阶导数都不含观测值 y_i（它们在求导过程中被消掉了），因此它们本身就是确定的值，期望就等于它们自己。Fisher信息矩阵为：

\mathbf{I}(\theta) = \frac{1}{\sigma^2}\begin{bmatrix} \sum_{i=0}^{N-1} i^2 & \sum_{i=0}^{N-1} i \\ \sum_{i=0}^{N-1} i & N \end{bmatrix}

为了得到CRLB，需要计算这个矩阵的逆。在计算逆矩阵之前，可以先利用等差数列的求和公式简化矩阵元素。对于从0到 N-1 的求和：

\sum_{i=0}^{N-1} i = \frac{N(N-1)}{2}

\sum_{i=0}^{N-1} i^2 = \frac{N(N-1)(2N-1)}{6}

代入后，Fisher信息矩阵变为：

\mathbf{I}(\theta) = \frac{1}{\sigma^2}\begin{bmatrix} \frac{N(N-1)(2N-1)}{6} & \frac{N(N-1)}{2} \\ \frac{N(N-1)}{2} & N \end{bmatrix}

对于 2 \times 2 矩阵的逆，有标准公式。设矩阵为：

\mathbf{A} = \begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{bmatrix}

其逆为：

\mathbf{A}^{-1} = \frac{1}{a_{11}a_{22} - a_{12}a_{21}}\begin{bmatrix} a_{22} & -a_{12} \\ -a_{21} & a_{11} \end{bmatrix}

应用这个公式到我们的Fisher信息矩阵。首先计算行列式（除去公因子 1/\sigma^2 后）：

\det = \frac{N(N-1)(2N-1)}{6} \cdot N - \left(\frac{N(N-1)}{2}\right)^2

化简这个表达式需要一些代数运算。第一项是：

\frac{N^2(N-1)(2N-1)}{6}

第二项是：

\frac{N^2(N-1)^2}{4}

通分后相减，经过化简（这里省略繁琐的代数步骤），最终得到：

\det = \frac{N^2(N-1)}{12}(2N-1-\frac{3(N-1)}{2}) = \frac{N^2(N^2-1)}{12}

因此，Fisher信息矩阵的逆（即CRLB矩阵）为：

\mathbf{J}(\theta) = \mathbf{I}^{-1}(\theta) = \frac{\sigma^2}{\frac{N^2(N^2-1)}{12}}\begin{bmatrix} N & -\frac{N(N-1)}{2} \\ -\frac{N(N-1)}{2} & \frac{N(N-1)(2N-1)}{6} \end{bmatrix}

整理后得到最终形式：

J(\theta) = \sigma^2 \begin{bmatrix} \dfrac{12}{N(N^2 - 1)} & -\dfrac{6}{N(N+1)} \\[8pt] -\dfrac{6}{N(N+1)} & \dfrac{2(2N-1)}{N(N+1)} \end{bmatrix}

从这个矩阵的对角线可以读出两个参数的CRLB。参数 a（斜率）的方差下界是矩阵第一个对角元素除以行列式再乘以 \sigma^2。参数 b（截距）的方差下界是第二个对角元素的对应项。

线性拟合CRLB的深入分析

从Fisher信息矩阵可以提取出两个参数的Cramér-Rao下界。对于斜率参数 a，其方差下界为：

\text{VAR}[\widehat{a}] \geq \frac{12\sigma^2}{N(N^2-1)}

对于截距参数 b，其方差下界为：

\text{VAR}[\widehat{b}] \geq \frac{2(2N-1)\sigma^2}{N(N+1)}

首先，它们对噪声方差 \sigma^2 都线性依赖于 \sigma^2，噪声越大，估计的不确定性越大。

其次，我们分析它们对样本数 N 的依赖关系。当 N 很大时，可以对这两个表达式做渐近分析。对于斜率 a 的CRLB，分母中的主导项是 N^3，因此：

\text{VAR}[\widehat{a}]_b\text{ known} \approx \frac{12\sigma^2}{N^3}

这说明斜率估计的精度随样本数的三次方提高。对于截距 b 的CRLB，当 N 很大时分母约为 4N^2，因此：

\text{VAR}[\widehat{b}] \approx \frac{4\sigma^2}{N}

截距估计的精度只随样本数线性提高。因为斜率涉及数据点之间的相对关系，而截距只涉及数据的整体水平。

注意，当我们同时估计两个参数时，它们之间存在相关性，这种相关性通过Fisher信息矩阵的非对角元素体现出来。

已知参数情况下的CRLB

现在考虑一个重要的问题：如果我们已经知道截距 b 的值，只需要估计斜率 a，情况会如何改变？

当 b 已知时，问题变成单参数估计。此时Fisher信息不再是矩阵，而退化为标量。只需要计算对数似然函数关于 a 的二阶导数的期望。在 b 已知的情况下，对数似然函数仍然是：

\ln L(\chi|\theta) = -\frac{1}{2\sigma^2}\sum_{i=0}^{N-1}(y_i - ai - b)^2

但现在只有 a 是变量。Fisher信息为：

I_F(a) = \frac{1}{\sigma^2}\sum_{i=0}^{N-1} i^2

这恰好是之前Fisher信息矩阵的 (1,1) 元素。因此当 b 已知时，a 的CRLB为：

\text{VAR}[\widehat{a}]_{b\text{ known}} \geq \frac{6\sigma^2}{N(N-1)(2N-1)}

在 N 很大的极限下：

\text{VAR}[\widehat{a}]_{b\text{ known}} \approx \frac{3\sigma^2}{N^3}

而当 b 未知需要同时估计时：

\text{VAR}[\widehat{a}] \approx \frac{12\sigma^2}{N^3}

比较这两个结果，发现当 b 已知时，a 的CRLB减小为原来的1/4。因此可以看出，估计的参数越多，每个参数的估计精度越低。这是因为有限的数据信息需要分配给更多的未知量。也就是当我们增加估计问题的维度时，每个参数的方差下界（协方差矩阵的对角元素）通常会增大

类似地，如果 a 已知而只需估计 b，可以得到：

\text{VAR}[\widehat{b}]_{a\text{ known}} \geq \frac{\sigma^2}{N}

大 N 极限下保持 1/N 的依赖关系，但系数从4降到了1。

这个分析引出了干扰参数的概念。

干扰参数

在很多实际问题中，我们真正关心的只是某个特定参数，但为了对这个参数进行估计，不得不同时估计其他一些参数，尽管我们对这些其他参数的值并不感兴趣。这些必须估计但本身不是研究对象的参数称为干扰参数。

在线性拟合的例子中，假设我们的研究目标是确定信号随时间的变化速率，即斜率 a。但观测数据同时包含了一个未知的偏置 b。为了准确估计 a，我们必须同时处理 b，即使 b 的具体值对我们的研究没有意义。这时 b 就是一个干扰参数。

干扰参数的存在会降低感兴趣参数的估计精度。这在CRLB的比较中已经清楚地看到：当把 b 作为干扰参数一起估计时，a 的CRLB是 12\sigma^2/N^3 ，而如果 b 已知不需要估计，a 的CRLB降到 3\sigma^2/N^3。干扰参数的估计消耗了数据中的信息，使得对感兴趣参数的估计变得不那么精确。

需要强调的是，把某个参数视为干扰参数并不意味着可以忽略它。恰恰相反，必须正确地估计干扰参数，才能保证感兴趣参数估计的无偏性。处理干扰参数有多种策略，将它与感兴趣的参数一起估计只是其中一种方法。其他方法包括通过实验设计来消除干扰参数的影响，或者利用先验信息来约束干扰参数等。

线性拟合的最大似然估计

第三步：确定估计量。对于线性拟合问题，我们使用最大似然方法。最大似然估计要求对数似然函数的梯度为零。由于有两个参数，需要两个方程：

\frac{\partial \ell}{\partial a} = 0, \quad \frac{\partial \ell}{\partial b} = 0

从前面已经知道这两个偏导数的表达式。令它们等于零得到：

\begin{cases} a\sum_{i=0}^{N-1} i^2 + b\sum_{i=0}^{N-1} i - \sum_{i=0}^{N-1} iy_i = 0 \\ a\sum_{i=0}^{N-1} i + bN - \sum_{i=0}^{N-1} y_i = 0 \end{cases}

这是一个关于 a 和 b 的线性方程组。可以直接求解。从第二个方程可以表达出：

b = \frac{1}{N}\sum_{i=0}^{N-1} y_i - a \cdot \frac{1}{N}\sum_{i=0}^{N-1} i

代入第一个方程并整理，最终得到最大似然估计量的显式表达式：

\widehat{a}_{ML} = \frac{\sum iy_i - \frac{1}{N}\sum i\sum y_i}{\sum i^2 - \frac{1}{N}(\sum i)^2}

\widehat{b}_{ML} = \frac{1}{N}\frac{\sum i^2\sum y_i - \sum i\sum iy_i}{\sum i^2 - \frac{1}{N}(\sum i)^2}

这里所有的求和都是从 i=0 到 N-1。这两个公式给出了如何从观测数据直接计算出参数估计值。它们的形式虽然看起来复杂，但实际上就是加权平均的组合。

最大似然估计量的无偏性

现在分析这两个估计量的统计性质。首先检查它们是否无偏。由于 y_i = ai + b + n_i，其中 n_i 是零均值噪声，因此 E[y_i] = ai + b。

对于斜率估计量，计算它的期望。将 y_i 的表达式代入：

\begin{aligned} E[\widehat{a}_{ML}] &= \frac{\sum iE[y_i] - \frac{1}{N}\sum i\sum E[y_i]}{\sum i^2 - \frac{1}{N}(\sum i)^2} \\[6pt] &= \frac{\sum i(ai+b) - \frac{1}{N}\sum i\sum(ai+b)}{\sum i^2 - \frac{1}{N}(\sum i)^2} \\[6pt] &= \frac{a\sum i^2 + b\sum i - \frac{a}{N}(\sum i)^2 - \frac{b}{N}\sum i \cdot N}{\sum i^2 - \frac{1}{N}(\sum i)^2} \\[6pt] &= \frac{a\sum i^2 + b\sum i - \frac{a}{N}(\sum i)^2 - b\sum i}{\sum i^2 - \frac{1}{N}(\sum i)^2} \\[6pt] &= \frac{a\left[\sum i^2 - \frac{1}{N}(\sum i)^2\right]}{\sum i^2 - \frac{1}{N}(\sum i)^2} \\[6pt] &= a \end{aligned}

因此 E[\widehat{a}_{ML}] = a，斜率估计量是无偏的。

类似的计算可以证明截距估计量也是无偏的：E[\widehat{b}_{ML}] = b。这两个结果很重要，因为无偏性是应用CRLB的前提条件。

最大似然估计量的方差

接下来计算估计量的方差。对于斜率估计量：

\text{VAR}[\widehat{a}_{ML}] = \text{VAR}\left[\frac{\sum iy_i - \frac{1}{N}\sum i\sum y_i}{\sum i^2 - \frac{1}{N}(\sum i)^2}\right]

分母是确定的常数，可以提到方差算子外面。分子可以写成：

\sum iy_i - \frac{1}{N}\sum i\sum y_i = \sum\left(i - \frac{1}{N}\sum i\right)y_i

设 \bar{i} = \frac{1}{N}\sum i，则分子等于 \sum(i-\bar{i})y_i。由于 y_i = ai + b + n_i，而 ai + b 的项在求方差时会消失（因为它们是确定的），只有噪声项 n_i 贡献方差。因此：

\text{VAR}[\widehat{a}_{ML}] = \frac{\text{VAR}\left[\sum(i-\bar{i})n_i\right]}{\left[\sum i^2 - \frac{1}{N}(\sum i)^2\right]^2}

由于噪声项 n_i 彼此独立且都有方差 \sigma^2：

\text{VAR}\left[\sum(i-\bar{i})n_i\right] = \sum(i-\bar{i})^2\text{VAR}[n_i] = \sigma^2\sum(i-\bar{i})^2

注意到 \sum(i-\bar{i})^2 = \sum i^2 - \frac{1}{N}(\sum i)^2（方差的定义），因此：

\text{VAR}[\widehat{a}_{ML}] = \frac{\sigma^2\left[\sum i^2 - \frac{1}{N}(\sum i)^2\right]}{\left[\sum i^2 - \frac{1}{N}(\sum i)^2\right]^2} = \frac{\sigma^2}{\sum i^2 - \frac{1}{N}(\sum i)^2}

代入等差数列求和公式后，得到：

\text{VAR}[\widehat{a}_{ML}] = \frac{12\sigma^2}{N(N^2-1)}

这恰好等于之前计算的CRLB！这说明斜率的最大似然估计量达到了Cramér-Rao下界，它是有效估计量。

类似地可以证明：

\text{VAR}[\widehat{b}_{ML}] = \frac{2(2N-1)\sigma^2}{N(N+1)}

这也恰好等于CRLB。

因此，线性拟合的两个最大似然估计量都是有效的。这是这些估计量是无偏的，并且高斯噪声属于指数族。根据前面学习的理论，当概率分布属于指数族时，无偏的最大似然估计量必然达到CRLB，即它们是有效估计量。高斯分布作为指数族的一员，使得基于高斯噪声假设的许多估计问题都能得到最优解。

估计问题中噪音模型的选择

整体框架

第一步：选择合适的模型

第一步是为观测信号选择一个恰当的模型。这个模型需要包含两个核心要素：我们想要估计的参数，以及噪声的统计特性。

第二步：刻画潜在性能

第二步是通过计算克拉美-罗下界（CRLB）来刻画估计器的潜在性能和相关参数。CRLB给出了任何无偏估计器方差的理论下界，即估计精度的理论极限是多少。

第三步：确定估计器

第三步是确定一个或多个估计器。通常从最大似然（ML）估计器开始，因为ML估计器在大样本下具有渐近最优性。但如果ML估计器难以求解（比如没有解析解或计算复杂度太高），就需要寻找其他方法，比如矩估计等替代方案。

第四步：研究估计器性能

第四步是研究估计器的实际性能，主要关注偏差和方差这两个指标。这一步通常通过蒙特卡洛模拟来完成，因为理论分析往往很困难。通过大量模拟实验，我们可以统计估计器的偏差和方差，从而评估它在实际应用中的表现。

具体例子：指数弛豫参数估计

建模（第一步）

理想的无噪声信号形式为：

s_i = s_0 \exp(-\alpha t), \quad i \in [0, N-1]

这里 s_0 是初始幅度，\alpha 是我们想要估计的弛豫率参数，t 是时间（通常 t=i 对应离散采样），N 是采样点数。这个模型描述了信号随时间呈指数衰减的物理过程。

但实际测量中会有噪声。根据噪声的不同统计特性，我们有不同的观测模型：

加性高斯噪声模型：

s_i = s_0 \exp(-\alpha t) + b_i

这里 b_i 是高斯噪声。在这个模型下，观测值 s_i 本身是一个高斯随机变量，其均值为 s_0 \exp(-\alpha t)，方差为 \sigma^2。这意味着噪声独立地叠加在真实信号上，且噪声强度不随信号大小变化。

指数噪声模型：

另一种可能的情况是，观测值 s_i 本身服从指数分布，其均值为 s_0 \exp(-\alpha t)。

计算CRLB（第二步）

对于这两种噪声模型，CRLB的表达式完全不同。

加性高斯噪声的CRLB：

\text{CRLB} = \left(\frac{\sigma}{s_0}\right)^2 \frac{1}{\sum_{i=0}^{N-1} t^2 \exp(-2\alpha t)}

这里 (\sigma/s_0)^2 记为 1/\text{SNR}，即信噪比的倒数。

CRLB与信噪比成反比，信噪比越高，理论估计精度越好；CRLB还依赖于 \alpha 的真实值，因为分母中包含 \exp(-2\alpha t) 项；随着观测点数 N 增加，分母中的求和项增大，CRLB减小，估计精度提高。

指数噪声的CRLB：

\text{CRLB} = \frac{6}{N(N+1)(2N+1)}

指数噪声的CRLB与 \alpha 无关！这意味着无论真实的弛豫率是多少，估计精度的理论下界只由样本数 N 决定。这是指数噪声模型的一个独特性质，与高斯噪声模型形成鲜明对比。CRLB随 N^3 递减，收敛速度比高斯情况更快。

估计器构造（第三步）

确定了CRLB后，我们需要构造实际的估计器。

加性高斯噪声的ML估计器：

对数似然函数为：

\ell(\alpha) = -\frac{1}{2\sigma^2} \sum_{i=0}^{N-1} [s_i - s_0 \exp(-\alpha t)]^2

这个似然函数来源于高斯分布的概率密度函数。由于观测值 s_i 独立同分布，总的似然函数是各个观测值似然函数的乘积，取对数后变成求和。最大化这个对数似然函数等价于最小化观测值与模型预测值之间的平方误差和。因此ML估计器就是最小二乘估计器。

这是一个重要结论：在加性高斯噪声下，最大似然和最小二乘是等价的。

指数噪声的ML估计器：

对数似然函数为：

\ell(\alpha) = \sum_{i=0}^{N-1} \log P(s_i) = -N \log s_0 + \alpha \sum_{i=0}^{N-1} \frac{1}{s_0} \sum_{i=0}^{N-1} s_i \exp(\alpha t)

这个似然函数来源于指数分布的概率密度函数。指数分布的形式与高斯分布完全不同，导致对数似然函数的形式也完全不同。这里的似然函数不再是简单的平方误差形式，而是涉及 \exp(\alpha t) 项，使得优化问题更加复杂。求解这个ML估计需要对 \alpha 求导并令导数为零，但通常没有解析解，需要数值优化方法。

关键对比

通过这个例子可以看到，噪声模型的选择对整个估计问题有根本性影响。高斯噪声和指数噪声导致了完全不同的CRLB表达式、不同的ML估计器形式。高斯情况下ML等价于最小二乘，求解相对简单；指数情况下ML估计器更复杂，但CRLB却与参数 \alpha 无关。这说明第一步选择正确的物理模型至关重要，它决定了后续所有步骤的形式和难度。

似然函数的随机性质

不同观测实现下的似然函数

对数似然函数为：

\ell(\alpha) = -\frac{1}{2\sigma^2} \sum_{i=0}^{N-1} [s_i - s_0 \exp(-\alpha i)]^2

第一次观测实现： 当我们获得一组特定的观测数据 \{s_i\} 后，将这些数值代入似然函数，得到 \ell(\alpha) 关于 \alpha 的一条确定曲线。这条曲线在 \alpha = 0.104 处达到最大值，因此ML估计值为 \hat{\alpha}_{ML} = 0.104。

第二次观测实现： 由于噪声的随机性，如果我们重新进行一次实验，会得到另一组不同的观测数据。将新数据代入同样的似然函数公式，这次曲线的最大值点在 \alpha = 0.105，所以 \hat{\alpha}_{ML} = 0.105。

ML估计值 \hat{\alpha}_{ML} 是一个随机变量，而不是固定的数。每次实验获得的观测数据不同，计算出的似然函数曲线就不同，最大值点的位置也会变化。这就是为什么我们需要第四步来研究估计器的统计性能（偏差和方差）——我们需要知道这个随机估计值在大量重复实验中的表现如何。从图中可以看出，虽然两次估计值不同，但都在真实值附近，且曲线形状相似，峰值都很明显，这说明ML估计器在这个问题上表现稳定。

估计器性能评估与模型失配

ML估计器在匹配条件下的性能

当估计器与数据的真实噪声模型匹配时，对于加性高斯噪声情况，针对该模型设计的ML估计器是无偏且有效的。无偏意味着在大量重复实验中，估计值的平均值等于真实参数值；有效意味着估计器达到了CRLB，即在所有无偏估计器中方差最小。同样，对于指数噪声，针对该模型设计的ML估计器也是无偏且有效的。

模型失配问题

如果实际数据受到指数（乘性）噪声的扰动，但我们错误地使用了针对加性高斯噪声设计的ML估计器，会发生什么？

性能对比表格分析

表格系统地比较了四种数据/估计器组合的性能，用三个指标衡量：\sqrt{BCR}（CRLB的平方根）、\langle \hat{\alpha} \rangle（估计值的均值）、\sqrt{VAR[\hat{\alpha}]}（估计值的标准差）。

第一行：高斯数据 / 高斯估计器（匹配情况）

CRLB的平方根为 0.0063，估计值均值为 0.1003，标准差为 0.0064。估计值的均值 0.1003 应该非常接近真实参数值（设为 0.1），说明估计器无偏。标准差 0.0064 与 \sqrt{CRLB} = 0.0063 几乎相等，证明估计器达到了理论下界，是有效的。

第二行：高斯数据 / 指数估计器（失配情况）

这种情况下CRLB无法计算，因为CRLB是基于正确模型推导的，用错误模型计算出的CRLB没有意义。估计值均值为 0.32，远大于真实值 0.1，说明估计器严重有偏。标准差为 0.55，远大于匹配情况下的 0.0064，说明估计精度极差。这个结果表明，当数据是高斯噪声但使用指数噪声估计器时，性能会灾难性地恶化。

第三行：指数数据 / 指数估计器（匹配情况）

\sqrt{CRLB} = 0.0017，比高斯情况小，说明指数噪声下理论估计精度更高。估计值均值 0.1001 接近真实值，标准差 0.0017 等于 \sqrt{CRLB}，再次验证了模型匹配时ML估计器的无偏性和有效性。

第四行：指数数据 / 高斯估计器（失配情况）

CRLB同样无法计算。估计值均值为 0.12，相比真实值 0.1 有一定偏差，但偏差没有第二行那么大。标准差为 0.15，远大于匹配情况下的 0.0017。

模型失配的影响

通过对比可以看出，模型失配会导致两个严重后果：估计器变为有偏（均值偏离真实值），以及方差大幅增加（估计精度显著下降）。即使ML估计器在匹配条件下是最优的，一旦模型假设错误，性能会急剧恶化，甚至不如其他次优但更鲁棒的估计方法。

PALM显微技术原理

背景

PALM显微技术的目标是用光学显微镜对物体成像，并且要达到优于衍射极限的分辨率。

光学成像系统的分辨率

分辨率是指成像系统区分图像中两个相邻点的能力。当我们用显微镜观察物体时，由于光的衍射效应，每个点光源不会成像为一个理想的点，而是被扩展成一个点扩散函数（PSF）。假设PSF的宽度为 d，如果两个物体在图像平面中的距离为 |x_2 - x_1|，那么它们能否被分辨取决于这个距离与PSF宽度的关系。

当两个物体间距较大时，它们的PSF不重叠，可以清楚地分辨为两个独立的峰；当间距恰好等于 d/2 时，这是分辨率的临界点，两个峰刚好可以分辨；当间距小于 d/2 时，两个PSF严重重叠，测量到的强度分布呈现为一个单峰，无法分辨出是两个物体。

这个临界距离 d/2 被称为最小可分辨距离，由瑞利准则确定。在显微镜中，这个距离可以表示为：

\frac{d}{2} \approx \frac{\lambda}{2 \text{NA}}

其中 \lambda 是光的波长，\text{NA} 是物镜的数值孔径。对于可见光（\lambda > 400 nm）和典型的物镜（\text{NA} < 1），这个最小可分辨距离大约为：

\frac{d}{2} > 200 \text{ nm}

这就是传统光学显微镜的衍射极限，无论怎样优化光学系统，都无法分辨间距小于约200 nm的结构。

PALM技术

现在看一个例子，我们要观察两个相距仅50 nm的细长结构。这个距离远小于200 nm的衍射极限，传统显微镜无法直接分辨。

当用常规光学显微镜成像时，这两个50 nm间距的结构被PSF卷积后，在图像中呈现为一个约400 nm宽的模糊光斑。原本清晰分离的两个结构完全融合在一起，我们无法从图像中看出物体的真实形态。

PALM技术的思路是引入荧光显微方法，在介质中注入纳米尺度的荧光分子（荧光团）。这些荧光团会附着到场景中的物体表面。图中的红点表示附着在两个结构上的大量荧光团，它们沿着物体轮廓分布。

当用激光激发这些荧光团时，它们会发光，显微镜观测到这些荧光信号。每个荧光团本质上是一个点光源。但问题在于每个荧光团发出的光同样会受到PSF的扩展，每个荧光团在图像中呈现为一个约200 nm宽的光斑，所有这些光斑重叠在一起，最终的观测结果仍然是几个约200 nm的模糊光斑相互融合。我们依然无法确定每个荧光团的精确位置，也就无法重建出物体的真实结构。

光激活荧光团的引入

PALM技术的突破性创新在于使用光激活荧光团（photo-activable fluorophores）。这些特殊的荧光分子具有两种可控的状态，通过不同波长的激光可以在这两种状态间切换。

状态A（激活态）： 当用波长为 \lambda_A 的激光照射时，这些荧光团会发出荧光。这是我们能够观测到它们的状态。

状态B（非激活态）： 荧光团不发光，处于沉默状态。即使用 \lambda_A 激光照射也不会发光。

状态切换机制： 我们可以用波长为 \lambda_B 的激光将荧光团从状态B切换到状态A，这个过程称为激活。但这个激活是随机的，不是所有被 \lambda_B 照射的荧光团都会立即转换，而是有一定的激活概率。激活后的荧光团（状态A）经过一段时间会自然弛豫回到状态B，这个过程无需外部干预，由分子的内部能量耗散机制决定。

PALM成像的工作流程

步骤1：选择性激活（稀疏激活）

用 \lambda_B 激光照射样品。关键是要控制 \lambda_B 激光的强度和照射时间，使得只有极少数荧光团被激活进入状态A。在图中，大量绿色点中只有两个变成了红色点，代表被激活的荧光团。我们要确保同一时刻被激活的荧光团在空间上是孤立的，彼此间距远大于PSF宽度（约200 nm）。

步骤2：成像激活的荧光团

关闭 \lambda_B 激光，改用 \lambda_A 激光照射（橙色圆圈）。只有处于状态A的荧光团会响应这个波长的激光并发出荧光，而仍处于状态B的荧光团（绿色）保持沉默。此时显微镜观测到的图像是两个分离的荧光光斑，每个光斑的宽度约为200 nm，这是PSF的尺度。

步骤3：精确定位

虽然每个光斑的宽度是200 nm，但由于这两个光斑彼此分离（没有重叠），我们可以对每个光斑单独进行分析。通过拟合PSF的形状，可以确定每个荧光团的中心位置。这个定位精度可以远优于PSF的宽度，达到几纳米甚至亚纳米级别。

定位精度只受噪声限制。这意味着如果信噪比足够高、收集到的光子数足够多，理论上可以达到任意高的定位精度，从而真正突破衍射极限。

步骤4：记录与弛豫

记录下这些激活荧光团的估计位置。随后，这些荧光团自然弛豫回状态B，不再发光。

步骤5：循环重复

重复上述过程：再次用 \lambda_B 激光稀疏激活另一小批荧光团，用 \lambda_A 成像并定位，记录位置，等待弛豫。每一轮循环只激活和定位少数几个荧光团，确保它们彼此分离。经过成百上千轮这样的循环，逐步积累所有荧光团的精确位置。

PALM技术如何突破衍射极限

PALM通过时间维度的分离解决了这个问题：虽然空间分辨率仍然是200 nm（单个PSF的宽度），但通过将发光事件分散到不同的时间帧，每一帧中只有少数孤立的荧光团发光。对于孤立的光斑，我们可以精确定位其中心，精度远高于PSF宽度。最终，通过整合数千帧图像中定位的所有荧光团位置，重建出物体的超分辨率图像。

这种方法的本质是将空间分辨问题转化为时间序列问题：用时间换空间，通过多次稀疏采样和精确定位，最终获得超高空间分辨率的图像。

累积定位数据

这个过程持续重复：激活-成像-定位-弛豫，每一轮都激活和定位一小批新的荧光团。经过足够多次循环后，图中显示沿着物体轮廓的所有荧光团位置都被逐一测量出来。红色十字的数量逐渐增加，密集地分布在物体的真实形状上。

这里的足够多次取决于荧光团的总数和每次激活的数量。如果有1000个荧光团，每次激活约5个，理论上需要200轮左右才能覆盖所有荧光团。实际中，由于激活是随机的，可能需要更多轮次来确保每个荧光团都至少被激活一次。另外，并非所有荧光团都能成功定位，有些可能因为信噪比不足或位置重叠而被舍弃。

超分辨率图像重建

最终图像展示了完整的重建结果。所有被定位的荧光团位置（红色十字）清晰地勾勒出两个相距50 nm的细长结构。这个分辨率远超传统显微镜的衍射极限（约200 nm）。

定位精度可以用公式估算：

\sigma_{\text{loc}} \approx \frac{s}{\sqrt{N}}

其中 s 是PSF的宽度（约200 nm），N 是收集到的光子数。如果每个荧光团发射约400个光子且信噪比良好，定位精度可以达到10 nm量级。有了数千个精确定位的点，就能重建出10 nm分辨率的图像。

这项技术因其突破性贡献而获得2014年诺贝尔化学奖。

传统荧光显微镜与PALM的对比

对比图直观展示了两种方法的差异。传统荧光显微镜中，所有荧光分子同时发光，图像模糊，细节无法分辨，尺度标记为2 μm。

PALM显微镜使用相同的光学系统（同样的放大率和数值孔径），但成像结果完全不同。图像由大量离散的亮点组成，每个点代表一个被定位的荧光团。这些点清晰地勾勒出细菌膜蛋白的结构，细节丰富

时间序列成像原理

从第1帧到第n帧，代表时间序列。每一帧都对应一次激活-成像-定位循环。每个荧光团被激活时，它在图像序列中只出现在一帧或几帧中（取决于其在状态A的停留时间）。通过分析整个时间序列，识别出所有出现过的荧光事件，并对每个事件进行定位。最终将所有帧的定位结果叠加，形成完整的超分辨率图像。

PALM显微技术的参数估计问题

回顾四步骤框架

在将PALM技术应用于实际参数估计之前，需要遵循之前建立的四步骤框架。第一步是选择合适的模型，包括待估计的参数和噪声的统计特性，必须考虑信号采集的物理过程。第二步是计算CRLB来刻画理论性能极限。第三步是确定估计器，从ML估计器开始。第四步是通过蒙特卡洛模拟研究估计器的偏差和方差。

单个荧光团的连续信号模型

为了简化问题，考虑一维情况下单个荧光团的定位。观测到的连续信号可以表示为：

s(x, \theta) = ar(x, \theta) + b(x)

其中 x 是空间坐标，\theta 是荧光团的真实位置（这是我们要估计的参数），a 是信号幅度（与荧光团的发光强度相关），b(x) 是背景噪声。函数 r(x, \theta) 描述了PSF的空间分布形式，定义为：

r(x, \theta) = r(x - \theta)

这个形式说明PSF是关于荧光团位置 \theta 平移不变的，即PSF的形状不变，只是中心位置随 \theta 移动。

假设PSF是宽度为 w 的高斯函数：

r(x) = \frac{1}{\sqrt{2\pi w}} \exp\left[-\frac{x^2}{2w^2}\right]

这里 w 是PSF的标准差，与光学系统的衍射极限相关，约等于之前提到的 d/2。图中的红色曲线展示了这个高斯PSF在位置 \theta 处的形状，底部有背景噪声波动。

像素积分

但实际测量中，探测器由离散的像素组成，每个像素不是测量某一点的信号，而是对其覆盖区域内的信号进行积分。像素有一定的物理尺寸 \Delta，它收集的是整个像素面积上的总光强，而不是某个点的瞬时强度。

左图显示了连续的PSF曲线（红色）叠加在离散的像素网格上（竖线）。蓝色阴影区域代表一个像素的积分范围，宽度为 \Delta。右图展示了像素积分后的结果：每个像素位置对应一个柱状图，柱子的高度等于该像素内连续信号的积分值。虚线表示原始连续PSF的包络，实线柱状图是实际测量的离散化信号。

离散测量信号的数学模型

对于第 i 个像素（i \in [0, N-1]，共 N 个像素），测量到的信号为：

s_i = ar_i(\theta) + b_i

其中 r_i(\theta) 是PSF在第 i 个像素上的积分：

r_i(\theta) = \int_{i\Delta}^{(i+1)\Delta} r(x - \theta) dx

这个积分的上下限 i\Delta 到 (i+1)\Delta 定义了第 i 个像素的空间范围。b_i 是第 i 个像素上的噪声，假设为白高斯噪声，方差为 \sigma^2，且各像素之间的噪声相互独立。

虽然荧光团本身是点光源，其理想信号是连续的高斯函数，但由于探测器的像素化和积分效应，实际观测到的是一组离散的数值 \{s_i\}。每个 s_i 包含了两部分信息：确定性的信号部分 ar_i(\theta)（依赖于待估计参数 \theta）和随机的噪声部分 b_i。

估计问题的目标

明确了测量模型后，估计问题的目标就清楚了：从离散的观测数据 \{s_i\}_{i=0}^{N-1} 中估计荧光团的真实位置 \theta。这里的关键挑战是，测量数据是离散的、有噪声的，而我们需要估计的是连续空间中的一个精确位置。像素积分效应使得问题复杂化，因为每个像素值是一个区间的积分，不能直接对应某个点的信息。接下来需要按照四步骤框架，计算CRLB、构造ML估计器、并评估性能。

PALM定位问题的CRLB推导

对数似然函数

给定测量模型 s_i = ar_i(\theta) + b_i，其中 b_i \sim N(0, \sigma^2) 是独立的高斯白噪声，观测数据的对数似然函数为：

\ell(\theta) = -\frac{1}{2\sigma^2} \sum_{i=0}^{N-1} [s_i - ar_i(\theta)]^2

这个表达式本质上是加权最小二乘的形式（高斯噪声）。

CRLB推导（假设幅度a已知）

为了简化分析，首先假设信号幅度 a 是已知的，只估计位置参数 \theta。CRLB的计算需要对数似然函数关于 \theta 的二阶导数的期望。

一阶导数：

\frac{\partial \ell(\theta)}{\partial \theta} = \frac{a}{\sigma^2} \sum_{i=0}^{N-1} \frac{\partial r_i(\theta)}{\partial \theta} [s_i - ar_i(\theta)]

这是对数似然函数的得分函数（score function）。它衡量似然函数在 \theta 处的变化率。在真实参数值处，得分函数的期望为零（似然方程的性质）。

二阶导数：

\frac{\partial^2 \ell(\theta)}{\partial \theta^2} = \frac{a}{\sigma^2} \sum_{i=0}^{N-1} \frac{\partial^2 r_i(\theta)}{\partial \theta^2} [s_i - ar_i(\theta)] - a \left[\frac{\partial r_i(\theta)}{\partial \theta}\right]^2

第一项涉及 r_i(\theta) 的二阶导数和残差的乘积，第二项是一阶导数的平方。在计算CRLB时，需要对这个二阶导数取期望。

Fisher信息矩阵：

对二阶导数取期望时，第一项中 [s_i - ar_i(\theta)] 在真实参数处的期望为零（因为 E[s_i] = ar_i(\theta)），因此第一项的期望为零。只有第二项保留：

E\left[\frac{\partial^2 \ell(\theta)}{\partial \theta^2}\right] = -\frac{a^2}{\sigma^2} \sum_{i=0}^{N-1} \left[\frac{\partial r_i(\theta)}{\partial \theta}\right]^2

负的二阶导数期望就是Fisher信息量。

CRLB表达式：

CRLB是Fisher信息的倒数：

\text{VAR}[\hat{\theta}] \geq \frac{1}{SNR} \cdot \frac{1}{\sum_{i=0}^{N-1} \left[\frac{\partial r_i(\theta)}{\partial \theta}\right]^2}

分子中的 1/SNR 表明定位精度与信噪比成反比：信噪比越高，理论定位精度越好。这里 SNR 定义为信号幅度平方与噪声方差的比值，即 SNR = a^2/\sigma^2。

分母中的求和项是关键。\partial r_i(\theta) / \partial \theta 表示PSF关于位置参数的导数，它衡量了PSF形状对位置变化的敏感度。如果PSF的形状随位置变化很快（导数大），那么即使微小的位置偏移也会导致观测数据的显著变化，从而使定位更准确。反之，如果PSF很平坦（导数小），位置的不确定性就会更大。

这个求和遍历所有像素，意味着更多的像素可以提供更多信息，从而降低CRLB。但实际中，只有PSF覆盖范围内的像素才真正贡献信息，因为远离PSF中心的像素其导数接近零。

匹配滤波器理论

章节概览

本章介绍匹配滤波器（matched filter）的理论框架，包含四个主要部分。第一部分讨论加性高斯噪声下的估计问题。第二部分推导Cramer-Rao下界并引入匹配滤波器的概念，以延迟估计为应用例子。第三部分处理干扰参数（nuisance parameters）的问题。第四部分扩展到信号依赖的泊松噪声情况，并应用于天文图像配准问题。

加性高斯噪声下的估计：白噪声情况

信号模型为：

\mathbf{s} = a \mathbf{r}(\theta) + \mathbf{b}

这里 \mathbf{s} 是观测向量，a 是信号幅度，\mathbf{r}(\theta) 是依赖于参数 \theta 的已知信号形状，\mathbf{b} 是高斯噪声向量。PPT中给出一个重要的归一化假设：

\sum_{i=1}^{N} r_i^2(\theta) = 1

这个归一化条件意味着信号向量 \mathbf{r}(\theta) 的能量被标准化为1，这个假设简化了后续的理论推导。

假设噪声 \mathbf{b} 是方差为 \sigma^2 的白高斯噪声，对数似然函数为：

\ell(\mathbf{s} \mid \theta) = -\frac{1}{2\sigma^2} \sum_{i=1}^{N} [s_i - a r_i(\theta)]^2 - N \ln(\sqrt{2\pi} \sigma)

这个表达式与之前PALM问题中的形式一致。常数项 -N \ln(\sqrt{2\pi} \sigma) 在优化过程中不影响参数估计。

白噪声与相关噪声的对比

第三页展示了两种噪声的典型实现。上图是长度为512的高斯白噪声序列，波形快速随机波动，相邻采样点之间没有明显的相关性，幅度在约-3到+3之间均匀分布。

下图是相关噪声序列，波形表现出明显的平滑特征，相邻点之间存在强相关性

白噪声各分量独立同分布，协方差矩阵为对角阵 \sigma^2 I。相关噪声的协方差矩阵 \Gamma 是非对角的，矩阵元素 \Gamma_{ij} 表示第 i 和第 j 个噪声分量之间的协方差。

协方差矩阵的特征值分解

协方差矩阵 \Gamma 是对称正定矩阵（symmetric and positive definite）。对称性来源于协方差的定义 \Gamma_{ij} = E[(b_i - m_i)(b_j - m_j)] = \Gamma_{ji}；正定性来源于方差的非负性。任何对称正定矩阵都可以进行特征值分解：

\Gamma = U\Lambda U^T

其中 U 是酉矩阵（unitary matrix），满足 UU^T = I，其列向量是 \Gamma 的标准正交特征向量。\Lambda 是对角矩阵，对角元素 \lambda_1, \lambda_2, \ldots, \lambda_K 是 \Gamma 的特征值，且都大于零（因为正定）。

基于这个分解，可以定义协方差矩阵的平方根：

\Gamma^{1/2} = U\Lambda^{1/2} U^T

这里 \Lambda^{1/2} 是对角矩阵，对角元素为 \sqrt{\lambda_i}。容易验证

\Gamma^{1/2} \Gamma^{1/2} = U\Lambda^{1/2} U^T U\Lambda^{1/2} U^T = U\Lambda U^T = \Gamma

同样，逆矩阵的平方根为：

\Gamma^{-1/2} = U\Lambda^{-1/2} U^T

白化变换（Whitening Transformation）

定义新的变量：

\bar{\mathbf{s}} = \Gamma^{-1/2} \mathbf{s}

\bar{\mathbf{r}}(\theta) = \Gamma^{-1/2} \mathbf{r}(\theta)

这个变换被称为白化变换。通过这个变换，原始的加权平方误差可以简化：

[\mathbf{s} - a\mathbf{r}]^T \Gamma^{-1} [\mathbf{s} - a\mathbf{r}] = [\mathbf{s} - a\mathbf{r}]^T (\Gamma^{-1/2})^T \Gamma^{-1/2} [\mathbf{s} - a\mathbf{r}]

\text{原式}= [\Gamma^{-1/2}(\mathbf{s} - a\mathbf{r})]^T [\Gamma^{-1/2}(\mathbf{s} - a\mathbf{r})] = [\bar{\mathbf{s}} - a\bar{\mathbf{r}}]^T [\bar{\mathbf{s}} - a\bar{\mathbf{r}}] = \|\bar{\mathbf{s}} - a\bar{\mathbf{r}}\|^2

最后一步得到的是简单的欧几里得范数的平方，与白噪声情况完全相同！

白化的物理意义

设原始噪声向量 \mathbf{x} 的协方差矩阵为 \Gamma，定义 \mathbf{y} = \Gamma^{-1/2} \mathbf{x}。新向量 \mathbf{y} 的协方差矩阵为：

\Gamma_{\mathbf{y}} = E[\mathbf{y}\mathbf{y}^T] = E[\Gamma^{-1/2} \mathbf{x} \mathbf{x}^T (\Gamma^{-1/2})^T]= \Gamma^{-1/2} E[\mathbf{x}\mathbf{x}^T] (\Gamma^{-1/2})^T = \Gamma^{-1/2} \Gamma \Gamma^{-1/2} = I

这里利用了 \Gamma 是确定性矩阵可以从期望运算中提出。结果表明，变换后的 \mathbf{y} 是白噪声（协方差矩阵为单位阵），各分量独立且方差相等。这就是为什么叫白化，因为将相关的噪声转化为不相关的白噪声。

简化后的对数似然函数

经过白化变换后，对数似然函数变为：

\ell(\mathbf{s} \mid \theta) = -\frac{1}{2} \sum_{i=1}^{N} [\bar{s}_i - a\bar{r}_i(\theta)]^2 - \log\left[(\sqrt{2\pi})^K \sqrt{\det[\Gamma]}\right]

这个形式与白噪声情况完全相同，只是将原始变量 \mathbf{s}, \mathbf{r}(\theta) 替换为白化后的变量 \bar{\mathbf{s}}, \bar{\mathbf{r}}(\theta)。因此，所有白噪声情况下的估计理论和算法都可以直接应用，只需先对数据进行白化预处理。这是匹配滤波器理论的核心思想：通过变换将复杂的相关噪声问题转化为简单的白噪声问题。经过白化变换后，相关噪声情况完全等价于白噪声情况。

对数似然函数的展开

对于白噪声情况，信号模型 \mathbf{s} = a\mathbf{r}(\theta) + \mathbf{b}，其中归一化条件 \sum_{i=1}^{N} r_i^2(\theta) = 1 成立，对数似然函数为：

\ell(\mathbf{s} \mid \theta) = -\frac{1}{2\sigma^2} \sum_{i=1}^{N} [s_i - ar_i(\theta)]^2 - N\ln(\sqrt{2\pi}\sigma)

展开平方项：

\sum_{i=1}^{N} [s_i - ar_i(\theta)]^2 = \sum_{i=1}^{N} s_i^2 - 2a\sum_{i=1}^{N} s_i r_i(\theta) + a^2 \sum_{i=1}^{N} r_i^2(\theta)

利用归一化条件，最后一项简化为 a^2。第一项 \sum_{i=1}^{N} s_i^2 与参数 \theta 无关，在最大化似然函数时可以忽略（它只是常数项）。因此，对数似然函数可以简化为：

\ell(\mathbf{s} \mid \theta) = \frac{a}{\sigma^2} \sum_{i=1}^{N} s_i r_i(\theta) + \text{constant}

这里的常数项包含了所有与 \theta 无关的部分。这个简化形式表明最大化对数似然函数等价于最大化观测信号 \mathbf{s} 与模板信号 \mathbf{r}(\theta) 的内积 \sum_{i=1}^{N} s_i r_i(\theta)。

模糊函数的定义

假设真实信号为 \mathbf{s} = a\mathbf{r}(\theta_0) + \mathbf{b}，其中 \theta_0 是真实的参数值。将这个真实信号代入简化的对数似然函数：

\sum_{i=1}^{N} s_i r_i(\theta) = \sum_{i=1}^{N} [a r_i(\theta_0) + b_i] r_i(\theta)= a \sum_{i=1}^{N} r_i(\theta_0) r_i(\theta) + \sum_{i=1}^{N} b_i r_i(\theta)

定义模糊函数（ambiguity function）为：

A(\theta, \theta_0) = \mathbf{r}^T(\theta_0) \mathbf{r}(\theta) = \sum_{i=1}^{N} r_i(\theta_0) r_i(\theta)

这个函数衡量了真实信号 \mathbf{r}(\theta_0) 与候选信号 \mathbf{r}(\theta) 之间的相似度。当 \theta = \theta_0 时，由于归一化条件，A(\theta_0, \theta_0) = 1。当 \theta 偏离 \theta_0 时，A(\theta, \theta_0) 会减小。

第二项 \sum_{i=1}^{N} b_i r_i(\theta) 被标记为方差为 \sigma^2 的噪声项。这是因为 b_i 是独立的高斯白噪声，其线性组合仍然是高斯分布，且由于归一化条件，这个组合的方差为 \sigma^2。记这个噪声项为 b'(\theta)。

对数似然函数的分解

将对数似然函数表示为：

\ell(\mathbf{s} \mid \theta) = \frac{a^2}{\sigma^2} A(\theta, \theta_0) + \frac{a}{\sigma^2} b'(\theta) + \text{constant}

第一项是确定性的模糊函数项，其峰值在真实参数 \theta_0 附近；第二项是随机的噪声扰动项。当信噪比很高时（a^2/\sigma^2 大），第一项主导，似然函数的峰值接近真实值。当信噪比低时，噪声项的影响增大，可能导致似然函数的峰值偏离真实值。

模糊函数的图形表示

图中展示了对数似然函数 \ell(\mathbf{s} \mid \theta) 随 \theta 变化的曲线。虚线曲线表示主导项 (a^2/\sigma^2) A(\theta, \theta_0)，它是一个光滑的钟形曲线，在真实值 \theta_0 处达到最大值。实线曲线表示实际的对数似然函数，包含了噪声扰动，因此在虚线曲线周围波动。ML估计值 \hat{\theta}_{ML} 是实线曲线的最大值点，由于噪声的影响，它略微偏离了真实值 \theta_0。

模糊函数的宽度决定了似然函数峰值的锐度。如果 A(\theta, \theta_0) 在 \theta_0 附近下降很快（窄峰），那么即使有噪声，似然函数的最大值点仍然会很接近 \theta_0，估计精度高。反之，如果模糊函数很平坦（宽峰），噪声的微小扰动就可能导致估计值大幅偏离真实值，估计精度低。

Cramer-Rao下界的推导

对于任何无偏估计器 \hat{\theta}，其方差的下界由Fisher信息量给出：

\sigma_{\hat{I}}^2(\theta) \geq \frac{1}{I_F(\theta)}

其中Fisher信息量定义为：

I_F(\theta) = -E\left[\frac{\partial^2 \ln[L(\chi_\lambda|\theta)]}{\partial\theta^2}\right]

二阶导数的计算

从简化的对数似然函数：

\ell(\mathbf{s} \mid \theta) = \frac{a^2}{\sigma^2} A(\theta, \theta_0) + \frac{a}{\sigma^2} b'(\theta) + \text{constant}

对 \theta 求二阶导数：

\frac{\partial^2 \ell(\mathbf{s}|\theta)}{\partial\theta^2} = \frac{a^2}{\sigma^2} \frac{\partial^2 A(\theta, \theta_0)}{\partial\theta^2} + \frac{a}{\sigma^2} \frac{\partial^2 b'(\theta)}{\partial\theta^2}

噪声项期望为零的证明

噪声项为：

b'(\theta) = \mathbf{b}^T \mathbf{r}(\theta) = \sum_i b_i r_i(\theta)

对 \theta 求导：

\frac{\partial^2 b'(\theta)}{\partial\theta^2} = \sum_i b_i \frac{\partial^2 r_i(\theta)}{\partial\theta^2}

取期望时，由于 b_i 是零均值噪声（E[b_i] = 0），而 \partial^2 r_i(\theta)/\partial\theta^2 是确定性的函数，因此：

E\left[\frac{\partial^2 b'(\theta)}{\partial\theta^2}\right] = E\left[\sum_i b_i \frac{\partial^2 r_i(\theta)}{\partial\theta^2}\right] = \sum_i E[b_i] \frac{\partial^2 r_i(\theta)}{\partial\theta^2} = 0

因此：

E\left[\frac{\partial^2 \ell(\mathbf{s}|\theta)}{\partial\theta^2}\right] = \frac{a^2}{\sigma^2} \frac{\partial^2 A(\theta, \theta_0)}{\partial\theta^2}

最终的CRLB表达式

在 \theta = \theta_0 处评估（真实参数处），Fisher信息量为：

I_F(\theta_0) = -\frac{a^2}{\sigma^2} \frac{\partial^2 A(\theta, \theta_0)}{\partial\theta^2}\bigg|_{\theta_0}

由于归一化条件 \sum_{i=1}^{N} r_i^2(\theta) = 1，利用之前推导的结果，信噪比可以表示为：

\text{SNR} = a^2 \frac{\sum_{i=1}^{N} r_i^2(\theta)}{\sigma^2} = \frac{a^2}{\sigma^2}

因此，CRLB为：

E\left[(\hat{\theta} - \theta_0)^2\right] \geq -\frac{\text{SNR}^{-1}}{\frac{\partial^2 A(\theta, \theta_0)}{\partial\theta^2}\bigg|_{\theta_0}}

SNR: 信噪比越高，CRLB越小，理论估计精度越高。

模糊函数的窄度: 模糊函数在真实参数 \theta_0 处的二阶导数（曲率）越大（负值的绝对值越大），分母越大，CRLB越小，理论估计精度越高。换句话说，模糊函数的峰越尖锐窄小，参数估计就越精确。

ML估计器的形式

从对数似然函数：

\ell(\mathbf{s} \mid \theta) = -\frac{1}{2\sigma^2} \sum_{i=1}^{N} [s_i - ar_i(\theta)]^2 - N\ln(\sqrt{2\pi}\sigma)

最大化这个函数等价于最小化平方误差和：

\hat{\theta} = \arg\min_{\theta} \left[\sum_{i=1}^{N} [s_i - ar_i(\theta)]^2\right] = \arg\min_{\theta} \|\mathbf{s} - a\mathbf{r}(\theta)\|^2

这被称为均方估计器（mean-square estimator）。但需要注意，这种形式只有在噪声是高斯、加性且白噪声时才是最优的。

简化为匹配滤波器

利用之前的推导，最大化对数似然函数等价于最大化内积：

\hat{\theta} = \arg\max_{\theta} \left[\sum_{i=1}^{N} s_i r_i(\theta)\right] = \arg\max_{\theta} [\mathbf{s}^T \mathbf{r}(\theta)]

这个形式被称为匹配滤波器（matched filter）。其物理意义是：计算观测信号 \mathbf{s} 与所有可能的模板信号 \mathbf{r}(\theta) 的相关性（内积），选择相关性最大的参数值作为估计。匹配的含义是寻找与观测信号最匹配的模板。

时间延迟估计例子

问题设置

考虑估计连续时间信号的平移（延迟）。信号模型为 r(t-\theta)，其中 \theta 是时间延迟参数。离散采样后，模板信号为 r_{i-\theta}，对应 r(t-\theta) 在时刻 i 的采样值。

匹配滤波器的内积变为：

\sum_{i=1}^{N} r_{i-\theta} r_{i-\theta_0} \Longleftrightarrow \int r(t-\theta_0) r(t-\theta) dt

离散求和对应连续积分。通过变量替换 u = t - \theta，积分变为：

A(\theta, \theta_0) = \int r(t-\theta_0) r(t-\theta) dt = \int r(u) r(u + \theta - \theta_0) du = C(\theta - \theta_0)

这正是信号 r(t) 的自相关函数（autocorrelation），模糊函数在这个问题中等于自相关函数。

二阶导数与自相关函数的关系

模糊函数在 \theta_0 处的二阶导数：

\frac{\partial^2 A(\theta, \theta_0)}{\partial\theta^2}\bigg|_{\theta_0} = \frac{\partial^2 C}{\partial\theta^2}(0)

这里 C(0) 是自相关函数在零延迟处的二阶导数。因此，为了获得高的估计精度，r(t) 的自相关函数必须尽可能窄，即在零延迟附近有很大的曲率。

频域表示

通过傅里叶变换，自相关函数可以用频域表示。设 \tilde{r}(\nu) 是 r(t) 的傅里叶变换，根据Wiener-Khinchin定理，自相关函数的傅里叶变换是功率谱：

C(\theta) = \int |\tilde{r}(\nu)|^2 e^{+2i\pi\nu\theta} d\nu

对 \theta 求导：

\frac{\partial C(\theta)}{\partial\theta} = \int 2i\pi\nu |\tilde{r}(\nu)|^2 e^{2i\pi\nu\theta} d\nu

再求一次导：

\frac{\partial^2 C(\theta)}{\partial\theta^2} = \int (2i\pi\nu)^2 |\tilde{r}(\nu)|^2 e^{2i\pi\nu\theta} d\nu = -4\pi^2 \int \nu^2 |\tilde{r}(\nu)|^2 e^{2i\pi\nu\theta} d\nu

在 \theta = 0 处：

\frac{\partial^2 C}{\partial\theta^2}(0) = -4\pi^2 \int \nu^2 |\tilde{r}(\nu)|^2 d\nu

定义：

\overline{\Delta\nu^2} = \int \nu^2 |\tilde{r}(\nu)|^2 d\nu

归一化信号与统计量定义

首先定义归一化信号：

g(t) = \frac{r(t)}{\sqrt{\int |r(t)|^2 dt}}

使得 \int |g(t)|^2 dt = 1。基于归一化信号，定义时域和频域的统计量。

平均时间（均值）：

\bar{t} = \int t |g(t)|^2 dt

时间扩展（方差）：

\overline{\Delta t^2} = \int (t - \bar{t})^2 |g(t)|^2 dt

这衡量信号在时域的集中程度，\Delta t 越小，信号越窄。

同样，对频域傅里叶变换 \tilde{g}(\nu)，定义平均频率：

\bar{\nu} = \int \nu |\tilde{g}(\nu)|^2 d\nu

频谱扩展：

\overline{\Delta\nu^2} = \int (\nu - \bar{\nu})^2 |\tilde{g}(\nu)|^2 d\nu

这衡量信号的频谱宽度，\Delta\nu 越小，信号的频谱越窄，即信号在频域越集中。

Cauchy-Schwarz不等式

利用Cauchy-Schwarz不等式，可以证明：

\overline{\Delta t^2} \cdot \overline{\Delta\nu^2} \geq \frac{1}{16\pi^2}

这是时频不确定性关系，类似于量子力学中的海森堡不确定性原理。它表明信号不能同时在时域和频域都非常窄。如果信号在时域很集中（\Delta t 小），则其频谱必然宽（\Delta\nu 大）；反之亦然。

只有高斯函数才能达到等号，即高斯信号在时频不确定性关系下达到了理论极限。

CRLB的频域表示

将频谱扩展与CRLB联系起来。由于 \frac{\partial^2 C}{\partial\theta^2}(0) = -4\pi^2 \overline{\Delta\nu^2}（假设信号已归一化且中心化），CRLB变为：

E\left[(\hat{\theta} - \theta_0)^2\right] \geq \frac{\text{SNR}^{-1}}{4\pi^2 \overline{\Delta\nu^2}}

估计精度取决于信噪比和信号的频谱宽度。频谱宽度 \overline{\Delta\nu^2} 也等于自相关函数的曲率。频谱越宽，自相关函数在零延迟处的曲率越大，估计精度越高。

高斯脉冲的具体例子

高斯脉冲的参数

考虑标准高斯脉冲：

r(t) = \frac{1}{(2\pi)^{1/4} \sqrt{\sigma_t}} \exp\left[-\frac{t^2}{4\sigma_t^2}\right]

这个归一化的高斯函数，时域宽度参数为 \sigma_t。

计算时间扩展（通过高斯积分）：

\overline{\Delta t^2} = \int t^2 r^2(t) dt = \sigma_t^2

对于高斯函数，其傅里叶变换仍是高斯函数，且频域宽度与时域宽度成反比。可以证明：

\overline{\Delta\nu^2} = \frac{1}{16\pi^2 \sigma_t^2}

这验证了时频不确定性关系在高斯情况下达到等号。

CRLB的数值结果

代入CRLB公式：

E\left[(\hat{\theta} - \theta_0)^2\right] \geq \frac{\text{SNR}^{-1}}{4\pi^2 \cdot \frac{1}{16\pi^2\sigma_t^2}} = \frac{4\sigma_t^2}{\text{SNR}}

延迟估计的精度与脉冲宽度的平方成正比。脉冲越窄（\sigma_t 小），估计精度越高。

雷达系统例子

雷达发射一个被载波调制的脉冲信号（emitted signal），在时刻 t_e 发射一个窄脉冲，信号传播到目标后反射回来，接收信号在时刻 t_0 到达雷达接收器。由于传播距离 d 的影响，接收信号的强度按 1/d^4 衰减（信号往返经过两次 1/d^2 衰减）。

接收到的信号通过匹配滤波器处理后，在时刻 t_0 产生一个明显的峰值。距离估计公式为：

d = \frac{c(t_0 - t_e)}{2}

其中 c 是光速，(t_0 - t_e) 是往返时间，除以2得到单程距离。待估计的参数是 t_0（回波到达时间）。

脉冲宽度与估计精度的反直觉现象

三种不同宽度参数的高斯脉冲：\sigma_t = 2, 10, 20。

时域特性： 蓝色曲线（\sigma_t = 2）是最窄的脉冲，红色曲线（\sigma_t = 20）是最宽的脉冲，分布范围最广。根据之前的CRLB公式 E[(\hat{\theta}-\theta_0)^2] \geq 4\sigma_t^2/\text{SNR}，窄脉冲有更高的延迟估计精度。

频域特性： 但频谱图揭示了问题的另一面，红色曲线（宽脉冲 \sigma_t=20）的频谱非常窄且高，峰值接近10，集中在零频附近。蓝色曲线（窄脉冲 \sigma_t=2）的频谱很宽，峰值只有约3，能量分散在更宽的频率范围。这验证了时频不确定性关系：时域窄的信号，频域必然宽；时域宽的信号，频域必然窄。

自相关函数： 第三页显示自相关函数的形状。蓝色曲线（窄脉冲）的自相关函数也很窄，峰值尖锐。红色曲线（宽脉冲）的自相关函数平缓。根据CRLB理论，自相关函数的曲率决定估计精度，窄脉冲的尖锐峰应该提供更好的精度。

Chirp信号的定义

Chirp信号（线性调频信号）是一种频率随时间线性变化的信号

信号的振荡频率不是恒定的，而是从低频逐渐增加到高频（或相反）。这种频率扫描使得chirp信号在时域上持续较长时间，但占据较宽的频谱。

时域特性： Chirp信号的包络可以设计为高斯形状或矩形，但其载波频率是变化的。从波形可以看出，信号在时间轴上跨越较大范围（相比纯高斯脉冲的窄峰），但内部振荡频率逐渐增加，产生啁啾效果。

自相关函数： Chirp信号的自相关函数展现出独特的性质。虽然chirp信号在时域上较宽，但其自相关函数在零延迟处有一个非常尖锐的主峰，周围是快速衰减的振荡旁瓣。这个尖锐的主峰意味着很大的曲率，从而提供很高的延迟估计精度。

频谱特性： Chirp信号的频谱图显示出宽带特性，但不同于高斯脉冲的单一峰，chirp的频谱在一定范围内较为均匀分布，具有类似矩形的形状。这种频谱特性使得chirp信号能够在有限带宽内有效传输，同时保持足够的频率分辨率。

Chirp信号的优势

对比图中可以看到，chirp信号（黑色振荡曲线）的自相关函数的主峰宽度与窄高斯脉冲（\sigma_t=2）相当，甚至更窄。但chirp信号本身的持续时间可以更长，能量更集中，更容易在有限带宽系统中传输。

频谱图显示，chirp信号的频谱在较宽范围内分布，峰值两侧有波纹。chirp信号结合了宽脉冲的时域特性和宽频谱的频域特性，突破了简单高斯脉冲的时频权衡限制。

脉冲压缩的实际效果演示

图展示了脉冲压缩技术在强噪声环境下的实际表现。信号噪比约为20 dB，意味着噪声功率是信号功率的1/100。

输入信号： 上图显示包含三个chirp脉冲的含噪声信号，位于时刻 t_1, t_2, t_3。整个波形看起来几乎完全被噪声淹没，纵轴范围从-4到+4，信号幅度在噪声的快速随机波动中几乎不可见。从原始波形中，无法直接识别出三个脉冲的位置。

匹配滤波器输出： 下图显示经过匹配滤波器处理后的结果。背景噪声被显著抑制到接近零的水平，在时刻 t_1, t_2, t_3 处出现了三个非常尖锐的峰值，幅度达到15左右。这些峰值明确标示了三个脉冲的到达时间。峰值的宽度非常窄，说明时间分辨率很高。

这个对比清楚地展示了匹配滤波器的两个关键功能：噪声抑制和脉冲压缩。即使输入信号被强噪声严重污染，匹配滤波器通过相关运算，将分散在长时间窗口内的信号能量集中到窄峰，同时将不相关的噪声平均掉，从而大幅提高信噪比和时间分辨率。

编码脉冲技术

除了chirp信号，另一种实现脉冲压缩的方法是使用编码脉冲，特别是Barker码。Barker码是一种二元相位编码序列，只有+1和-1两个值。

自相关函数的理想性质： 下图展示了Barker码的自相关函数 z(\tau)。这个函数在零延迟 \tau = 0 处有一个非常尖锐的主峰，峰值等于码长度（例如长度为13的Barker码，峰值为13）。在非零延迟处，自相关函数的值非常小，理论上不超过±1。

这种图钉状的自相关函数形状是Barker码的核心优势：主峰尖锐意味着高时间分辨率，旁瓣低意味着抗干扰能力强。

图像中的位置估计

二维定位问题

从时间延迟估计（一维问题）扩展到图像中的位置估计（二维问题）。图像中有一个已知形状的物体 r(x,y)，例如一个椭圆形的斑点。由于某种平移，物体出现在新位置 r(x-\tau, y-\eta)，其中 (\tau, \eta) 是待估计的二维位移向量。

信号模型为：

s(x, y) = a r(x-\tau, y-\eta) + b(x, y)

这里 a 是信号幅度，b(x,y) 是二维加性高斯噪声。问题是从含噪声的观测图像 s(x,y) 中估计位移参数 (\tau, \eta)。

二维模糊函数

类比一维情况，二维模糊函数定义为：

A(\tau, \eta, \tau_0, \eta_0) = \int r(x, y) r(x + \tau - \tau_0, y + \eta - \eta_0) dxdy = C(\tau - \tau_0, \eta - \eta_0)

这是信号 r(x,y) 的二维自相关函数。当位移估计值 (\tau, \eta) 等于真实位移 (\tau_0, \eta_0) 时，自相关函数达到最大值。

匹配滤波器的操作是计算观测图像与模板在所有可能位移下的相关，找到相关最大的位移作为估计值。

Fisher信息矩阵

当待估计的参数不是单个标量而是一个矢量 \boldsymbol{\theta} = [\theta_1, \theta_2, \ldots, \theta_K]^T 时，需要推广CRLB理论。Fisher信息矩阵定义为一个 K \times K 的矩阵，其第 (i,j) 个元素为：

I_{ij}(\boldsymbol{\theta}) = -E\left[\frac{\partial^2 \ln L(\chi_\lambda | \boldsymbol{\theta})}{\partial\theta_i \partial\theta_j}\right]

这个矩阵的元素在真实参数值处计算，期望是关于观测数据的分布 L(\chi_\lambda | \boldsymbol{\theta}) 取的。Fisher信息矩阵是对称的，因为混合偏导数与求导顺序无关。

矢量参数的CRLB

定义 \mathbf{J}(\boldsymbol{\theta}) = \mathbf{I}^{-1}(\boldsymbol{\theta})，即Fisher信息矩阵的逆矩阵。Cramer-Rao定理对矢量参数的推广表述为：如果参数定义域不依赖于 \boldsymbol{\theta} 本身，那么对于任意向量 \mathbf{v} \in \mathbb{R}^K，有：

\forall \mathbf{v} \in \mathbb{R}^K, \mathbf{v}^T \Gamma_{\boldsymbol{\theta}} \mathbf{v} \geq \mathbf{v}^T \mathbf{J}(\boldsymbol{\theta}) \mathbf{v}

这里 \Gamma_{\boldsymbol{\theta}} 是估计器的协方差矩阵。这个不等式的含义是协方差矩阵 \Gamma_{\boldsymbol{\theta}} - \mathbf{J}(\boldsymbol{\theta}) 是半正定的。

对角线元素的解释

特别地，如果取 \mathbf{v} 为第 i 个标准基向量（即 v_i = 1，其他分量为0），上述不等式简化为：

\Gamma_{ii} \geq J_{ii}

这意味着协方差矩阵的对角元素 \Gamma_{ii}（即第 i 个参数估计值的方差）有下界，这个下界是Fisher信息矩阵逆的对应对角元素 J_{ii}。这推广了单参数情况下的CRLB。

二维位置估计的CRLB

对于二维位置估计问题，参数向量为 \boldsymbol{\theta} = [\tau, \eta]^T。Fisher信息矩阵是一个2×2矩阵，其元素涉及模糊函数（二维自相关函数）关于位移参数的二阶偏导数。具体推导需要计算：

I_{\tau\tau} = -E\left[\frac{\partial^2 \ell}{\partial\tau^2}\right], \quad I_{\eta\eta} = -E\left[\frac{\partial^2 \ell}{\partial\eta^2}\right], \quad I_{\tau\eta} = -E\left[\frac{\partial^2 \ell}{\partial\tau\partial\eta}\right]

这些量与二维自相关函数在原点的曲率矩阵相关。如果物体形状在 x 和 y 方向具有不同的锐度（例如椭圆的长轴和短轴方向），那么在不同方向的估计精度也会不同，这将反映在Fisher信息矩阵中。

二维位置估计的Fisher矩阵推导

对于二维位置估计问题，参数向量为 \boldsymbol{\theta} = [\tau, \eta]^T，Fisher信息矩阵是一个2×2矩阵：

I(\tau, \eta) = -E\begin{bmatrix} \frac{\partial^2 \ln L(\chi_\lambda|\boldsymbol{\theta})}{\partial\tau^2} & \frac{\partial^2 \ln L(\chi_\lambda|\boldsymbol{\theta})}{\partial\tau\partial\eta} \\ \frac{\partial^2 \ln L(\chi_\lambda|\boldsymbol{\theta})}{\partial\tau\partial\eta} & \frac{\partial^2 \ln L(\chi_\lambda|\boldsymbol{\theta})}{\partial\eta^2} \end{bmatrix}

通过与一维情况类似的推导，这个矩阵可以表示为二维自相关函数 C(\tau, \eta) 的二阶偏导数：

I(\tau, \eta) = -\frac{a^2}{\sigma^2} \begin{bmatrix} \frac{\partial^2 C(0)}{\partial\tau^2} & \frac{\partial^2 C(0)}{\partial\tau\partial\eta} \\ \frac{\partial^2 C(0)}{\partial\tau\partial\eta} & \frac{\partial^2 C(0)}{\partial\eta^2} \end{bmatrix}

这里所有导数都在原点 (0,0) 处计算，对应真实参数位置。

频域表示

类似于一维情况，可以将自相关函数的导数用频域表示。设 \tilde{r}(\mu, \nu) 是 r(x,y) 的二维傅里叶变换，根据傅里叶变换性质：

I(\tau, \eta) = 4\pi^2 \text{SNR} \begin{bmatrix} \int \mu^2 |\tilde{r}(\mu, \nu)|^2 d\mu d\nu & \int \mu\nu |\tilde{r}(\mu, \nu)|^2 d\mu d\nu \\ \int \mu\nu |\tilde{r}(\mu, \nu)|^2 d\mu d\nu & \int \nu^2 |\tilde{r}(\mu, \nu)|^2 d\mu d\nu \end{bmatrix}

这个矩阵可以用频谱矩（spectral moments）简化表示。定义二阶矩：

\overline{\Delta\mu\mu^2} = \int \mu^2 |\tilde{r}(\mu, \nu)|^2 d\mu d\nu

\overline{\Delta\nu\nu^2} = \int \nu^2 |\tilde{r}(\mu, \nu)|^2 d\mu d\nu

\overline{\Delta\mu\nu^2} = \int \mu\nu |\tilde{r}(\mu, \nu)|^2 d\mu d\nu

Fisher矩阵变为：

I(\tau, \eta) = 4\pi^2 \text{SNR} \begin{bmatrix} \overline{\Delta\mu\mu^2} & \overline{\Delta\mu\nu^2} \\ \overline{\Delta\mu\nu^2} & \overline{\Delta\nu\nu^2} \end{bmatrix}

Fisher矩阵的逆与CRLB

Fisher矩阵的逆给出CRLB。通过2×2矩阵求逆公式：

\mathbf{J}(\tau, \eta) = \frac{\text{SNR}^{-1}}{4\pi^2} \cdot \frac{1}{\overline{\Delta\mu\mu^2} \times \overline{\Delta\nu\nu^2} - (\overline{\Delta\mu\nu^2})^2} \begin{bmatrix} \overline{\Delta\nu\nu^2} & -\overline{\Delta\mu\nu^2} \\ -\overline{\Delta\mu\nu^2} & \overline{\Delta\mu\mu^2} \end{bmatrix}

分母是Fisher矩阵的行列式。由此得到两个参数的CRLB：

\text{VAR}[\hat{\tau}] \geq \frac{\text{SNR}^{-1}}{4\pi^2} \cdot \frac{\overline{\Delta\nu\nu^2}}{\overline{\Delta\mu\mu^2} \times \overline{\Delta\nu\nu^2} - (\overline{\Delta\mu\nu^2})^2}

\text{VAR}[\hat{\eta}] \geq \frac{\text{SNR}^{-1}}{4\pi^2} \cdot \frac{\overline{\Delta\mu\mu^2}}{\overline{\Delta\mu\mu^2} \times \overline{\Delta\nu\nu^2} - (\overline{\Delta\mu\nu^2})^2}

退化情况

如果交叉矩 \overline{\Delta\mu\nu^2} = 0（意味着频谱在 \mu 和 \nu 方向无相关），CRLB简化为：

\text{VAR}[\hat{\tau}] \geq \frac{\text{SNR}^{-1}}{4\pi^2 \overline{\Delta\mu\mu^2}}

\text{VAR}[\hat{\eta}] \geq \frac{\text{SNR}^{-1}}{4\pi^2 \overline{\Delta\nu\nu^2}}

这种情况下，两个方向的估计精度完全独立，分别由对应方向的频谱宽度决定。

高斯斑点的具体例子

平行于参考轴的情况

考虑一个二维高斯斑点，其主轴平行于坐标轴：

r(x, y) = \frac{1}{\sqrt{2\pi}\sigma_x\sigma_y} \exp\left[-\frac{1}{4}\left(\frac{x^2}{\sigma_x^2} + \frac{y^2}{\sigma_y^2}\right)\right]

这里 \sigma_x 和 \sigma_y 分别是 x 和 y 方向的宽度参数。图中显示这个高斯斑点是一个椭圆形，纵轴（蓝色上箭头）表示 y 方向，横轴（蓝色右箭头）表示 x 方向。

对称性分析： 由于高斯函数在 x 和 y 方向是可分离的，且主轴与坐标轴对齐，交叉矩 \overline{\Delta\mu\nu^2} = 0。这是因为频谱也是高斯形式且可分离：

\tilde{r}(\mu, \nu) = \exp\left[-\pi^2(\sigma_x^2\mu^2 + \sigma_y^2\nu^2)\right]

积分 \int \mu\nu |\tilde{r}(\mu, \nu)|^2 d\mu d\nu 可以分解为两个独立积分的乘积，而每个积分涉及奇函数（\mu 或 \nu）在对称区间上的积分，结果为零。

CRLB结果： 因此：

\text{CRLB}_{\tau} = \frac{4\sigma_x^2}{\text{SNR}}, \quad \text{CRLB}_{\eta} = \frac{4\sigma_y^2}{\text{SNR}}

这与一维高斯脉冲的结果完全类似。

如果 \sigma_x > \sigma_y（即斑点在 x 方向更宽），则 x 方向的估计精度更低（方差更大）。窄的方向边缘更锐利，更容易精确定位。

一般旋转情况

现在考虑高斯斑点主轴相对坐标轴旋转角度 \alpha 的一般情况：

r(x, y) = \frac{1}{\sqrt{2\pi}\sigma_x\sigma_y} \exp\left[-\frac{1}{4}\mathbf{v}^T \Sigma \mathbf{v}\right]

其中 \mathbf{v} = [x, y]^T，协方差矩阵为：

\Sigma = R_{\alpha} \Lambda R_{\alpha}^T

这里 \Lambda 是对角矩阵：

\Lambda = \begin{bmatrix} \sigma_x^2 & 0 \\ 0 & \sigma_y^2 \end{bmatrix}

R_{\alpha} 是旋转矩阵：

R_{\alpha} = \begin{bmatrix} \cos\alpha & -\sin\alpha \\ \sin\alpha & \cos\alpha \end{bmatrix}

图中显示旋转后的椭圆斑点，虚线表示主轴方向（与坐标轴成角度 \alpha）。蓝色箭头指示主轴方向，这是估计精度最高和最低的方向。

Fisher矩阵： 由于旋转，交叉项 \overline{\Delta\mu\nu^2} 不再为零。完整的Fisher矩阵逆矩阵为：

Fisher矩阵的频域解释

Fisher矩阵的频域表达式为：

但这些频域积分可以通过 Parseval 定理转换为空域积分。Parseval定理指出：

\int |f(x, y)|^2 dxdy = \int |\tilde{f}(\mu, \nu)|^2 d\mu d\nu

这是傅里叶变换保持能量的性质。

导数的傅里叶变换性质

关键在于利用导数的傅里叶变换性质。对于函数 r(x,y)，其傅里叶变换为 \tilde{r}(\mu, \nu)。导数的傅里叶变换为：

\text{TF}\left[\frac{\partial r(x, y)}{\partial x}\right] = 2i\pi\mu\tilde{r}(\mu, \nu)

因此逆变换为：

\text{TF}^{-1}[\mu\tilde{r}(\mu, \nu)] = \frac{1}{2i\pi} \frac{\partial r(x, y)}{\partial x}

应用Parseval定理：

\int \mu^2 |\tilde{r}(\mu, \nu)|^2 d\mu d\nu = \int |\mu\tilde{r}(\mu, \nu)|^2 d\mu d\nu= \int \left|\text{TF}^{-1}[\mu\tilde{r}(\mu, \nu)]\right|^2 dxdy = \int \left|\frac{1}{2i\pi}\frac{\partial r(x,y)}{\partial x}\right|^2 dxdy

\int \mu^2 |\tilde{r}(\mu, \nu)|^2 d\mu d\nu = \frac{1}{4\pi^2} \int \left|\frac{\partial r(x, y)}{\partial x}\right|^2 dxdy

这个结果表明频域中的 \mu^2 加权积分等价于空域中的导数平方积分。导数 \partial r/\partial x 衡量了信号在 x 方向的变化率。如果信号在某个方向变化很快（导数大），那么该方向的定位精度就高。这与模糊函数的曲率解释一致：变化快意味着曲率大，估计精度高。

因此，Fisher矩阵可以完全用空域表示：

I(\tau, \eta) = \text{SNR} \begin{bmatrix} \int \left|\frac{\partial r}{\partial x}\right|^2 dxdy & \int \frac{\partial r}{\partial x}\frac{\partial r}{\partial y} dxdy \\ \int \frac{\partial r}{\partial x}\frac{\partial r}{\partial y} dxdy & \int \left|\frac{\partial r}{\partial y}\right|^2 dxdy \end{bmatrix}

定位精度取决于信号在各个方向的梯度强度。梯度越大，信号边缘越清晰，定位越精确。这解释了为什么高斯斑点在窄的方向估计精度更高——因为在窄方向上强度变化更快，梯度更大。

Fisher矩阵的混合偏导数项

前面已经推导了Fisher矩阵对角元素的空域表示，现在处理非对角元素（交叉项）。从频域表达式：

\int \mu\nu |\tilde{r}(\mu, \nu)|^2 d\mu d\nu

同样利用Parseval定理和傅里叶变换的导数性质：

\text{TF}\left[\frac{\partial r(x, y)}{\partial x}\right] = 2i\pi\mu\tilde{r}(\mu, \nu)

\text{TF}\left[\frac{\partial r(x, y)}{\partial y}\right] = 2i\pi\nu\tilde{r}(\mu, \nu)

因此：

\int \mu\nu |\tilde{r}(\mu, \nu)|^2 d\mu d\nu = \int [\mu\tilde{r}(\mu, \nu)]^* [\nu\tilde{r}(\mu, \nu)] d\mu d\nu

根据Parseval定理，这等于对应空域函数的内积：

\text{原式}= \int \left[\text{TF}^{-1}[\mu\tilde{r}]\right]^* \left[\text{TF}^{-1}[\nu\tilde{r}]\right] dxdy

\text{原式}= \frac{1}{4\pi^2} \int \frac{\partial r(x, y)}{\partial x} \frac{\partial r(x, y)}{\partial y} dxdy

这里假设信号是实值的，复共轭可以省略。

完整的空域Fisher矩阵

综合所有项，Fisher信息矩阵的空域表达式为：

I(\tau, \eta) = \text{SNR} \begin{bmatrix} \int \left|\frac{\partial r(x,y)}{\partial x}\right|^2 dxdy & \int \frac{\partial r(x,y)}{\partial x}\frac{\partial r(x,y)}{\partial y} dxdy \\ \int \frac{\partial r(x,y)}{\partial x}\frac{\partial r(x,y)}{\partial y} dxdy & \int \left|\frac{\partial r(x,y)}{\partial y}\right|^2 dxdy \end{bmatrix}

这个矩阵完全由信号的梯度决定。对角元素是各方向梯度的平方积分，非对角元素是混合梯度的积分。如果信号的梯度在 x 和 y 方向是正交的（无相关），则非对角元素为零。

离散图像的实现

导数的差分近似

实际图像是离散的像素阵列 r(i,j)，不是连续函数。导数需要用有限差分近似。最简单的一阶前向差分：

x 方向梯度：

\frac{\partial r(x, y)}{\partial x} \approx g_x(i, j) = r(i, j) - r(i-1, j)

这计算当前像素与左邻像素的差值，近似水平方向的变化率。

y 方向梯度：

\frac{\partial r(x, y)}{\partial y} \approx g_y(i, j) = r(i, j) - r(i, j-1)

这计算当前像素与上邻像素的差值，近似垂直方向的变化率。

这些差分算子对应于图像处理中常用的梯度滤波器。更复杂的方法包括中心差分、Sobel算子、Prewitt算子等，但基本原理相同。

离散化的Fisher矩阵

将连续积分替换为离散求和，定义邻域 V(k,l) 为以像素 (k,l) 为中心的图像区域：

I(k, l) = \text{SNR} \begin{bmatrix} \sum_{(i,j)\in V(k,l)} |g_x(i,j)|^2 & \sum_{(i,j)\in V(k,l)} g_x(i,j)g_y(i,j) \\ \sum_{(i,j)\in V(k,l)} g_x(i,j)g_y(i,j) & \sum_{(i,j)\in V(k,l)} |g_y(i,j)|^2 \end{bmatrix}

这个矩阵对图像中的每个位置都可以计算，它量化了该位置处图像特征的可定位性。矩阵的特征值和特征向量描述了在哪个方向上定位精度最高。

匹配问题的应用

如果要从参考图像中选择一个特征块来进行配准，应该选择哪个块？应该选择Fisher矩阵具有大特征值的区域，即梯度信息丰富的区域。

角点的重要性

角点的优势： 角点是图像中灰度在多个方向都有显著变化的位置。在角点处，Fisher矩阵的两个特征值都很大，意味着在所有方向上都有良好的定位精度。

边缘的局限性： 边缘只在垂直于边缘的方向上有强梯度，平行于边缘的方向梯度接近零。因此Fisher矩阵的一个特征值很大，另一个很小。沿着边缘方向的定位精度很低，容易产生滑动误差（aperture problem）。

平坦区域的问题： 灰度均匀的平坦区域，所有方向的梯度都接近零，Fisher矩阵接近奇异，无法进行可靠定位。

Harris角点检测器的理论基础

这个分析正是Harris角点检测算法的理论基础。Harris检测器通过计算每个位置的梯度矩阵（本质上就是Fisher矩阵的一个版本），并评估其特征值，来识别角点。常用的Harris响应函数为：

R = \det(M) - k \cdot \text{trace}(M)^2

其中 M 是梯度协方差矩阵，\det(M) 是两个特征值的乘积，\text{trace}(M) 是两个特征值的和。当两个特征值都大时，R 值高，标识为角点。

好的视觉特征（如角点）正是那些能够提供高Fisher信息量的图像区域，它们允许我们以最高精度估计位置参数。

Fisher矩阵的旋转不变性问题

Fisher信息矩阵：

这个矩阵依赖于坐标系的选择。如果图像旋转，或者坐标轴旋转，矩阵的数值会改变。但好的特征点检测应该是旋转不变的，无论图像如何旋转，角点仍然是角点。

解决方案是对Fisher矩阵进行对角化。任何实对称矩阵都可以通过正交相似变换对角化：

I(k, l) = \begin{bmatrix} A & C \\ C & B \end{bmatrix}

存在旋转变换使得：

\Lambda(k, l) = \begin{bmatrix} \alpha & 0 \\ 0 & \beta \end{bmatrix}

其中 \alpha \geq \beta 是Fisher矩阵的两个特征值。这个对角矩阵的表示是旋转不变的：无论如何旋转坐标系，特征值保持不变。对角矩阵意味着在主轴方向上，两个参数的估计是解耦的。

CRLB的计算： 对角化后，逆矩阵变得简单：

[\Lambda(k,l)]^{-1} = \frac{1}{\text{SNR}} \begin{bmatrix} 1/\alpha & 0 \\ 0 & 1/\beta \end{bmatrix}

两个主方向的定位精度分别由 1/\alpha 和 1/\beta 决定。 \alpha 和 \beta 都应该尽可能大。这对应于角点，因为角点在两个正交方向上都有强梯度。

为什么需要两个都大？ 如果只有一个特征值大，那只是边缘，在一个方向上有很好的定位精度，但在另一个方向上精度很差。如果两个特征值都小，那是平坦区域，无法可靠定位。

实用准则： 一个常用的选择标准是最大化两个特征值中较小的那个：

\max_{(k,l)} [\min(\alpha, \beta)]

这确保了在最差方向上也有足够好的定位精度。

Harris响应函数

经典的Harris角点检测器使用响应函数：

R = \det[I(k,l)] - k \cdot \text{Tr}^2[I(k,l)]

其中：

\det[I(k,l)] = AB - C^2 = \alpha\beta（特征值的乘积）
\text{Tr}[I(k,l)] = A + B = \alpha + \beta（特征值的和）
k 是经验常数，通常取 k \in [0.04, 0.06]

当 R 值大时，标识为角点。R 大意味着 \alpha\beta 大且 (\alpha+\beta)^2 的负贡献被抑制，这要求两个特征值都较大且相对均衡。

旋转不变准则

标准Harris：

R = \det - k \cdot \text{Tr}^2, \quad k \in [0.04, 0.06]

改进准则：

R' = \min(\alpha, \beta) = \frac{\text{Tr} - \sqrt{\text{Tr}^2 - 4\det}}{2}

这直接计算较小的特征值。这个准则避免了参数 k 的选择，更加直接。从公式可以看出，R' 用求根公式给出了较小特征值的精确值。

泊松噪声下的延迟估计

从高斯噪声到泊松噪声

之前讨论的都是加性高斯噪声：

\mathbf{s} = a\mathbf{r}(\theta) + \mathbf{b}

其中 \mathbf{b} 是高斯白噪声。但在许多物理场景中，噪声是泊松分布的，特别是涉及光子计数的系统（如低光照成像、天文观测、荧光显微镜、X射线成像等）。

泊松噪声模型

观测值 \mathbf{s} 的每个分量 s_i 是一个泊松随机变量，均值为 ar_i(\theta)：

L(\mathbf{s}|\boldsymbol{\theta}) = \prod_{i=1}^{N} \exp[-ar_i(\theta)] \frac{[ar_i(\theta)]^{s_i}}{s_i!}

这里 s_i 是非负整数（光子计数），参数 ar_i(\theta) 同时决定了均值和方差（泊松分布的特性：均值等于方差）。

对数似然函数的推导

取对数：

\ell(\theta) = \sum_{i=1}^{N} \left\{ -ar_i(\theta) + s_i \ln[ar_i(\theta)] - \ln[s_i!] \right\}

展开并重新排列：

\ell(\theta) = \sum_{i=1}^{N} s_i \ln[r_i(\theta)] - a\sum_{i=1}^{N} r_i(\theta) + \ln a \sum_{i=1}^{N} s_i - \sum_{i=1}^{N} \ln[s_i!]

归一化条件

在延迟估计问题中，信号模板是归一化的：

\sum_{i=1}^{N} r_i(\theta) = 1

这个自然归一化意味着 r_i(\theta) 可以解释为概率分布。在这个假设下，对数似然函数的第二项变为常数 -a，第三项和第四项也与 \theta 无关。

ML估计器的简化形式

因此，ML估计器简化为：

\hat{\theta} = \arg\max_{\theta} \sum_{i=1}^{N} s_i \ln r_i(\theta)

它是观测计数 s_i 与模板对数 \ln r_i(\theta) 的加权和。

与高斯噪声情况的对比

右侧对比了加性高斯噪声的ML估计器：

\hat{\theta}_{高斯} =\arg\max_{\theta} [\mathbf{s}^T \mathbf{r}(\theta)]

这是观测值与模板的线性相关。而泊松情况下，是观测值与模板对数的线性相关。

高斯情况下，大的观测值和小的观测值对似然函数的贡献是对称的（通过平方误差）。泊松情况下，由于取了对数，大的计数值的影响被压缩，小的计数值（接近零）的影响被放大。

这反映了泊松统计的非对称性，当均值小时，观测到零计数的概率很高，这是强信号，当均值大时，观测值的相对波动较小。

正则化（Regularization）

为什么需要正则化

经典估计理论具有优良的最优性质，当似然函数属于指数族分布时，最大似然估计量是最佳无偏估计量，并且在渐近意义下是无偏且有效的。但在实际问题中，有病态（ill-posed）估计问题。

对于这类病态问题，如果仍然使用无偏估计，虽然估计量在理论上是无偏的，但其方差会非常大，导致均方误差（MSE）变得不可接受。这是因为病态问题往往对应着矩阵接近奇异或者条件数很大的情况，微小的扰动会被放大，产生巨大的估计误差。为了得到合理的MSE，必须主动引入偏差（bias），将解引导向某个特定的解空间。这就是正则化的核心思想：通过牺牲无偏性来换取更小的方差，从而获得更好的整体估计性能。

这一章将围绕三个主要内容展开。首先是线性估计问题，它是正则化问题的基础框架。在这部分会定义线性估计问题的数学形式，介绍伪逆估计量作为无约束情况下的解，并通过奇异值分解（SVD）来分析伪逆解的精度。接下来是病态逆问题的正则化方法，重点讲解正则化的原理以及最经典的Tikhonov正则化。最后是从贝叶斯角度来理解正则化，介绍最大后验估计以及在反卷积问题中的维纳滤波器。

第一部分：线性估计问题

本部分将从四个方面展开：首先给出线性估计问题的定义和具体例子，然后介绍伪逆估计量的概念和计算方法，接着通过奇异值分解来深入理解伪逆估计量的结构，最后分析伪逆解的精度问题，这将为后续理解为什么需要正则化打下基础。

数学定义

线性估计问题的核心是从含噪声的线性测量中恢复未知参数。问题的数学模型表示为：

\mathbf{y} = H\boldsymbol{\theta} + \mathbf{b}

这个公式描述了测量过程的物理机制。

\mathbf{y} 是我们实际观测到的测量向量，其维度为 M，代表我们进行了 M 次测量
\boldsymbol{\theta} 是我们真正想要估计的参数向量，其维度为 P，代表有 P 个未知参数需要确定
矩阵 H 是测量矩阵，维度为 M \times P，它刻画了参数如何影响测量结果，可以理解为系统的正向模型
\mathbf{b} 是噪声向量，假设它是零均值的高斯白噪声，这个假设意味着噪声的各个分量是独立同分布的，且服从均值为零的正态分布。

估计问题的目标有两个层面：第一是从观测到的 \mathbf{y} 中估计出 \boldsymbol{\theta}，第二是定量刻画这个估计的精度，即我们需要知道估计值与真实值之间的误差有多大。

统计对比度：问题的基本分类

在线性估计问题中，一个关键的参数是统计对比度（statistical contrast），定义为：

\rho = \frac{M}{P}

这个比值反映了测量数量与待估计参数数量之间的关系，它决定了问题的基本性质。统计对比度将线性估计问题分为三类。

当 \rho > 1 时，测量数量多于参数数量，问题被称为过定（overdetermined）问题。在这种情况下，我们有多余的信息，理论上可以通过最小二乘等方法获得较好的估计。但即使在过定情况下，如果矩阵 H 的条件数很大（即接近奇异），问题仍可能是病态的。

当 \rho < 1 时，参数数量多于测量数量，问题被称为欠定（underdetermined）问题。此时信息不足以唯一确定所有参数，解空间是无穷多的。这种情况下必须引入额外的约束或先验信息才能得到有意义的解。

当 \rho = 1 时，H 是方阵。如果 H 可逆，可以直接计算 \boldsymbol{\theta} = H^{-1}\mathbf{y}，这被称为朴素的反演方法。但这个公式没有考虑噪声的影响。由于 \mathbf{y} 中包含噪声项 \mathbf{b}，直接求逆会将噪声也反演回去，如果 H 的条件数较大，噪声会被显著放大，导致估计结果完全不可用。因此，即使在 \rho = 1 且 H 可逆的情况下，朴素反演方法在噪声存在时也往往不够充分。这正是我们需要更精细方法的原因。

线性估计问题的具体例子

通过三个典型例子可以更清楚地理解线性估计问题的框架，以及不同问题中测量矩阵 H 的具体形式和统计对比度的含义。

例子1：估计高斯样本的均值

假设我们有 M 个独立的观测值，它们都来自均值为 m 的高斯分布，任务是估计这个未知均值。在这个问题中，参数 \theta = m 是一个标量，因此 P = 1。每个观测值都可以写成 y_i = m + b_i，其中 b_i 是噪声。将所有观测组织成向量形式，测量矩阵 H 是一个 M \times 1 的列向量，所有元素都是1，因为每个测量都直接反映同一个均值参数。统计对比度为 \rho = M/1 = M，这是一个典型的过定问题，我们用 M 个观测来估计单个参数，信息是充足的。

例子2：多项式拟合

多项式拟合问题是要用一个 P-1 阶的多项式来拟合 M 个数据点。对于每个数据点 (x_i, y_i)，我们假设：

\forall i \in [1, M], \quad y_i = \theta_0 + \sum_{p=1}^{P-1} \theta_p x_i^p

这里参数向量 \boldsymbol{\theta} 包含 P 个系数：常数项 \theta_0 以及 P-1 个多项式系数 \theta_1, \ldots, \theta_{P-1}。测量矩阵 H 是一个 M \times P 的Vandermonde矩阵，其结构为：

H = \begin{pmatrix} 1 & x_1 & x_1^2 & \cdots & x_1^{P-1} \\ 1 & x_2 & x_2^2 & \cdots & x_2^{P-1} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_M & x_M^2 & \cdots & x_M^{P-1} \end{pmatrix}

每一行对应一个采样点 x_i，包含了从0到 P-1 次幂的所有项。Vandermonde矩阵有一个重要性质：当采样点 x_i 互不相同时，如果 M \geq P，矩阵列满秩；但当 P 接近或超过 M 时，或者当采样点分布不均匀时，矩阵可能变得病态。统计对比度 \rho = M/P，它反映了数据点数量与多项式复杂度的相对关系。

例子3：反卷积

反卷积问题在信号处理中非常常见。观测信号 \mathbf{y} 是原始信号 \boldsymbol{\theta} 通过一个滤波器（脉冲响应为 \mathbf{h}）后得到的数字卷积：

\forall i \in [0, P-1], \quad y_i = \sum_{p=0}^{p-1} h_{i-p} \theta_p

这个求和表示卷积操作：第 i 个输出是原始信号各个位置的加权和，权重由滤波器系数决定。在这个例子中，参数 \boldsymbol{\theta} 和观测 \mathbf{y} 具有相同的维度，即 M = P，因此统计对比度 \rho = 1。

测量矩阵 H 是一个 P \times P 的循环矩阵（circulant matrix），其结构为：

H = \begin{pmatrix} h_0 & h_{P-1} & h_{P-2} & \cdots & h_1 \\ h_1 & h_0 & h_{P-1} & \cdots & h_2 \\ h_2 & h_1 & h_0 & \cdots & h_3 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ h_{P-1} & h_{P-2} & h_{P-3} & \cdots & h_0 \end{pmatrix}

循环矩阵的每一行都是上一行的循环右移。这里使用循环卷积（通过模运算 h_p = h_{p \bmod P}）是为了避免处理信号边界的复杂性。虽然 \rho = 1 看起来是正定问题，但反卷积的病态性来自于滤波器的频率特性：如果滤波器 \mathbf{h} 在某些频率上的响应接近零（例如低通滤波器抑制了高频信息），那么矩阵 H 在对应方向上的奇异值会很小，导致矩阵接近奇异。这时直接求逆会极大放大那些被滤波器衰减的频率分量上的噪声，使得反卷积成为典型的病态问题。

循环矩阵的性质

为了更深入理解反卷积问题，需要了解循环矩阵的特殊结构和性质。循环矩阵与傅里叶变换有着紧密的联系，这使得循环卷积可以通过频域操作高效计算。

首先定义傅里叶矩阵（Fourier matrix）F，其元素为：

F_{kn} = \exp\left[2i\pi\frac{kn}{K}\right], \quad k \in [0, K-1], \quad n \in [0, K-1]

这里 i 是虚数单位，K 是矩阵的维度。傅里叶矩阵的每个元素是复指数，代表不同频率的基函数。傅里叶矩阵是酉矩阵（unitary matrix），即满足 F^\dagger F = I，其中 F^\dagger 表示共轭转置。

对于向量 \mathbf{x}，其离散傅里叶变换（discrete Fourier transform）定义为 \tilde{\mathbf{x}} = F^\dagger \mathbf{x}，逆傅里叶变换为 \mathbf{x} = F\tilde{\mathbf{x}}。离散傅里叶变换将时域信号转换到频域，每个频率分量 \tilde{x}_k 表示信号在该频率上的幅度和相位。

循环矩阵 H 具有一个重要性质：循环矩阵的特征向量就是傅里叶矩阵的列。具体来说，循环矩阵可以表示为：

H = F\tilde{H}F^\dagger

其中 \tilde{H} 是对角矩阵，其对角元素是卷积向量 \mathbf{h} 的离散傅里叶变换 \tilde{\mathbf{h}}。这个分解公式揭示了循环卷积的本质：在时域的卷积等价于频域的逐点相乘。对角矩阵 \tilde{H} 的元素 \tilde{h}_k 就是滤波器的频率响应，它描述了滤波器对每个频率分量的放大或衰减程度。如果某个 \tilde{h}_k 接近零，说明滤波器几乎完全抑制了对应频率，这会导致反卷积时该频率方向的噪声被极大放大，这正是反卷积病态性的根源。

伪逆估计量

回到一般的线性估计问题 \mathbf{y} = H\boldsymbol{\theta} + \mathbf{b}，现在要推导 \boldsymbol{\theta} 的最大似然估计。

对数似然函数的推导

假设噪声 \mathbf{b} 服从零均值、方差为 \sigma^2 的高斯白噪声，那么给定 \boldsymbol{\theta} 时，\mathbf{y} 的条件概率密度正比于 \exp(-\|\mathbf{y} - H\boldsymbol{\theta}\|^2/(2\sigma^2))。取对数得到对数似然函数：

\ell(\boldsymbol{\theta}) = -\frac{1}{2\sigma^2}\|\mathbf{y} - H\boldsymbol{\theta}\|^2

这个函数衡量了在参数 \boldsymbol{\theta} 下观测到数据 \mathbf{y} 的可能性。最大化对数似然等价于最小化残差的平方范数，这就是最小二乘问题。

现在展开这个范数的平方。利用 \|\mathbf{y} - H\boldsymbol{\theta}\|^2 = (\mathbf{y} - H\boldsymbol{\theta})^T(\mathbf{y} - H\boldsymbol{\theta})，可以得到：

\ell(\boldsymbol{\theta}) = -\frac{1}{2\sigma^2}\left\{\|\mathbf{y}\|^2 - 2\mathbf{y}^T H\boldsymbol{\theta} + \boldsymbol{\theta}^T H^T H\boldsymbol{\theta}\right\}

这里第一项 \|\mathbf{y}\|^2 与 \boldsymbol{\theta} 无关，可以忽略。定义 \mathbf{u} = H^T\mathbf{y} 和 A = H^T H，则对数似然可以简化为：

\ell(\boldsymbol{\theta}) = -\frac{1}{2\sigma^2}\left\{\|\mathbf{y}\|^2 - 2\mathbf{u}^T\boldsymbol{\theta} + \boldsymbol{\theta}^T A\boldsymbol{\theta}\right\}

向量 \mathbf{u} = H^T\mathbf{y} 可以理解为测量向量 \mathbf{y} 在测量矩阵列空间上的投影，它包含了测量提供的关于参数的所有信息。矩阵 A = H^T H 是Gram矩阵，它刻画了测量矩阵列向量之间的内积关系，反映了不同参数方向的可区分性。

向量求导的性质

为了求解最大似然估计，需要对 \boldsymbol{\theta} 求导并令导数为零。这里需要用到向量函数求导的两个基本性质。

对于线性函数 F(\mathbf{u}) = \mathbf{v}^T\mathbf{u} = \sum_i u_i v_i，它对 \mathbf{u} 的梯度就是 \mathbf{v}。这可以通过计算 \partial F/\partial u_i = v_i 直接得到，所有偏导数组合起来就是向量 \mathbf{v}，即：

\frac{\partial F(\mathbf{u})}{\mathbf{u}} = \mathbf{v}

对于二次型函数

F(\mathbf{u}) = \mathbf{u}^T A\mathbf{u} = \sum_{i,j} A_{ij}u_i u_j

求偏导数 \partial F/\partial u_i 时需要注意 u_i 可能同时出现在 A_{ii}u_i^2 项以及 A_{ij}u_i u_j（当 j \neq i）和 A_{ji}u_j u_i（当 j \neq i）项中。对于对角项贡献 2A_{ii}u_i，对于非对角项，当 j \neq i 时贡献 A_{ij}u_j + A_{ji}u_j。由于求和包含所有 j，将 j \neq i 和 j = i 的情况分别写出来，可以得到：

\frac{\partial F(\mathbf{u})}{\partial u_i} = 2A_{ii}u_i + \sum_{j\neq i}A_{ij}u_j + \sum_{j\neq i}A_{ji}u_j = \sum_j A_{ij}u_j + \sum_j A_{ji}u_j = \sum_j(A_{ij} + A_{ji})u_j

写成向量形式就是：

\frac{\partial F(\mathbf{u})}{\mathbf{u}} = (A + A^T)\mathbf{u}

这个公式适用于一般矩阵 A。如果 A 是对称矩阵（即 A^T = A），则梯度简化为 2A\mathbf{u}。在我们的问题中，A = H^T H 显然是对称矩阵，因为 (H^T H)^T = H^T(H^T)^T = H^T H。

最大似然估计的求解

现在对对数似然函数关于 \boldsymbol{\theta} 求导

\ell(\boldsymbol{\theta}) = -\frac{1}{2\sigma^2}\{\|\mathbf{y}\|^2 - 2\mathbf{u}^T\boldsymbol{\theta} + \boldsymbol{\theta}^T A\boldsymbol{\theta}\}

根据前面的向量求导性质，-2\mathbf{u}^T\boldsymbol{\theta} 对 \boldsymbol{\theta} 的梯度是 -2\mathbf{u}，而 \boldsymbol{\theta}^T A\boldsymbol{\theta} 的梯度是 (A + A^T)\boldsymbol{\theta}。因此对数似然的梯度为：

\frac{\partial\ell(\boldsymbol{\theta})}{\partial\boldsymbol{\theta}} = -\frac{1}{2\sigma^2}\{-2\mathbf{u} + (A + A^T)\boldsymbol{\theta}\}

由于 A = H^T H 是对称矩阵，有 A^T = A，上式简化为：

\frac{\partial\ell(\boldsymbol{\theta})}{\partial\boldsymbol{\theta}} = -\frac{1}{2\sigma^2}\{-2\mathbf{u} + 2A\boldsymbol{\theta}\}

最大似然估计的必要条件是梯度等于零，即：

\frac{\partial\ell}{\partial\boldsymbol{\theta}} = 0 \Longleftrightarrow \mathbf{u} = A\boldsymbol{\theta} \Longleftrightarrow H^T\mathbf{y} = H^T H\boldsymbol{\theta}

这个方程被称为正规方程（normal equation）。它的形式很自然：将原始观测方程 \mathbf{y} = H\boldsymbol{\theta} + \mathbf{b} 两边左乘 H^T，忽略噪声项，就得到 H^T\mathbf{y} = H^T H\boldsymbol{\theta}。从几何角度看，这相当于将观测向量投影到测量矩阵的列空间上。

需要注意的是，H^T H 是一个 P \times P 的方阵，其维度等于参数的个数。求解正规方程能否得到唯一解，完全取决于这个矩阵是否可逆。

非奇异情况：伪逆的定义

当矩阵 H^T H 是非奇异的（即可逆的）时，最大似然估计存在唯一解：

\hat{\boldsymbol{\theta}} = (H^T H)^{-1}H^T\mathbf{y} = H^+\mathbf{y}

矩阵 H^+ 被称为伪逆矩阵（pseudo-inverse matrix）

H^+ = (H^T H)^{-1}H^T

伪逆这个名字来源于它的一个特殊性质：当 M = P 且 H 是可逆方阵时，可以验证 (H^T H)^{-1}H^T = H^{-1}(H^T)^{-1}H^T = H^{-1}，此时伪逆退化为普通的矩阵逆。

当测量数量 M 大于参数数量 P 时，方程组 H\boldsymbol{\theta} = \mathbf{y} 通常是不相容的（因为噪声的存在），没有精确解。伪逆估计量给出的是最小二乘意义下的最佳近似解，它使得预测值 H\hat{\boldsymbol{\theta}} 与观测值 \mathbf{y} 之间的欧氏距离最小。

奇异情况：解的不唯一性

如果问题是欠定的（P > M），即参数数量多于测量数量，因此 H^T H 的秩也最多为 M，不满秩，那么 H^T H 必然是奇异的。

当 H^T H 奇异时，正规方程 H^T H\boldsymbol{\theta} = H^T\mathbf{y} 有无穷多解。具体来说，如果 \boldsymbol{\theta}_0 是一个解，那么对于 H^T H 的零空间中的任意向量 \boldsymbol{\theta}_K \in \ker[H^T H]（即满足 H^T H\boldsymbol{\theta}_K = \mathbf{0} 的向量），\boldsymbol{\theta}_0 + \boldsymbol{\theta}_K 也是解。这是因为：

H^T H(\boldsymbol{\theta}_0 + \boldsymbol{\theta}_K) = H^T H\boldsymbol{\theta}_0 + H^T H\boldsymbol{\theta}_K = H^T\mathbf{y} + \mathbf{0} = H^T\mathbf{y}

意味着存在无穷多个参数配置都能同样好地解释观测数据。面对这种不唯一性，我们需要额外的准则来选择一个好的解，这正是正则化方法要解决的核心问题。

奇异值分解（SVD）

SVD是线性代数中最重要的矩阵分解之一，它将任意矩形矩阵分解为三个具有特殊结构的矩阵的乘积。

SVD的定义和结构

任何 M \times P 的矩形矩阵 H 都可以分解为：

H = UDV^T

这个分解包含三个矩阵。

U 是一个 M \times M 的酉矩阵，满足 U^T = U^{-1}，即 U^T U = I。酉矩阵的列向量构成正交基，它们代表了测量空间的一组标准正交基。
V 是一个 P \times P 的酉矩阵，同样满足 V^T V = I，它的列向量构成参数空间的标准正交基。
D 是一个 M \times P 的对角矩阵，当 M \neq P 时，D 不是严格的方阵。

矩阵 D 的具体结构取决于问题是过定还是欠定。当 M > P（过定问题）时，D 的形式为：

D = \begin{pmatrix} d_1 & 0 & \cdots & 0 \\ 0 & d_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & d_P \\ 0 & 0 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 0 \end{pmatrix}

这是一个 M \times P 矩阵，前 P 行形成一个对角块，包含 P 个奇异值 d_1, d_2, \ldots, d_P，后面 M - P 行全部是零。这反映了当测量数多于参数数时，额外的测量并不增加新的独立信息，而只是提供冗余。

当 M < P（欠定问题）时，D 的形式为：

D = \begin{pmatrix} d_1 & 0 & \cdots & 0 & \cdots & 0 \\ 0 & d_2 & \cdots & 0 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & d_M & \cdots & 0 \end{pmatrix}

这是一个 M \times P 矩阵，前 M 列形成对角块，包含 M 个奇异值 d_1, d_2, \ldots, d_M，后面 P - M 列全部是零。这表明当参数数多于测量数时，只有 M 个参数组合可以被观测到，剩余的 P - M 个自由度完全不可观测。

奇异值 d_p, p \in [1, P]（过定情况）或 d_m, m \in [1, M]（欠定情况）都是非负实数，并且按照降序排列：d_1 \geq d_2 \geq \cdots。这些值度量了矩阵 H 在不同方向上的强度或增益。奇异值越大，对应方向的信息传递越强；奇异值越小甚至接近零，对应方向的信息几乎丢失，这正是病态问题的根源。

SVD与特征值分解的关系

SVD与我们关心的Gram矩阵 H^T H 的特征值分解有直接关系。将 H = UDV^T 代入：

H^T H = (UDV^T)^T(UDV^T) = VD^T U^T UDV^T = VD^T DV^T

这里利用了 U^T U = I。矩阵 D^T D 是一个 P \times P 的对角矩阵，其对角元素是 d_p^2。因此上式表明 V 的列向量是 H^T H 的特征向量，对应的特征值是 d_p^2。

这解释了为什么 V 可以视为参数空间的主方向：它们是 H^T H 的特征方向。

类似地，可以计算：

HH^T = (UDV^T)(UDV^T)^T = UDV^T VD^T U^T = UDD^T U^T

矩阵 DD^T 是一个 M \times M 的对角矩阵，前 \min(M, P) 个对角元素是 d_i^2，剩余元素为零。这表明 U 的列向量是 HH^T 的特征向量，对应特征值也与奇异值的平方相关。

从这两个关系可以看出，H 的奇异值就是 H^T H（或 HH^T）特征值的平方根。当某个奇异值 d_p 很小时，对应的 H^T H 的特征值 d_p^2 也很小，说明 H^T H 在该方向上接近奇异。这时 (H^T H)^{-1} 的特征值会是 1/d_p^2，变得极大，导致伪逆操作会极大放大该方向上的噪声。

伪逆估计量的精度分析

有了SVD工具之后，现在可以深入分析伪逆估计量的统计性质，特别是它的精度如何依赖于测量矩阵的条件。

伪逆估计量的无偏性

伪逆估计量可以写成 \hat{\boldsymbol{\theta}} = H^+\mathbf{y}。将观测方程 \mathbf{y} = H\boldsymbol{\theta}_0 + \mathbf{b} 代入，得到：

\hat{\boldsymbol{\theta}} = H^+\mathbf{y} = H^+(H\boldsymbol{\theta}_0 + \mathbf{b}) = \boldsymbol{\theta}_0 + H^+\mathbf{b}

这里用到了 H^+ H = (H^T H)^{-1}H^T H = I，这是伪逆的关键性质。上式将估计量分解为两部分：真实参数 \boldsymbol{\theta}_0 加上一个噪声项 H^+\mathbf{b}。取期望时，由于噪声 \mathbf{b} 是零均值的，噪声项的期望为零：

\mathbb{E}[\hat{\boldsymbol{\theta}}] = \boldsymbol{\theta}_0 + H^+\mathbb{E}[\mathbf{b}] = \boldsymbol{\theta}_0

这证明了伪逆估计量是无偏的，即它的期望值等于真实参数值。

协方差矩阵的推导

估计误差是 \hat{\boldsymbol{\theta}} - \boldsymbol{\theta}_0 = H^+\mathbf{b}。协方差矩阵定义为误差向量与其转置的外积的期望：

\Gamma_{\hat{\boldsymbol{\theta}}} = \mathbb{E}\left[(\hat{\boldsymbol{\theta}} - \boldsymbol{\theta}_0)(\hat{\boldsymbol{\theta}} - \boldsymbol{\theta}_0)^T\right] = \mathbb{E}\left[(H^+\mathbf{b})(H^+\mathbf{b})^T\right]

展开右边，利用矩阵乘法的结合律和转置的性质 (AB)^T = B^T A^T：

\Gamma_{\hat{\boldsymbol{\theta}}} = H^+\mathbb{E}[\mathbf{b}\mathbf{b}^T](H^+)^T

由于噪声是白噪声，协方差矩阵 \mathbb{E}[\mathbf{b}\mathbf{b}^T] = \sigma^2 I，其中 \sigma^2 是噪声方差。因此：

\Gamma_{\hat{\boldsymbol{\theta}}} = \sigma^2 H^+(H^+)^T

现在需要计算 (H^+)^T。回顾 H^+ = (H^T H)^{-1}H^T，取转置得：

(H^+)^T = \left[(H^T H)^{-1}H^T\right]^T = H(H^T H)^{-T}

注意到 H^T H 是对称矩阵，所以 (H^T H)^{-T} = (H^T H)^{-1}。因此：

H^+(H^+)^T = (H^T H)^{-1}H^T H(H^T H)^{-1} = (H^T H)^{-1}

最终得到协方差矩阵的简洁表达式：

\Gamma_{\hat{\boldsymbol{\theta}}} = \sigma^2(H^T H)^{-1}

这个公式揭示了估计精度的关键：协方差矩阵与 (H^T H)^{-1} 成正比。当 H^T H 的某个特征值很小时，其逆矩阵的对应特征值会很大，导致该方向上的估计方差急剧增大。

通过SVD计算协方差矩阵的迹

协方差矩阵的迹（trace）是所有对角元素之和，它等于所有参数估计方差的总和，可以作为整体估计精度的一个标量度量：

\text{tr}[\Gamma_{\hat{\boldsymbol{\theta}}}] = \sigma^2\text{tr}[(H^T H)^{-1}] = \sigma^2\sum_{i=1}^{P}\frac{1}{d_i^2}

这里给出推导过程:

利用SVD，我们知道 H^T H = VD^T DV^T，其中 D^T D 是对角矩阵，对角元素是 d_i^2。因此：

(H^T H)^{-1} = V(D^T D)^{-1}V^T

矩阵 (D^T D)^{-1} 也是对角矩阵，对角元素是 1/d_i^2。利用迹的循环性质（对任意矩阵 A, B，有 \text{tr}(AB) = \text{tr}(BA)），可以得到：

\text{tr}[(H^T H)^{-1}] = \text{tr}[V(D^T D)^{-1}V^T] = \text{tr}[(D^T D)^{-1}V^T V] = \text{tr}[(D^T D)^{-1}]

由于 V^T V = I。对角矩阵的迹就是对角元素之和：

\text{tr}[(D^T D)^{-1}] = \sum_{i=1}^{P}\frac{1}{d_i^2}

这个公式直接将估计的总方差与奇异值联系起来。每个奇异值 d_i 的倒数平方贡献一项。如果某个奇异值 d_i 很小（接近零），那么 1/d_i^2 会变得极大，这一项会主导整个求和，导致总方差爆炸。这就是数值病态（numerically ill-posed）问题。

从这个公式可以看出，估计精度依赖于测量矩阵 H 的条件数（最大奇异值与最小奇异值之比）。如果条件数很大，意味着存在很小的奇异值，估计方差会非常高。这种情况下，即使估计量是无偏的，实际的估计结果也会因为巨大的方差而毫无用处。

具体例子的分析

例1：估计高斯样本均值

在这个例子中，H^T H = M（一个标量），因为 H 是全1列向量，H^T H = 1^2 + 1^2 + \cdots + 1^2 = M。伪逆估计量变成：

\hat{\theta} = \frac{1}{M}\sum_{m=1}^{M}y_m

这就是样本均值。估计方差为：

\text{VAR}[\hat{\theta}] = \frac{\sigma^2}{M}

方差随样本数 M 增加而线性减小，不存在病态性。

例2：多项式拟合

考虑在 [0, 1] 区间均匀采样 M = 100 个点，用 P = 5（即4阶多项式）拟合。计算得到的奇异值为：

\text{diag}(D) = \{12.55, 4.61, 1.08, 0.17, 0.02\}

可以看到奇异值跨越了两个数量级，从12.55降到0.02。最小奇异值很小，说明问题虽然可逆（因为所有奇异值都非零），但条件很差（badly conditioned）。计算协方差矩阵的对角元素（各参数估计的标准差）：

\sqrt{\text{diag}(\Gamma_{\hat{\boldsymbol{\theta}}})} = \sigma \times \{0.47, 6.60, 27.04, 40.73, 20.20\}

对比奇异值的倒数，最后几个参数（高阶系数）的估计不确定性远大于低阶系数。这反映高阶多项式系数对应于信号的快速变化成分，这些成分对噪声更敏感。即使有100个数据点拟合5个参数（统计对比度 \rho = 20），问题仍然是病态的。

例3：反卷积

在反卷积问题中，M = P，伪逆退化为逆滤波器 H^+ = H^{-1}，估计量为：

\hat{\boldsymbol{\theta}} = H^{-1}\mathbf{y}

如果 H 是循环矩阵，可以用傅里叶变换对角化。在频域，问题变成逐点相除。对每个频率 p：

\hat{\theta}_p = \frac{\tilde{y}_p}{\tilde{h}_p}, \quad \forall p \in [1, P]

其中 \tilde{y}_p 和 \tilde{h}_p 分别是观测信号和滤波器的傅里叶系数。恢复信号的平均方差为：

\text{tr}[\Gamma_{\hat{\boldsymbol{\theta}}}] = \sigma^2\sum_{p=1}^{P}\frac{1}{|\tilde{h}_p|^2}

实际测量中遇到的大多数滤波器，特别是光学系统中的滤波器，都是低通的：它们的频率响应在高频处趋近于零。这意味着 |\tilde{h}_p| 对大频率 p 很小，导致 1/|\tilde{h}_p|^2 在高频处爆炸。因此，逆滤波估计会产生极高的方差，使得恢复的信号充满高频噪声。这是反卷积成为典型病态问题的根本原因

反卷积的数值实验

通过一个具体的数值实验可以直观看到伪逆方法在反卷积问题中的失效。这个实验设置如下：原始信号 \boldsymbol{\theta}_0 是一个一维信号（可以想象成图像的一行），长度为250个采样点，信号值在2到9之间变化，包含不同尺度的起伏。滤波器 \mathbf{h} 是一个9点的矩形滤波器，这是一种简单的低通滤波器，会对信号进行平滑。观测信号通过循环卷积生成：\mathbf{y} = H\boldsymbol{\theta}_0 + \mathbf{b}，其中噪声的信噪比设定为SNR = 40dB。

信噪比的定义为：

\text{SNR} = 10\log_{10}\frac{\mathcal{E}[H\boldsymbol{\theta}_0]}{\text{VAR}[\mathbf{b}]}

其中能量 \mathcal{E}[\mathbf{x}] 定义为 \frac{1}{N}\sum_{i=1}^{N}(x_i - \bar{x})^2，\bar{x} = \frac{1}{N}\sum_{i=1}^{N}x_i 是均值。40dB是一个相对较高的信噪比，意味着噪声能量只有信号能量的万分之一。在这种高信噪比下，观测信号看起来已经很接近真实的卷积结果，噪声并不明显。

滤波器的频率响应 |\tilde{h}_p|^2 显示了滤波器在频域的特性。可以看到它在低频（频率索引接近0或P）处有较大的响应，在中频处达到峰值，但在某些高频位置响应接近零。这种频率响应的衰减特性是低通滤波器的典型行为。

现在考察伪逆估计的结果 \hat{\boldsymbol{\theta}} = H^+\mathbf{y}。从图中可以看到，恢复的信号 h*\boldsymbol{\theta}_0（红色曲线）在整体趋势上确实跟随原始信号 \boldsymbol{\theta}_0（蓝色曲线），这反映了估计量的无偏性。但是，红色曲线上叠加了大量的高频振荡，这些振荡完全是噪声放大的结果。

当使用纯粹的逆滤波器时，结果更加糟糕。 H^+\mathbf{y} 的估计（红色）完全被噪声淹没，看起来像是随机信号，几乎看不出原始信号的任何结构。这是因为逆滤波在频域相当于逐点除法 \hat{\theta}_p = \tilde{y}_p/\tilde{h}_p。当 |\tilde{h}_p| 很小时，即使 \tilde{y}_p 中只包含很小的噪声分量，除法操作会将这个噪声放大 1/|\tilde{h}_p| 倍。对于9点矩形滤波器，某些高频位置的 |\tilde{h}_p| 接近零，导致对应频率上的噪声被放大几十倍甚至上百倍。

从理论公式也可以定量看到这一点，恢复图像的平均方差为：

\text{tr}[\Gamma_{\hat{\boldsymbol{\theta}}}] = \sigma^2\sum_{p=1}^{P}\frac{1}{|\tilde{h}_p|^2}

即使在 SNR = 40dB 的情况下，噪声方差 \sigma^2 本身很小，但由于求和中包含 1/|\tilde{h}_p|^2 项，当某些 |\tilde{h}_p| 很小时，这些项的贡献会非常大。实际上，滤波器频率响应在高频处的快速衰减导致求和发散，使得总方差变得不可接受。实际测量中遇到的大多数滤波器都是低通的，它们在高频处的响应达到非常低的值，导致逆估计具有非常高的方差。

这个例子清楚地说明了病态问题的本质：不是因为没有足够的数据（M = P = 250，统计对比度为1），也不是因为信噪比太低（40dB已经很高），而是因为问题的数学结构本身导致某些方向的信息几乎完全丢失。直接的伪逆方法虽然在理论上是无偏的，但在实践中完全不可用。这就是为什么必须使用正则化方法：我们需要主动放弃在那些信息缺失的方向上精确恢复参数，转而寻求一个有偏但方差可控的估计。

重建质量的度量

为了定量评估估计的好坏，需要引入一个标量指标。重建质量（Reconstruction Quality, RQ）定义为：

\text{RQ} = 10\log_{10}\frac{\mathcal{E}[\boldsymbol{\theta}_0]}{MSE}

其中均方误差（MSE）定义为：

\text{MSE} = \mathbb{E}\left[\|\hat{\boldsymbol{\theta}} - \boldsymbol{\theta}_0\|^2\right]

MSE度量了估计值与真实值之间的平均欧氏距离的平方。分子 \mathcal{E}[\boldsymbol{\theta}_0] 是真实信号的能量，分母是估计误差的能量。RQ用分贝表示信号能量与误差能量的比值，数值越大表示重建质量越好。

在前面的反卷积实验中，使用逆滤波器得到的重建质量只有RQ = 6dB。

综上所述，我们之前的逆滤波器（即伪逆估计量）是最小方差无偏估计量（MVUE），在所有无偏估计量中，它的方差已经是最小的。但我们已经看到他的缺点，因此是否存在有偏的估计量，虽然引入了偏差，但由于方差的显著降低，使得总的MSE反而更小，从而获得更好的RQ？

第二部分：病态逆问题的正则化

通过截断SVD进行正则化

为了简化分析，假设 M = P，即测量数等于参数数，且所有奇异值 d_i > 0，即矩阵 H 是满秩的。虽然矩阵可逆，但如果某些奇异值很小，问题仍然是病态的。现在利用SVD将问题转换到奇异向量的空间中。

回顾 H = UDV^T，定义变换后的变量：

\tilde{\mathbf{y}} = U^T\mathbf{y}, \quad \tilde{\boldsymbol{\theta}} = V^T\boldsymbol{\theta}

这相当于在测量空间用 U 的列向量作为基，在参数空间用 V 的列向量作为基。观测方程变为：

\tilde{\mathbf{y}} = U^T(H\boldsymbol{\theta}_0 + \mathbf{b}) = U^T UDV^T\boldsymbol{\theta}_0 + U^T\mathbf{b} = D\tilde{\boldsymbol{\theta}}_0 + \tilde{\mathbf{b}}

其中 \tilde{\mathbf{b}} = U^T\mathbf{b} 是变换后的噪声。由于 U 是酉矩阵，变换不改变噪声的统计性质：\tilde{\mathbf{b}} 仍然是零均值、方差为 \sigma^2 的白噪声，因为

\mathbb{E}[\tilde{\mathbf{b}}\tilde{\mathbf{b}}^T] = U^T\mathbb{E}[\mathbf{b}\mathbf{b}^T]U = \sigma^2 U^T U = \sigma^2 I

在这个对角化的空间中，问题被完全解耦：对每个分量 i \in [1, P]，有独立的标量方程：

\tilde{y}_i = d_i\tilde{\theta}_{0,i} + \tilde{b}_i

逆滤波解就是简单地除以奇异值：

\hat{\tilde{\theta}}_i = \frac{\tilde{y}_i}{d_i}, \quad \forall i \in [1, P]

问题的病态性在这个表示下变得非常清楚：当某个奇异值 d_i 很小时，分量 \hat{\tilde{\theta}}_i 会放大噪声 \tilde{b}_i 达到 1/d_i 倍，导致估计方差爆炸。回顾前面推导的协方差迹：

\text{tr}[\Gamma_{\hat{\boldsymbol{\theta}}}] = \sigma^2\sum_{i=1}^{P}\frac{1}{d_i^2}

这个求和中，小奇异值对应的项贡献巨大。

截断SVD的解决思路是：既然问题出在小奇异值对应的方向上，那么干脆不去反演这些方向的信息。具体做法是选择一个截断参数 s < P，定义截断SVD估计量为：

\hat{\tilde{\theta}}_i = \begin{cases} \frac{\tilde{y}_i}{d_i} & \text{if } i \in [1, s] \\ 0 & \text{otherwise} \end{cases}

对于前 s 个分量（对应较大的奇异值），仍然使用逆滤波；对于后 P - s 个分量（对应较小的奇异值），直接设为零。这样做显然引入了偏差（因为真实的 \tilde{\theta}_{0,i} 在 i > s 时一般不为零），但避免了小奇异值导致的巨大方差。关键问题是：如何选择截断参数 s 来平衡偏差和方差？

截断SVD的MSE分析

现在推导截断SVD估计量的MSE，以便找到最优的 s。MSE定义为：

\text{MSE}(s) = \mathbb{E}\left[\|\hat{\boldsymbol{\theta}} - \boldsymbol{\theta}_0\|^2\right] = \mathbb{E}\left[\|\hat{\tilde{\boldsymbol{\theta}}} - \tilde{\boldsymbol{\theta}}_0\|^2\right]

第二个等号利用了酉变换保持范数不变的性质。MSE可以分解为各个分量的贡献之和：

\text{MSE}(s) = \sum_{i=1}^{P}\mathbb{E}\left[(\hat{\tilde{\theta}}_i - \tilde{\theta}_{0,i})^2\right]

现在分两种情况计算每一项。对于 i \leq s 的分量，估计值为 \hat{\tilde{\theta}}_i = \tilde{y}_i/d_i。将 \tilde{y}_i = d_i\tilde{\theta}_{0,i} + \tilde{b}_i 代入：

\hat{\tilde{\theta}}_i = \frac{d_i\tilde{\theta}_{0,i} + \tilde{b}_i}{d_i} = \tilde{\theta}_{0,i} + \frac{\tilde{b}_i}{d_i}

估计误差是 \hat{\tilde{\theta}}_i - \tilde{\theta}_{0,i} = \tilde{b}_i/d_i，其期望的平方为：

\mathbb{E}\left[(\hat{\tilde{\theta}}_i - \tilde{\theta}_{0,i})^2\right] = \mathbb{E}\left[\frac{\tilde{b}_i^2}{d_i^2}\right] = \frac{\mathbb{E}[\tilde{b}_i^2]}{d_i^2} = \frac{\sigma^2}{d_i^2}

这里利用了 \tilde{b}_i 是零均值、方差为 \sigma^2 的噪声。

对于 i > s 的分量，估计值被设为零：\hat{\tilde{\theta}}_i = 0。估计误差是 \hat{\tilde{\theta}}_i - \tilde{\theta}_{0,i} = -\tilde{\theta}_{0,i}，这是一个确定性的偏差（不含随机项）。其平方的期望就是真实值的平方：

\mathbb{E}\left[(\hat{\tilde{\theta}}_i - \tilde{\theta}_{0,i})^2\right] = [\tilde{\theta}_{0,i}]^2

对于 i > s，误差完全来自偏差，没有方差贡献（因为估计值是确定的零）。

综合两部分，总MSE为：

\text{MSE}(s) = \sigma^2\sum_{i=1}^{s}\frac{1}{d_i^2} + \sum_{i=s+1}^{P}[\tilde{\theta}_{0,i}]^2

第一项是方差项，来自反演的前 s 个分量的噪声放大；第二项是偏差项，来自舍弃的后 P-s 个分量。这个公式展示了偏差-方差权衡：增大 s 会减少偏差（第二项变小），但增加方差（第一项变大）；减小 s 则相反。最优的 s 应该使得总MSE最小。

这个MSE公式依赖于真实信号 \tilde{\boldsymbol{\theta}}_0 的分量，而这正是我们要估计的未知量，所以不能直接用于选择 s。实际中需要其他准则或交叉验证方法来选择截断参数，这将在后续内容中讨论。

但这个分析揭示了正则化的本质机制：通过限制解空间（只在前 s 个奇异向量张成的子空间中寻找解），主动引入偏差来换取方差的显著降低，从而改善总体的估计性能。

正则化参数的作用

从MSE的表达式可以看出，参数 s 在截断SVD中起着正则化参数的作用。当 s 减小（更多截断）时，方差项 \sigma^2\sum_{i=1}^{s}1/d_i^2 变小，因为求和项数减少；但偏差项 \sum_{i=s+1}^{P}[\tilde{\theta}_{0,i}]^2 变大，因为更多的信号分量被忽略。反之，当 s 增大时，方差增大而偏差减小。

参数 s 控制了正则化的强度。当 s 很大（接近 P）时，正则化很弱：保留了几乎所有的奇异向量分量，估计接近无偏，但方差很大。当 s 很小时，正则化很强：只保留少数几个主要分量，引入了较大的偏差（因为舍弃了很多信号能量），但方差被有效控制。最优的 s 应该在某个中间位置，使得偏差和方差的总和（即MSE）达到最小。

最优截断参数的确定

在反卷积的数值实验中，可以计算不同 s 值对应的重建质量RQ。

图中展示了RQ作为 s 的函数的曲线。当 s 很小时（比如 s < 20），RQ较低，这是因为过度的截断导致信号的主要成分也被舍弃，偏差占主导。随着 s 增大，RQ快速上升，在 s \approx 50 到 s \approx 180 的区间内，RQ保持在一个相对较高的水平（16-20 dB之间），有一个缓慢上升然后趋于平稳的趋势。

RQ在 s 约为 P= 226 时达到最大值20.6 dB。此时保留了前226个奇异值分量，舍弃了最小的24个。这个最优点对应的是偏差和方差的最佳平衡。当 s 继续增大超过226后，RQ开始急剧下降。在 s = P = 250（即不做任何截断）时，RQ降回到6 dB，这正是之前看到的逆滤波器的结果。这个陡峭的下降说明，最后那24个最小的奇异值虽然数量不多，但它们引入的方差极大，完全主导了MSE。

通过适当的截断（舍弃24个最小的奇异值），可以将重建质量从6 dB提升到20.6 dB，相比于逆滤波器结果中严重的噪声振荡，截断SVD的结果平滑得多

截断SVD方法的局限性

尽管截断SVD方法在这个例子中效果显著，但它最主要的问题是如何选择最优的截断参数 s。在上面的分析中，我们通过计算真实的MSE（或RQ）找到了最优值，但这需要知道真实信号 \boldsymbol{\theta}_0。在实际问题中，真实信号是未知的，所以不能直接最小化MSE。实践中通常使用交叉验证、L-曲线法或者广义交叉验证（GCV）等方法来选择 s。这些方法基于观测数据的统计性质来估计不同 s 值的泛化性能，但它们都是启发式的，不保证找到真正的最优值。

另一个问题是，截断SVD是一种硬截断：要么完全保留某个奇异向量方向（i \leq s），要么完全舍弃（i > s）。这种非连续的处理方式可能不是最优的。接下来要介绍的Tikhonov正则化提供了一种更加平滑的正则化方式，可以部分地克服这些问题。

Tikhonov正则化

截断SVD虽然有效，但其硬截断的方式不够灵活。Tikhonov正则化提供了一种更加平滑和通用的正则化框架，它是最经典和最常用的正则化方法之一。

Tikhonov正则化的启发式思想

Tikhonov正则化基于以下观察和推理。前面已经看到，逆滤波器会导致噪声爆炸现象，估计出的参数向量具有非常大的能量（范数）。这些大能量主要来自小奇异值方向上被极度放大的噪声分量。如果能在估计过程中主动避免产生大能量的解，应该能够改善估计性能。

具体的做法是修改优化目标，不再单纯地最小化残差平方和 \|\mathbf{y} - H\boldsymbol{\theta}\|^2（这对应最大化似然函数），而是在目标函数中加入一个惩罚项，对解的能量进行约束。Tikhonov正则化的准则函数定义为：

F_\lambda(\boldsymbol{\theta}) = \|\mathbf{y} - H\boldsymbol{\theta}\|^2 + \lambda\|\boldsymbol{\theta}\|^2

这个函数包含两项。第一项 \|\mathbf{y} - H\boldsymbol{\theta}\|^2 是残差的平方和，度量模型预测与观测数据的拟合程度，可以称为数据充分性项或负对数似然。第二项 \lambda\|\boldsymbol{\theta}\|^2 是正则化项，度量参数向量的能量（L^2范数的平方）。系数 \lambda \geq 0 是正则化参数，控制两项的相对权重。

第一项要求解能很好地拟合数据，第二项要求解本身不要太大。当 \lambda = 0 时，退化为普通的最小二乘，只关心数据拟合。当 \lambda > 0 时，优化过程会在拟合数据和控制解的大小之间寻找平衡。\lambda 越大，对解的能量的惩罚越强，越倾向于找到能量较小的解（即偏向低能量解）。

Tikhonov估计量的推导

现在求解 F_\lambda(\boldsymbol{\theta}) 的最小值。对 \boldsymbol{\theta} 求导并令其为零：

\frac{\partial F_\lambda}{\partial\boldsymbol{\theta}} = \frac{\partial}{\partial\boldsymbol{\theta}}\left[\|\mathbf{y} - H\boldsymbol{\theta}\|^2 + \lambda\|\boldsymbol{\theta}\|^2\right] = 0

利用前面介绍的向量求导公式，\|\mathbf{y} - H\boldsymbol{\theta}\|^2 = \mathbf{y}^T\mathbf{y} - 2\mathbf{y}^T H\boldsymbol{\theta} + \boldsymbol{\theta}^T H^T H\boldsymbol{\theta}，其对 \boldsymbol{\theta} 的梯度是 -2H^T\mathbf{y} + 2H^T H\boldsymbol{\theta}。\|\boldsymbol{\theta}\|^2 = \boldsymbol{\theta}^T\boldsymbol{\theta} 的梯度是 2\boldsymbol{\theta}。因此：

\frac{\partial F_\lambda}{\partial\boldsymbol{\theta}} = -2H^T\mathbf{y} + 2H^T H\boldsymbol{\theta} + 2\lambda\boldsymbol{\theta} = 0

整理得到正规方程：

H^T\mathbf{y} = (H^T H + \lambda I)\boldsymbol{\theta}

这个方程与普通最小二乘的正规方程 H^T\mathbf{y} = H^T H\boldsymbol{\theta} 非常相似，唯一的区别是右边的矩阵从 H^T H 变成了 H^T H + \lambda I。关键的改变是加上了 \lambda I 项。这个对角项的添加确保了即使 H^T H 是奇异的或者接近奇异，H^T H + \lambda I 也是良态的（只要 \lambda > 0）。因为 H^T H 的特征值都是非负的（它是半正定矩阵），加上 \lambda 后所有特征值都至少为 \lambda，矩阵变得可逆。

求解上述方程得到Tikhonov估计量：

\hat{\boldsymbol{\theta}} = (H^T H + \lambda I)^{-1}H^T\mathbf{y}

这个估计量仍然是线性的，即它是观测向量 \mathbf{y} 的线性函数。但与伪逆估计量 (H^T H)^{-1}H^T\mathbf{y} 相比，分子中的矩阵被正则化了。

变换空间中的Tikhonov估计量

为了更深入理解Tikhonov正则化的作用机制，将估计量表示在SVD的对角化空间中。仍然考虑 M = P 的情况，使用变换 \tilde{\mathbf{y}} = U^T\mathbf{y}，\tilde{\boldsymbol{\theta}} = V^T\boldsymbol{\theta}。在这个空间中，每个分量的估计为：

\hat{\tilde{\theta}}_i = \frac{d_i}{d_i^2 + \lambda}\tilde{y}_i, \quad \forall i \in [1, P]

这个公式可以从矩阵 (H^T H + \lambda I)^{-1} 在SVD基下的表示推导出来。H^T H = VD^T DV^T，所以 H^T H + \lambda I = V(D^T D + \lambda I)V^T，其逆为 V(D^T D + \lambda I)^{-1}V^T。矩阵 (D^T D + \lambda I)^{-1} 是对角矩阵，对角元素是 1/(d_i^2 + \lambda)。最终得到 \hat{\tilde{\theta}}_i = \frac{d_i}{d_i^2 + \lambda}\tilde{y}_i。

这个公式揭示了Tikhonov正则化的平滑衰减特性。对于每个奇异值方向，估计值被乘以一个衰减因子 \frac{d_i}{d_i^2 + \lambda}。分析这个因子的行为可以看到两种极限情况。

当 d_i^2 \gg \lambda（奇异值远大于正则化参数）时

\frac{d_i}{d_i^2 + \lambda} \approx \frac{d_i}{d_i^2} = \frac{1}{d_i}

衰减因子接近 1/d_i，这时 \hat{\tilde{\theta}}_i \approx \tilde{y}_i/d_i，对应于逆滤波器的行为——数据被完全反演。

当 d_i^2 \ll \lambda（奇异值远小于正则化参数）

\frac{d_i}{d_i^2 + \lambda} \approx \frac{d_i}{\lambda}

此时 \hat{\tilde{\theta}}_i \approx \frac{d_i}{\lambda}\tilde{y}_i \approx 0（因为 \tilde{y}_i 的幅度大约是 d_i 量级），这意味着该方向的数据基本不被反演，估计值被强烈抑制。

与截断SVD相比，Tikhonov正则化不是在某个阈值处硬性截断，而是对所有方向都进行反演，但对不同方向的反演程度不同：奇异值大的方向被充分反演，奇异值小的方向被温和地抑制。这种平滑过渡避免了硬截断可能带来的不连续性。

Tikhonov估计量的偏差-方差分解

现在分析Tikhonov估计量的统计性质。将 \tilde{y}_i = d_i\tilde{\theta}_{0,i} + \tilde{b}_i 代入估计公式：

\hat{\tilde{\theta}}_i = \frac{d_i}{d_i^2 + \lambda}(d_i\tilde{\theta}_{0,i} + \tilde{b}_i) = \frac{d_i^2}{d_i^2 + \lambda}\tilde{\theta}_{0,i} + \frac{d_i}{d_i^2 + \lambda}\tilde{b}_i

这个表达式清楚地分解了估计值的两个组成部分。第一项 \frac{d_i^2}{d_i^2 + \lambda}\tilde{\theta}_{0,i} 是对真实值的有偏估计：真实值被乘以一个小于1的系数（当 \lambda > 0 时），这就是偏差的来源。第二项 \frac{d_i}{d_i^2 + \lambda}\tilde{b}_i 是噪声项，但噪声也被同样的系数衰减了。

估计误差是：

\hat{\tilde{\theta}}_i - \tilde{\theta}_{0,i} = -\frac{\lambda}{d_i^2 + \lambda}\tilde{\theta}_{0,i} + \frac{d_i}{d_i^2 + \lambda}\tilde{b}_i

第一项是确定性的偏差，第二项是随机的噪声贡献。计算MSE：

\text{MSE}(\lambda) = \mathbb{E}\left[\|\hat{\boldsymbol{\theta}} - \boldsymbol{\theta}_0\|^2\right] = \mathbb{E}\left[\|\hat{\tilde{\boldsymbol{\theta}}} - \tilde{\boldsymbol{\theta}}_0\|^2\right]

这可以分解为各个分量的贡献：

\text{MSE}(\lambda) = \sum_{i=1}^{P}\left[\left(\frac{\lambda}{d_i^2 + \lambda}\tilde{\theta}_{0,i}\right)^2 + \mathbb{E}\left[\left(\frac{d_i}{d_i^2 + \lambda}\tilde{b}_i\right)^2\right]\right]

第一项是偏差的平方，第二项是方差。由于 \mathbb{E}[\tilde{b}_i^2] = \sigma^2，方差项变为 \frac{d_i^2}{(d_i^2 + \lambda)^2}\sigma^2。因此总MSE可以写成偏差项和方差项的和。

正则化参数 \lambda 的作用非常清楚：当 \lambda 增大（更强的正则化）时，每个方向上的系数 \frac{d_i^2}{d_i^2 + \lambda} 变小，偏差增大；同时系数 \frac{d_i}{d_i^2 + \lambda} 也变小，方差减小。反之，当 \lambda 减小时，偏差减小而方差增大。

具体来说，当 \lambda 很小时（弱正则化），估计接近无偏（因为 \frac{d_i^2}{d_i^2 + \lambda} \approx 1），但方差很大（特别是在小奇异值方向）。当 \lambda 很大时（强正则化），方差被有效控制（因为所有 \frac{d_i}{d_i^2 + \lambda} 都很小），但偏差变大（所有方向的真实值都被显著衰减）。最优的 \lambda 应该在某个中间值，使得总MSE最小。与截断SVD类似，这个最优值依赖于未知的真实信号，所以实际中需要用其他方法（如交叉验证或L-曲线法）来选择。

Tikhonov正则化的数值实验

在同样的反卷积问题上应用Tikhonov正则化，可以通过计算不同 \lambda 值对应的RQ来寻找最优正则化参数。图中展示了RQ作为 \lambda 的函数曲线，横轴采用对数刻度，从 10^1 到 10^4。

RQ曲线呈现清晰的单峰结构。当 \lambda 很小（约 \lambda < 50）时，RQ从约15.5 dB开始缓慢上升。这个区域对应弱正则化：虽然正则化参数非零，已经提供了一定的稳定性（比逆滤波器的6 dB好得多），但仍不够充分，方差项仍占主导。随着 \lambda 增大到 10^2 附近，RQ快速上升并达到峰值。在 \lambda = 251 时，RQ达到最大值21.3 dB。

当 \lambda 继续增大超过最优值后，RQ开始下降。在 \lambda > 10^3 的区域，下降速度加快。这是因为过强的正则化导致所有方向的信号都被过度衰减，偏差项开始主导MSE。在 \lambda 非常大时（例如 \lambda = 10^4），估计量 \frac{d_i}{d_i^2 + \lambda} \approx \frac{d_i}{\lambda} 对所有 i 都很小，估计结果接近零向量，失去了对真实信号的任何重建能力。

Tikhonov正则化的重建效果

使用最优正则化参数 \lambda = 251 得到的重建结果显示，将Tikhonov正则化（\lambda = 251，RQ = 21.3 dB）与截断SVD（s = 226，RQ = 20.6 dB）进行比较，可以发现两者的性能非常接近，Tikhonov稍优约0.7 dB。

Tikhonov的结果可能略微更平滑一些，而截断SVD在某些高频细节上的保留或许稍好，但这些差异都很微小。

两种方法性能相近因为它们的本质机制类似，都是通过抑制小奇异值方向的反演来控制噪声。主要区别在于抑制的方式：截断SVD采用硬截断（要么完全保留，要么完全舍弃），而Tikhonov采用软衰减（所有方向都保留但程度不同）。Tikhonov的平滑衰减特性使得它对正则化参数的选择相对不那么敏感，RQ曲线在最优点附近比较平缓，而截断SVD的RQ曲线在最优点后下降更陡峭。

Tikhonov正则化的优势

Tikhonov正则化相比截断SVD有几个优势。

首先是理论性质更完善：Tikhonov估计量是某个明确定义的优化问题的解，准则函数 \|\mathbf{y} - H\boldsymbol{\theta}\|^2 + \lambda\|\boldsymbol{\theta}\|^2 有清晰的物理意义（数据拟合加能量惩罚），易于理解和推广。
其次是计算上的便利：Tikhonov估计量的计算只需求解线性方程组 (H^T H + \lambda I)\boldsymbol{\theta} = H^T\mathbf{y}，或者直接求逆 (H^T H + \lambda I)^{-1}H^T\mathbf{y}，而截断SVD需要先计算完整的SVD分解。
再次是灵活性：\lambda 是连续参数，可以精细调节正则化强度，而 s 是离散的整数参数。
最后是可推广性：Tikhonov框架可以很容易地推广到更一般的正则化项，例如用 \lambda\|\Gamma\boldsymbol{\theta}\|^2 代替 \lambda\|\boldsymbol{\theta}\|^2，其中 \Gamma 是某个算子（如差分算子），从而实现对解的不同先验约束（如平滑性约束）。

但Tikhonov也有局限：它假设好的解应该有小的能量，这个假设不一定总是合理。对于稀疏信号（大部分分量为零但少数分量很大），L^2范数的惩罚可能不如 L^1 范数等其他正则化形式。这就引出了更广泛的正则化理论，包括压缩感知、变分方法等，但这些已经超出了本章的范围。

正则化参数的选择问题

前面的分析表明，无论是截断SVD还是Tikhonov正则化，都存在一个最优的正则化参数（s 或 \lambda），它使得MSE达到最小，从而获得最佳的重建质量RQ。在数值实验中，我们通过计算不同参数值下的RQ曲线找到了这个最优点。但这个方法在实践中存在一个根本性的问题：它依赖于真实信号 \boldsymbol{\theta}_0 的知识。

回顾重建质量的定义：

\text{RQ} = 10\log_{10}\frac{\mathcal{E}[\boldsymbol{\theta}_0]}{MSE}

其中MSE定义为：

\text{MSE} = \mathbb{E}\left[\|\hat{\boldsymbol{\theta}} - \boldsymbol{\theta}_0\|^2\right]

要计算MSE或RQ，必须知道真实值 \boldsymbol{\theta}_0 与估计值 \hat{\boldsymbol{\theta}} 之间的差异。但在实际的反问题中，\boldsymbol{\theta}_0 正是我们要估计的未知量。如果已经知道真实值，就不需要做估计了。因此，通过最小化MSE来选择正则化参数的方法在实践中是不可行的。

如何在不知道真实解的情况下选择合适的正则化参数？广义交叉验证（Generalized Cross-Validation, GCV）方法通过将数据分组，用一部分数据进行估计，另一部分数据进行验证，来估计不同 \lambda 值下的预测误差。还有一些其他方法，但是这些方法各有优劣，但都是启发式的，不保证找到真正的最优参数。

小结

通过对伪逆估计量的分析和两种具体正则化方法（截断SVD和Tikhonov正则化）的研究，我们理解了病态逆问题的本质以及正则化的核心思想。病态问题源于测量矩阵存在很小的奇异值，导致伪逆在这些方向上极大放大噪声。正则化通过主动引入偏差来控制方差，在偏差和方差之间寻找最优平衡。截断SVD通过舍弃小奇异值方向实现正则化，Tikhonov通过在目标函数中加入能量惩罚项实现正则化。两者在适当参数下都能显著改善估计性能。正则化参数（s 或 \lambda）的选择至关重要，需要在实践中通过交叉验证等方法确定。

Tikhonov方法的推广

引入先验知识

Tikhonov正则化的核心思想是在估计过程中引入关于解的先验知识。标准的Tikhonov正则化使用 \lambda\|\boldsymbol{\theta}\|^2 作为惩罚项，它隐含地假设好的解应该有小的能量。这个假设在很多情况下是合理的，但并非总是最优。实际问题中，我们可能对解有其他类型的先验知识，可以通过修改正则化项来体现这些知识。

梯度正则化

一个重要的推广是梯度正则化（gradient regularization）。在图像处理、信号重建等应用中，我们通常期望恢复的信号是平滑的，即相邻像素或采样点之间的值不应该有剧烈跳变。这种平滑性可以通过惩罚解的梯度（或差分）的大小来实现。

引入一个差分算子矩阵 \Delta，其结构为：

\Delta = \begin{pmatrix} 1 & 0 & 0 & \cdots & -1 \\ -1 & 1 & 0 & \cdots & 0 \\ 0 & -1 & 1 & \cdots & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & 1 \end{pmatrix}

这是一个循环差分矩阵，(\Delta\boldsymbol{\theta})_i 大致等于 \theta_i - \theta_{i-1}，即信号的离散导数。向量 \Delta\boldsymbol{\theta} 刻画了信号的变化率或粗糙度。使用梯度正则化的准则函数为：

F_\lambda(\boldsymbol{\theta}) = \|\mathbf{y} - H\boldsymbol{\theta}\|^2 + \lambda\|\Delta\boldsymbol{\theta}\|^2

与标准Tikhonov相比，正则化项从 \|\boldsymbol{\theta}\|^2 改为 \|\Delta\boldsymbol{\theta}\|^2。这个改变的含义是，我们不再惩罚解本身的大小，而是惩罚解的变化的大小。一个缓慢变化的信号即使幅度很大，\|\Delta\boldsymbol{\theta}\|^2 也可以很小；而一个剧烈振荡的信号即使平均值为零，\|\Delta\boldsymbol{\theta}\|^2 也会很大。

对这个准则函数求导并令其为零，可以得到梯度正则化的估计量：

\hat{\boldsymbol{\theta}} = (H^T H + \lambda\Delta^T\Delta)^{-1}H^T\mathbf{y}

这与标准Tikhonov的形式 (H^T H + \lambda I)^{-1}H^T\mathbf{y} 非常相似，只是将 I 替换为 \Delta^T\Delta。如果测量矩阵 H 和差分矩阵 \Delta 具有相同的奇异值分解结构（即它们可以被同一组酉矩阵 U 和 V 对角化），那么在变换空间中，估计量的每个分量为：

\hat{\tilde{\theta}}_i = \frac{d_i}{d_i^2 + \lambda\delta_i^2}\tilde{y}_i, \quad \forall i \in [1, P]

其中 \delta_i 是 \Delta 的奇异值。这个公式表明，不同方向的衰减因子现在依赖于两个矩阵的奇异值之比。对于循环卷积问题，H 和 \Delta 都可以被傅里叶矩阵对角化。

总变差正则化

梯度正则化使用 L^2 范数（平方和）来度量解的粗糙度，这会对所有梯度分量一视同仁地进行惩罚。但在某些应用中，我们希望保留信号的尖锐边缘（sharp edges），例如图像中物体的轮廓。L^2 范数的问题是它会过度平滑这些边缘。

为了对大的梯度值引入较弱的惩罚，可以使用 L^2 范数本身（而非其平方）作为正则化函数：

F_\lambda(\boldsymbol{\theta}) = \|\mathbf{y} - H\boldsymbol{\theta}\|^2 + \lambda\|\Delta\boldsymbol{\theta}\|

或者等价地，使用总变差（total variation）范数。这种正则化被称为总变差正则化。它的优势是能更好地保留尖锐边缘：小的梯度仍然被平滑，但大的梯度（对应边缘）受到的惩罚相对较小。这在图像去噪和重建中非常有用。

但这种非二次的正则化带来了计算上的困难。标准Tikhonov和梯度正则化（使用 L^2 平方）的优化问题都有闭式解，可以通过求解线性方程组得到。但总变差正则化的准则函数不是处处可微的（在 \|\Delta\boldsymbol{\theta}\| = 0 处不可微），因此不能简单地通过令导数为零来求解。必须使用迭代优化算法，如梯度下降的变种、近端算法（proximal algorithms）或分裂算法（splitting methods）。这增加了计算复杂度，但对于需要保留边缘的应用，这种代价是值得的。

第三部分：贝叶斯估计

贝叶斯框架的引入

前面介绍的正则化方法都是基于优化的观点：定义一个准则函数，通过最小化它来得到估计量。贝叶斯方法提供了一个不同的视角，它为正则化赋予了统计意义。贝叶斯方法的一个主要优势是它能够系统地整合先验知识，并对不确定性进行量化。

在经典估计理论中，参数 \boldsymbol{\theta} 被视为确定性的（虽然未知的）量，数据 \boldsymbol{\chi}（这里用 \boldsymbol{\chi} 代表观测变量，之前用的是 \mathbf{y}）是随机的。估计的目标是找到一个从数据到参数的映射 \hat{\boldsymbol{\theta}}(\boldsymbol{\chi})，使得某个性能指标（如MSE）最优。

贝叶斯估计理论采用了不同的建模方式：参数 \boldsymbol{\theta} 也被视为随机变量。这不意味着参数的真实值在随机变化，而是用概率分布来描述我们对参数的不确定性和先验信念。数据 \boldsymbol{\chi} 和参数 \boldsymbol{\theta} 的统计关系由它们的联合概率密度函数 P(\boldsymbol{\chi}, \boldsymbol{\theta}) 完全刻画。

先验、似然和后验

贝叶斯框架中有三个核心的概率分布。

先验概率密度函数（prior PDF）: P(\boldsymbol{\theta}) 描述了在观测数据之前，我们对参数的已有知识或信念。例如，如果我们知道信号应该是平滑的或稀疏的，可以选择相应的先验分布来反映这种知识。如果我们预期参数值接近某个参考值 \boldsymbol{\theta}_0，可以选择以 \boldsymbol{\theta}_0 为中心的先验分布。

似然函数（likelihood）: L(\boldsymbol{\theta}|\boldsymbol{\chi}) 定义为给定参数时观测数据的条件概率密度：

L(\boldsymbol{\theta}|\boldsymbol{\chi})= P(\boldsymbol{\chi}|\boldsymbol{\theta}) = \frac{P(\boldsymbol{\chi}, \boldsymbol{\theta})}{P(\boldsymbol{\theta})}

似然函数描述了数据生成机制：在已知参数值的情况下，不同数据出现的可能性。在线性高斯模型 \mathbf{y} = H\boldsymbol{\theta} + \mathbf{b} 中，如果噪声 \mathbf{b} 是高斯白噪声，似然函数就是高斯分布，正比于 \exp(-\|\mathbf{y} - H\boldsymbol{\theta}\|^2/(2\sigma^2))。注意似然函数虽然写成关于 \boldsymbol{\chi} 的函数形式，但在估计问题中通常被视为 \boldsymbol{\theta} 的函数（数据是固定的观测值）。

后验概率密度函数（posterior PDF）P(\boldsymbol{\theta}|\boldsymbol{\chi}) 是贝叶斯推断的核心，它描述了在观测到数据 \boldsymbol{\chi} 之后，对参数的更新认识。根据贝叶斯公式：

P(\boldsymbol{\theta}|\boldsymbol{\chi}) = \frac{L(\boldsymbol{\theta}|\boldsymbol{\chi})P(\boldsymbol{\theta})}{P(\boldsymbol{\chi})}

分子是似然与先验的乘积，反映了数据证据和先验信念的结合。分母 P(\boldsymbol{\chi}) 是数据的边缘分布，它是一个归一化常数，确保 P(\boldsymbol{\theta}|\boldsymbol{\chi}) 是一个合法的概率密度（积分为1）。在实际计算中，P(\boldsymbol{\chi}) 通常不需要显式计算，因为它不依赖于 \boldsymbol{\theta}。

贝叶斯公式整合两种信息源——先验知识（P(\boldsymbol{\theta})）和观测数据（通过 L(\boldsymbol{\theta}|\boldsymbol{\chi})）——得到对参数的后验认识。后验分布在贝叶斯估计理论中起着关键作用，因为它包含了关于参数的所有可用信息。一旦得到后验分布，就可以从中提取点估计（如后验均值或后验众数），也可以计算置信区间或进行其他统计推断。

最大后验估计

贝叶斯框架下的一个直观估计方法是最大化后验概率。这种方法的思想是：在观测到数据之后，选择使后验概率 P(\boldsymbol{\theta}|\boldsymbol{\chi}) 达到最大的参数值作为估计。这种估计量被称为最大后验（Maximum A Posteriori, MAP）估计量。

最大后验估计量定义为：

\hat{\boldsymbol{\theta}}_{map} = \arg\max_{\boldsymbol{\theta}}[\log P(\boldsymbol{\theta}|\boldsymbol{\chi})]

这里使用对数后验概率。将贝叶斯公式代入：

\hat{\boldsymbol{\theta}}_{map} = \arg\max_{\boldsymbol{\theta}}[\ell(\boldsymbol{\theta}|\boldsymbol{\chi}) + \log P(\boldsymbol{\theta})]

这里 \ell(\boldsymbol{\theta}|\boldsymbol{\chi}) 表示对数似然函数，即 \log L(\boldsymbol{\theta}|\boldsymbol{\chi})。分母项 P(\boldsymbol{\chi}) 不出现在优化问题中，因为它与参数 \boldsymbol{\theta} 无关，对所有参数值都是同一个常数，不影响最大化的位置。

MAP估计是对数似然加上对数先验的最大化。第一项 \ell(\boldsymbol{\theta}|\boldsymbol{\chi}) 反映了数据的贡献，要求参数能很好地解释观测到的数据，第二项 \log P(\boldsymbol{\theta}) 反映了先验知识的贡献，要求参数符合我们预先的知识。MAP估计在这两者之间寻找平衡。

将这个形式与Tikhonov正则化对比，可以发现Tikhonov正则化最小化 \|\mathbf{y} - H\boldsymbol{\theta}\|^2 + \lambda\|\boldsymbol{\theta}\|^2，而MAP估计最大化 \ell(\boldsymbol{\theta}|\boldsymbol{\chi}) + \log P(\boldsymbol{\theta})。如果似然是高斯的（\ell \propto -\|\mathbf{y} - H\boldsymbol{\theta}\|^2），先验也是高斯的（\log P(\boldsymbol{\theta}) \propto -\|\boldsymbol{\theta}\|^2），那么最大化MAP目标函数等价于最小化Tikhonov准则函数。

这说明Tikhonov正则化可以被解释为具有高斯先验的MAP估计。正则化参数 \lambda 对应于噪声方差与先验方差的比值。

MAP估计的例子：估计高斯样本的方差

通过一个具体例子可以更清楚地理解MAP估计的机制及其与最大似然估计的区别。有 N 个独立同分布的高斯样本，已知它们的均值为零，现在要估计方差。

为了使计算更简洁，采用参数化 \alpha = 1/\sigma^2，即精度（precision）的概念，它是方差的倒数。在这个参数化下，每个样本 x_i 的概率密度函数为：

P_\alpha(x) = \frac{\sqrt{\alpha}}{\sqrt{2\pi}}\exp\left[-\alpha\frac{x^2}{2}\right]

这是以精度 \alpha 参数化的高斯分布。

现在引入关于参数 \alpha 的先验分布：

P(\alpha) = \beta e^{-\beta\alpha}

这是一个指数分布，其中 \beta > 0 是先验的超参数。指数分布的概率密度在 \alpha = 0 处最大，随着 \alpha 增大而指数衰减。这意味着先验倾向于较小的 \alpha 值，也就是倾向于较大的方差 \sigma^2 = 1/\alpha。这种先验反映了在没有足够数据证据之前，倾向于认为方差较大（不确定性较高）。

首先计算最大似然估计作为对比。对数似然函数为：

\ell(\boldsymbol{\chi}|\alpha) = \frac{N}{2}\log(\alpha) - \frac{N}{2}\log(2\pi) - \frac{\alpha}{2}\sum_{i=1}^{N}x_i^2

对 \alpha 求导并令其为零：

\frac{\partial\ell}{\partial\alpha} = \frac{N}{2\alpha} - \frac{1}{2}\sum_{i=1}^{N}x_i^2 = 0

解得最大似然估计：

\hat{\alpha}_{ml} = \frac{N}{\sum_{i=1}^{N}x_i^2}

转换回方差的估计：

\hat{\sigma}^2_{ml} = \frac{\sum_{i=1}^{N}x_i^2}{N}

这就是样本方差的估计，是标准的无偏估计量。

现在计算MAP估计。MAP目标函数是对数似然加上对数先验：

F(\alpha) = \ell(\alpha|\boldsymbol{\chi}) + \log P(\alpha) = \frac{N}{2}\log(\alpha) - \frac{N}{2}\log(2\pi) - \frac{\alpha}{2}\sum_{i=1}^{N}x_i^2 + N\log\beta - \beta\alpha

原先 P(\alpha) = \beta e^{-\beta\alpha}，所以 \log P(\alpha) = \log\beta - \beta\alpha。

对 \alpha 求导：

\frac{\partial F(\alpha)}{\partial\alpha} = \frac{N}{2\alpha} - \frac{1}{2}\sum_{i=1}^{N}x_i^2 - \beta = 0

解得MAP估计：

\hat{\alpha}_{map} = \frac{N}{\sum_{i=1}^{N}x_i^2 + 2\beta}

转换为方差的估计：

\hat{\sigma}^2_{map} = \frac{1}{\hat{\alpha}_{map}} = \frac{\sum_{i=1}^{N}x_i^2 + 2\beta}{N}

对比两个估计量，最大似然估计是 \hat{\sigma}^2_{ml} = \frac{\sum x_i^2}{N}，而MAP估计是 \hat{\sigma}^2_{map} = \frac{\sum x_i^2 + 2\beta}{N}。

分子上多了一项 2\beta，这个额外的项来自先验的贡献。由于先验 P(\alpha) = \beta e^{-\beta\alpha} 倾向于小的 \alpha（即大的 \sigma^2），MAP估计相比ML估计向更大的方差值偏移。换句话说，MAP估计引入了一个偏差，使得估计的方差系统性地大于最大似然估计。

因此先验想表达的是，在数据有限的情况下，应该对方差保持保守估计，倾向于认为不确定性较大。这种偏差随着 \beta 的增大而增大（先验更强），随着样本数量 N 的增大而相对减小（数据证据更强）。

当 \beta \to 0 时，此时先验 P(\alpha) = \beta e^{-\beta\alpha} 趋向于均匀分布（在 \alpha > 0 的范围内所有值的概率密度趋于相等），这相当于没有先验信息。在这种情况下，MAP估计退化为最大似然估计：\hat{\sigma}^2_{map} \to \hat{\sigma}^2_{ml}。这说明MAP估计是ML估计的推广，当先验趋于非信息先验（non-informative prior）时，MAP估计收敛到ML估计。

贝叶斯方法在反卷积中的应用

现在将MAP估计原理应用到之前研究过的反卷积问题上，这将揭示正则化的概率解释。

回顾反卷积问题的设定：这是一个线性估计问题 \mathbf{y} = H\boldsymbol{\theta} + \mathbf{b}，其中 M = P（测量数等于参数数），矩阵 H 是循环矩阵且病态（某些奇异值很小或接近零）。前面已经看到，直接的逆估计量不可用，因为方差过大。现在用贝叶斯框架重新审视这个问题。

MAP估计量的推导

要应用MAP估计，需要明确两个概率分布：似然函数和先验分布。似然函数来自观测模型。假设噪声 \mathbf{b} 是零均值、方差为 \sigma^2 的高斯白噪声，则对数似然为：

\ell(\mathbf{y}|\boldsymbol{\theta}) = -\frac{1}{2\sigma^2}\|\mathbf{y} - H\boldsymbol{\theta}\|^2 + \text{常数}

关键是选择合适的先验分布。在反卷积等信号处理问题中，一个常用的假设是信号 \boldsymbol{\theta} 服从高斯分布，均值为零，协方差矩阵为 \Gamma_\theta。这对应于：

P(\boldsymbol{\theta}) \propto \exp\left(-\frac{1}{2}\boldsymbol{\theta}^T\Gamma_\theta^{-1}\boldsymbol{\theta}\right)

因此对数先验为：

\log P(\boldsymbol{\theta}) = -\frac{1}{2}\boldsymbol{\theta}^T\Gamma_\theta^{-1}\boldsymbol{\theta} + \text{常数}

协方差矩阵 \Gamma_\theta 描述了信号不同分量之间的统计相关性。如果信号分量是独立的，\Gamma_\theta 就是对角矩阵。如果信号具有某种平滑性或结构，\Gamma_\theta 会编码这种结构。

MAP估计最大化对数后验 \ell(\mathbf{y}|\boldsymbol{\theta}) + \log P(\boldsymbol{\theta})。对 \boldsymbol{\theta} 求导：

\frac{\partial}{\partial\boldsymbol{\theta}}[\ell(\mathbf{y}|\boldsymbol{\theta}) + \log P(\boldsymbol{\theta})] = \frac{1}{\sigma^2}H^T(\mathbf{y} - H\boldsymbol{\theta}) - \Gamma_\theta^{-1}\boldsymbol{\theta} = 0

整理得到正规方程：

H^T\mathbf{y} = (H^T H + \sigma^2\Gamma_\theta^{-1})\boldsymbol{\theta}

求解得到MAP估计量：

\hat{\boldsymbol{\theta}} = (H^T H + \sigma^2\Gamma_\theta^{-1})^{-1}H^T\mathbf{y}

这个公式与Tikhonov正则化 (H^T H + \lambda I)^{-1}H^T\mathbf{y} 非常相似。如果先验协方差矩阵取为 \Gamma_\theta = \frac{\sigma^2}{\lambda}I（即假设信号分量独立且方差相同），那么 \sigma^2\Gamma_\theta^{-1} = \lambda I，MAP估计完全等同于标准Tikhonov正则化。这说明了Tikhonov正则化的贝叶斯解释：它对应于具有各向同性高斯先验的MAP估计。

在傅里叶空间中的简化

反卷积问题有一个特殊的性质使得分析大大简化：测量矩阵 H 和先验协方差矩阵 \Gamma_\theta 都是循环矩阵。循环矩阵有一个重要性质：它们可以被傅里叶矩阵对角化，即 H = F\tilde{H}F^\dagger，其中 \tilde{H} 是对角矩阵，对角元素是滤波器 \mathbf{h} 的离散傅里叶变换。

利用这个性质，可以将MAP估计量变换到傅里叶空间。首先对估计量左乘 F^\dagger：

F^\dagger\hat{\boldsymbol{\theta}} = F^\dagger(H^T H + \sigma^2\Gamma_\theta^{-1})^{-1}H^T\mathbf{y}

代入 H = F\tilde{H}F^\dagger，经过一系列矩阵运算（利用 F^\dagger F = I 和 F F^\dagger = I）：

\tilde{\boldsymbol{\theta}} = F^\dagger F^{T^{-1}}(\tilde{H}^*\tilde{H} + \sigma^2\tilde{F}^{-1})^{-1}F^{-1}F\tilde{H}^*F^\dagger\mathbf{y}

这里的推导涉及多次使用循环矩阵的对角化性质。最终简化为：

\tilde{\boldsymbol{\theta}} = (\tilde{H}^*\tilde{H} + \sigma^2\tilde{\Gamma}_\theta^{-1})^{-1}\tilde{H}^*\tilde{\mathbf{y}}

由于 \tilde{H} 和 \tilde{\Gamma}_\theta 都是对角矩阵，逆矩阵也是对角的，每个分量可以独立计算。定义 \tilde{h}_p 为滤波器的第 p 个傅里叶系数，[\tilde{\Gamma}_\theta]_p 为先验协方差的第 p 个频率分量（即信号的功率谱密度），得到：

\hat{\tilde{\theta}}_p = \frac{\tilde{h}_p^*}{|\tilde{h}_p|^2 + \frac{\sigma^2}{[\tilde{\Gamma}_\theta]_p}}\tilde{y}_p, \quad \forall p \in [1, P]

这个公式非常直观地展示了MAP估计在频域的作用。对于每个频率 p，观测的傅里叶系数 \tilde{y}_p 被一个频率相关的滤波器处理。

滤波器的形式是

\frac{\tilde{h}_p^*}{|\tilde{h}_p|^2 + \frac{\sigma^2}{[\tilde{\Gamma}_\theta]_p}}

它结合了三个因素：滤波器的频率响应 \tilde{h}_p，噪声水平 \sigma^2，以及信号在该频率上的先验能量 [\tilde{\Gamma}_\theta]_p。

在信号先验能量 [\tilde{\Gamma}_\theta]_p 较大的频率上（即先验认为信号在该频率上功率较强），滤波器的衰减较小，更多地保留该频率的信息。相反，在 [\tilde{\Gamma}_\theta]_p 较小的频率上（先验认为信号在该频率上功率较弱），滤波器引入更强的衰减，抑制这些频率的贡献。同时，如果滤波器本身在某个频率上的响应 |\tilde{h}_p| 很小（接近零，导致病态），分母中的 |\tilde{h}_p|^2 项很小，\frac{\sigma^2}{[\tilde{\Gamma}_\theta]_p} 项变得重要，自动引入正则化效应。

这就是维纳滤波器（Wiener filter）的形式，维纳滤波器最初是从最小均方误差的角度推导出来的，但在贝叶斯框架下，它作为MAP估计出现。这个例子完美地展示了贝叶斯方法的优势：通过指定先验分布（这里是信号的功率谱），自动得到了一个在频域自适应调整正则化强度的滤波器。不同频率上的正则化强度由信号先验和噪声水平共同决定，而不是像标准Tikhonov那样对所有频率使用统一的正则化参数。

维纳滤波器的先验选择

维纳滤波器公式如何选择先验功率谱密度 \tilde{\Gamma}_\theta？这个问题等价于在贝叶斯框架下如何指定参数的先验分布。

\tilde{\Gamma}_\theta 的选择直接影响滤波器在不同频率上的行为。理想情况下，[\tilde{\Gamma}_\theta]_p 应该反映真实信号在频率 p 上的平均功率。如果我们完全了解信号的统计特性（例如有大量相似信号的样本可以统计），可以准确估计功率谱。但在单次估计问题中，真实信号是未知的，只能基于对信号类别的一般性认识来构造先验。

图像功率谱密度的经验规律

为了更系统地理解这个特性，可以分析多张图像的功率谱。展示了四张不同图像的二维功率谱（左侧的灰度图）和对应的一维功率谱曲线（右侧的图表）。二维功率谱图中，中心对应零频率（直流分量），越往外频率越高。

可以看到，所有图像的功率谱都是中心最亮，向外迅速衰减，这直观地反映了低频主导的特征。

右侧的曲线更定量地展示了这种衰减。横轴是空间频率的对数，纵轴是功率谱的对数。所有曲线都表现出近似线性的下降趋势，这意味着功率谱随频率呈幂律衰减。虽然不同图像的具体斜率和截距不同（实线和虚线代表不同图像），但整体趋势相似。

基于这种经验观察，提出了一个常用的功率谱模型：

\tilde{\Gamma}_\theta(\nu) = \frac{1}{\nu^\gamma}

其中 \nu 表示频率的大小（可以是空间频率的范数），\gamma 是衰减指数。典型的自然图像中，\gamma \approx 2。这个模型被称为 1/f^\gamma 噪声模型或功率律谱。它捕捉了自然图像的基本统计规律：低频分量（对应图像的大尺度结构、整体明暗变化）占据主要能量，高频分量（对应图像的细节、边缘、纹理）能量较小。

功率谱的估计

如果有多张相似类型的图像样本 \boldsymbol{\theta}_i, i = 1, \ldots, N，可以通过对它们的傅里叶变换取平方并平均来估计功率谱：

\widehat{\tilde{\Gamma}}_\theta(\nu) = \frac{1}{N}\sum_{i=1}^{N}|\tilde{\theta}_i(\nu)|^2

这是功率谱的样本估计量。如果样本足够多且具有代表性，这个估计可以给出较准确的先验。但在很多应用中，我们只有单张待恢复的图像，没有其他样本。此时只能依赖对图像类别的一般性知识（如 1/\nu^2 模型）或者从其他数据集学习到的先验。

维纳滤波器的优势与局限

维纳滤波器可以被理解为一个正则化的反卷积滤波器，其正则化项为 \sigma^2\tilde{\Gamma}_\theta^{-1}。这个正则化在MAP框架下是最优的，即如果先验分布确实是高斯且协方差为 \Gamma_\theta，噪声确实是方差为 \sigma^2 的高斯白噪声，那么MAP估计给出了后验概率最大的参数值。在这个意义下，维纳滤波器没有需要调节的自由参数（不像Tikhonov的 \lambda），正则化的强度自动由先验和噪声的统计性质决定。

但这个最优性是有条件的，维纳滤波器要求我们准确知道两个量：信号的功率谱密度 \tilde{\Gamma}_\theta 和噪声方差 \sigma^2。在实践中，这两个量往往都是未知的或不确定的。如果先验指定不准确（例如实际信号的功率谱与假设的 1/\nu^2 模型有较大偏差），维纳滤波器的性能会下降。如果噪声方差估计错误，也会导致次优的滤波效果。

参数化的维纳滤波器

为了处理先验不完全已知的情况，可以采用一个折中方案。假设我们知道功率谱密度的形状（即不同频率之间的相对关系），但不知道其绝对幅度。例如，我们相信功率谱服从 1/\nu^2 的形式，但不确定前面的比例系数。在这种情况下，可以将维纳滤波器改写为：

\hat{\tilde{w}}_p = \frac{\tilde{h}_p^*}{|\tilde{h}_p|^2 + \lambda\frac{1}{[\tilde{\Gamma}_\theta]_p}}\tilde{y}_p

这里引入了一个标量参数 \lambda，它起到调节正则化整体强度的作用。参数 \lambda 吸收了噪声方差 \sigma^2 和先验功率谱幅度的不确定性，需要通过交叉验证或其他方法来选择。这个形式结合了维纳滤波器和Tikhonov正则化的优点：它利用了先验关于不同频率相对重要性的信息（通过 [\tilde{\Gamma}_\theta]_p 的形状），同时保留了一个自由参数来适应具体问题的噪声水平和信号强度。

当 [\tilde{\Gamma}_\theta]_p 取为常数时，它退化为标准Tikhonov正则化（对所有频率等同处理）。

当 [\tilde{\Gamma}_\theta]_p 取为 1/\nu^2 等功率律形式时，它对不同频率自适应地调整正则化强度，在保留信号主要能量集中的低频分量的同时，更强地抑制高频噪声。

维纳滤波器与Tikhonov正则化的性能对比

在同样的反卷积问题上，维纳滤波器和Tikhonov正则化的实际重建结果对比如图。维纳滤波器达到了RQ = 23.0 dB的重建质量，而Tikhonov正则化的最优结果是RQ = 21.3 dB。

维纳滤波器的优势来自于它利用了信号先验的频域结构信息：通过功率谱密度 [\tilde{\Gamma}_\theta]_p，它知道在哪些频率上信号能量集中，从而在这些频率上施加较弱的正则化，在信号能量较小的频率上施加较强的正则化。相比之下，标准Tikhonov正则化对所有频率施加统一的正则化强度（除非使用梯度正则化或其他变体），因此在利用先验信息方面不如维纳滤波器精细。

贝叶斯方法与正则化的总结

通过贝叶斯框架，我们看到了正则化方法的统计意义。Tikhonov正则化、截断SVD、维纳滤波器等方法都可以在贝叶斯框架下统一理解：

截断SVD通过舍弃小奇异值对应的方向实现正则化，Tikhonov正则化通过在目标函数中加入能量惩罚项实现平滑的衰减。两种方法都涉及正则化参数的选择，这是一个在偏差和方差之间寻找最优平衡的过程。贝叶斯方法为正则化提供了概率解释，将正则化项理解为先验分布的对数。维纳滤波器作为MAP估计的一个特例，展示了如何在频域自适应地调整正则化强度。

贝叶斯方法的优势在于它提供了一个系统的框架来整合先验知识，并通过后验分布来量化不确定性。但它也有代价：需要指定先验分布。

图像反卷积的完整示例

为了更直观地理解反卷积问题和正则化的效果，现在通过一个完整的图像例子来展示整个过程。

理想图像

首先展示的是理想图像，即我们要恢复的真实信号 \boldsymbol{\theta}_0。

卷积后的图像

第二张图展示了卷积后的观测图像。使用的卷积核（点扩散函数）\mathbf{h} 是一个高斯型的低通滤波器，中心亮、向外迅速衰减，呈现出模糊的光斑形状。

卷积操作 \mathbf{y} = H\boldsymbol{\theta}_0 + \mathbf{b} 将清晰图像变换为模糊图像。观察卷积后的图像可以看到明显的变化：所有原本清晰的边缘都变得柔和模糊，细节信息大量丢失。

反卷积恢复的图像

第三张图展示了使用正则化方法（维纳滤波器或Tikhonov，取决于上下文）反卷积后恢复的图像。

过度正则化（\lambda \gg 1）

当正则化参数 \lambda 设置得过大时，滤波器公式 \hat{\tilde{w}}_p = \frac{\tilde{h}_p^*}{|\tilde{h}_p|^2 + \lambda\frac{1}{[\tilde{\Gamma}_\theta]_p}} 中的分母被 \lambda 项主导。对于所有频率，滤波器的增益都被强烈抑制，即 \hat{\tilde{w}}_p \approx 0。这意味着几乎不进行反卷积，观测数据基本被忽略。

恢复的图像看起来非常平滑，几乎没有细节。

从偏差-方差权衡的角度看，\lambda \gg 1 时方差被完全控制（几乎为零，因为估计几乎是常数），但偏差变得巨大（估计值与真实值相差甚远）。总的MSE由偏差主导，重建质量很差。说明过强的正则化会导致信息的过度损失。

欠正则化（\lambda \ll 1）

当正则化参数 \lambda 设置得过小时，情况相反。滤波器接近于纯逆滤波器 \hat{\tilde{w}}_p \approx \frac{\tilde{h}_p^*}{|\tilde{h}_p|^2}，特别是在滤波器频率响应 |\tilde{h}_p| 很小的高频区域，滤波器增益变得极大，噪声被显著放大。

整张图像被密集的高频噪声纹理覆盖，细节都被噪声淹没。

从偏差-方差角度看，\lambda \ll 1 时偏差很小（估计接近无偏），但方差爆炸（特别是在小奇异值对应的方向，即高频）。总的MSE由方差主导，重建质量同样很差。

比较好的反卷积结果

贝叶斯方法相对于Tikhonov正则化的优势

贝叶斯方法与Tikhonov正则化虽然在某些特殊情况下（如高斯先验）可以给出相同的点估计（MAP估计），但贝叶斯框架提供了更丰富的统计解释和更大的灵活性。

贝叶斯方法的关键优势在于它为正则化函数提供了统计意义。在Tikhonov正则化中，我们人为添加一个惩罚项 \lambda\|\boldsymbol{\theta}\|^2 来稳定求解过程。但在贝叶斯框架下，这个惩罚项有明确的概率解释：它来自于对数先验 \log P(\boldsymbol{\theta})，反映了我们对参数的先验信念。正则化参数 \lambda 也不再是一个任意的调节参数，而是与噪声方差和先验方差的比值相关，具有明确的物理意义。

更重要的是，贝叶斯框架提供了系统的方法来整合各种类型的先验知识。在Tikhonov框架下，我们可以选择不同的正则化项（如 \|\boldsymbol{\theta}\|^2、\|\Delta\boldsymbol{\theta}\|^2 等），但这些选择往往基于直觉或经验。在贝叶斯框架下，我们通过选择不同的先验分布，如果我们认为信号是平滑的，可以选择倾向于平滑解的先验；如果我们认为信号是稀疏的，可以选择稀疏性先验（如拉普拉斯分布）。

现代贝叶斯反卷积技术的发展方向

当前贝叶斯反卷积技术的发展主要沿着两个方向展开，这两个方向都旨在克服基础方法的局限性。

寻找新的先验分布

第一个方向是设计新的先验概率密度函数，使其更精确地表征实际数据的特性。前面介绍的高斯先验虽然数学上方便（导致闭式解），但它假设信号分量是独立的且服从对称的钟形分布。这个假设对很多实际信号并不理想。例如，自然图像通常是稀疏的（在某种表示下大部分系数接近零），边缘是尖锐的而非平滑的。为了更好地捕捉这些特性，需要非高斯先验。

拉普拉斯先验（或更一般的广义高斯先验）可以促进稀疏性，因为它在零点附近的概率密度更高。全变差先验可以保留边缘的同时平滑区域内部。分层先验（hierarchical priors）允许先验的超参数本身也是随机的，从数据中自动学习。还有基于小波、字典学习等表示的先验，利用信号在某种变换下的稀疏性或结构性。

处理非闭式优化问题

第二个方向是应对更复杂先验带来的计算挑战。当使用非高斯先验时，MAP估计通常不再有闭式解。后验概率密度函数 P(\boldsymbol{\theta}|\mathbf{y}) 可能是高度非线性、非凸的，具有多个局部极大值。直接最大化这样的后验函数需要复杂的迭代优化算法。

针对这个问题，研究者开发了大量巧妙的优化算法。迭代重加权最小二乘（Iteratively Reweighted Least Squares, IRLS）、期望最大化（EM）算法、变分贝叶斯方法、马尔科夫链蒙特卡罗（MCMC）采样等方法各有特点。有些方法寻找后验的众数（MAP估计），有些方法寻找后验的均值（最小均方误差估计），还有些方法试图采样整个后验分布以量化不确定性。

这些算法的发展使得贝叶斯方法能够处理越来越复杂的先验模型和越来越大规模的问题。计算成本的增加是代价，但随着计算能力的提升和算法的优化，这个代价变得可以接受。

全章总结

本章我们系统地探讨了正则化这一处理病态反问题的核心方法。从线性估计问题的定义出发，我们理解了病态问题的根源在于测量矩阵的小奇异值，这导致伪逆估计量的方差爆炸。为了获得实用的估计，必须引入偏差来换取方差的降低，这是正则化的本质。

我们学习了两类具体的正则化方法。截断SVD通过舍弃小奇异值对应的方向实现硬截断式的正则化。Tikhonov正则化通过在目标函数中加入能量惩罚项实现平滑的正则化。两种方法都需要选择正则化参数（s 或 \lambda），这涉及在偏差和方差之间寻找最优平衡。

贝叶斯方法为正则化提供了统计解释。通过将参数视为随机变量并指定先验分布，正则化项可以理解为对数先验的贡献。MAP估计在对数似然和对数先验之间寻找平衡。维纳滤波器作为具有特定先验结构的MAP估计，在频域自适应地调整正则化强度，展示了贝叶斯方法的灵活性。

通过反卷积的数值实验和图像示例，我们直观地看到了正则化的效果：逆滤波器因噪声爆炸而失败，适当的正则化显著改善重建质量，过强或过弱的正则化都导致性能下降。

在信息不足的情况下，完美的恢复是不可能的。正则化教给我们的是如何理性地利用可用信息（观测数据）和先验知识，做出在某种准则下最优的推断。

光学成像

传统成像系统的工作原理

传统的成像系统由三个核心部分构成：场景（Scene）、光学系统（Optics）和传感器（Sensor），最终形成图像（Image）。光从场景出发，经过光学系统的透镜组，在传感器上成像。这个过程看似简单，但当场景中的物体处于不同距离时，就会出现一个基本问题：并非所有距离上的物体都能同时清晰成像。

当成像系统对某个特定距离进行对焦时，如果场景中的物体偏离这个对焦距离，就会产生离焦（Defocus）现象。离焦的直接后果是图像变得模糊。这种模糊不是随机的噪声，而是由光学系统的物理特性决定的：来自离焦物体的光线在传感器上不再聚焦成一个点，而是扩散成一个圆斑，导致细节丢失。

景深的定义与几何光学基础

景深（Depth of Field, DOF）这个概念正是为了描述成像系统能够同时保持清晰成像的距离范围。当在有限距离处成像时，我们需要在某个深度范围内都获得清晰的图像。这个范围就是景深。

从几何光学的角度理解景深，需要考虑两个关键因素：光圈孔径（Aperture stop）和像素尺寸（Pixel size）。这里引入两个重要的距离参数：P_{af} 和 P_{av}。P_{af} 表示前景深界限，即在对焦平面前方能够保持清晰的最近距离；P_{av} 表示后景深界限，即在对焦平面后方能够保持清晰的最远距离。这两个参数共同定义了景深的范围。

光线从物体发出后，经过光圈孔径的限制，在像平面附近会聚。当物体恰好处于对焦距离时，光线精确汇聚到像素点上。但当物体偏离对焦距离时，光线的汇聚点不再落在传感器平面上，而是在其前方或后方。这时在传感器上形成的不是点，而是一个模糊圆。只要这个模糊圆的直径小于像素尺寸，图像在视觉上仍然可以被认为是清晰的。这就是景深范围的物理本质。

光圈与景深的关系

要增加景深，从几何光学的角度看，需要减小光圈孔径，也就是增大光圈数（f/#）。当光圈变小时，通过光学系统的光线锥角变小，光线变得更加平行。在这种情况下，即使物体距离发生变化，光线在传感器平面上形成的模糊圆直径增长得也更慢，因此更大范围内的物体都能保持可接受的清晰度。

当减小光圈后，原本在对焦平面外的物体点在传感器上形成的光锥变窄，模糊圆变小，P_{af} 和 P_{av} 之间的距离增大，意味着景深扩展了。

基础方案的局限性

通过减小光圈增大景深这个方案，虽然能够解决清晰度范围的问题，但引入了另一个严重的代价：图像的亮度会显著降低。这是因为光圈的面积决定了能够通过光学系统到达传感器的光通量。当光圈直径减小时，通光面积按平方关系减小。例如，从 f/2.8 到 f/20，光圈面积减小了约50倍，意味着图像亮度降低到原来的1/50。

因此，我们希望在保持光圈不变（也就是保持图像亮度不变）的前提下，仍然能够增大景深。这个矛盾无法通过传统的几何光学设计来解决，因为在给定光圈大小的情况下，景深范围在几何光学框架内是固定的。

相位掩模的解决思路

解决方向：使用相位掩模（Phase mask）来改变光学系统的点扩散函数（PSF）特性。点扩散函数描述了一个点光源经过光学系统后在像平面上形成的光强分布。在传统光学系统中，PSF随着离焦程度（也就是物体沿光轴方向的位置 z）的变化而显著变化，对焦时是一个尖锐的点，离焦时扩散成越来越大的模糊圆。

相位掩模的核心思想是：通过在光学系统中引入特殊设计的相位调制，使得PSF对 z 的变化变得不敏感，也就是使PSF在一定范围内对 z 保持不变（invariant）。这样的话，无论物体处于哪个深度，成像后的模糊程度都是相似的。虽然这样做会使所有深度的图像都带有某种程度的模糊（实际上是特定的PSF形状），但由于这种模糊是已知且一致的，我们可以在后续通过数字去卷积（Digital deconvolution）的方式将其恢复，从而在不减小光圈的情况下实现大景深成像。

这种方法的优势在于：光圈可以保持较大，确保足够的图像亮度；同时通过相位掩模和后续的信号处理，达到大景深的效果。

傅里叶光学与点扩散函数

从傅里叶光学的角度来理解成像系统，我们需要引入点扩散函数（PSF）和光学传递函数（OTF）这两个核心概念。当一个点光源 P(x) 通过光学系统后，在像平面上不会形成理想的点，而是形成一个光强分布 PSF(x)。这个分布描述了光学系统对点的响应特性。

在对焦状态下，理想的圆形光圈会产生艾里函数（Airy function）形式的PSF。这个艾里函数是圆形孔径衍射的自然结果，中心有一个明亮的主极大，周围是逐渐衰减的同心环。PSF的傅里叶变换就是光学传递函数（OTF），它描述了光学系统传递不同空间频率成分的能力。OTF是频域的表示，它告诉我们系统对图像中不同细节尺度的传递特性。

当系统离焦时，情况发生了根本性的变化。离焦导致PSF显著展宽，不再是紧凑的艾里斑，而是扩散成一个更大的光斑。从频域角度看，这相当于对图像进行低通滤波：高频成分（对应细节）被衰减，只有低频成分（对应大尺度结构）能够通过。这就是为什么离焦图像看起来模糊——它丢失了高频的细节信息。

相位掩模的数学描述

要设计能够扩展景深的相位掩模，我们需要建立光学系统的数学模型。相位掩模被放置在光瞳平面上，它通过改变光波的相位分布来调制光学系统的成像特性。

在对焦状态下，通过光瞳的光场可以写为

P(x) = \Pi(x) \exp[i\varphi(x)]

这里 \Pi(x) 是光瞳函数，通常是一个圆形窗函数，表示光圈的几何形状。\varphi(x) 就是相位掩模引入的相位调制函数，这是我们要设计的关键部分。

当系统离焦时，会引入额外的二次相位项。此时光瞳函数变为

P(x, \psi) = \Pi(x) \exp[i\varphi(x)] \exp\left[i\left(\frac{x}{r}\right)^2 \psi\right]

这个额外的二次相位项 \exp[i(x/r)^2 \psi] 来自几何光学的离焦效应，其中 r 是光瞳半径。参数 \psi 量化了离焦程度，它与物距、像距和焦距的关系为

\psi = \frac{\pi r^2}{\lambda}\left(\frac{1}{z_o} - \frac{1}{z_i} - \frac{1}{f}\right)

这个公式联系了离焦参数 \psi 和成像几何。当物体距离 z_o 偏离对焦位置时，右边的括号项不为零，产生非零的 \psi。用波长单位表示光瞳边缘的光程差，定义为 W = \psi/(2\pi)。这个 W 参数在光学像差理论中被称为波像差系数。

PSF与OTF的关系

从光瞳函数可以推导出PSF和OTF。PSF通过对光瞳函数进行傅里叶变换的模平方得到：

PSF(x; \psi) = \left|\tilde{P}\left(\frac{x}{\lambda f}; \psi\right)\right|^2

这里 \tilde{P} 表示 P 的傅里叶变换，\lambda 是波长，f 是焦距。这个公式说明PSF实际上是光瞳函数的傅里叶变换强度。

OTF则通过自相关得到：

OTF(\nu; \psi) = \int_{-\infty}^{+\infty} P(x + \lambda f\nu/2; \psi) P^*(x - \lambda f\nu/2; \psi) dx

这里 \nu 是空间频率变量，P^* 表示复共轭。这个积分实际上是计算光瞳函数在频域不同位移下的重叠。OTF的模值称为调制传递函数（MTF），相位部分称为相位传递函数（PTF）。

景深扩展的核心思想

从上述公式可以看出，PSF和OTF都依赖于离焦参数 \psi。在传统光学系统中，随着 \psi 变化（即物体深度变化），OTF会显著改变。

左侧图Without mask清楚地展示了这一点：不同的 W_{20} 值（对应不同的离焦量）产生完全不同的MTF曲线。当离焦增大时，MTF在高频区域迅速衰减，导致图像模糊。

右侧图With mask展示了使用相位掩模后的效果：不同 W_{20} 值对应的MTF曲线几乎重合，这意味着无论物体处于什么深度，系统的频率响应都保持一致。

扩展景深的关键是找到合适的相位函数 \varphi(x)，使得OTF对 \psi 的变化不敏感。

三次相位掩模的理论基础

理论分析表明，当相位函数取三次形式 \varphi(x) = \alpha x^3 时，可以实现OTF对 \psi 的近似不变性。使用驻相近似（stationary phase approximation）方法，可以推导出OTF的近似表达式：

OTF(\nu, \psi) \simeq A\frac{1}{\sqrt{|\alpha\nu|}} \exp\left[i\frac{\alpha\nu^3}{4}\right] \quad \text{当} \quad \alpha >> 20

第一项 1/\sqrt{|\alpha\nu|} 表明OTF的幅度随频率 \nu 衰减，但注意这个表达式中没有出现 \psi，这正是我们想要的——OTF不再依赖于离焦程度。
第二项是相位项 \exp[i\alpha\nu^3/4]，它引入了三次相位调制。

对于二维情况，三次相位掩模的形式为 \varphi(x,y) = \alpha_{cub}(x^3 + y^3)，在 x 和 y 方向都施加三次相位调制。

三次相位掩模的实际效果

对比使用和不使用三次相位掩模的情况，可以清楚地看到效果差异。在传统系统（Classical）中，左侧的OTF图显示不同离焦量导致MTF曲线形状差异很大，右侧的PSF图也显示对焦时是紧凑的艾里斑（W_{20}=0），离焦时变成展宽的圆环结构（W_{20}=2\lambda）。

使用三次相位掩模后，下方的OTF图显示所有曲线几乎完全重叠，证明系统对离焦不敏感。相应的PSF虽然不再是简单的圆形光斑，而是呈现出特殊的条纹结构（这是三次相位调制的结果），但关键是这个PSF形状在 W_{20}=0 和 W_{20}=2\lambda 时基本保持不变。

标准系统与混合系统的景深对比

最后的对比图直观展示了标准成像系统和混合成像系统（使用三次相位掩模）在景深上的根本差异。标准系统的PSF剖面图显示，随着沿光轴距离的变化（纵轴Profil，范围从-200到200微米），PSF在对焦平面附近（0位置）才有明亮的峰值，偏离对焦位置后迅速扩散。整个可视化呈现X形的结构，意味着只有很窄的深度范围内图像才清晰，这就是小景深（SMALL DOF）。

混合系统的PSF剖面则完全不同。在使用了三次相位掩模 \Phi(x,y) = \alpha \times (x^3 + y^3) 后，PSF在整个深度范围（-0.5到0.5毫米）内都保持稳定的条纹结构，没有出现标准系统那样的剧烈变化。虽然这个PSF看起来比理想的点更复杂，但正是这种复杂性使其在大深度范围内保持一致，从而实现大景深（LARGE DOF）。后续只需要对这个已知且稳定的PSF进行数字去卷积处理，就能从所有深度恢复清晰的图像，这就是相位掩模结合信号处理实现景深扩展的完整原理。

数字去卷积的必要性与挑战

虽然三次相位掩模成功实现了PSF的离焦不变性，但混合成像系统获得的原始图像质量严重退化。

左侧显示的混合系统PSF呈现出复杂的条纹结构，这意味着每个物点在传感器上不再形成紧凑的光斑，而是扩散成条纹图案。右侧的MTF三维图清楚地显示了MTF曲线在某些频率处出现明显的低值，这些低值意味着系统在这些频率上对信号的传递能力极弱。

因此，必须通过数字去卷积来恢复图像。去卷积的原理是利用已知的PSF，通过逆滤波的方式从退化图像中恢复原始场景。由于我们精心设计了相位掩模使得PSF在整个景深范围内保持一致，所以可以用单一的去卷积核处理不同深度的物体，这是混合成像系统的核心优势。

噪声放大问题的本质

去卷积本质上是频域除法：要恢复图像，需要将观测到的频谱除以MTF。当MTF在某个频率处的值很小时，除以这个小数就相当于乘以一个大数，这会显著放大该频率处的噪声。

联合优化的思路

相位掩模和数字去卷积的联合优化。既然单独设计相位掩模存在固有的局限性，那么我们需要将整个成像过程作为一个整体系统来考虑。

上方的流程图展示了最初的方案：物体经过包含相位掩模的光学系统，在相机上形成中间图像。这个图像是模糊的，但具有离焦不变性，可以被看作是某种特殊的编码。然后通过数字去卷积，从这个编码的图像中恢复出最终的清晰图像。在这个框架下，相位掩模的设计通常独立于后续的去卷积处理，比如我们前面分析的三次相位掩模就是纯粹从光学角度推导的。

下方的流程图展示了联合优化的核心思想：将相位掩模设计和去卷积算法作为一个统一的系统来优化。这意味着在设计相位掩模时，不仅要考虑PSF的离焦不变性，还要考虑后续去卷积的性能，包括噪声放大、数值稳定性等因素。同样，去卷积算法的设计也要针对特定相位掩模产生的PSF特性进行优化。相位掩模和去卷积这两个模块不再是分离的，而是通过联合优化紧密耦合，共同决定最终的成像质量。

这种联合优化的目标是在保持景深扩展能力的同时，最大化恢复图像的信噪比和整体质量。具体的优化准则可能包括最小化均方误差、最大化峰值信噪比，或者在考虑正则化约束的情况下平衡保真度和噪声抑制。通过这种整体系统层面的优化，可以找到比单独设计更优的相位掩模形式，同时配合相应的去卷积策略，从而突破前面分析的噪声放大问题的限制。

问题的数学建模

联合优化首先需要建立整个成像链路的数学模型。完整的成像流程可以分解为三个阶段：场景 O(x) 经过带有相位掩模的光学系统，在传感器上形成中间图像 I_\psi^\theta(x)，然后通过数字去卷积滤波器 d(x) 得到最终的恢复图像 \hat{O}_\psi^\theta(x)。

中间图像的形成过程可以用卷积模型描述：

I_\psi^\theta(x) = h_\psi^\theta(x) * O(x) + b(x)

首先，h_\psi^\theta(x) 是系统的点扩散函数，它同时依赖于相位掩模参数 \theta 和离焦程度 \psi。符号 * 表示卷积运算，意味着场景中每个点都会按照PSF的形状扩散，所有点的贡献叠加形成最终图像。b(x) 是加性噪声，这里假设它是白噪声且服从高斯分布，这是实际成像系统中最常见的噪声模型，包括传感器的读出噪声和光子散粒噪声的近似。

去卷积过程同样可以表示为卷积：

\hat{O}_\psi^\theta(x) = d(x) * I_\psi^\theta(x)

这里的去卷积滤波器 d(x) 是我们要设计的，它试图反转光学系统造成的模糊。注意这个恢复图像仍然带有上标 \theta 和 \psi，因为它的质量依赖于这两个参数。

优化目标的建立

联合优化的核心是定义一个合适的优化目标。最直接的想法是最小化恢复图像 \hat{O}_\psi^\theta(x) 与真实场景 O(x) 之间的均方误差：

\text{MSE}(d, \theta, \psi) = \left\langle \|\hat{O}_\psi^\theta(x) - O(x)\|^2 \right\rangle

这里的尖括号表示对空间坐标 x 以及可能的统计系综求平均。这个MSE量化了在特定离焦程度 \psi 下，使用参数为 \theta 的相位掩模和滤波器 d 恢复图像的保真度。

然而，景深扩展的目标是在一个深度范围内都保持良好的成像质量，而不是仅仅在某个特定离焦量下表现好。因此，我们需要考虑多个离焦程度 \psi_k（k=1,2,...,K），这些离焦值覆盖了我们希望扩展的景深范围。相应地定义平均图像质量准则：

\text{MSE}_{\text{av}}(d, \theta) = \frac{1}{K}\sum_{k=1}^K \text{MSE}(d, \theta, \psi_k)

这个平均MSE衡量了系统在整个景深范围内的平均性能。通过最小化这个准则，我们追求的是在所有考虑的深度上都有较好的表现，而不是在某些深度表现极好但在其他深度完全失效。

现在问题变成了同时优化两组参数：相位掩模参数 \theta 和去卷积滤波器 d(x)。这是一个联合优化问题，直接求解通常很困难。

交替优化策略

联合优化的一个有效策略是交替优化：先固定一组参数优化另一组，然后交换，反复迭代直到收敛。具体到这个问题，当相位掩模参数 \theta 固定时，我们可以求解最优的去卷积滤波器。

对于固定的 \theta，最优滤波器定义为使平均MSE最小的滤波器：

d_{\text{opt}}^\theta = \arg\min_d [\text{MSE}_{\text{av}}(d, \theta)]

在频域中，这个优化问题有解析解。一个常用的最优线性滤波器是最大后验（MAP）滤波器，在高斯噪声和高斯先验假设下，它等价于Wiener滤波器：

\tilde{w}(\nu) = \frac{\tilde{h}^*(\nu)}{|\tilde{h}(\nu)|^2 + \frac{S_{bb}(\nu)}{S_{oo}(\nu)}}

这个公式中，\tilde{h}(\nu) 是PSF的傅里叶变换，\tilde{h}^*(\nu) 是其复共轭，S_{oo}(\nu) 是物体的功率谱密度，S_{bb}(\nu) 是噪声的功率谱密度。Wiener滤波器分子 \tilde{h}^*(\nu) 提供了与PSF匹配的滤波，分母中的 |\tilde{h}(\nu)|^2 项进行归一化，而 S_{bb}(\nu)/S_{oo}(\nu) 项则起到正则化作用，在信噪比低的频率处（即噪声相对强的地方）抑制滤波增益，避免过度放大噪声。

多深度平均的Wiener滤波器

由于我们需要在多个离焦程度 \psi_k 上都有好的性能，最优滤波器应该对所有这些PSF都有效。对于固定的 \theta，不同的 \psi_k 会产生不同的 h_{\psi_k}^\theta(x)。虽然我们设计的相位掩模使得这些PSF尽可能相似，但它们仍然不完全相同。

平均Wiener滤波器的形式为：

\tilde{d}_{\text{opt}}^\theta(\nu) = \frac{\frac{1}{K}\sum_{k=1}^K \tilde{h}_{\psi_k}^{\theta*}(\nu) \cdot S_{oo}(\nu)}{\frac{1}{K}\sum_{k=1}^K |\tilde{h}_{\psi_k}^\theta(\nu)|^2 \cdot S_{oo}(\nu) + S_{bb}(\nu)}

这个滤波器在所有 \psi_k 上进行平均，分子对所有PSF的复共轭加权求和，分母则综合考虑所有PSF的能量和噪声功率。这样设计的滤波器对所有深度都是一个折中，不会偏向某个特定深度。

相位掩模参数的优化

有了固定 \theta 下的最优滤波器 d_{\text{opt}}^\theta，我们可以定义关于 \theta 的优化准则。第一种是平均准则：

J_{\text{moy}}(\theta) = \text{MSE}_{\text{moy}}(d_{\text{opt}}^\theta, \theta) = \frac{1}{K}\sum_{k=1}^K \text{MSE}(d_{\text{opt}}^\theta, \theta, \psi_k)

这个准则衡量使用最优滤波器后的平均MSE，现在它只依赖于 \theta。优化相位掩模就是寻找使这个平均MSE最小的参数。

另一种更保守的准则是最大最小准则：

J_{\text{maximin}}(\theta) = \max_k \text{MSE}(d_{\text{opt}}, \theta, \psi_k)

这个准则关注的是最坏情况下的性能：在所有深度中，找出MSE最大的那个。最小化这个准则意味着我们要让最差情况尽可能好，这保证了系统在整个景深范围内的性能下限。这种准则通常会导致更均匀但平均性能可能稍低的解。

图像质量指标与最终优化形式

为了更直观地衡量图像质量，引入了以分贝为单位的图像质量指标：

IQ(d, \theta, \psi) = 10\log_{10}\frac{\sigma_o^2}{\text{MSE}(d, \theta, \psi)}

这里 \sigma_o^2 是理想图像（无噪声、完美对焦）的方差，表示信号的功率。这个比值 \sigma_o^2/\text{MSE} 本质上是信噪比：分子是信号功率，分母是误差功率。取对数并乘以10得到分贝值，这是信号处理中标准的功率比表示方式。IQ值越高，图像质量越好。

使用IQ指标，最大最小准则可以等价地表示为：

\theta_{\text{opt}} = \underset{\theta}{\arg\min}\left[\max_k \text{MSE}(d_{\text{opt}}, \theta, \psi_k)\right] = \underset{\theta}{\arg\max}\left[\min_k IQ(d_{\text{opt}}, \theta, \psi_k)\right]

这个等价性来自于对数函数的单调性：最小化MSE等价于最大化IQ。我们寻找这样的相位掩模参数，使得在所有深度中最差的IQ值尽可能高。这保证了整个景深范围内都有可接受的图像质量，没有某个深度会严重拖后腿。这就是联合优化的最终数学形式，它将相位掩模设计和去卷积算法统一在一个优化框架中。

三次相位掩模的优化结果

通过前面建立的联合优化框架，我们可以对三次相位掩模的参数 \alpha 进行系统优化。优化目标是最大化整个景深范围内最差情况下的图像质量，即 \min_k IQ(d_{\text{opt}}, \alpha, \psi_k)。

上方的优化曲线展示了这个最小IQ值随 \alpha 参数变化的趋势。当 \alpha=0 时，对应传统系统（无相位掩模），即使配合去卷积处理，在考虑多个离焦程度时的最差IQ值只有约12分贝，这是因为传统系统在离焦时图像完全模糊，去卷积也无法有效恢复。随着 \alpha 增大，相位掩模的调制作用开始显现，IQ曲线迅速上升，在 \alpha=10 处达到峰值约16.4分贝。继续增大 \alpha，曲线开始下降，在 \alpha=30 时降至约14分贝。

当 \alpha 较小时，虽然相位掩模引入的畸变不严重，MTF整体水平较高，但离焦不变性较弱，不同深度的PSF仍有明显差异，导致单一去卷积滤波器无法对所有深度都表现良好。当 \alpha 过大时，离焦不变性达到极致（\alpha=30 为严格不变性），但代价是MTF在很宽的频率范围内都极低，去卷积时噪声放大非常严重，虽然所有深度的表现都一致，但这种一致性是建立在较低质量水平上的。最优的 \alpha=10 实现了最佳平衡：既保证了足够的离焦不变性，又维持了可接受的MTF水平，使得去卷积后的图像质量最大化。

最优系统的MTF特性分析

下方的MTF图详细展示了优化前后系统的频率响应特性。传统系统（蓝色曲线）在对焦时（实线）具有理想的MTF：从低频到高频平滑衰减，在归一化频率1.5左右才接近零。但离焦时（虚线）高频响应断崖式下降，在归一化频率0.5处就已经接近零，这就是为什么离焦图像完全失去细节。

\alpha=30 的系统（绿色曲线）成功实现了离焦不变性：实线和虚线几乎重合。但问题是整体MTF水平很低，在归一化频率0.5处就衰减到0.2左右，并且在某些频率处出现深谷，这些频率的信息几乎完全丢失，去卷积时噪声会被极大放大。

优化后的 \alpha=10 系统（橙色曲线）展现出折中特性。首先，它保持了良好的离焦不变性，对焦和离焦时的曲线差异不大。其次，相比 \alpha=30，它的MTF在低到中频范围内明显更高，这意味着这些频率的信号传递更有效，噪声放大更少。虽然它不如传统系统在对焦时的高频响应，但考虑到需要覆盖整个景深范围，这种牺牲是值得的。橙色曲线在低频区域的抬升和更平缓的衰减，正是优化算法在离焦不变性和恢复质量之间找到的最佳工作点。

不同离焦程度下的图像质量表现

IQ曲线图量化了三个系统在不同离焦程度下的表现。横轴是离焦参数 \psi，纵轴是图像质量IQ（分贝）。传统系统（蓝色，\alpha=0）的曲线呈现尖锐的峰形：在对焦位置（\psi=0）达到约19分贝的高值，但迅速衰减，在 \psi=\pm5 处就降到8分贝左右。

\alpha=30 系统（绿色）的曲线形状是一条近乎平坦的线，在整个 \psi 范围内都维持在约14分贝。虽然这个值比传统系统在对焦时低了5分贝，但它在所有深度都保持这个水平，实现了真正的离焦不变性。然而，14分贝的绝对水平还不够理想。

优化后的 \alpha=10 系统（橙色）的曲线在对焦附近的较大范围内都能维持约17-18分贝的高水平，然后在更大的离焦量处缓慢衰减到约16分贝。在中等离焦范围内，它既保持了接近传统系统对焦时的高质量，又扩展了景深。它的最低IQ值（约16.4分贝）显著高于另外两个系统在大部分离焦范围内的表现。

仿真图像的视觉验证

3×3图像矩阵直观展示了理论分析的结果。三行分别对应三个系统：传统系统（蓝色边框）、优化系统 \alpha=10（绿色边框）和高不变性系统 \alpha=30（橙色边框）。三列对应三个离焦状态：焦平面（Focal plane）、中等离焦（Intermediary defocus）和大离焦（Large defocus），每张图下方标注了相应的IQ值。

传统系统在焦平面的图像质量最高（19分贝），人物和背景细节都非常清晰。但随着离焦增大，中等离焦时IQ降至12分贝，图像开始模糊但还能辨认；大离焦时IQ仅8.5分贝，图像完全模糊，几乎无法识别内容。

\alpha=10 优化系统在焦平面的IQ为14分贝，虽然比传统系统低，但图像质量仍然很好。更重要的是，中等离焦时IQ为15分贝，大离焦时IQ为14分贝——三个深度的图像质量几乎一致且都保持在良好水平。这种一致性正是景深扩展的目标。

\alpha=30 系统在所有深度都保持16-18分贝的IQ，图像质量非常稳定。但即使在焦平面上，其图像的细腻程度也略差于 \alpha=10 系统在对焦时的表现，这反映了过强的相位调制带来的代价。

实验验证：红外相机的景深扩展

理论分析和仿真之后，需要用实际光学系统验证这些结果。

相位掩模的设计选择了三环二元环形掩模设计。这种掩模将光瞳分为三个同心环，每个环只有0（对应相位0）或1（对应相位 \pi）两种状态。具体来说，最内环（0到 r_1）和最外环（r_2 到1）设置为一个相位值，中间环（r_1 到 r_2）设置为相反的相位值。这样的二元结构只需要两个参数：内环外半径 r_1 和外环内半径 r_2。

二元环形掩模的参数优化

有了二元环形掩模的结构，下一步是优化参数 r_1 和 r_2。二维IQ图展示了这两个参数对系统性能的影响。横轴是 r_2，纵轴是 r_1，颜色表示在整个景深范围内的最小IQ值（即最大最小准则）。

图中的灰色区域对应无意义或不可行的参数组合（例如 r_1 > r_2）。蓝色区域对应低IQ值，表示这些参数组合性能较差。随着颜色从蓝色过渡到绿色、黄色、橙色，IQ值逐渐升高。红色区域对应高IQ值，表示优秀的性能。标注的感兴趣区域（Region of interest）位于右上角，IQ值超过18分贝。

优化结果显示理论最优值为 r_1=0.74, r_2=0.94，对应的最大最小IQ约为20分贝。但实际选择了稍微偏离最优点的参数 r_1=0.75, r_2=1（即外环延伸到光瞳边缘）。这个选择虽然理论IQ略低，但制造更简单（外环边界就是光瞳边界，不需要额外加工），且性能仍然非常接近最优值。

图像分割

分割问题的提出

图像分割要解决的核心问题是在一张图像中识别出我们感兴趣的对象，并将整个图像划分成若干个同质的区域。这里的"同质"指的是这些区域内部具有某种相似的特性，比如颜色、纹理或者强度值等。分割的本质是一个标注过程，我们需要给图像中的每个像素打上标签，让属于同一个对象或者同一个区域的像素具有相同的标签。

从实际应用来看，分割问题可以分为几个不同的层次。第一个层次是将一张图像分解成若干个不同的区域，这些区域之间彼此不重叠且相互连接。举个例子，对于一张纹理图像，我们可能需要将不同材质的部分区分开来。第二个层次是在复杂背景中分割出特定的感兴趣对象，这在实际中最为常见，比如在航拍图像中识别出建筑物，在医学图像中提取出病灶区域。第三个层次是跟踪和分割运动对象，比如在交通监控中检测移动的车辆。这三个层次的难度是递增的，因为背景越复杂、对象运动越快，分割的挑战就越大。

分割方法的两大类别

图像分割的方法可以从不同的角度来理解和实现，主要分为两大类：基于边缘的分割和基于区域的分割。

基于边缘的分割原理

基于边缘的分割方法需要经历几个关键步骤。以雷达图像的分割为例，第一步是边缘检测，在原始图像中找出所有灰度发生显著变化的位置。这一步会产生一张边缘强度图，图中亮的地方表示边缘强度大，即灰度变化剧烈。第二步是边缘提取，从边缘强度图中提取出真正的边缘线条，这个过程通常需要设定阈值，只保留边缘强度超过某个值的像素点。第三步是利用提取出的边缘信息进行分割，将被边缘包围的区域识别为一个个独立的分割结果。

经典边缘检测方法

边缘检测的核心是梯度技术，即通过估计图像的导数来找到灰度变化最剧烈的位置。要理解这个方法，首先需要回到一维信号的情况。假设我们有一个一维函数 f(t)，它描述了信号沿着某个方向的强度变化。当信号从一个平稳的区域过渡到另一个平稳的区域时，在过渡的位置会出现一个跳变或者斜坡。

对这个函数求导得到 f'(t)，导数的定义是

f'(t) = \frac{\partial f(t)}{\partial t}

在信号跳变的位置，导数会出现一个峰值（正峰或负峰），这个峰值的位置就对应着边缘的位置。导数的绝对值越大，说明信号变化越剧烈，边缘越明显。

将这个思想推广到二维图像时，情况变得复杂了。图像是一个二维函数 f(x,y)，其中 (x,y) 是像素的坐标。在二维情况下，灰度变化可能发生在任何方向，因此我们需要计算两个方向的导数：x 方向的导数和 y 方向的导数。这就是所谓的梯度算子。

在实际实现中，我们使用离散的卷积掩码来近似计算导数。Prewitt算子和Sobel算子是两种最经典的梯度算子。Prewitt算子在 x 方向的掩码是

\begin{bmatrix} -1 & 0 & 1 \\ -1 & 0 & 1 \\ -1 & 0 & 1 \end{bmatrix}

在 y 方向的掩码是

\begin{bmatrix} -1 & -1 & -1 \\ 0 & 0 & 0 \\ 1 & 1 & 1 \end{bmatrix}

Sobel算子在 x 方向的掩码是

\begin{bmatrix} -1 & 0 & 1 \\ -2 & 0 & 2 \\ -1 & 0 & 1 \end{bmatrix}

在 y 方向的掩码是

\begin{bmatrix} -1 & -2 & -1 \\ 0 & 0 & 0 \\ 1 & 2 & 1 \end{bmatrix}

这些掩码的工作原理是在图像上滑动，对每个位置的邻域像素进行加权求和。以Prewitt的 x 方向掩码为例，它实际上是在计算中心像素右侧和左侧的灰度差异。掩码中的-1、0、1这些权重反映了导数的离散近似：左侧的像素乘以-1，右侧的像素乘以+1，然后相加就得到了灰度的变化量。在 y 方向也是同样的道理，只是变成了上下方向的差异。

Sobel算子与Prewitt算子的区别在于中间行（或中间列）的权重更大。Sobel算子给中心行赋予了2和-2的权重，而不是1和-1。这个设计是为了给中心像素附近的区域更多的权重，因为中心像素与其直接相邻的像素的关系最密切。这种加权方式使得Sobel算子对边缘的响应更强，同时也对噪声有一定的平滑作用。

使用这些掩码后，我们得到两个结果：x 方向的梯度值和 y 方向的梯度值。将这两个值结合起来，可以计算出每个像素点的梯度幅值和梯度方向。梯度幅值表示边缘的强度，梯度方向表示边缘的朝向。

这些经典方法存在一个明显的问题：掩码的尺寸很小（只有3×3），这使得它们对噪声非常敏感。如果图像中存在噪声，这些小掩码会将噪声也检测为边缘，导致大量的虚假边缘。为了解决这个问题，研究者们发展了更复杂的边缘检测方法，比如Canny边缘检测器和Deriche滤波器。这些方法通常会先对图像进行平滑处理以抑制噪声，然后再进行边缘检测，从而在噪声抑制和边缘定位之间达到更好的平衡。

Canny边缘检测方法

Canny边缘检测器是边缘检测领域的一个突破性方法。从实际效果来看，当我们将Canny算子应用于道路图像时，可以得到非常清晰和连续的边缘线条。车辆的轮廓、道路标线等结构都能被准确地提取出来，边缘定位精确且连续性好。这种效果是经典梯度算子难以达到的。

然而Canny方法仍然面临一个根本性的挑战：噪声鲁棒性问题。当输入图像本身包含大量噪声时，即使是Canny这样优秀的边缘检测器也会失效。从含噪声图像的检测结果可以看到，整个图像几乎被噪声产生的虚假边缘所充斥，真实的目标边缘完全淹没在噪声之中。这个问题的根源在于，所有基于梯度的边缘检测方法都是局部算子，它们只看每个像素及其邻域的灰度变化，无法区分这种变化是来自真实的物体边界还是随机的噪声扰动。

基于边缘分割方法的主要困难

回到基于边缘的分割流程，从雷达图像开始，经过边缘检测、边缘提取，最终得到分割结果。这个完整流程在实际应用中会遇到两个核心难题。

第一个难题是在强噪声图像中进行边缘检测。正如前面看到的Canny结果，当图像质量较差、噪声水平较高时，经典的边缘检测器会产生大量虚假响应。这些虚假边缘与真实边缘混杂在一起，后续很难将它们区分开。这个问题说明了单纯依靠局部梯度信息的局限性。

第二个难题是边缘闭合问题。即使我们成功检测到了目标物体的边缘，这些边缘往往是不连续的，存在断裂和缺口。要完成分割任务，我们需要的是封闭的轮廓线来界定区域边界。但是从边缘检测器输出的边缘图中，如何将属于同一个物体的边缘点连接起来形成封闭曲线，如何填补边缘的断裂，这些都是非常困难的问题。单纯的边缘连接算法往往会产生错误的连接或者无法正确闭合轮廓。

这两个难题促使研究者思考一个问题：能否设计一种方法，既能利用边缘信息，又能保证得到封闭连续的轮廓，同时对噪声具有一定的鲁棒性。

基于轮廓的蛇形模型方法

Kass等人在1988年提出的蛇形模型（Snake）为上述问题提供了一个优雅的解决方案。这个方法的核心思想是将轮廓提取问题转化为一个能量最小化问题，通过让一条初始曲线在图像中变形，最终收敛到目标物体的边界上。

从方法演示可以看到整个过程：首先在图像中给定一个初始轮廓（可能是一个粗略的圆形或椭圆形），然后这条曲线开始在图像中"游动"，不断调整自己的形状和位置。在变形过程中，曲线受到两类力的驱动：一类是图像本身的特征力（比如边缘强度），它将曲线吸引到灰度梯度大的位置；另一类是曲线自身的约束力，它使得曲线保持光滑和连续。经过多次迭代后，曲线最终稳定在目标物体的真实边界位置，形成一个封闭且光滑的轮廓。

这个方法的本质可以理解为：我们不再是先检测所有可能的边缘点然后再试图连接它们，而是直接寻找一条最优的闭合曲线。这条曲线从数学上保证是封闭的（因为我们用的是闭合曲线模型），同时通过优化过程找到最符合图像特征的位置。

蛇形模型方法将边缘检测和轮廓闭合两个步骤融合到了一个统一的优化框架中。它通过曲线的变形来寻找边界，而不是简单地在边缘图上连接断裂的边缘点。这种全局优化的思路使得方法对局部的边缘断裂和噪声具有更好的鲁棒性。

蛇形模型的优势与局限

蛇形模型方法相比传统边缘检测具有几个突出的优势。第一个优势是曲线的自动闭合特性。由于我们使用的是闭合曲线模型，无需额外的后处理就能保证得到封闭的轮廓，这直接解决了传统方法中边缘闭合的难题。第二个优势是可以引入正则化条件和先验知识。正则化条件控制曲线的光滑程度，防止曲线出现剧烈的锯齿状波动，这在一定程度上抑制了噪声的影响。先验知识可以包括对目标形状的约束，比如我们知道要分割的目标大致是圆形的，就可以在模型中加入鼓励曲线保持类圆形状的项。第三个优势是方法天然适合用于形状跟踪。在视频序列中，可以用前一帧得到的轮廓作为下一帧的初始轮廓，这样跟踪就变成了一个连续的曲线演化过程。

但蛇形模型也存在明显的局限性。第一个局限是边界必须在正确的位置存在。蛇形模型依赖图像梯度来驱动曲线向边界移动，如果目标物体本身的边界就很模糊或者不清晰，曲线可能无法正确收敛。这在医学图像等低对比度图像中是常见的问题。第二个局限是方法没有考虑噪声的物理特性。蛇形模型中的图像驱动力通常是简单的梯度项，这种设计假设边界处有明显的梯度跳变。但在实际图像中，不同类型的噪声（如高斯噪声、散斑噪声等）有不同的统计特性，简单的梯度度量无法很好地适应这些特性。

从肾脏超声图像看方法局限

肾脏的超声图像是一个典型的困难案例。在超声成像中，由于声波的散射特性，图像中充满了散斑噪声。从原始图像可以看到，肾脏的轮廓并不清晰，整个图像被颗粒状的纹理所覆盖。当我们对这样的图像应用Canny边缘检测器时，真实的肾脏边界被淹没在大量的噪声边缘中，根本无法识别出完整的器官轮廓。

这个例子说明，单纯的边缘检测器在这类图像中是不够用的。要成功分割肾脏，我们需要利用全局形状信息。肾脏具有特定的形状特征，虽然不同病人的肾脏形状有差异，但总体上都遵循某种形状模式。如果能将这种形状先验知识融入分割算法，就有可能克服局部边缘不清晰的问题。

这个需求引出了统计活动轮廓的概念。相比于原始的蛇形模型只利用图像梯度信息，统计活动轮廓进一步引入了区域统计特性和形状先验模型。它不仅看边界处的梯度，还分析边界内外区域的统计分布，同时结合对目标形状的先验知识来约束轮廓的演化。这种方法更适合处理边界模糊、噪声严重的医学图像分割问题。

基于区域的统计蛇形方法

基于区域的蛇形方法将统计估计理论与图像分割相结合，形成了一套最优化的分割算法框架。这个框架的构建需要四个核心成分，它们共同定义了整个问题的数学表述和求解过程。

第一个成分是统计图像模型。这里采用指数族分布来描述图像的统计特性。指数族是一大类概率分布的总称，包括高斯分布、泊松分布、伽马分布等常见分布。选择指数族的原因是它具有良好的数学性质，特别是在参数估计方面有简洁的形式。通过指数族模型，我们可以用参数化的方式描述目标区域和背景区域的灰度分布特征。

第二个成分是几何形状模型。这里使用多边形轮廓来表示目标物体的边界。多边形是由一系列顶点连接而成的闭合曲线，这种表示方式的优势是参数化简单且计算效率高。每个顶点的坐标就是我们需要优化的参数，通过调整这些顶点的位置，多边形可以变形来适应目标物体的真实轮廓。

第三个成分是形状的统计估计方法，采用最大似然估计。最大似然的思想是在给定图像观测数据的情况下，寻找最可能产生这些数据的参数值。具体到分割问题，就是找到一个轮廓位置，使得在这个轮廓下观测到当前图像的概率最大。这将分割问题转化为一个明确的优化问题。

第四个成分是优化方法，采用多分辨率策略。多分辨率方法从粗尺度开始优化，逐步过渡到细尺度。这种策略可以避免陷入局部最优解，同时显著提高计算效率。在粗尺度上快速确定大致的轮廓位置，然后在细尺度上精细调整细节。

课程内容将按照五个部分展开：首先回顾分割问题的本质，然后深入统计蛇形的数学原理，接着讨论如何优化算法以减少计算时间，再介绍形状简化技术，最后将方法扩展到更一般的图像分割场景，引入活动网格的概念。

图像的统计模型

统计蛇形方法的核心是建立一个关于图像形成过程的概率模型。这个模型基于三个基本假设。

第一个假设是分析窗口包含两个具有独立随机场的区域。这意味着我们假设图像可以被分为目标区域和背景区域两部分，每个区域内的像素值来自各自的随机过程，且这两个随机过程彼此独立。这个假设是分割问题的基础：如果两个区域的统计特性相同，那么就无法将它们区分开。

第二个假设是目标和背景的像素在统计上是独立的。这意味着知道某个像素的灰度值不会给我们提供关于其他像素灰度值的信息。虽然这个假设在实际图像中不完全成立（因为相邻像素往往具有相关性），但它极大地简化了数学推导，使得似然函数可以表示为各个像素概率的乘积。

第三个假设是目标和背景具有不同参数的概率密度函数。概率密度函数描述了灰度值的分布规律，不同的参数意味着两个区域有不同的统计特征。比如目标区域可能平均灰度较高且方差较小，而背景区域平均灰度较低且方差较大。

基于这些假设，图像中任意位置 (x,y) 的灰度值 s(x,y) 可以表示为

s(x,y) = a(x,y) w^{\theta}(x,y) + b(x,y) [1-w^{\theta}(x,y)]

\theta 是形状参数向量，它完整地描述了目标物体的轮廓。
w^{\theta}(x,y) 是一个二值函数，起到区域指示器的作用：当点 (x,y) 在目标区域内时 w^{\theta}(x,y) = 1，当点 (x,y) 在背景区域时 w^{\theta}(x,y) = 0。
a(x,y) 表示目标区域在位置 (x,y) 的灰度值（可以看作目标区域的"理想"灰度分布）
b(x,y) 表示背景区域在该位置的灰度值。

这个公式实际上是一个分段函数的紧凑表示。当 w^{\theta}(x,y) = 1 时，公式变为 s(x,y) = a(x,y)；当 w^{\theta}(x,y) = 0 时，公式变为 s(x,y) = b(x,y)。通过形状参数 \theta 的变化，w^{\theta}(x,y) 的定义域也随之改变，从而实现了轮廓的移动。

进一步地，P_{\mu_a}(x) 表示目标区域灰度级的概率密度函数，其参数为 \mu_a。P_{\mu_b}(x) 表示背景区域灰度级的概率密度函数，其参数为 \mu_b。这两个概率密度函数描述了目标和背景各自的灰度分布特征。在实际应用中，\mu_a 和 \mu_b 往往是未知的，需要从图像数据中估计。整个分割问题就是要同时估计形状参数 \theta 和分布参数 \mu_a、\mu_b，使得在这些参数下观测到当前图像的概率达到最大。

为了后续推导的方便，我们引入几个符号来描述区域和像素集合。

\Delta_a^{\theta} 定义为所有满足 w^{\theta}(x,y) = 1 的像素点 (x,y) 的集合，也就是对应于区域 a（目标区域）的所有像素。类似地，\Delta_b^{\theta} 定义为所有满足 w^{\theta}(x,y) = 0 的像素点的集合，对应于区域 b（背景区域）。这两个集合是互补的，共同覆盖整个分析窗口。

\chi_u^{\theta} 表示属于区域 \Delta_u^{\theta} 的所有像素的灰度值集合，其中 u 可以是 a 或 b。这个集合的定义为 \chi_u^{\theta} = \{s(x,y) | (x,y) \in \Delta_u^{\theta}\}。由于图像的灰度值被建模为随机变量，\chi_u^{\theta} 实际上是一个统计样本，包含了从概率分布 P_{\mu_u} 中抽取的若干个观测值。这个样本将用于估计分布参数 \mu_u。

N_u(\theta) 表示区域 u 中的像素总数，定义为 N_u(\theta) = card(\Delta_u^{\theta})，其中 card 表示集合的基数（元素个数）。这个数量依赖于形状参数 \theta，因为当轮廓形状改变时，被划分到目标区域和背景区域的像素数量也会随之变化。在分割应用中，\theta 直接代表了目标物体的形状。

形状模型的参数化

我们需要估计的参数全部包含在向量 \theta 中，这些参数定义了目标物体的完整形状。形状模型的选择有多种可能，包括样条曲线、傅里叶描述子等。每种表示方法都有其特点：样条曲线可以产生非常光滑的轮廓，傅里叶描述子则适合描述具有周期性特征的形状。

本课程将重点讨论多边形形状模型。在这个模型中，物体的轮廓由一系列节点（顶点）构成，相邻节点之间用直线段连接，最后一个节点与第一个节点连接形成闭合轮廓。参数向量 \theta 的元素就是这些节点的坐标位置。假设多边形有 n 个节点，那么 \theta 可以表示为 \theta = (\theta_1, \theta_2, \ldots, \theta_n)，其中每个 \theta_i 是一个二维坐标对 (\theta_i^x, \theta_i^y)，代表第 i 个节点的横纵坐标。

多边形模型的优势在于其简洁性和灵活性。通过调整节点的位置，多边形可以近似各种复杂的形状。节点数量的选择需要权衡：节点太少，轮廓过于简单，无法准确拟合复杂形状；节点太多，参数空间维度过高，优化困难且容易产生不必要的锯齿。实际应用中，节点数量通常根据目标物体的形状复杂度来确定，或者采用自适应策略动态调整节点数量。

似然函数的构建

有了图像的统计模型和形状参数化，下一步是构建似然函数。似然函数描述了在给定形状参数 \theta 和分布参数 \mu_a、\mu_b 的条件下，观测到当前图像 \mathbf{s} 的概率。

图像的似然函数定义为

L[\mathbf{s}|\boldsymbol{\theta}, \mu_a, \mu_b] = \prod_{(x,y) \in \Delta_a^{\boldsymbol{\theta}}} P_{\mu_a}[s(x,y)] \prod_{(x,y) \in \Delta_b^{\boldsymbol{\theta}}} P_{\mu_b}[s(x,y)]

这个公式的结构体现了前面提到的统计独立性假设。整个图像的似然是所有像素概率的乘积，分为两部分：第一个连乘号遍历目标区域 \Delta_a^{\boldsymbol{\theta}} 中的所有像素，对每个像素计算其灰度值 s(x,y) 在目标分布 P_{\mu_a} 下的概率密度；第二个连乘号遍历背景区域 \Delta_b^{\boldsymbol{\theta}} 中的所有像素，计算其灰度值在背景分布 P_{\mu_b} 下的概率密度。这两部分相乘得到整个图像的联合概率。

对数似然函数表示为

\mathcal{L}[\mathbf{s}|\boldsymbol{\theta}, \mu_a, \mu_b] = \sum_{(x,y) \in \Delta_a^{\boldsymbol{\theta}}} \log P_{\mu_a}[s(x,y)] + \sum_{(x,y) \in \Delta_b^{\boldsymbol{\theta}}} \log P_{\mu_b}[s(x,y)]

由于对数是单调递增函数，最大化似然函数等价于最大化对数似然函数。这个公式的含义是将目标区域内所有像素的对数概率密度累加起来，再加上背景区域内所有像素的对数概率密度累加值。对数似然的值越大，说明在当前参数下观测到这幅图像的可能性越大。

干扰参数问题

观察对数似然函数，我们发现一个问题：我们的目标是找到最优的形状参数 \boldsymbol{\theta}，但对数似然函数不仅依赖于 \boldsymbol{\theta}，还依赖于分布参数 \mu_a 和 \mu_b。这两个参数被称为干扰参数，因为它们不是我们真正关心的量，但又必须处理它们才能求解 \boldsymbol{\theta}。

直接最大化 \mathcal{L}[\mathbf{s}|\boldsymbol{\theta}, \mu_a, \mu_b] 需要同时优化三组参数，这会使问题变得非常复杂。为了得到一个只依赖于 \boldsymbol{\theta} 的准则，我们采用伪似然的方法。伪似然的思想是：对于每一个给定的 \boldsymbol{\theta} 值，先找到使似然最大的 \mu_a 和 \mu_b，然后将这些最优的干扰参数代入似然函数。这样我们就得到了一个只依赖于 \boldsymbol{\theta} 的函数。

伪似然定义为

\ell(\mathbf{s}, \boldsymbol{\theta}) = \max_{\mu_a, \mu_b} \mathcal{L}[\mathbf{s}|\boldsymbol{\theta}, \mu_a, \mu_b]

也就是说，\ell(\mathbf{s}, \boldsymbol{\theta}) 是在固定 \boldsymbol{\theta} 时，对数似然关于 \mu_a 和 \mu_b 的最大值。进一步地，我们可以将这个最大值表示为

\ell(\mathbf{s}, \boldsymbol{\theta}) = \mathcal{L}[\mathbf{s}|\boldsymbol{\theta}, \hat{\mu}_a(\boldsymbol{\theta}), \hat{\mu}_b(\boldsymbol{\theta})]

其中 \hat{\mu}_a(\boldsymbol{\theta}) 和 \hat{\mu}_b(\boldsymbol{\theta}) 是 \mu_a 和 \mu_b 的最大似然估计值。这些估计值是 \boldsymbol{\theta} 的函数，因为不同的轮廓位置会改变目标区域和背景区域的划分，从而影响从这些区域计算出的参数估计。

有了伪似然，形状参数 \boldsymbol{\theta} 的最大似然估计就可以通过最大化伪似然来获得

\hat{\boldsymbol{\theta}}^{ML} = \arg\max_{\boldsymbol{\theta}} \ell(\mathbf{s}, \boldsymbol{\theta})

这个优化问题只涉及形状参数 \boldsymbol{\theta}，干扰参数已经被消除了。

指数分布噪声的具体例子

为了更具体地理解上述过程，考虑一个例子：假设目标区域和背景区域的灰度值都服从指数分布。目标区域的概率密度函数为

P_{\mu_a}(s) = \frac{1}{\mu_a} e^{-\frac{s}{\mu_a}}

背景区域的概率密度函数为

P_{\mu_b}(x) = \frac{1}{\mu_b} e^{-\frac{s}{\mu_b}}

这里 \mu_a 和 \mu_b 是两个指数分布的均值参数。指数分布常用于描述某些类型的图像噪声，特别是在雷达图像中。

将这两个概率密度函数代入对数似然的定义，得到

对于目标区域中的像素，\log P_{\mu_a}[s(x,y)] = \log(\frac{1}{\mu_a}) - \frac{s(x,y)}{\mu_a} = -\log \mu_a - \frac{s(x,y)}{\mu_a}。将目标区域内所有像素的对数概率密度求和，得到

\sum_{(x,y) \in \Delta_a^{\boldsymbol{\theta}}} \log P_{\mu_a}[s(x,y)] = \sum_{(x,y) \in \Delta_a^{\boldsymbol{\theta}}} \left(-\log \mu_a - \frac{s(x,y)}{\mu_a}\right) = -N_a(\boldsymbol{\theta}) \log \mu_a - \frac{1}{\mu_a} \sum_{(x,y) \in \Delta_a^{\boldsymbol{\theta}}} s(x,y)

这里 N_a(\boldsymbol{\theta}) 是目标区域的像素总数，求和 \sum_{(x,y) \in \Delta_a^{\boldsymbol{\theta}}} s(x,y) 是目标区域所有像素灰度值的总和。类似地，背景区域的贡献为

\sum_{(x,y) \in \Delta_b^{\boldsymbol{\theta}}} \log P_{\mu_b}[s(x,y)] = -N_b(\boldsymbol{\theta}) \log \mu_b - \frac{1}{\mu_b} \sum_{(x,y) \in \Delta_b^{\boldsymbol{\theta}}} s(x,y)

因此完整的对数似然函数为

\mathcal{L}[\mathbf{s}|\boldsymbol{\theta}, \mu_a, \mu_b] = -N_a(\boldsymbol{\theta}) \log \mu_a - \frac{1}{\mu_a} \sum_{(x,y) \in \Delta_a^{\boldsymbol{\theta}}} s(x,y) - N_b(\boldsymbol{\theta}) \log \mu_b - \frac{1}{\mu_b} \sum_{(x,y) \in \Delta_b^{\boldsymbol{\theta}}} s(x,y)

接下来估计干扰参数。为了找到使对数似然最大的 \mu_a，对 \mu_a 求偏导并令其为零。对数似然关于 \mu_a 的偏导数为

\frac{\partial \mathcal{L}}{\partial \mu_a} = -\frac{N_a(\boldsymbol{\theta})}{\mu_a} + \frac{1}{\mu_a^2} \sum_{(x,y) \in \Delta_a^{\boldsymbol{\theta}}} s(x,y)

令偏导数为零，得到

-\frac{N_a(\boldsymbol{\theta})}{\mu_a} + \frac{1}{\mu_a^2} \sum_{(x,y) \in \Delta_a^{\boldsymbol{\theta}}} s(x,y) = 0

解这个方程得到

\hat{\mu}_a(\boldsymbol{\theta}) = \frac{1}{N_a(\boldsymbol{\theta})} \sum_{(x,y) \in \Delta_a^{\boldsymbol{\theta}}} s(x,y)

这正是目标区域像素灰度值的平均值，符合指数分布参数的最大似然估计。类似地，背景区域参数的最大似然估计为

\hat{\mu}_b(\boldsymbol{\theta}) = \frac{1}{N_b(\boldsymbol{\theta})} \sum_{(x,y) \in \Delta_b^{\boldsymbol{\theta}}} s(x,y)

将这两个估计值代入对数似然函数，得到伪似然

\ell(\mathbf{s}, \boldsymbol{\theta}) = \mathcal{L}[\mathbf{s}|\boldsymbol{\theta}, \hat{\mu}_a(\boldsymbol{\theta}), \hat{\mu}_b(\boldsymbol{\theta})] = -N_a(\boldsymbol{\theta}) \log \hat{\mu}_a(\boldsymbol{\theta}) - N_b(\boldsymbol{\theta}) \log \hat{\mu}_b(\boldsymbol{\theta})

这个表达式有一个关键性质：它只依赖于图像数据通过求和 \sum_{(x,y) \in \Delta_u^{\boldsymbol{\theta}}} s(x,y)（u=a 或 b）。这个求和是数据的充分统计量，包含了关于参数的所有信息。更重要的是，伪似然与形状参数 \boldsymbol{\theta} 的关系是独立于数据具体数值的，只通过区域划分产生的统计量来体现。这意味着伪似然是一个充分统计量，包含了数据中关于形状参数的全部信息。

最终的优化目标是

\ell(\mathbf{s}, \boldsymbol{\theta}) = -N_a(\boldsymbol{\theta}) \log[\hat{\mu}_a(\boldsymbol{\theta})] - N_b(\boldsymbol{\theta}) \log[\hat{\mu}_b(\boldsymbol{\theta})]

这就是我们需要最大化的准则函数。

指数族分布的一般形式

前面的指数分布例子展示了如何处理具体的概率模型。为了建立更一般的框架，我们需要考虑更广泛的分布族。指数族是一类具有特殊数学结构的概率分布，包含了许多常用的分布模型。

属于指数族的概率密度函数定义为

P_{\boldsymbol{\mu}}(x) = \exp[\boldsymbol{\alpha}(\boldsymbol{\mu}) \cdot \boldsymbol{\beta}(x) + \phi(\boldsymbol{\mu}) + \kappa(x)]

\boldsymbol{\mu} = [\mu_1, \mu_2, ..., \mu_n]^T 是参数向量，维度为 n。
\kappa(x) 是 x 的标量函数，与参数无关。
\boldsymbol{\alpha}(\boldsymbol{\mu}) 和 \boldsymbol{\beta}(x) 分别是参数和数据的 p 维向量函数。
符号 \cdot 表示向量的内积，即 \boldsymbol{\alpha}(\boldsymbol{\mu}) \cdot \boldsymbol{\beta}(x) = \sum_{i=1}^p \alpha_i(\boldsymbol{\mu}) \beta_i(x)。
x 的定义域与参数 \boldsymbol{\mu} 无关，这保证了不同参数值对应的分布在同一个样本空间上定义。

指数族的这种形式具有许多优良的数学性质。参数和数据通过内积形式结合，使得充分统计量的概念可以简洁地表达。许多常见的分布都属于指数族，包括高斯分布、泊松分布、伽马分布、贝塔分布等。通过选择不同的函数 \boldsymbol{\alpha}、\boldsymbol{\beta}、\phi 和 \kappa，可以得到不同的具体分布。

指数族分布在不同领域的应用

指数族分布族是一个非常广泛的分布类别，涵盖了图像处理中遇到的大多数噪声模型。不同的成像系统和应用场景会产生不同统计特性的噪声，需要选择合适的概率分布来建模。

对于二值图像，伯努利分布是自然的选择。二值图像的每个像素只有两种可能的取值（通常是0或1，代表黑或白）。伯努利分布的概率密度函数为

p\delta(x) + (1-p)\delta(1-x)

其中 \delta 是狄拉克函数，p 是参数，表示像素取值为1的概率。这个分布用于描述文档扫描、显微镜图像等二值化场景。

对于强度散斑图像和激光图像，伽马分布是合适的模型。散斑是由相干光波的干涉产生的颗粒状图案，常见于激光雷达、合成孔径雷达等系统。伽马分布的概率密度函数为

\left(\frac{L}{\mu}\right)^L \frac{x^{L-1}}{\Gamma(L)} \exp\left[-\frac{L}{\mu}x\right], \quad x \geq 0

这里有两个参数：\mu 控制分布的均值，L 控制分布的形状。L 也被称为视数，在雷达成像中表示独立观测的次数。\Gamma(L) 是伽马函数。当 L=1 时，伽马分布退化为指数分布。

对于光学预处理后的图像，高斯分布通常是合适的假设。许多光学成像系统经过校准和预处理后，残余噪声可以近似为高斯分布。高斯分布的概率密度函数为

\frac{1}{\sqrt{2\pi\sigma}} \exp\left[-\frac{(x-m)^2}{2\sigma^2}\right]

参数 m 是均值，\sigma 是标准差。高斯分布是最常用的噪声模型，部分原因是中心极限定理：大量独立随机变量的和趋向于高斯分布。

对于光子噪声受限的图像，泊松分布是物理上正确的模型。当成像过程受到光子计数统计涨落限制时，如天文成像、低光照成像等，像素值服从泊松分布

\sum_{n \in \mathbb{N}} \delta(x-n) e^{-p} \frac{p^n}{n!}

参数 p 同时是均值和方差。泊松分布描述了在固定时间或空间内发生事件的次数，这里对应着到达像素的光子数。

对于幅度散斑和声学图像，瑞利分布是常用的模型。超声成像、声呐等系统中的散斑噪声服从瑞利分布

\frac{x}{\mu} \exp\left[-\frac{x^2}{2\mu}\right], \quad x \geq 0

参数 \mu 控制分布的尺度。瑞利分布是两个独立高斯随机变量的平方和的平方根的分布，这与相干波的幅度统计相对应。

这些分布虽然形式各异，但都可以统一到指数族的框架下。这种统一性使得我们可以用相同的数学工具来处理不同类型的图像分割问题。

指数族分布下的似然函数和参数估计

当图像噪声服从指数族分布时，区域 u（可以是目标区域 a 或背景区域 b）的像素样本 \chi_u 的似然函数可以写为

L(\chi_u | \boldsymbol{\mu}_u) = \prod_{i=1}^{N_u} \exp\{\boldsymbol{\alpha}(\boldsymbol{\mu}_u) \cdot \boldsymbol{\beta}(x_i) + \phi(\boldsymbol{\mu}_u) + \kappa(x_i)\}

这里 N_u 是区域 u 中的像素总数，连乘号遍历该区域的所有像素。每个像素 x_i 的概率密度按照指数族形式表达，包含参数相关项 \boldsymbol{\alpha}(\boldsymbol{\mu}_u) 与数据相关项 \boldsymbol{\beta}(x_i) 的内积，加上仅依赖参数的项 \phi(\boldsymbol{\mu}_u) 和仅依赖数据的项 \kappa(x_i)。

参数 \boldsymbol{\mu}_u 的最大似然估计需要最大化这个似然函数。由于连乘在数值上容易出问题，我们转而最大化对数似然。利用指数和对数的性质，对数似然可以展开为

\hat{\boldsymbol{\mu}}_u^{ML} = \arg\max_{\boldsymbol{\mu}} \left[\prod_{i=1}^{N_u} \exp\{\boldsymbol{\alpha}(\boldsymbol{\mu}) \cdot \boldsymbol{\beta}(x_i) + \phi(\boldsymbol{\mu}) + \kappa(x_i)\}\right]

取对数后，指数函数的乘积变为指数内部表达式的求和

\log L = \sum_{i=1}^{N_u} [\boldsymbol{\alpha}(\boldsymbol{\mu}) \cdot \boldsymbol{\beta}(x_i) + \phi(\boldsymbol{\mu}) + \kappa(x_i)]

注意到 \boldsymbol{\alpha}(\boldsymbol{\mu}) 和 \phi(\boldsymbol{\mu}) 不依赖于求和指标 i，可以提出来

\log L = \boldsymbol{\alpha}(\boldsymbol{\mu}) \cdot \sum_{i=1}^{N_u} \boldsymbol{\beta}(x_i) + N_u \phi(\boldsymbol{\mu}) + \sum_{i=1}^{N_u} \kappa(x_i)

可见对数似然只通过求和 \sum_{i=1}^{N_u} \boldsymbol{\beta}(x_i) 依赖于数据。定义充分统计量为

\mathbf{T}[\chi_u] = \sum_{i=1}^{N_u} \boldsymbol{\beta}(x_i)

这个统计量是数据的一个汇总，它包含了数据中关于参数的所有信息。一旦计算出 \mathbf{T}[\chi_u]，我们就不需要保留原始的像素值序列，所有关于参数估计的问题都可以通过这个统计量来解决。这就是充分统计量的含义：它充分地概括了数据中与参数相关的信息。

参数估计只依赖于图像通过充分统计量的汇总，而不需要知道每个像素的具体数值。这个性质在分割问题中尤其有用：给定一个轮廓位置 \boldsymbol{\theta}，我们只需要计算各个区域的充分统计量，就可以评估该轮廓的优劣，而不需要重新处理整个图像。

伽马分布和高斯分布的充分统计量

为了具体理解充分统计量的计算，我们详细推导伽马分布和高斯分布的情况。

先看伽马分布。伽马分布的概率密度函数为

P_{\mu}(x) = \left(\frac{L}{\mu}\right)^L \frac{x^{L-1}}{\Gamma(L)} \exp\left[-\frac{L}{\mu}x\right]

为了将其写成指数族的标准形式，我们对整个表达式取对数

\log P_{\mu}(x) = L\log\left(\frac{L}{\mu}\right) + (L-1)\log x - \log\Gamma(L) - \frac{L}{\mu}x

展开第一项

\log P_{\mu}(x) = L\log L - L\log\mu + (L-1)\log x - \log\Gamma(L) - \frac{L}{\mu}x

重新组织这些项，将依赖于 \mu 和 x 的项放在一起

\log P_{\mu}(x) = -\frac{L}{\mu}x - L\log\mu + (L-1)\log x + L\log L - \log\Gamma(L)

因此伽马分布可以写成指数族形式

P_{\mu}(x) = \exp\left[-\frac{L}{\mu}x - L\log\mu + (L-1)\log x + L\log L - \log\Gamma(L)\right]

现在需要将这个表达式与指数族的标准形式 P_{\mu}(x) = \exp[\boldsymbol{\alpha}(\boldsymbol{\mu}) \cdot \boldsymbol{\beta}(x) + \phi(\boldsymbol{\mu}) + \kappa(x)] 进行对比。通过仔细比较，可以清楚地看到 \boldsymbol{\beta}(x) 是一个标量函数，其值为 \boldsymbol{\beta}(x) = x。这意味着数据通过其本身的值进入到概率密度函数中，没有经过任何非线性变换。

充分统计量为

\mathbf{T}[\chi_u] = \sum_{i=1}^{N_u} \boldsymbol{\beta}(x_i) = \sum_{i=1}^{N_u} x_i

这就是样本中所有元素的简单相加。充分统计量是标量（一个数），这与伽马分布只有一个待估计的参数 \mu 相对应。注意这里我们假设形状参数 L 是已知的，只有尺度参数 \mu 需要估计。如果 L 也未知，那么充分统计量将变成二维向量，还需要包含 \sum_{i=1}^{N_u} \log x_i 这一项。

再看高斯分布。高斯分布的概率密度函数为

P_{\mu}(x) = \frac{1}{\sqrt{2\pi\sigma}} \exp\left[-\frac{(x-m)^2}{2\sigma^2}\right]

展开平方项

-\frac{(x-m)^2}{2\sigma^2} = -\frac{x^2 - 2mx + m^2}{2\sigma^2} = -\frac{x^2}{2\sigma^2} + \frac{m}{\sigma^2}x - \frac{m^2}{2\sigma^2}

因此高斯分布可以写为

P_{\mu}(x) = \exp\left[-\frac{x^2}{2\sigma^2} + \frac{m}{\sigma^2}x - \frac{m^2}{2\sigma^2} - \log(\sqrt{2\pi\sigma})\right]

在这种情况下，对比标准形式可以看出 \boldsymbol{\beta} 是一个二维向量，等于 \boldsymbol{\beta} = (x, x^2)^T。这个向量的第一个分量是 x 本身，第二个分量是 x 的平方。数据通过这两个不同的函数形式进入概率密度函数。

相应地，充分统计量也是一个向量

\mathbf{T} = \begin{pmatrix} \sum_{i=1}^{N_u} x_i \\ \sum_{i=1}^{N_u} x_i^2 \end{pmatrix}

这个充分统计量包含两个分量：第一个分量是所有样本值的和，第二个分量是所有样本值平方的和。这个二维充分统计量对应于高斯分布的两个参数：均值 m 和方差 \sigma^2。要完整描述一个高斯分布，我们需要知道数据的中心位置（均值）和离散程度（方差），这两个信息分别由充分统计量的两个分量携带。

通过这两个例子可以看出一个一般规律：充分统计量的维度等于需要估计的参数的个数。伽马分布在 L 已知时只有一个参数，充分统计量是标量；高斯分布有两个参数，充分统计量是二维向量。充分统计量的每个分量都对应一个独立的参数，提供了估计该参数所需的信息。

充分统计量总结表

表格总结了几种常用分布的参数估计和充分统计量。这个表格的作用是为不同的图像类型提供了即用的公式。

伯努利分布描述二值图像，参数 p 表示像素为1的概率。参数估计为 p = T_1/N_u，其中充分统计量 T_1 = \sum_{i=1}^{N_u} s_i 就是区域内值为1的像素总数。参数 p 就是该区域中1的比例。

伽马分布用于强度散斑图像，参数 \mu 是尺度参数。参数估计为 \mu = T_1/N_u，充分统计量 T_1 = \sum_{i=1}^{N_u} s_i 是所有像素强度的总和。估计的参数就是该区域的平均强度。

高斯分布用于预处理后的光学图像，有两个参数：均值 m 和方差 \sigma^2。需要两个充分统计量：T_1 = \sum_{i=1}^{N_u} s_i 和 T_2 = \sum_{i=1}^{N_u} s_i^2。参数估计为 m = T_1/N_u 和 m^2 + \sigma^2 = T_2/N_u，后者可以改写为 \sigma^2 = T_2/N_u - (T_1/N_u)^2，这正是样本方差的公式。

泊松分布用于光子计数受限的场景，参数 p 同时是均值和方差。参数估计为 p = T_1/N_u，充分统计量 T_1 = \sum_{i=1}^{N_u} s_i。这与伯努利分布的形式相同，但泊松分布的取值范围是所有非负整数。

瑞利分布用于幅度散斑，参数 \mu 控制分布的尺度。参数估计为 \mu = T_2/N_u，充分统计量 T_2 = \sum_{i=1}^{N_u} s_i^2 是像素值平方的总和。这里使用二阶统计量而非一阶统计量，反映了瑞利分布的非对称性。

指数族分布与主动轮廓能量函数

伪对数似然的统一表达形式

在图像分割问题中，我们需要对目标区域和背景区域的像素强度分布进行建模。对于指数族分布，可以将伪对数似然统一写成一个标准形式。这个统一形式的关键在于将不同分布的概率密度函数转化为一个共同的数学框架。

伪对数似然函数定义为：

\ell(\mathbf{s}, \boldsymbol{\theta}) = -N_a(\boldsymbol{\theta}) f_a\left(\frac{\mathbf{T}[\chi_a^{\boldsymbol{\theta}}]}{N_a(\boldsymbol{\theta})}\right) - N_b(\boldsymbol{\theta}) f_b\left(\frac{\mathbf{T}[\chi_b^{\boldsymbol{\theta}}]}{N_b(\boldsymbol{\theta})}\right) + G(\mathbf{s})

这个公式将整个似然函数分解为三个部分。第一项和第二项分别对应目标区域（下标 a ）和背景区域（下标 b ）的贡献，第三项 G(\mathbf{s}) 是仅依赖于图像数据本身的项。这里 N_a(\boldsymbol{\theta}) 和 N_b(\boldsymbol{\theta}) 分别表示在当前轮廓参数 \boldsymbol{\theta} 下，目标区域和背景区域内的像素点数量。函数 f_a 和 f_b 是与具体分布相关的对数配分函数，它们的自变量是归一化的充分统计量。

充分统计量 \mathbf{T}[\chi_u^{\boldsymbol{\theta}}] 的定义为：

\mathbf{T}[\chi_u^{\boldsymbol{\theta}}] = \sum_{(x,y) \in \Delta^{\boldsymbol{\theta}}} \beta[s(x,y)] \quad \text{其中} \quad u = a, b

这个求和遍历了对应区域 \Delta^{\boldsymbol{\theta}} 内的所有像素点 (x,y) ， \beta[s(x,y)] 是像素强度值 s(x,y) 的某个函数。充分统计量的含义是，它包含了从数据中提取出来用于估计参数的所有必要信息。通过对区域内所有像素应用函数 \beta 并求和，我们得到了该区域的一个总体特征度量。

项 G(\mathbf{s}) 定义为：

G(\mathbf{s}) = \sum_{i \in \Delta} \kappa(s_i)

这里 \Delta = \Delta_a^{\boldsymbol{\theta}} \cup \Delta_b^{\boldsymbol{\theta}} 表示整个图像域，即目标区域和背景区域的并集。函数 \kappa 是与像素强度相关的一个函数，这一项在优化过程中对所有参数 \boldsymbol{\theta} 都是常数，因为它不依赖于轮廓的具体位置。这个设计的核心思想是将似然函数中与轮廓位置无关的部分单独分离出来，从而简化了优化过程。

这个公式的意义在于：经过消除干扰参数（nuisance parameters）之后，似然函数变成了仅通过充分统计量依赖于图像灰度级 \mathbf{s} 的函数。换句话说，我们不需要知道图像的每一个具体像素值，只需要知道充分统计量的值就可以进行参数估计和轮廓优化。

不同分布的具体形式

对于指数族中的不同分布，函数 f_u(z) 和变量 z 的具体形式各不相同，但它们都遵循上述统一框架。

伯努利分布的情况下， f_u(z) = -z \log|z| - (1-z) \log|1-z| ，变量 z = T_1/N_u 。这里 T_1 是区域内像素值的总和， N_u 是像素总数，因此 z 实际上是该区域的平均像素强度。伯努利分布适用于二值图像或者可以转化为二值的情况。

伽马分布使用 f_u(z) = L \log|z| ，同样 z = T_1/N_u 是平均像素强度。伽马分布常用于描述正值连续数据，对数项的出现是因为伽马分布的对数配分函数具有这种形式。

高斯分布的形式是 f_u(z) = \frac{1}{2} \log|z| ，但这里 z = T_2/N_u - [T_1/N_u]^2 ，这实际上是样本方差的表达式。 T_1/N_u 是均值， T_2/N_u 是平方的均值，两者之差给出方差。高斯分布需要同时估计均值和方差两个参数，因此充分统计量包含一阶矩和二阶矩。

泊松分布采用 f_u(z) = -z \log|z| ， z = T_1/N_u 仍是平均强度。泊松分布常用于计数数据，其参数就是事件发生的平均率。

瑞利分布的形式最简单， f_u(z) = \log|z| ， z = T_2/N_u 是像素强度平方的平均值。瑞利分布在图像处理中常用于描述噪声的幅度分布。

能量函数的引入

在主动轮廓方法的领域中，有一个成熟的理论框架，通常不直接最大化似然函数 \ell(\mathbf{s}, \boldsymbol{\theta}) ，而是最小化一个能量函数。这个能量函数定义为：

J(\mathbf{s}, \boldsymbol{\theta}) = -\ell(\mathbf{s}, \boldsymbol{\theta}) + K

其中 K 是一个常数。这种转换的原因是主动轮廓模型传统上使用能量最小化的框架：轮廓在某种能量场的作用下演化，最终收敛到能量最小的位置。通过取似然函数的负值，我们将最大化问题转化为最小化问题，使其符合主动轮廓的传统表述。

最小化 J(\mathbf{s}, \boldsymbol{\theta}) 的参数集 \boldsymbol{\theta} 就是执行目标的最大似然分割。这个准则可以理解为作用在蛇形轮廓上的"外部能量"，这里蛇形轮廓由参数 \boldsymbol{\theta} 定义。最小化这个外部能量会驱使轮廓向目标边界移动，使得目标区域和背景区域的像素强度分布最符合所假设的概率模型。

各分布的能量函数表达式

将伪对数似然转化为能量函数后，不同分布有各自的具体形式。

伯努利分布的能量函数为：

J_{ber}(\mathbf{s}, \boldsymbol{\theta}) = N_a(\boldsymbol{\theta}) f[t_1^{(a)}(\boldsymbol{\theta})] + N_b(\boldsymbol{\theta}) f[t_1^{(b)}(\boldsymbol{\theta})]

其中辅助函数：

f(x) = -x \log(x) - (1-x) \log(1-x)

这个函数实际上是熵函数的负值，它衡量了区域内像素强度分布的不确定性。

高斯分布的能量函数为：

J_{gau}(\mathbf{s}, \boldsymbol{\theta}) = \frac{N_a}{2}(\boldsymbol{\theta}) \log[\sigma_a^2(\boldsymbol{\theta})] + \frac{N_b}{2}(\boldsymbol{\theta}) \log[\sigma_b^2(\boldsymbol{\theta})]

这里引入了方差的记号：

t_k^{(u)}(\boldsymbol{\tau}) = \frac{1}{N_u} \sum_{(x,y) \in \Delta_u^{\boldsymbol{\tau}}} [s(x,y)]^k

\sigma_u^2(\boldsymbol{\tau}) = t_2^{(u)}(\boldsymbol{\tau}) - [t_1^{(u)}(\boldsymbol{\tau})]^2

其中 k = 1 或 2 ， u = a, b 。 t_1^{(u)} 是区域 u 的平均像素强度， t_2^{(u)} 是像素强度平方的平均值， \sigma_u^2 就是该区域的样本方差。高斯能量函数实际上是在最小化两个区域方差的加权对数和，这驱使轮廓向使得各区域内部更加均匀的方向演化。

伽马分布的能量函数为：

J_{gam}(\mathbf{s}, \boldsymbol{\theta}) = N_a(\boldsymbol{\theta}) L \log[t_1^{(a)}(\boldsymbol{\theta})] + N_b(\boldsymbol{\theta}) L \log[t_1^{(b)}(\boldsymbol{\theta})]

其中 L 是伽马分布的形状参数。这个能量函数依赖于各区域的平均强度，通过调整轮廓位置来优化这个量。

瑞利分布的能量函数为：

J_{ray}(\mathbf{s}, \boldsymbol{\theta}) = N_a(\boldsymbol{\theta}) \log\left[t_2^{(a)}(\boldsymbol{\theta})\right] + N_b(\boldsymbol{\theta}) \log\left[t_2^{(b)}(\boldsymbol{\theta})\right]

瑞利分布的能量函数使用的是像素强度平方的平均值，适合于幅度数据的建模。

泊松分布的能量函数为：

J_{ray}(\mathbf{s}, \boldsymbol{\theta}) = N_a(\boldsymbol{\theta}) f[t_1^{(a)}(\boldsymbol{\theta})] + N_b(\boldsymbol{\theta}) f[t_1^{(b)}(\boldsymbol{\theta})]

其中：

f(x) = -x \log(x)

泊松分布的能量函数同样基于平均强度，但使用了不同的函数形式。

这些能量函数的共同特点是都可以表示为区域像素数 N_u 与某个关于充分统计量函数的乘积之和。在轮廓演化过程中，这些能量函数通过其梯度指导轮廓的移动方向，使得分割结果在统计意义上最优。

正则化项

在前面讨论的能量函数中，我们只考虑了数据拟合项，即让轮廓位置使得目标区域和背景区域的统计特性最符合假设的分布模型。但这样的能量函数存在一个问题：它可能会产生非常不规则、锯齿状的轮廓。为了得到更加平滑、符合实际物体边界特征的分割结果，需要在能量函数中加入一个内部能量项（正则化项）来约束轮廓的形状。

轮廓由一系列节点定义，这些节点通过线段依次连接形成封闭曲线。定义量 d_i 为节点 i 到连接其相邻节点 i-1 和 i+1 的线段中心的距离。当三个相邻节点近似共线时， d_i 较小；当节点 i 偏离其邻居节点连线较远时， d_i 较大。基于这个几何量，构造内部能量：

U_{in}(\boldsymbol{\theta}) = \sum_{i=1}^{N_{node}} d_i^2

这个能量项对所有节点的偏离距离平方求和。当轮廓上某些节点不对齐、形成尖角或锯齿时，对应的 d_i 会变大，从而使 U_{in}(\boldsymbol{\theta}) 增大。最小化这个项会驱使轮廓变得更加平滑，因为最平滑的配置是所有节点都近似共线排列。

将正则化项与数据拟合项结合，得到新的目标函数：

J'(\mathbf{s}, \lambda, \boldsymbol{\theta}) = (1-\lambda) J(\mathbf{s}, \boldsymbol{\theta}) + \lambda U_{in}(\boldsymbol{\theta})

这个函数包含两个部分： (1-\lambda) J(\mathbf{s}, \boldsymbol{\theta}) 是数据拟合项，决定轮廓对图像数据的拟合程度； \lambda U_{in}(\boldsymbol{\theta}) 是正则化项，控制轮廓的平滑度。

参数 \lambda \in [0,1] 是权重系数，它平衡这两项的相对重要性。当 \lambda 接近0时，优化过程主要关注数据拟合，可能产生不规则轮廓；当 \lambda 接近1时，正则化占主导，轮廓会非常平滑但可能偏离真实边界。选择合适的 \lambda 值需要在拟合精度和轮廓平滑性之间权衡，这通常需要根据具体应用和图像特性来确定。

优化问题的非凸性

现在的目标是找到参数向量 \boldsymbol{\theta}_{opt} ，使其最小化 J'(\mathbf{s}, \lambda, \boldsymbol{\theta}) 。这个优化问题面临一个根本性挑战：目标函数是非凸的。非凸性意味着函数可能存在多个局部最小值，在这些点处函数值比其邻域内的点都小，但并非全局最小值。使用基于梯度的标准优化方法容易陷入局部最小值，无法找到真正的全局最优解。

迭代变形优化策略

为了应对非凸优化问题，采用轮廓的迭代变形方法。这种方法不依赖于梯度计算，而是通过直接尝试不同的轮廓变形来寻找能量下降的方向。基本思想是：在每次迭代中，移动一个节点从位置 \boldsymbol{\theta} 到新位置 \boldsymbol{\theta}' ，计算新配置下的能量值 J'(\mathbf{s}, \lambda, \boldsymbol{\theta}') 。

如果 J'(\mathbf{s}, \lambda, \boldsymbol{\theta}') < J'(\mathbf{s}, \lambda, \boldsymbol{\theta}) ，说明这次位移使能量降低，则接受这个变形；
如果 J'(\mathbf{s}, \lambda, \boldsymbol{\theta}') > J'(\mathbf{s}, \lambda, \boldsymbol{\theta}) ，说明能量增加，则拒绝这次移动，保持节点在原位置。

不断重复这个过程直到收敛，即没有任何移动能进一步降低能量。

详细的优化算法步骤

步骤1：初始化

选择一个参数向量 \boldsymbol{\theta} 来描述初始轮廓。这个初始轮廓通常可以是手动指定的，也可以是通过某种自动方法得到的粗略分割结果。初始轮廓的选择会影响最终收敛到哪个局部最小值。

步骤2：节点遍历与位移尝试

依次处理轮廓上的每一个节点。对于第 k 个节点（ k 从1遍历到 N_{nodes} ），考察其所有可能的位移方向。

具体来说，对于每个位移向量 (\delta_x, \delta_y) ，其取值来自集合

\{(-a,-a), (-a,0), (-a,a), (0,-a), (0,a), (a,-a), (a,0), (a,a)\}

这个集合定义了节点可以移动的8个方向：上、下、左、右以及4个对角方向，每个方向的步长为 a 个像素。将节点 k 从当前位置 (x,y) 移动到 (x+\delta_x, y+\delta_y) ，这个新配置对应的参数记为 \boldsymbol{\theta}_k 。计算这个新配置的准则值 J'(\mathbf{s}, \boldsymbol{\theta}_k, \lambda) 。

在尝试完所有8个方向后，从中选择使 J'(\boldsymbol{\theta}_k, \lambda) 下降最多的那个位移。如果所有方向都不能使能量下降，则该节点保持不动。

步骤3：迭代判断

当遍历完所有节点后，检查在这一轮迭代中是否至少有一个节点的位移被接受。如果是，说明轮廓发生了变化且能量有所降低，那么返回步骤2开始新一轮迭代。如果在整轮遍历中没有任何节点的位移被接受，说明当前轮廓配置已经是一个局部最小值，算法收敛并终止。

这个算法通过贪心策略在每步选择局部最优的移动，虽然不能保证找到全局最优解，但在实践中通常能得到较好的分割结果。算法的收敛速度和最终结果依赖于初始轮廓的选择、步长 a 的设定以及权重参数 \lambda 的取值。

迭代变形方法的优势与局限

前面介绍的迭代变形优化方法具有两个显著优点。第一个优点是算法实现简单，不需要计算复杂的梯度或海森矩阵，只需要直接评估不同位移下的能量值并进行比较。第二个优点是计算速度快，因为每次只移动一个节点并且位移方向是离散的有限集合，这使得算法可以很容易地通过并行计算或其他技术手段来加速。

但这个方法也存在两个根本性的缺陷。第一个缺陷源于准则函数的非凸性：由于能量函数存在多个局部极小值，贪心搜索策略容易陷入某个局部最小值而无法跳出。一旦算法收敛到局部最小值，就会停止迭代，即使全局最优解可能对应更好的分割结果。第二个缺陷是算法采用局部探索策略，每次只考虑当前节点附近很小邻域内的移动。这导致最终的分割结果强烈依赖于初始轮廓的选择。如果初始轮廓距离真实目标较远，算法可能无法找到正确的边界；如果初始轮廓已经比较接近真实边界，算法则更容易收敛到满意的结果。

为了缓解这两个问题，引入多分辨率策略。

多分辨率方法的核心思想

多分辨率方法的基本原理是从粗糙表示开始，逐步细化到精细表示。具体做法是：开始时使用很少的节点（例如只有4个节点）来描述轮廓，同时允许较大的变形幅度（即步长 a 较大）。少量节点意味着轮廓的形状受到很大约束，只能表示非常粗糙的轮廓形状，但这也使得搜索空间大大减小，算法可以进行更大范围的全局探索。大的变形幅度允许节点在每次迭代中移动较远的距离，这有助于快速调整轮廓的大致位置和形状。

随着优化的进行，逐步增加节点数量并减小变形幅度。增加节点的条件是当相邻节点之间的距离超过某个阈值时，在它们之间插入新的节点。节点数增加后，轮廓可以表示更复杂、更精细的形状，能够更准确地拟合目标的细节特征。同时，减小变形幅度意味着每次移动的步长变小，这使得算法能够进行更精细的局部调整。

图示展示了这个过程：最左边的轮廓只有很少节点，用白色表示，标记为 W_1 ；中间的轮廓节点数增加，标记为 W_2 ；最右边的轮廓节点最多，标记为 W_3 ，能够精确描绘目标的详细边界。

三步多分辨率实现方案

具体的三步多分辨率方法按以下方式组织。

分辨率1：从一个粗糙的初始轮廓开始，这个初始轮廓可能只是在目标物体附近的一个简单形状（如图中左上角的小方框）。使用很少的节点和大步长进行优化，得到第一个粗略的分割结果（如图中右上角所示）。这一步的目标不是得到精确的边界，而是确定目标的大致位置和主要形状特征。由于节点少、步长大，算法能够快速探索较大的空间范围，避免过早陷入不相关的局部最小值。

分辨率2：将分辨率1得到的轮廓作为新的初始状态（如图中左侧第二行所示），此时轮廓已经比较接近真实目标。增加节点数量（在节点间距过大的位置插入新节点），减小变形幅度。继续进行优化，得到更精细的分割结果（如图中右侧第二行所示）。这一步开始捕捉目标边界的一些细节特征，轮廓形状比第一步更复杂。

分辨率3：再次增加节点密度，进一步减小步长，从分辨率2的结果开始继续优化。最终得到高精度的分割结果（如图右下角所示），轮廓能够准确跟踪目标的细微边界变化，包括凹凸和不规则形状。

这个渐进式的策略结合了粗尺度的全局搜索和细尺度的局部精化。粗分辨率阶段帮助算法找到能量景观中较好的盆地区域，避免陷入远离全局最优的局部极小值；细分辨率阶段则在已经接近最优解的情况下进行精确定位。同时，由于每个阶段都从上一阶段的结果开始，整个过程保持了连续性，大大提高了收敛到良好解的概率。

基本算法的计算瓶颈

在前面介绍的优化算法中，每次迭代都需要评估充分统计量，而这些充分统计量是对区域内所有像素的求和。

以高斯分布为例，图中左侧展示了一个分割场景，红色轮廓将图像分为目标区域 a （带斜纹的部分)和背景区域 b 。要评估当前轮廓配置的能量，需要计算四个统计量：

T_1(\chi_a) = \sum_{(x,y) \in \Delta_a^{\boldsymbol{\theta}}} s(x,y)

T_2(\chi_a) = \sum_{(x,y) \in \Delta_a^{\boldsymbol{\theta}}} [s(x,y)]^2

T_1(\chi_b) = \sum_{(x,y) \in \Delta_b^{\boldsymbol{\theta}}} s(x,y)

T_2(\chi_b) = \sum_{(x,y) \in \Delta_b^{\boldsymbol{\theta}}} [s(x,y)]^2

第一个和第三个公式计算各区域像素强度的总和，第二个和第四个公式计算像素强度平方的总和。这些求和需要遍历整个区域内的每一个像素点。对于一幅典型的图像，每个区域可能包含成千上万个像素，在每次迭代中都要进行这样的全区域求和运算，计算代价非常高。更严重的是，在迭代过程中每移动一个节点，都需要重新计算这些统计量，因为轮廓的变化会导致区域像素成员的改变。这使得基本算法在每个迭代步的 \mathbf{T}(\chi_u) 计算变得极为耗时。

加速的核心问题与解决思路

当前面临的核心问题是：如何找到一种方法来极快速地计算求和 \sum_{(x,y) \in \Delta_u^{\boldsymbol{\theta}}} s^k(x,y) ，其中 k = 1, 2 对应一次方和平方项。基本算法需要 O(N) 的时间复杂度，其中 N 是区域内的像素总数。在高分辨率图像上，这个代价是难以接受的。

解决方案的关键性质是：可以通过对图像进行预处理，生成 P 个预处理图像。这些预处理图像的构造方式使得在每次迭代时，只需要在蛇形轮廓的边界上进行求和，而不需要遍历整个区域表面。

沿线积分函数的定义

为了实现快速计算，首先定义一个关键的辅助函数：

F_k(x,y) = \sum_{t=0}^{x} s^k(t,y)

这个函数F_k(x,y)表示在第 y 行上，从最左端（t=0）一直累加到位置 x 的所有像素强度的 k 次方之和。对于图像中的每一行 y ， F_k(x,y) 记录了从该行起始位置到当前位置 x 的累积和。当 k=1 时，这是像素强度的累积和；当 k=2 时，这是像素强度平方的累积和。

这个函数可以理解为"沿水平线的积分"。给定任意一点 (x,y) ， F_k(x,y) 的值告诉我们从该行最左边到这一点的累积量。它可以在图像预处理阶段一次性计算完成，之后在整个优化过程中反复使用，而不需要重复计算。

示意图展示了一个封闭轮廓以及坐标系统。图中标注了 y_{min} 和 y_{max} ，表示轮廓在垂直方向上的最小和最大纵坐标。对于任意一个纵坐标 y 满足 y_{min} \leq y \leq y_{max} ，水平线 y= 常数会与轮廓相交。这些交点的横坐标分别记为 x_{min}(y) 和 x_{max}(y) 。

凸区域假设下的求和转换

现在考虑如何利用 F_k(x,y) 来加速区域求和的计算。关键的推导基于一个重要假设：目标区域 \Delta 是凸的。凸性保证了对于每一条水平线 y= 常数（在 y_{min} \leq y \leq y_{max} 范围内），该直线与轮廓边界恰好相交于两个点。这两个交点将轮廓在该高度处分成内部和外部，内部部分对应区域 \Delta 与该水平线的交集。

设这两个交点的横坐标分别为 x_{min}(y) 和 x_{max}(y) ，其中 x_{min}(y) \leq x_{max}(y) 。那么在高度 y 处，属于区域 \Delta 的像素恰好是横坐标从 x_{min}(y) 到 x_{max}(y) 之间的所有像素。

基于这个几何观察，可以将整个区域的二维求和分解为先对 y 求和，然后对每个 y 值上的 x 求和：

\sum_{(x,y) \in \Delta} s^k(x,y) = \sum_{y=y_{min}}^{y_{max}} \sum_{x=x_{min}(y)}^{x_{max}(y)} s^k(x,y)

这个分解的意义是：将区域 \Delta 看作是由一系列水平线段堆叠而成，每条线段对应一个 y 值，该线段从 x_{min}(y) 延伸到 x_{max}(y) 。

现在注意到，对于固定的 y ，内层求和 \sum_{x=x_{min}(y)}^{x_{max}(y)} s^k(x,y) 正是从 x_{min}(y) 到 x_{max}(y) 的累积和，这可以用两个累积函数值的差来表示：

\sum_{x=x_{min}(y)}^{x_{max}(y)} s^k(x,y) = F_k[x_{max}(y), y] - F_k[x_{min}(y), y]

这个等式的理由很直观： F_k[x_{max}(y), y] 是从行首到 x_{max}(y) 的累积和， F_k[x_{min}(y), y] 是从行首到 x_{min}(y) 的累积和，两者相减就得到从 x_{min}(y) 到 x_{max}(y) 这一段的和。将这个结果代入前面的二重求和，得到：

\sum_{(x,y) \in \Delta} s^k(x,y) = \sum_{y=y_{min}}^{y_{max}} \left[F_k[x_{max}(y), y] - F_k[x_{min}(y), y]\right]

转换为轮廓边界上的求和

上面的公式已经将区域内所有像素的求和转化为只对 y 坐标求和的形式，但每一项都需要知道 x_{min}(y) 和 x_{max}(y) ，即轮廓在高度 y 处与边界的交点。这些交点实际上就位于轮廓的边界上。

更进一步，可以证明这个表达式等价于在轮廓边界上的一个加权求和。最终的转换公式是：

\sum_{(x,y) \in \Delta} s^k(x,y) = \sum_{(x,y) \in \delta} c(x,y) F_k(x,y)

这里 \delta 表示轮廓的边界（即构成轮廓的所有像素点的集合）， c(x,y) 是一个系数，它的取值由Freeman编码确定，可以是1、-1或0。

这个公式的含义是：原本需要遍历整个区域 \Delta 内部成千上万个像素的求和，现在只需要遍历轮廓边界 \delta 上的像素（通常只有数百个），在每个边界像素 (x,y) 处计算 c(x,y) F_k(x,y) 并求和。由于边界像素数量远小于区域内像素数量，这带来了巨大的计算加速。

系数 c(x,y) 的确定

系数 c(x,y) 由轮廓的局部几何性质决定。根据Freeman编码方案，对于轮廓上的每个像素，根据进入该像素的方向和离开该像素的方向，可以从预先计算好的查找表中获得相应的 c(x,y) 值。这个系数反映了该边界点对区域积分的贡献：如果边界在该点向右或向上延伸，贡献为正；如果向左或向下，贡献为负；某些方向组合对积分没有贡献，系数为0。

因此，主要的技术问题归结为如何正确定义边界像素的编码 c(x,y) 。对于凸区域，直观的几何解释很清楚；对于非凸区域，需要更仔细的分析来确保编码的正确性，但最终的公式形式是相同的。这个编码方案的构造和正确性验证将在后续部分详细讨论。

通过这个巧妙的转换，算法在每次轮廓变形后计算新的充分统计量时，不再需要 O(N) 的时间（ N 是区域像素数），而只需要 O(L) 的时间（ L 是轮廓长度），而通常 L \ll N ，这就是算法加速的核心原理。

加速计算关键公式总结

引入函数 F_k(x,y) 定义为：

F_k(x,y) = \sum_{t=0}^{x} s^k(t,y)

这个函数表示沿水平线累积的像素强度的 k 次方。对于每个固定的纵坐标 y ， F_k(x,y) 是从该行最左边（ t=0 ）到位置 x 的累积和。这个函数可以通过一次预处理对整个图像计算完毕，之后可以快速查询任意位置的累积值。

关键的转换公式是：

\sum_{(x,y) \in \Delta} s^k(x,y) = \sum_{(x,y) \in \delta} c(x,y) F_k(x,y)

这个等式左边是对整个区域 \Delta 内所有像素的求和，右边则只需要对轮廓 \delta 上的像素求和。右边的每一项是该轮廓像素的系数 c(x,y) 与对应位置的累积函数值 F_k(x,y) 的乘积。这个转换的核心思想来自格林公式或散度定理的离散版本：面积分可以转化为边界上的线积分。通过预计算 F_k(x,y) 并使用Freeman码确定系数 c(x,y) ，原本需要遍历可能包含数万像素的区域求和问题，被转化为只需遍历轮廓上的像素（通常只有数百个）的求和问题，从而实现了计算复杂度的大幅降低。

轮廓内部定义的歧义性问题

在连续空间中，判断一个点是在封闭曲线内部还是外部是明确的。但在数字图像的离散网格上，这个问题变得复杂。图中展示了三种情况：最左边是离散轮廓，由网格点上的节点组成；中间是将这些离散节点连接形成的连续边界线（称为lace）；右边标注了这个lace的内部区域。

问题在于：lace本身经过的那些网格点究竟应该算作内部还是外部？如果直接使用原始的lace定义，这个归属是模糊的。解决方案是将lace按向量 (1/2, 1/4) 进行平移。这个平移将边界线从网格线上稍微偏移开，使得每个网格点要么明确在平移后lace的内部，要么明确在外部，从而消除了歧义性。

Freeman码的定义与作用

为了高效地描述和处理轮廓，需要一种紧凑的编码方式。Freeman码提供了这样一种方案，它通过记录沿轮廓行走时的方向变化来表示整个轮廓。具体来说，Freeman码描述的是两个连续节点之间的空间关系。

定义8个离散方向，用数字0到7表示。以某个像素为中心，0表示正右方向，然后按逆时针方向依次为1（右上）、2（正上）、3（左上）、4（正左）、5（左下）、6（正下）、7（右下）。当从节点 k-1 移动到节点 k ，再移动到节点 k+1 时，进入节点 k 的方向记为 \text{In}_k ，离开节点 k 的方向记为 \text{Out}_k 。

表格给出了系数 c(x,y) 的取值规则，这个系数依赖于 \text{In}_k 和 \text{Out}_k 的组合。

轮廓编码的具体过程

编码过程从轮廓的右下角最低点开始。这个起始点用红色圆圈标记，从这个点开始，按照轮廓的走向，依次记录每一步的方向变化，并根据Freeman码表计算相应位置的系数 c(x,y) 。

在第一张编码图中，红圈标记起始点，此时从方向0进入，向方向2离开。查表可知 \text{In}_k = 0 ， \text{Out}_k = 2 时， c(x,y) = 0 ，因此在这个位置标记0。继续沿轮廓前进，下一个节点从方向2进入（因为上一步是向2离开），然后转向某个新方向离开。

在第二张图中，高亮显示了表格中 \text{In}_k = 2 ， \text{Out}_k = 1 的情况，对应 c(x,y) = 1 。此时轮廓上对应位置标记为1。随着遍历的继续，轮廓上不同位置根据方向转换被标记为不同的数值。

在第三张图中，展示了另一个位置，这里 \text{In}_k = 4 ， \text{Out}_k = 0 ，查表得 c(x,y) = 0 。

整个轮廓被遍历一圈，每个轮廓像素都被赋予了相应的系数值。可以观察到大部分位置的系数是0或1，少数位置是-1。

算法加速方法总结与性能对比

第一种加速方法的完整流程

快速算法的实现过程可以概括如下：在优化开始之前，先对图像进行预处理，计算累积函数 F_k(x,y) ，其中 k = 1, 2 （参照前面的公式5.33）。这个预处理只需要进行一次，之后在整个轮廓演化过程中都可以重复使用这些累积图像。当轮廓发生变形时，要快速评估新的准则值，需要沿着轮廓边界遍历每个像素，并在每个像素位置 (x,y) 处计算 c(x,y)F_k(x,y) 的值。系数 c(x,y) 通过Freeman码直接确定，具体做法是根据轮廓在该点的进入方向和离出方向，查找前面给出的编码表（表5.1）来获得相应的系数值。

这种加速方法的一个关键优势是它不引入任何近似。统计量的计算完全精确，准则值也是严格按照原始定义计算的，只是计算方式从遍历区域内部改为沿边界求和，两者在数学上完全等价。但这个方法有一个前提条件：轮廓形状必须是单连通的，也就是说不能由多个不相交的部分组成。在蛇形轮廓收敛过程中，必须防止轮廓的不同部分发生交叉。如果轮廓自相交，Freeman码的编码逻辑就会失效，因为内外关系变得不明确。

第二种加速方法的适用范围与原理

第一种加速方法适用于所有基于区域的主动轮廓模型，无论轮廓如何参数化表示，只要能定义明确的内外区域，就可以应用累积函数和边界求和的策略。但对于使用多边形参数化的蛇形轮廓，需要第二种加速途径。

当移动一个节点时，轮廓的变化实际上是局部的。假设在迭代 t 时刻，某个节点位于原始位置，在下一时刻这个节点被移动到一个新位置。

既然轮廓的大部分区域没有变化，那么对应的区域内像素集合也基本保持不变，只有靠近被移动节点的一小块区域发生了改变。因此，在重新计算充分统计量时，不需要对整个轮廓重新求和，只需要更新受影响的局部区域即可。具体来说，只有与移动节点相连的那些线段所扫过的区域内的像素求和需要重新计算。这大大减少了每次迭代的计算量，因为局部更新的计算复杂度与节点移动距离成正比，而不是与整个轮廓长度成正比。

两种加速方法的性能对比

节点数量对分割结果的影响

前面讨论的多分辨率方法中，节点数量是逐步增加的，但如何确定最终应该使用多少个节点是一个需要解决的问题。

图中展示了这个问题的一个典型例子：左边是一个多边形物体，其真实形状可以用 k_0 = 10 个节点精确描述。右边是包含这个物体的噪声图像，图像质量较差，边界信息不够清晰。

上方展示了对同一图像使用不同节点数量进行多分辨率分割的结果序列。当 k=4 时，轮廓只是一个粗糙的三角形，无法捕捉物体的基本形状特征。 k=10 时，轮廓开始接近物体的整体轮廓，但仍然比较简化。 k=20 时，轮廓已经能够较好地描述物体的主要形状。当 k=100 时，轮廓变得非常细致，开始出现许多小的起伏。到 k=200 时，轮廓变得极其复杂，出现大量锯齿状的细节。

能量函数 J(\mathbf{s}, \lambda, \boldsymbol{\theta}) 随着节点数 k 的增加而单调递减。这是因为更多的节点提供了更大的自由度，使得轮廓能够更灵活地调整形状以降低能量。但要完整捕捉物体的所有细节（包括图像中的噪声波动），需要的节点数量远远超过物体真实形状所需的 k_0 个节点。这就产生了过拟合现象。

因此需要找到一个合适的准则来确定节点数量。这个节点数量应该足够多以捕捉物体的真实形状特征，但又不能多到开始拟合图像噪声。

最小描述长度准则的动机

最小描述长度（Minimum Description Length, MDL）准则提供了一个原则性的方法来确定模型的合适维度，即参数数量 k 。这个准则的核心思想可以通过多项式拟合的经典例子来理解。

假设有一组带噪声的数据点，需要用多项式曲线来拟合。图中展示了三种不同阶数的拟合结果。

随着参数数量 k 增加，拟合优度（或似然函数值）总是提高的。更复杂的模型总能更好地"解释"训练数据，因为它有更多的自由度可以调整。如果单纯最大化似然，我们会选择参数最多的模型，但这会导致泛化能力差，在新数据上表现不佳。

解决方案是对参数数量多的模型进行惩罚。MDL准则通过引入模型复杂度的代价来实现这种惩罚：一个好的模型不仅要能够很好地拟合数据（高似然），还要足够简单（少参数）。

Rissanen随机复杂度理论

为了实现模型选择的目标，可以采用Rissanen提出的随机复杂度理论。这个理论提供了一种衡量数据平均复杂度的方法，同时考虑了数据本身的描述和模型参数的编码。基本框架是定义一个模型类 \mathcal{M} = \{\mathcal{M}_k, k \in [1,K]\} ，其中每个模型 \mathcal{M}_k 由参数向量 \boldsymbol{\theta}^k 定义，参数向量的维度随 k 变化。对于主动轮廓问题， k 对应轮廓的节点数量， \boldsymbol{\theta}^k 就是这 k 个节点的坐标集合。

设 \chi 表示可观测的数据样本。随机复杂度定义为描述这些数据所需的代码长度 C(\chi|\mathcal{M}_k) ，单位是比特。这个代码长度可以分解为两个独立的部分。

C(\chi|\mathcal{M}_k) = C(\chi|\boldsymbol{\theta}^k) + C(\boldsymbol{\theta}^k)

第一部分是 C(\chi|\boldsymbol{\theta}^k) ，表示在已知模型参数 \boldsymbol{\theta}^k 的条件下，编码数据 \chi 所需的比特数。这一项反映了模型对数据的拟合质量：如果模型完美拟合数据，那么数据中的大部分信息都可以由模型解释，残差很小，编码残差需要的比特数就少；反之如果拟合很差，残差大且不规律，需要更多比特来编码。第二部分是 C(\boldsymbol{\theta}^k) ，表示编码模型参数本身所需的比特数。参数越多（ k 越大），描述这些参数需要的比特数就越多。

MDL准则的应用与解释

无论模型参数的具体性质如何，最小描述长度原则给出了统一的模型选择方法：选择使总描述长度最小的模型索引 \hat{k} 。数学表达为：

\hat{k} = \arg\min_k \{C(\chi|\mathcal{M}_k)\}

这个优化问题在所有候选模型中寻找描述长度最短的那个。通过公式(6.7)的分解，这等价于在数据拟合项 C(\chi|\boldsymbol{\theta}^k) 和模型复杂度项 C(\boldsymbol{\theta}^k) 之间寻找最优平衡。

当 k 很小时，模型简单（ C(\boldsymbol{\theta}^k) 小），但拟合不佳（ C(\chi|\boldsymbol{\theta}^k) 大）
当 k 很大时，拟合改善（ C(\chi|\boldsymbol{\theta}^k) 减小），但模型变复杂（ C(\boldsymbol{\theta}^k) 增大）。

最小化总和自动找到这个权衡的最优点。

从实用角度看，这个原则的主要优势在于它提供了一个优雅且非常通用的框架，能够同时权衡两个本质不同的量：一方面是模型对数据的拟合优度，另一方面是模型的复杂程度。传统上很难找到一个统一的尺度来比较这两者，而MDL通过将两者都转化为比特数这一信息论的统一度量，使得权衡变得自然而明确。编码长度以比特为单位，成为衡量这两个量的共同标尺。

图像描述长度的分解

将MDL准则应用到基于区域的主动轮廓问题时，目标是最小化描述整幅图像所需的比特数。图像的总描述长度可以分解为三个独立的部分：

要完整描述图像，需要说明轮廓在哪里，然后分别描述轮廓内外两个区域的像素强度分布。

对于描述区域 a 中像素所需的比特数，有近似公式：

C_a(\mathbf{s}|\boldsymbol{\theta}^k) \simeq N_a(\boldsymbol{\theta}^k) S_a

其中 N_a(\boldsymbol{\theta}^k) 是区域 a 内的像素总数， S_a 是描述该区域单个像素平均所需的比特数。这个平均比特数通过以下公式计算：

S_a = -\int P_{\mu_a}(x) \log_2[P_{\mu_a}(x)] dx - \log_2(\Delta)

第一项 -\int P_{\mu_a}(x) \log_2[P_{\mu_a}(x)] dx 是概率密度函数 P_{\mu_a}(x) 的微分熵，它衡量了区域 a 像素强度分布的不确定性或随机性程度。第二项 -\log_2(\Delta) 是一个修正项， \Delta 表示离散化步长，这一项将连续分布的微分熵转化为离散编码所需的实际比特数。标注指出第一项就是分布 P_{\mu_a}(x) 的熵。

离散信源的熵定义

在信息论中，离散信源 X 是一个能够产生可数个不同随机事件的随机过程。这些事件记为 \{x_1, ..., x_n\} ，其中 n 可以是有限或无限整数。在信息论的框架下，这些事件被称为消息。每个消息 x_i （ i \in [1,n] ）关联一个发生概率 p_i 。所有概率组成的 n 维向量记为 \mathbf{p} = (p_1, ..., p_n)^T 。

信源 X 的熵定义为：

H(X) = -\sum_{i=1}^{n} p_i \log p_i

这个公式中对数的底通常取2（对应比特）或自然对数 e （对应奈特）。熵的物理意义是信源的平均不确定性：如果某个事件几乎必然发生（概率接近1），其他事件几乎不可能发生，那么熵很小，因为结果很确定；反之如果所有事件概率都比较均匀，熵就大，因为不确定性高。

信息论的一个基本定理指出，从大小为 D 的字母表构建的任何可解码的编码方案，其平均码字长度 \langle \ell \rangle 都有下界：

\langle \ell \rangle \geq H_D(X)

其中 H_D(X) 是以 D 为底的熵。这说明熵给出了编码该信源所需的最少平均比特数的理论下限。实际编码方案可以接近但不能超越这个界限。

微分熵的定义与推广

前面讨论的是离散随机变量的熵。对于取连续值的随机变量，需要推广熵的概念。给定一个连续随机变量 X ，其概率密度函数为 p(x) ，定义其微分熵 h(X) 为：

h(X) = -\int_S p(x) \log[p(x)] dx

其中 S 是 X 的支撑集，即 p(x) > 0 的区域。这个公式在形式上类似离散熵，只是将求和替换为积分。但需要注意，微分熵可以取负值，而离散熵总是非负的。这是因为概率密度 p(x) 可以大于1，导致 \log[p(x)] 为正。

微分熵与离散熵的联系

为了建立微分熵和离散熵之间的桥梁，考虑将连续随机变量 X 离散化的过程。假设用步长 \Delta 对 X 的支撑集进行均匀划分，在每个宽度为 \Delta 的小区间内，假设概率密度函数 p(x) 近似为常数。那么可以找到一个代表值 x_i ，使得：

p(x_i)\Delta = \int_{i\Delta}^{(i+1)\Delta} p(x) dx

这个等式的左边是用矩形近似该区间的概率，右边是该区间的实际概率。

图示展示了这个离散化过程：连续的概率密度曲线被分割成一系列宽度为 \Delta 、高度为 p(x_i) 的矩形条。

由此离散化产生的离散随机变量记为 X^\Delta ，它的取值规则是：

X^\Delta = x_i \quad \text{if} \quad i\Delta \leq X < (i+1)\Delta

当步长 \Delta 趋于零时，这个离散分布越来越精细地逼近原连续分布。关键的结果是，如果 p(x) 可积，则有极限关系：

H(X^\Delta) \xrightarrow{\Delta \to 0} h(X) - \log\Delta

这个公式表明离散熵 H(X^\Delta) 在 \Delta \to 0 时趋向于微分熵 h(X) 减去一个修正项 \log\Delta 。

三项编码长度的具体计算

回到图像描述长度的完整分解式，已经讨论了区域 a 的编码长度，现在考虑区域 b 的部分。类似地，描述背景区域 b 中像素所需的比特数表示为：

C_b(\mathbf{s}|\boldsymbol{\theta}^k) \simeq N_b(\boldsymbol{\theta}^k) \tilde{S}_b

这里 N_b(\boldsymbol{\theta}^k) 是背景区域的像素总数， \tilde{S}_b 是该区域单个像素的平均编码长度，其计算方式与区域 a 完全相同，只是使用背景区域的概率分布参数。

最后需要确定第三项 C(\boldsymbol{\theta}^k) ，即编码轮廓本身所需的比特数。对于多边形蛇形轮廓，参数 \boldsymbol{\theta}^k 由 k 个节点的坐标组成。考虑每个节点可以位于图像中 N 个像素位置中的任何一个。如果图像大小为 W \times H 像素，则 N = W \times H 。对于第一个节点，有 N 种可能的位置选择；第二个节点同样有 N 种选择；以此类推， k 个节点总共有 N^k 种可能的配置组合。

要唯一地标识这 N^k 种可能配置中的某一个，需要的比特数通过信息论中的基本公式计算。如果有 M 种等概率的可能性，区分它们需要 \log_2(M) 比特。因此编码 k 个节点的轮廓需要：

C(\boldsymbol{\theta}^k) = k \log_2(N)

每个节点贡献 \log_2(N) 比特的编码长度， k 个节点就是 k 倍。注意这里假设节点之间是独立的，虽然实际上相邻节点之间存在空间相关性（形成连续轮廓），但这个简化假设在MDL框架中是合理的一阶近似。

总描述长度的综合表达

将三项汇总，得到图像的总描述长度：

C_T(\mathbf{s}|\boldsymbol{\theta}^k, k) = N_a(\boldsymbol{\theta}^k) S_a + N_b(\boldsymbol{\theta}^k) S_b + k \log_2(N)

这个公式展示了三个代价之间的权衡。前两项是数据拟合代价：如果选择的轮廓位置使得区域内像素的实际分布与假设的概率模型吻合得很好，那么这些区域的熵 S_a 和 S_b 会较小，编码数据需要的比特数就少。第三项是模型复杂度代价：节点数 k 越多，这一项越大。MDL准则通过最小化这个总和来自动在拟合质量和模型复杂度之间找到平衡点。

从理论熵到实际计算

前面的熵表达式

S_a = -\int P_{\mu_a}(x) \log_2[P_{\mu_a}(x)] dx - \log_2(\Delta)

包含对概率密度函数的积分，这在理论上没问题，但实际计算时面临两个问题。首先，积分中的离散化步长 \Delta 实际上与节点数 k 和图像数据 \mathbf{s} 都无关，它是编码精度的一个固定参数。因此在比较不同节点数 k 的模型时，这一项对所有模型都相同，可以在优化过程中忽略。其次，更重要的是，这个积分涉及的是理论上的概率分布 P_{\mu_a} ，这个分布的参数是未知的，需要从数据中估计。

实际操作中采用的策略是用经验平均代替统计平均，直接在该区域的实际像素上求和：

N_a(\boldsymbol{\theta}^k) \tilde{S}_a(\boldsymbol{\theta}^k) = -\sum_{(x,y) \in \Delta_a^{\boldsymbol{\theta}^k}} \log_2(P_{\mu_a}[s(x,y)])

这个公式遍历区域 a 内的每个像素 (x,y) ，计算该像素强度值 s(x,y) 在假设分布 P_{\mu_a} 下的对数概率，然后求和。

与对数似然的等价关系

仔细观察上面的求和式会发现一个重要联系。表达式 -N_a(\boldsymbol{\theta}^k)\tilde{S}_a(\boldsymbol{\theta}^k) - N_b(\boldsymbol{\theta}^k)\tilde{S}_b(\boldsymbol{\theta}^k) 实际上就是图像的对数似然函数，只是使用以2为底的对数而非自然对数。对数似然函数度量的是在给定参数下观测到当前数据的概率的对数。在统计建模中，最大化对数似然等价于找到最可能产生观测数据的参数值。这里出现负号是因为我们要最小化描述长度，而对数似然是要最大化的量，两者方向相反但本质相同。

这个等价性揭示了MDL准则与经典统计推断之间的深刻联系。MDL准则的前两项实际上就是在执行最大似然估计，而第三项 k\log_2(N) 则是对模型复杂度的惩罚项。这种形式与统计学中的贝叶斯信息准则（BIC）或赤池信息准则（AIC）在结构上非常相似，都是"拟合优度 + 复杂度惩罚"的形式。

伪对数似然的使用

在实际应用中，分布的真实参数 \mu_a 和 \mu_b 是未知的。前面讨论的能量函数优化过程中，这些参数是作为干扰参数被消除的，我们得到的是参数的最大似然估计 \widehat{\mu}_a(\mathbf{s}, \boldsymbol{\theta}^k) 和 \widehat{\mu}_b(\mathbf{s}, \boldsymbol{\theta}^k) 。因此在MDL准则的实际计算中，用这些估计值替代真实参数，得到伪对数似然：

\ell_2[\mathbf{s}|\boldsymbol{\theta}^k, \widehat{\mu}_a(\mathbf{s}, \boldsymbol{\theta}^k), \widehat{\mu}_b(\mathbf{s}, \boldsymbol{\theta}^k)]

这个伪对数似然项恰好是之前定义的蛇形能量准则 J(\mathbf{s}, \boldsymbol{\theta}^k) 的相反数。回顾前面，蛇形能量是定义为似然函数的负值（加上常数），现在在MDL框架中，我们要最小化的描述长度的数据拟合部分正是负的对数似然。这样就建立了能量最小化与描述长度最小化之间的直接对应关系，使得整个MDL框架可以利用前面开发的所有优化技术。

MDL准则的完整表达式

综合前面所有的推导，MDL准则的最终表达式为：

J^{MDL}(\mathbf{s}, \boldsymbol{\theta}^k, k) = C_T(\mathbf{s}|\boldsymbol{\theta}^k, k) = J(\mathbf{s}, \boldsymbol{\theta}^k) + k\log(N)

这个公式将所有要素整合在一起。第一项 J(\mathbf{s}, \boldsymbol{\theta}^k) 是之前定义的蛇形能量函数，它度量轮廓配置对图像数据的拟合程度，本质上是负的对数似然。第二项 k\log(N) 是对模型复杂度的惩罚，它随节点数 k 线性增长。对数中的 N 是图像的总像素数，作为节点位置编码的参考基数。

这个准则需要同时对两个变量进行优化：离散变量 k （节点数量）和连续变量 \boldsymbol{\theta}^k （节点位置）。这是一个混合优化问题，既涉及组合优化（选择多少个节点），又涉及连续优化（每个节点放在哪里）。

MDL准则的一个显著优点是它没有需要用户调整的自由参数。与之前引入正则化项时需要手动选择权重系数 \lambda 不同，这里的复杂度惩罚项系数是由信息论原理自动确定的。

但这个准则的优化存在困难：需要同时确定节点数量 k 和优化每个 k 值下的节点位置 \boldsymbol{\theta}^k 。如果枚举所有可能的 k 值（从1到某个上限 k_{max} ），并对每个 k 都进行完整的轮廓优化，计算代价会非常高。因此需要设计高效的优化策略。

两步优化方法

为了高效地最小化MDL准则，采用分而治之的策略，将优化过程分为两个步骤。

步骤1：渐进增加分辨率

从少量节点开始，逐步增加节点数 k ，并在每个 k 值下优化轮廓位置 \boldsymbol{\theta}^k 。这一步本质上就是前面介绍的多分辨率方法。从粗糙的轮廓表示开始，随着节点增加，轮廓可以描述越来越精细的形状。在每个分辨率层次，使用迭代变形算法找到使能量 J(\mathbf{s}, \boldsymbol{\theta}^k) 最小的轮廓配置。这个过程一直持续到某个预定的最大节点数 k_{max} ，或者直到轮廓不再发生显著变化。

步骤2：删除冗余节点

在第一步结束时，轮廓可能包含了过多的节点，其中一些节点对描述目标形状贡献很小，但却增加了模型复杂度。第二步的目标是识别并删除这些在MDL意义下"无用"的节点。在每次迭代中，尝试删除每一个节点，计算删除后的MDL准则增量 \Delta J^{MDL} 。删除某个节点会减少复杂度惩罚项（因为 k 减1），但可能增加拟合误差项（因为轮廓变得不那么灵活）。选择删除那个使 \Delta J^{MDL} 最小（即使总的MDL准则下降最多，或上升最少）的节点。

图示展示了MDL准则随节点数 k 的典型变化曲线。横轴是节点数，纵轴是 J_{MDL} 值。曲线(1)展示了一种情况：开始时随 k 增加，MDL值下降（因为拟合改善的收益大于复杂度增加的代价），在某处达到最小值 k_{MDL} ，之后继续增加 k 会使MDL值上升（因为额外节点带来的拟合改善很小，不足以抵消复杂度代价）。曲线(2)显示了另一种可能：在删除冗余节点后，曲线下降到更低的位置，表明通过节点删除找到了更优的模型。最优节点数 k_{MDL} 对应曲线的最低点。

渐进增加分辨率的实例

左侧展示了测试案例：目标是一个船形轮廓，其真实形状可以用 k=10 个节点精确描述。下方是包含该目标的噪声图像。右侧的曲线图追踪了随着节点数从1增加到100以上，MDL准则值的变化轨迹。

继续增加节点到 k=175 ，轮廓变得极其复杂，出现大量锯齿，此时MDL值急剧上升，因为过多的节点导致复杂度惩罚项占主导。

节点删除过程的详细步骤

步骤2的节点删除过程按以下方式组织。假设当前轮廓包含 k 个节点。对轮廓上的每一个节点依次进行测试：临时移除该节点，使轮廓变为 k-1 个节点，计算移除该节点后基于似然的那部分准则值 J(\mathbf{s}, \boldsymbol{\theta}^{k-1}) 。这里 \boldsymbol{\theta}^{k-1} 表示删除一个节点后剩余节点的配置。需要注意的是，删除节点后，相邻的两条边会合并成一条新边，轮廓的形状会发生局部改变。

在测试完所有节点后，找出导致准则值 J(\mathbf{s}, \boldsymbol{\theta}^{k-1}) 最小的那个节点，永久删除它。删除某个节点意味着该节点对维持良好的拟合并不必要，去掉它后对整体拟合质量的影响最小。

删除节点后，需要对剩余的 k-1 个节点的位置进行重新优化。使用多边形统计蛇形轮廓的优化技术，在固定节点数为 k-1 的情况下，最小化能量函数 J(\mathbf{s}, \boldsymbol{\theta}^{k-1}) ，得到优化后的节点配置。这一步确保删除节点后的轮廓仍然处于局部最优状态。

最后，计算这个包含 k-1 个优化节点的轮廓对应的完整MDL准则值 J^{MDL}(\mathbf{s}, \boldsymbol{\theta}^{k-1}, k-1) 。这个值综合考虑了拟合质量和模型复杂度。如果这个新的MDL值比之前的更小，说明删除节点是有益的，可以继续尝试删除更多节点；如果MDL值开始增加，说明已经接近最优节点数，应该停止删除过程。通过这种迭代的删除和优化，最终收敛到使MDL准则最小的节点数和轮廓配置。

完整的两步优化过程演示

步骤1（渐进增加节点）的效果: 从左到右，节点数逐渐增加，轮廓从简单的三角形逐步变为更复杂的形状，越来越接近目标的真实轮廓。随着节点增加，拟合质量改善，MDL值先下降。

但当节点数继续增加超过某个临界点后，曲线开始上升。这表明额外的节点开始过度拟合图像噪声，虽然能量 J(\mathbf{s}, \boldsymbol{\theta}^k) 可能还在减小，但复杂度惩罚项 k\log(N) 的增长速度更快，导致总的MDL值上升。

步骤2（删除冗余节点）的效果: 通过系统地测试和删除那些对MDL贡献最小的节点，轨迹下降到更低的位置。

两条曲线的最低点都出现在 k_{MDL}=10 附近，这恰好等于目标的真实节点数 k_0=10 。这个结果验证了MDL准则的有效性：在只知道噪声图像而不知道真实模型的情况下，MDL准则能够自动恢复出正确的模型复杂度。

从单目标到多区域分割的扩展

前面讨论的方法主要针对单个目标的分割：用一条封闭轮廓将目标从背景中分离出来，图像被划分为内部区域（目标）和外部区域（背景）两个部分。但在许多实际应用中，图像包含多个具有不同统计特性的区域。图像分割问题的更一般形式是：将图像划分为若干个在给定准则下同质的区域。

左侧的示例图像是一个合成的纹理图像，包含多个灰度和纹理都不同的区域，这些区域的边界不明显，被强烈的噪声掩盖。右侧展示了理想的分割结果：图像被划分成8个不同颜色标记的区域，每个区域对应一个统计上同质的部分。这种多区域分割比简单的前景-背景分离更加复杂，因为需要同时确定区域的数量、每个区域的边界位置、以及每个区域的统计模型参数。

主动网格的表示结构

为了处理多区域分割问题，引入主动网格的概念。主动网格是由多边形线段组成的平面图结构，它将图像空间划分为多个不相交的区域。

图中展示了一个网格的例子：红色的线段构成网格的边，点是网格的节点，网格将图像分成若干个多边形区域。

定义网格的完整描述需要以下参数。图像总共包含 N 个像素。网格本身由 k 个节点和 p 条线段组成，这些线段相互连接形成平面图。网格将图像划分为 R 个区域，第 r 个区域包含 N_r 个像素。每个区域的像素强度分布用某个概率密度函数建模，这个概率密度函数由参数向量 \boldsymbol{\theta}_r 定义。用 \alpha 表示单个区域参数向量的维度（大小）。例如，如果每个区域用高斯分布建模，则 \alpha = 2 （均值和方差两个参数）。

多区域MDL准则的构造

将MDL准则推广到多区域情况时，描述整个图像的总比特数同样分解为两大部分：描述数据（像素值）的代价和描述模型（网格结构）的代价。

第一部分是编码每个区域内部的代价。对第 r 个区域，需要编码该区域的概率分布参数以及该区域的像素值。参数向量 \boldsymbol{\theta}_r 有 \alpha 个分量，编码这些参数需要 \frac{\alpha}{2}\log_2 N_r 比特（这是渐近最优编码长度的标准形式）。给定参数后，编码该区域的 N_r 个像素需要 -l_2[R_r|\boldsymbol{\theta}_r] 比特，其中 l_2 是以2为底的对数似然函数。将所有 R 个区域的贡献求和，得到编码图像数据和区域参数的总代价：

\Delta_I = \sum_{r=1}^{R} \left(\frac{\alpha}{2}\log_2 N_r - l_2[R_r|\boldsymbol{\theta}_r]\right)

这个公式的结构与单区域情况类似，只是现在对多个区域求和。

每一项都包含参数编码代价（与区域大小的对数成正比）和数据编码代价（与该区域的对数似然相关）。

第二部分是编码网格本身的代价。网格的拓扑结构由节点数 k 和线段数 p 决定，它们又与区域数 R 通过欧拉公式相关联。编码网格的节点位置和连接关系的比特数是一个复杂的组合问题，它依赖于 k 和 p 的具体值。这部分的关键思想是：更多的节点和线段意味着更复杂的网格结构，需要更多的比特来描述。

总的MDL准则就是这两项之和。优化目标是：同时确定区域的数量 R 、网格的形状（节点数量 k 和位置），使得总描述长度最小。这是一个比单轮廓情况更加复杂的优化问题，因为现在不仅要优化轮廓的形状，还要优化区域的数量。

主动网格的三类基本操作

为了优化MDL准则，定义三种类型的网格修改操作，它们分别针对不同的优化目标。

合并区域操作：选择网格中的一条内部边界线段，将其删除，使得该线段两侧的两个区域合并为一个更大的区域。这个操作减少了区域数量 R ，同时也减少了网格的复杂度（节点和线段数量可能减少）。合并的动机是：如果两个相邻区域的统计特性非常相似，将它们分开描述不如合并成一个区域更经济。

移动节点操作：选择网格中的一个节点，将其移动到新的位置。这个操作改变了与该节点相连的所有线段的形状，从而改变了相邻区域的边界。节点移动优化了每个区域的具体形状和大小，使得区域边界更好地对齐图像中真实的统计特性变化位置。这类似于单轮廓情况下的节点位移操作，但现在一个节点的移动可能影响多个相邻区域。

删除冗余节点操作：选择网格中的一个节点将其删除，同时调整与其相连的线段使网格保持连通。如果某个节点对描述区域边界的贡献很小（例如位于一段近似直线的边界上），删除它可以简化网格结构而不显著降低分割质量。这个操作优化了网格的节点数量 k ，减少模型复杂度。

SAR图像分割的完整演化过程

SAR图像的特点是包含强烈的斑点噪声，区域边界通常不清晰。图像内容是法国布尔日附近的农业区域，包含多个不同作物种类或土地利用类型的地块。

演化序列从左到右展示了优化的各个阶段。第一幅是原始SAR图像，可以隐约看出一些纵向的线性结构（可能是道路或田地边界）。第二幅是初始网格，采用规则的均匀网格，将图像划分成许多小的方形区域。这个初始化提供了一个过度分割的起点，包含大量的小区域。

接下来的演化过程交替执行三种操作。merge阶段主要执行区域合并：相邻的统计特性相似的小区域被合并成较大的区域，网格结构开始简化，区域数量减少。move阶段主要移动节点位置：区域边界被调整以更好地对齐图像中实际的统计变化处，可以看到网格线逐渐形成与图像结构相符的模式，特别是突出了纵向的主要边界。remove阶段删除冗余节点：在边界相对平直的地方，中间的节点被移除，网格进一步简化。

最终的分割结果（最右侧）显示了清晰的区域划分，主要捕捉了图像中几条明显的纵向地块边界。网格结构既不是过于复杂（没有大量的小碎片区域），也不是过于简单（保留了重要的边界特征），达到了MDL准则所追求的最优平衡。

方法论的核心基础

整个分割方法建立在坚实的估计理论基础之上，从统计推断的基本原理出发，通过严格的数学推导得到的系统化框架。

最大似然方法是处理噪声数据的最优途径之一。在给定概率模型的前提下，最大似然估计在多种统计意义上都具有最优性，如渐近有效性、一致性等。通过将图像分割问题表述为参数估计问题，并使用指数族分布来建模不同区域的像素强度，方法能够以统计最优的方式处理图像中无处不在的噪声。这意味着算法不是简单地尝试"消除"噪声，而是通过概率模型显式地将噪声的影响纳入考虑，在估计过程中自然地对噪声进行抑制。

MDL准则解决了模型选择的关键问题。在没有关于目标物体先验知识的情况下，如何确定应该使用多复杂的模型（多少个节点、多少个区域）是一个根本性的挑战。MDL通过信息论的视角，将这个问题转化为寻找最短描述长度的问题。这个准则不依赖需要手动调整的自由参数，而是从数据本身自动推断出最合适的模型复杂度，体现了奥卡姆剃刀原则：在能够充分解释数据的模型中，选择最简单的那个。

算法总结

在表示层面，选择蛇形轮廓和多边形网格作为区域边界的参数化方式。这种表示既灵活（能够描述任意复杂的形状），又紧凑（参数数量有限），还便于优化（参数空间相对低维）。相比于像素级的表示（每个像素一个标签），这种参数化大大减少了搜索空间的维度。

在计算层面，通过累积函数和Freeman编码实现的快速算法将区域求和转化为边界求和，从而避免了重复遍历整个区域的巨大开销。这个技巧使得每次迭代的计算复杂度从与区域面积成正比降低到与边界长度成正比，实现了数量级的加速。对于多边形轮廓，进一步利用节点移动的局部性，只更新受影响的部分而不是重新计算所有内容，获得了额外的加速。

在优化层面，两步MDL优化策略将一个困难的混合优化问题（同时优化离散变量和连续变量）分解为更容易处理的子问题。多分辨率方法从粗到细地探索解空间，避免了陷入不良的局部最优。节点删除阶段通过贪心搜索有效地简化模型，找到MDL准则的局部最小值。虽然不能保证全局最优，但在实践中通常能得到满意的结果。

信号/图像处理中的不同操作

信号和图像处理领域中存在三种基本操作类型，它们的区别在于已知条件和目标的不同。

当我们已经知道某个信号存在，并且希望确定这个信号的某些参数时，这个过程称为估计（Estimation）。估计问题的核心在于从观测数据中提取信号的特征量，例如信号的幅度、频率或相位等参数。

当我们获得的是一个被噪声污染的信号测量值，而我们的目标是恢复出原始的干净信号时，这个过程称为复原（Restoration）。复原的本质是在噪声干扰下尽可能准确地重构信号的原始形态。

当我们知道信号可能出现的位置或形式，但不确定信号是否真的存在时，需要做出一个二元判决来确定信号的存在性，这个过程称为检测（Detection）。检测问题的关键在于在不确定性下做出是或否的判断。

检测理论

检测理论的研究框架包含四个核心部分。首先需要明确问题的定义（Definition of the problematic），即清晰描述检测任务的输入、输出和约束条件。其次要建立评价检测质量的准则（Criterion for evaluating detection quality），用于衡量检测器性能的优劣。第三部分涉及最优检测器的设计，这里采用似然比（likelihood ratio）作为最优检测器的理论基础。最后讨论干扰参数的处理，引入广义似然比检验（GLRT）来处理未知参数的情况。

拉格朗日乘数法

拉格朗日乘数法用于解决带约束的优化问题。问题的一般形式是：寻找点 \mathbf{x}^*，使得一个关于向量参数 \mathbf{x} 的标量函数 f(\mathbf{x}) 在约束条件 g(\mathbf{x}) = 0 下达到极值。

求解这类问题的核心思想是构造拉格朗日函数：

\Psi(\mathbf{x}) = f(\mathbf{x}) - \lambda g(\mathbf{x})

这里引入的 \lambda 称为拉格朗日乘数。通过对拉格朗日函数求梯度并令其为零，可以找到函数的极值点。这个过程会得到依赖于 \lambda 的解 \mathbf{x}(\lambda)。接下来需要确定 \lambda 的具体值，使得解满足原始约束条件 g[\mathbf{x}(\lambda)] = 0，从而得到 \lambda^*。最终问题的解为 \mathbf{x}^* = \mathbf{x}(\lambda^*)。

下面通过一个具体例子来说明这个方法的应用。考虑在平面中最大化函数 f(\mathbf{x}) = x_1^2 + x_2^2，约束条件为 (x_1 - 1)^2 + (x_2 - 2)^2 = 1。几何上，目标函数表示点到原点距离的平方，而约束条件描述了一个圆心在 (1, 2)、半径为 1 的圆。问题等价于在这个圆上找到离原点最远和最近的点。

构造拉格朗日函数：

\Psi(x_1, x_2) = x_1^2 + x_2^2 - \lambda[(x_1 - 1)^2 + (x_2 - 2)^2 - 1]

对 \Psi 分别关于 x_1 和 x_2 求偏导并令其为零：

\frac{\partial \Psi}{\partial x_1} = 0 \Longleftrightarrow x_1(\lambda) = \frac{\lambda}{\lambda - 1} \quad (B.1)

\frac{\partial \Psi}{\partial x_2} = 0 \Longleftrightarrow x_2(\lambda) = 2\frac{\lambda}{\lambda - 1} \quad (B.2)

从这两个方程可以观察到 x_2(\lambda) = 2x_1(\lambda)，这意味着极值点必定位于过原点和圆心的直线上。将 x_1(\lambda) 和 x_2(\lambda) 代入约束条件来确定 \lambda^* 的值：

(x_1(\lambda) - 1)^2 + (x_2(\lambda) - 2)^2 = 1 \Longleftrightarrow \left(\frac{1}{\lambda^* - 1}\right)^2 = \frac{1}{5} \Longleftrightarrow \lambda^* = 1 \pm \sqrt{5}

两个 \lambda^* 值分别对应最大值点和最小值点。当 \lambda^* = 1 + \sqrt{5} 时，得到最大值点的坐标为 \left(1 + \frac{1}{\sqrt{5}}, 2\left(1 + \frac{1}{\sqrt{5}}\right)\right)；当 \lambda^* = 1 - \sqrt{5} 时，得到最小值点的坐标为 \left(1 - \frac{1}{\sqrt{5}}, 2\left(1 - \frac{1}{\sqrt{5}}\right)\right)。图中清晰地展示了约束圆以及这两个极值点的位置关系。

检测理论框架

检测理论的研究框架在前面基础上增加了第五部分，即检测理论在图像边缘检测中的应用（Application to edge detection in images）。这个应用案例将展示如何把理论方法应用到实际的图像处理问题中。

问题定义

检测问题的核心在于在两个假设之间进行选择和判决，这个过程称为假设检验。假设1表示目标存在（Object present），用符号表示为带有三角形图标的状态；假设0表示目标不存在（Object absent），用空白方框表示。这是一个二元决策问题（Binary decision），需要在这两种互斥的可能性之间做出唯一选择。

检测问题也可以扩展到多元决策（Multiple decision）的情形。在多元决策中，需要从多个类别 C_1, C_2, C_3, \ldots 中选择一个。图中用问号表示决策器需要判断输入信号属于哪一个类别。虽然多元决策在某些应用中很常见，但本课程只关注二元检测问题，因为它是最基础也是最核心的情形。

检测与定位问题

在实际应用中，经常会遇到检测与定位相结合的问题。典型的处理方式是采用滑动窗口方法：首先用一个窗口 F 在图像上进行扫描，窗口在图像中的每个位置 (i,j) 处提取出一个局部区域 F^{(i,j)}。对于窗口的每个位置，都执行一次假设检验，判断该位置处的窗口内是否存在目标。假设1表示窗口 F 内存在目标，假设0表示窗口 F 内不存在目标。通过这种方式，既完成了目标的检测（是否存在），又实现了目标的定位（在哪个位置存在）。

决策理论基础

测量得到的信号表示为向量 \mathbf{s}，这个向量属于一个 P 维空间 \Omega。向量的每个分量 s_1, s_2, \ldots, s_P 代表信号的不同测量维度或特征。假设这个信号可能属于两个类别中的一个，分别记为 \gamma_0 和 \gamma_1。

检测算法的目标是将空间 \Omega 划分为两个区域 \omega_0 和 \omega_1，使得判决规则可以表述为：如果 \mathbf{s} \in \omega_k，则判定信号属于类别 \gamma_k。几何上，这两个区域在空间中的分界处形成一个判别面。判决的过程就是判断观测向量 \mathbf{s} 落在哪个区域内。

判别函数

确定检测算法等价于定义区域 \omega_1 和 \omega_0 之间的判别面（discriminant surface）。在实践中，通常通过构造一个判别函数 g(\mathbf{s}) 来实现这个划分。判别函数的判决准则为：

若 g(\mathbf{s}) < 0，则将信号归类为 \gamma_0
若 g(\mathbf{s}) > 0，则将信号归类为 \gamma_1

判别面就是满足 g(\mathbf{s}) = 0 的点的集合，它将空间分为两部分。这样就把几何上的区域划分问题转化为寻找合适判别函数的问题，核心问题变成：什么是最优的判别函数？

统计检测理论

为了设计最优的检测算法，需要将信号建模为随机向量，从而引入统计决策理论。在这个框架下，关于问题的已知信息包括两个关键的概率量。

第一个是先验概率 P(\gamma_k)，它表示类别 K 在执行测量之前出现的概率。"先验"（a priori）的含义是"在执行测量之前"，即在观测到具体信号 \mathbf{s} 之前，我们对各个类别出现可能性的初始认知。以雷达检测为例，P(\text{airplane}) 表示有飞机出现的先验概率，P(\text{no airplane}) 表示没有飞机的先验概率。先验概率满足归一化性质：P(\gamma_0) + P(\gamma_1) = 1，因为两个类别是互斥且完备的。

第二个是似然函数（Likelihood）P(\mathbf{s} | \gamma_k)，它表示在已知信号属于类别 \gamma_k 的条件下，观测到特定向量值 \mathbf{s} 的概率。似然函数描述了在给定类别的前提下，测量向量的概率分布特性。这个条件概率反映了不同类别下信号的统计特征差异，是区分不同类别的关键依据。

具体例子：加性高斯白噪声中的信号检测

考虑一个典型的检测问题：检测被加性高斯白噪声扰动的信号 \mathbf{r}。噪声假设为零均值、方差为 \sigma^2 的白高斯噪声。这个问题的两个假设分别是：\gamma_0 表示信号不存在，\gamma_1 表示信号存在。

当信号属于类别 \gamma_1（信号存在）时，观测模型为 s_i = a r_i + b_i，其中 a 是信号的幅度系数，\mathbf{r} 是已知的信号波形，b_i 是加性噪声。此时的似然函数为：

P(\mathbf{s} | \gamma_1) = \frac{1}{\sqrt{2\pi\sigma}} \exp\left[-\frac{1}{2\sigma^2} \sum_{i=1}^{P}(s_i - a r_i)^2\right]

这个公式表达的是在信号存在条件下，观测到 \mathbf{s} 的概率密度。指数项中的求和计算的是观测值与预期信号 a r_i 之间的误差平方和，反映了观测偏离信号模型的程度。

当信号属于类别 \gamma_0（信号不存在）时，观测只包含噪声，即 s_i = b_i。对应的似然函数为：

P(\mathbf{s} | \gamma_0) = \frac{1}{\sqrt{2\pi\sigma}} \exp\left[-\frac{1}{2\sigma^2} \sum_{i=1}^{P} s_i^2\right]

此时指数项计算的是观测值本身的能量，因为在没有信号的情况下，所有观测都来自噪声。

后验概率

在获得观测 \mathbf{s} 之后，我们需要利用贝叶斯关系来更新对类别的认知。贝叶斯公式建立了联合概率密度与条件概率密度的关系：

P(\mathbf{s}, \gamma_k) = P(\mathbf{s}|\gamma_k)P(\gamma_k)

这个联合概率密度表示同时观测到信号 \mathbf{s} 且类别为 \gamma_k 的概率。后验概率（a posteriori probability）定义为在观测到信号 \mathbf{s} 之后，该信号属于类别 \gamma_k 的概率：

P(\gamma_k|\mathbf{s}) = \frac{P(\mathbf{s}, \gamma_k)}{P(\mathbf{s})}

后验概率的含义是：在获得测量值之后，对信号所属类别的概率判断。这与先验概率 P(\gamma_k) 形成对比，先验概率是测量前的判断，后验概率是测量后更新的判断。

在计算中会用到两个关系式。第一个是边缘概率的计算，通过对所有可能的类别积分得到观测 \mathbf{s} 的总概率：

P(\gamma_k) = \int_{\Omega} P(\mathbf{s}, \gamma_k) d\mathbf{s}

第二个关系式表示观测概率可以分解为各类别联合概率的和：

P(\mathbf{s}) = P(\mathbf{s}, \gamma_0) + P(\mathbf{s}, \gamma_1)

这个关系基于两个类别的互斥性和完备性。

两种检测错误

在二元检测中存在两种可能的判决错误。第一种是漏检（non-detection），即信号实际存在但被判为不存在。漏检概率定义为：

P_{nd} = \int_{\omega_0} P(\mathbf{s}, \gamma_1) d\mathbf{s}

这个积分在区域 \omega_0 上进行，计算的是真实类别为 \gamma_1 但观测落在 \omega_0 区域内的概率。几何上理解，当真实信号存在时（即 s_i = a r_i + b_i），如果观测点落在了判为信号不存在的区域 \omega_0 中，就发生了漏检。

第二种错误是虚警（false alarm），即信号实际不存在但被判为存在。虚警概率为：

P_{fa} = \int_{\omega_1} P(\mathbf{s}, \gamma_0) d\mathbf{s}

积分在区域 \omega_1 上进行，对应真实类别为 \gamma_0 但观测落在 \omega_1 的情况。当实际只有噪声时（s_i = b_i），如果观测点落在了判为信号存在的区域 \omega_1 中，就产生了虚警。

这两种错误概率通常无法同时最小化，因为减小一个往往会导致另一个增大。为了使这些概率更具可比性，可以对它们进行归一化处理，用先验概率进行归一化：

P_{nd} = \frac{\mathcal{P}_{nd}}{P(\gamma_1)} = \int_{\omega_0} \frac{P(\mathbf{s}, \gamma_1)}{P(\gamma_1)} d\mathbf{s} = \int_{\omega_0} P(\mathbf{s}|\gamma_1) d\mathbf{s}

P_{fa} = \frac{\mathcal{P}_{fa}}{P(\gamma_0)} = \int_{\omega_1} \frac{P(\mathbf{s}, \gamma_0)}{P(\gamma_0)} d\mathbf{s} = \int_{\omega_1} P(\mathbf{s}|\gamma_0) d\mathbf{s}

归一化后的 P_{nd} 和 P_{fa} 变成了条件概率，不再依赖于先验概率的具体值。与漏检概率对应，可以定义检测概率（detection probability）：

P_d = \int_{\omega_1} P(\mathbf{s}|\gamma_1) d\mathbf{s} = 1 - P_{nd}

检测概率表示信号存在时被正确检测出来的概率。检测系统的设计目标通常表述为：在给定虚警概率 P_{fa} 的约束下，最大化检测概率 P_d。这个目标反映了实际应用中的权衡：虚警率不能太高（否则会产生过多误报），同时要尽可能提高检测率。

最优检测器的推导

现在利用拉格朗日乘数法来寻找最优的判决区域。构造拉格朗日函数：

\Psi(\omega_1) = P_d - \lambda P_{fa}

= \int_{\omega_1} P(\mathbf{s}|\gamma_1) d\mathbf{s} - \lambda \int_{\omega_1} P(\mathbf{s}|\gamma_0) d\mathbf{s}

= \int_{\omega_1} [P(\mathbf{s}|\gamma_1) - \lambda P(\mathbf{s}|\gamma_0)] d\mathbf{s}

这里 \omega_1 由空间中所有满足特定性质的点 \mathbf{s} 构成。优化问题是找到区域 \omega_1 的形状使得 \Psi(\omega_1) 最大化。采用逐点构造的策略：对于空间 \Omega 中的任意一点 \mathbf{s}，判断该点是否应该被包含在 \omega_1 中。

观察被积函数 [P(\mathbf{s}|\gamma_1) - \lambda P(\mathbf{s}|\gamma_0)]。

如果在某点 \mathbf{s} 处有 P(\mathbf{s}|\gamma_1) > \lambda P(\mathbf{s}|\gamma_0)，则被积函数为正，将这个点包含到 \omega_1 中会使积分值增加，从而使 \Psi(\omega_1) 增大。因此该点应该属于 \omega_1。

反之，如果 P(\mathbf{s}|\gamma_1) < \lambda P(\mathbf{s}|\gamma_0)，被积函数为负，将这个点包含到 \omega_1 中会使 \Psi(\omega_1) 减小，因此该点不应该属于 \omega_1，而应该属于 \omega_0。

这个判决规则也可以等价地表述为：

如果 P(\mathbf{s}|\gamma_1) > \lambda P(\mathbf{s}|\gamma_0)，则判定 \mathbf{s} 属于类别 \gamma_1
如果 P(\mathbf{s}|\gamma_1) < \lambda P(\mathbf{s}|\gamma_0)，则判定 \mathbf{s} 属于类别 \gamma_0。

为了简化判决规则的形式，引入似然比（Likelihood Ratio, LR）的概念：

\mathcal{R} = \frac{P(\mathbf{s}|\gamma_1)}{P(\mathbf{s}|\gamma_0)}

似然比衡量的是两个假设下观测 \mathbf{s} 出现概率的相对大小。通过似然比，判决规则可以简洁地表示为：若 \rho > \lambda'，则判定 \mathbf{s} 属于类别 \gamma_1；若 \rho < \lambda'，则判定 \mathbf{s} 属于类别 \gamma_0。这里引入对数似然比 \rho = \ln \mathcal{R}，相应的阈值也取对数 \lambda' = \ln[\lambda]。使用对数形式在数值计算上更为稳定，且对数运算可以将似然函数中的指数项和乘积项简化为加法。

高斯白噪声中信号检测的似然比

回到之前的高斯白噪声信号检测例子。两个假设下的似然函数分别为：

P(\mathbf{s} | \gamma_1) = \frac{1}{\sqrt{2\pi\sigma}} \exp\left[-\frac{1}{2\sigma^2} \sum_{i=1}^{P}(s_i - a r_i)^2\right]

P(\mathbf{s} | \gamma_0) = \frac{1}{\sqrt{2\pi\sigma}} \exp\left[-\frac{1}{2\sigma^2} \sum_{i=1}^{P} s_i^2\right]

计算似然比：

\mathcal{R} = \frac{P(\mathbf{s}|\gamma_1)}{P(\mathbf{s}|\gamma_0)} = \exp\left[\frac{a}{\sigma^2} \sum r_i s_i - \frac{a^2}{2\sigma^2}\sum r_i^2\right]

在推导中，前置常数项 \frac{1}{\sqrt{2\pi\sigma}} 相互抵消。展开 \gamma_1 下的指数项得到 (s_i - a r_i)^2 = s_i^2 - 2a r_i s_i + a^2 r_i^2，与 \gamma_0 下的 s_i^2 相减后，s_i^2 项抵消，留下 -2a r_i s_i + a^2 r_i^2。提出负号后变为 2a r_i s_i - a^2 r_i^2，除以 2\sigma^2 得到最终的指数项。这里假设信号波形满足归一化条件 \sum r_i^2 = 1，这是信号能量的归一化。

取对数似然比：

\rho = \log[\mathcal{R}] = \frac{a}{\sigma^2} \sum r_i s_i + \text{cste}

第二项 -\frac{a^2}{2\sigma^2}\sum r_i^2 是一个常数，可以吸收到判决阈值中。因此广义似然比检验（GLRT）的判决规则简化为：将统计量 \sum r_i s_i 与一个阈值进行比较。这个统计量实际上是观测信号 \mathbf{s} 与已知信号模板 \mathbf{r} 的内积，反映了观测与预期信号的匹配程度。

似然比的统计分布

似然比 \mathcal{R} 本身是一个随机变量，因为它依赖于随机观测 \mathbf{s}。似然比的概率密度取决于真实信号属于哪个类别。如果信号真实属于 \gamma_0，则似然比服从分布 p(\mathcal{R}|\gamma_0)；如果信号真实属于 \gamma_1，则服从分布 p(\mathcal{R}|\gamma_1)。图中展示了这两个分布的典型形态，它们在似然比轴上有不同的分布特征。

设定阈值 \lambda 后，可以通过这两个分布计算错误概率。

虚警概率对应在 \gamma_0 为真时似然比超过阈值的概率：

P_{fa}(\lambda) = \int_{\lambda}^{+\infty} P(\mathcal{R}|\gamma_0) d\mathcal{R}

这是分布 p(\mathcal{R}|\gamma_0) 在阈值右侧的尾部面积。

检测概率对应在 \gamma_1 为真时似然比超过阈值的概率：

P_d(\lambda) = \int_{\lambda}^{+\infty} P(\mathcal{R}|\gamma_1) d\mathcal{R}

这是分布 p(\mathcal{R}|\gamma_1) 在阈值左侧的面积。漏检概率 P_{nd} 是检测概率的补集，对应分布 p(\mathcal{R}|\gamma_1) 在阈值左侧的面积。图中阴影区域直观地展示了这些错误概率与阈值位置的关系。调整阈值会改变这些区域的大小，从而改变虚警率和检测率的权衡。

检测统计量的分析

在实际应用中，直接使用似然比进行判决可能不方便，通常会定义更简单的检测统计量。对于前面的例子，判决规则要求比较 \sum r_i s_i 与阈值，因此定义归一化的检测统计量：

\mathcal{S} = \frac{1}{\sigma} \sum_{i=1}^{P} r_i s_i

这个统计量将原始内积除以噪声标准差 \sigma，使其成为无量纲的量。接下来需要确定这个统计量在不同假设下的统计特性。

在假设 \gamma_0 下，观测为纯噪声 s_i = b_i，因此统计量变为：

\mathcal{S} = \frac{1}{\sigma} \sum_{i=1}^{P} r_i b_i

计算这个随机变量的期望。由于噪声 b_i 的均值为零，有：

E[\mathcal{S}] = \frac{1}{\sigma} \sum r_i E[b_i] = 0

计算方差。利用噪声各分量独立且方差为 \sigma^2 的性质：

VAR[\mathcal{S}] = \frac{1}{\sigma^2} \sum r_i^2 VAR[b_i] = \sum r_i^2 = 1

最后一步使用了信号归一化条件 \sum r_i^2 = 1。因此在假设 \gamma_0 下，统计量 \mathcal{S} 服从标准正态分布 N(0,1)。这个结果表明在没有信号时，检测统计量呈现标准正态分布，这为后续设定检测阈值提供了理论基础。

假设 \gamma_1 下的统计量分布

在假设 \gamma_1 下，观测模型为 s_i = a r_i + b_i，其中 a 是信号幅度，\mathbf{r} 是已知信号模板，b_i 是噪声。检测统计量 \mathcal{S} = \frac{1}{\sigma} \sum_{i=1}^{P} r_i s_i 的期望值计算如下。将观测模型代入统计量得到：

E[\mathcal{S}] = \frac{1}{\sigma} \sum r_i E[s_i] = \frac{a}{\sigma} \sum r_i^2 = \frac{a}{\sigma}

这里利用了 E[a r_i + b_i] = a r_i 以及归一化条件 \sum r_i^2 = 1。期望值正比于信号幅度 a，当信号存在时统计量的均值会偏离零点。

统计量的方差计算与 \gamma_0 情况类似。由于只有噪声项 b_i 是随机的，信号项 a r_i 是确定性的，因此：

VAR[\mathcal{S}] = \frac{1}{\sigma^2} \sum r_i^2 VAR[b_i] = \sum r_i^2 = 1

方差仍然等于1，不依赖于信号幅度。综合期望和方差的结果，在假设 \gamma_1 下，统计量 \mathcal{S} 服从正态分布 N(\sqrt{SNR}, 1)，其中信噪比定义为：

SNR = \frac{a^2}{\sigma^2}

信噪比衡量的是信号能量与噪声能量的比值，它决定了两个假设下统计量分布的分离程度。

总结两个假设下的统计量分布：在 \gamma_0 下有 P_{\gamma_0}(\mathcal{S}) = \mathcal{N}(0, 1)，在 \gamma_1 下有 P_{\gamma_1}(\mathcal{S}) = \mathcal{N}(\sqrt{RSB}, 1)，这里 RSB = \frac{a^2}{\sigma^2} 是信号与背景的比值。

图中展示了这两个正态分布曲线，它们的均值相距 \sqrt{RSB}，两个分布的重叠程度反映了检测任务的难度。信噪比越高，两个分布分离得越开，检测性能越好。

检测器性能评价：ROC曲线

检测器的性能通常用Receiver Operating Characteristic (ROC）来表征。ROC曲线在二维平面上描绘了检测概率 P_d 与虚警概率 P_{fa} 之间的关系，每一个点 \{P_{fa}(\lambda), P_d(\lambda)\} 对应一个特定的判决阈值 \lambda。

ROC曲线的生成过程可以通过似然比分布来理解。底部展示了两个假设下似然比 \mathcal{R} 的概率密度函数 P_{\gamma_0}(\mathcal{R}) 和 P_{\gamma_1}(\mathcal{R})。随着判决阈值从左向右移动（图中几条竖直虚线表示不同的阈值位置），虚警概率和检测概率会相应变化。这些不同阈值对应的 (P_{fa}, P_d) 点在上方的平面中描绘出ROC曲线。

似然比检验器的一个重要性质是其最优性：基于似然比的检测器的ROC曲线位于任何其他检测器的ROC曲线之上。这意味着对于给定的虚警概率，似然比检验能够达到最高的检测概率；或者说对于给定的检测概率，似然比检验需要的虚警概率最低。

ROC曲线的形状取决于两个因素。第一个因素是检测器的性质，即所采用的算法。不同的算法会产生不同的ROC曲线，似然比检验给出最优曲线。第二个因素是检测问题本身的内在难度，这由信号与背景的比值RSB等参数决定。图中对比了三种情况：似然比检验器（LR，实线）、其他检测器（虚线）和随机猜测（对应抛硬币，用虚线对角线表示）。随机猜测表示检测概率等于虚警概率，没有任何检测能力。任何有实际检测能力的检测器，其ROC曲线都应该位于这条对角线之上。

干扰参数问题

在实际检测问题中，每个类别的信号可能依赖于一些未知参数 p_k。这些参数称为干扰参数（nuisance parameters），因为它们的存在增加了问题的复杂性，但我们关心的不是这些参数的值，而是信号属于哪个类别。此时似然函数的表达式变为 P(\mathbf{s} | p_k, \gamma_k)，显式地包含了未知参数的依赖关系。

处理干扰参数的标准方法是采用最大似然（ML）估计。对于每个类别 k，通过最大化似然函数来估计参数值：

\hat{p}_k = \arg\max_{p_k} [P(\mathbf{s} | p_k, \gamma_k)]

这个估计值 \hat{p}_k 是使观测数据 \mathbf{s} 出现概率最大的参数值。得到参数估计后，定义广义似然比（Generalized Likelihood Ratio, GLR）：

\mathcal{R}_g = \frac{P(\mathbf{s} | \hat{p}_1, \gamma_1)}{P(\mathbf{s} | \hat{p}_0, \gamma_0)}

广义似然比使用估计的参数值 \hat{p}_1 和 \hat{p}_0 来计算似然函数，然后进行比较。这种方法称为广义似然比检验（GLRT）。

考虑加性高斯噪声中信号检测的例子，此时信号幅度 a 是未知的干扰参数。在假设 \gamma_1 下，似然函数为：

P(\mathbf{s}|a, \gamma_1) = \frac{1}{\sqrt{2\pi\sigma}} \exp\left[-\frac{1}{2\sigma^2} \sum_{i=1}^{P}(s_i - a r_i)^2\right]

参数 a 是需要估计的干扰参数。采用ML估计，对对数似然函数关于 a 求导并令其为零：

\frac{\partial[\log P]}{\partial a} = 0 \Rightarrow \sum_i 2r_i(s_i - ar_i) = 0 \Rightarrow \hat{a} = \frac{\sum_{i=1}^{P} s_i r_i}{\sum_{i=1}^{P} r_i^2}

这个估计值 \hat{a} 实际上是观测信号在模板方向上的投影，归一化后即为最佳幅度估计。

\hat{a} = \sum_{i=1}^{P} s_i r_i

现在将这个估计值代回似然函数。在假设 \gamma_1 下：

P(\mathbf{s}|\hat{a},\gamma_1) = \frac{1}{\sqrt{2\pi\sigma}}\exp\left[-\frac{1}{2\sigma^2}\sum_i(s_i - \hat{a}r_i)^2\right]

这个表达式可以进一步化简。展开平方项：

\sum_i(s_i - \hat{a}r_i)^2 = \sum_i s_i^2 - 2\hat{a}\sum_i s_i r_i + \hat{a}^2\sum_i r_i^2

由于 \hat{a} = \sum s_i r_i 并且 \sum r_i^2 = 1，上式变为：

= \sum_i s_i^2 - 2(\sum_i s_i r_i)^2 + (\sum_i s_i r_i)^2 = \sum_i s_i^2 - (\sum_i s_i r_i)^2

因此：

P(\mathbf{s}|\hat{a},\gamma_1) = \frac{1}{\sqrt{2\pi\sigma}}\exp\left[-\frac{1}{2\sigma^2}\left(\sum_i s_i^2 - \frac{(\sum_i s_i r_i)^2}{\sum_i r_i^2}\right)\right]

这个结果表明，在处理未知幅度的信号检测时，广义似然比检验会自动根据观测数据估计最可能的信号幅度，然后基于这个估计值进行判决。

广义似然比的推导

将估计的似然函数代入广义似然比的定义，可以得到对数广义似然比的表达式。在假设 \gamma_1 下，使用估计参数 \hat{a} 的似然函数为：

P(\mathbf{s}|\hat{a}, \gamma_1) = \frac{1}{\sqrt{2\pi\sigma}} \exp\left[-\frac{1}{2\sigma^2}\left(\sum_i s_i^2 - \frac{(\sum_i s_i r_i)^2}{\sum_i r_i^2}\right)\right]

在假设 \gamma_0 下的似然函数保持不变：

P(\mathbf{s}|\gamma_0) = \frac{1}{\sqrt{2\pi\sigma}} \exp\left[-\frac{1}{2\sigma^2} \sum_i s_i^2\right]

计算对数广义似然比：

\rho_g = \log\left[\frac{P(\mathbf{s}|\hat{a}, \gamma_1)}{P(\mathbf{s}|\gamma_0)}\right] = \frac{1}{2\sigma^2} \frac{(\sum_i s_i r_i)^2}{\sum_i r_i^2} \propto \left(\sum_i s_i r_i\right)^2 = (\mathbf{r}^T \mathbf{s})^2

在推导过程中，\gamma_1 和 \gamma_0 的指数项相减时，\sum_i s_i^2 项抵消，只剩下 \frac{(\sum_i s_i r_i)^2}{\sum_i r_i^2}。由于分母 \sum_i r_i^2 在归一化条件下等于1（标记为"=1"），因此表达式进一步简化。最终的检测统计量定义为：

\mathcal{S}' = [\mathbf{r}^T \mathbf{s}]^2

这个统计量是观测向量与模板向量内积的平方。与已知幅度情况下的似然比（LR）对比，已知幅度时使用线性统计量 \mathbf{r}^T \mathbf{s}，而未知幅度的广义似然比（GLR）使用其平方 (\mathbf{r}^T \mathbf{s})^2。

广义似然比的性能分析

GLR的性能通过ROC曲线来评估。图中对比了三种情况的ROC曲线：已知正幅度 a>0 时的似然比检验（LR，实线）、广义似然比检验（GLR，虚线）和对角线（代表随机猜测）。

当信号幅度 a>0 时，GLR的ROC曲线位于随机猜测线之上，但略低于已知幅度的LR曲线。这是因为GLR需要从数据中估计未知幅度，这个估计过程引入了额外的不确定性，导致性能有所下降。右侧的波形图展示了 a>0 情况下的典型信号形态。

然而当信号幅度为负 a<0 时，情况变得不同。如果仍然使用假设信号为正的LR检验，性能会急剧恶化，ROC曲线甚至会落在对角线之下。原因在于当真实信号为负而检测器假设信号为正时，检测统计量 \mathbf{r}^T \mathbf{s} 会变为负值，导致判决方向完全错误。相反，GLR使用 (\mathbf{r}^T \mathbf{s})^2 作为统计量，由于平方运算消除了符号信息，GLR对信号的正负符号不敏感，因此在 a<0 时仍能保持良好的检测性能。这展示了GLR在处理符号不确定性时的鲁棒性。

图像对比度的定义

检测理论的一个应用是图像中的目标检测和边缘检测。在这个背景下，需要引入对比度的概念来量化图像中不同区域的可分辨程度。对比度定义包括三个层次：首先建立对比度的基本概念，然后分析简单情况下的对比度参数，最后给出标量对比度的一般定义。

对比度的概念

哪一幅的目标更具有对比度？显然，第三幅图像（绿色背景上的蓝色笑脸）中的目标对比度最高，因为目标与背景的差异最明显。

对比度的定义基于检测难度：如果一个目标更容易被检测出来，我们就说它具有更好的对比度。这个定义将对比度与检测性能直接联系起来，使得对比度成为一个可以通过统计检测理论定量分析的概念。

对比度的统计建模

图像的灰度级建模为随机变量，目标区域的灰度服从概率密度函数 P_{\theta_a}，背景区域的灰度服从概率密度函数 P_{\theta_b}，右侧粉红色图像的参数为 \theta_a' 和 \theta_b'。

对比度参数（contrast parameter）定义为能够反映目标与背景差异程度的量。如果两幅图像具有相同的对比度参数，这意味着使用最优算法对这两幅图像进行图像处理操作时，会遇到相同的困难程度。换句话说，相同的对比度参数对应相同的检测性能，即相同的ROC曲线。

概率模型的选择

在经典的加性高斯噪声模型下，位置 (x,y) 处的观测信号表示为：

\mathbf{s}_k(x,y) = \mathbf{m}_k + \mathbf{b}(x, y)

其中 \mathbf{m}_k 是区域 k 的均值（确定性部分），\mathbf{b}(x,y) 是加性噪声。这个模型导出对应的概率密度函数：

P_{\theta_k}(s) = \frac{1}{\sqrt{2\pi\sigma_k}} \exp\left[-\frac{(s - m_k)^2}{2\sigma_k^2}\right]

这是均值为 m_k、标准差为 \sigma_k 的高斯分布。

图中的例子显示了一幅带噪声的图像，其中目标区域的灰度级参数为 \theta_a，背景区域的参数为 \theta_b。每个区域 \Omega_k 由一对参数定义：\theta_k = (m_k, \sigma_k)，即均值和标准差。这两个参数完全描述了该区域灰度级的统计特性，它们共同决定了区域的对比度。

不同成像模式的概率模型

在不同的成像应用中，需要根据噪声的物理特性选择合适的概率密度函数模型。

对于相干成像系统（Coherent images），如超声图像和合成孔径雷达（SAR）图像，主要的噪声类型是散斑噪声（speckle noise）。这类噪声服从Gamma分布或Rayleigh分布。概率密度函数的形式为：

P_{\theta_k}(s) = \frac{L^L}{\Gamma(L)m_k^L} s^{L-1} \exp\left[-\frac{Ls}{m_k}\right]

这里 L 是散斑阶数（speckle order），假设在所有区域中相同。每个区域 \Omega_k 由单一参数定义：\theta_k = m_k，即均值（mean）。图中展示了两种相干图像的例子：超声医学图像（Echographic image），合成孔径雷达图像（Synthetic Aperture Radar image），两者都呈现出典型的颗粒状散斑纹理。

对于低光子通量图像（Low photon flux images），如天文图像，光子的到达服从泊松统计。概率密度函数为：

P_{\theta_k}(s) = \frac{(\lambda_k)^s}{s!} e^{-\lambda_k}

这里 s 必须是非负整数，代表探测到的光子数。每个区域 \Omega_k 由参数 \theta_k = \lambda_k 定义，表示平均光子通量（average photon flux）。

图像处理操作的类型

图像处理操作包含多种任务类型。第一类是检测（Détection），判断图像中是否存在某个目标，对应两个假设 H_0（不存在）和 H_1（存在）。第二类是定位（Localisation），确定目标在图像中的位置坐标 (t_x, t_y)。第三类是方向估计（Orientation），估计目标的旋转角度 \theta。第四类是分割（Segmentation），将目标从背景中完整地提取出来，确定目标的边界轮廓。第五类是分类（Partition），将图像分成不同的区域，每个区域对应不同的类别或属性。这些操作都可以在统计检测理论的框架下进行最优化设计。

对比度参数定义的挑战

现在面临的挑战是：如何在每个区域由统计参数刻画的图像中定义对比度参数？由于不同的参数组合可能产生相同的检测难度，需要找到一种系统的方法来定义对比度参数。解决方法是利用概率密度函数的群不变性（group invariance of pdf）。

概率密度函数的不变群

设 P_{\mathbf{p}}(\mathbf{x}) 是一个依赖于向量参数 \mathbf{p} 的概率密度函数（或概率定律），参数 \mathbf{p} 属于某个定义域 D_p。当参数 \mathbf{p} 在定义域 D_p 中变化时，生成的所有概率密度函数构成一个族（family），记为 \mathscr{F}。这个概率密度函数族 \mathscr{F} 是参数 \mathbf{p} 遍历定义域 D_p 时生成的所有pdf的集合。

考虑一个群（group）\mathscr{G}，它包含从随机向量 \mathbf{x} 的定义域 D_x 到自身的映射。群的一个元素 g 对应一个映射 \mathbf{y} = g(\mathbf{x})。群的性质保证了这些映射满足封闭性、结合律、存在单位元和逆元。

如果概率密度函数族 \mathscr{F} 在群 \mathscr{G} 下不变（invariant），其含义是：对于族中的每个参数 \mathbf{p}，存在唯一的参数值 \mathbf{q}，使得变换后的随机向量 \mathbf{y} = g(\mathbf{x}) 的概率密度 P_{\mathbf{q}}(\mathbf{y}) 仍然属于同一个族 \mathscr{F}。也就是说，群作用不会把pdf变换到族外，而是在族内产生对应。

在这种情况下，随机向量上的映射 \mathbf{y} = g(\mathbf{x}) 会诱导出参数空间上的映射 \mathbf{q} = g^*(\mathbf{p})。这个参数映射 g^* 称为由群 \mathscr{G} 诱导的映射（induced by the group）。不变性的本质是群作用在随机变量空间和参数空间上保持了一致的结构。

不变群的例子

通过几个具体例子来理解概率密度函数的群不变性。

高斯随机变量在仿射群（affine group）下保持不变。仿射变换的形式为 y = u_1 x + u_0（其中 u_1 \neq 0）。如果随机变量 x 服从均值为 p_1、方差为 p_2 的高斯分布，那么变换后的 y 仍然是高斯分布，其均值为 q_1 = u_1 p_1 + u_0，方差为 q_2 = u_1^2 p_2。仿射变换改变了参数的数值，但保持了分布的高斯性质，变换后的分布仍在高斯分布族内。

指数随机变量在乘法群（multiplicative group）下保持不变。乘法变换的形式为 y = u x（其中 u > 0）。如果 x 服从均值为 p 的指数分布，那么 y 也服从指数分布，均值变为 q = up。乘法变换将指数分布族映射到自身，只是改变了均值参数。

高斯随机向量在仿射变换群下保持不变。变换形式为 \mathbf{y} = A\mathbf{x} + \mathbf{b}，其中 A 是可逆矩阵。如果 \mathbf{x} 是均值为 \mathbf{m}、协方差矩阵为 \Gamma 的高斯向量，那么 \mathbf{y} 也是高斯向量，均值为 \mathbf{m}' = A\mathbf{m} + \mathbf{b}，协方差矩阵为 \Gamma' = A\Gamma A^T。这个性质在多元高斯分布的变换中非常基础。

基本性质

群不变性导出一个关键性质：两个可以通过不变群的变换相互导出的统计情况，在应用最优算法时必然导致相同的性能。这个性质是对比度定义的理论基础。

左侧蓝色图像和右侧粉红色图像的参数分别为 (\theta_a, \theta_b) 和 (\theta_a', \theta_b')。如果这两组参数之间可以通过不变群的变换相互转换，那么它们在最优处理下具有相同的性能。这种等价性是基于不变性的深层结构，而非表面的参数数值。

简单情况下的对比度参数

考虑加性高斯噪声的情况，两个区域的参数分别为 \theta_a = (m_a, \sigma) 和 \theta_b = (m_b, \sigma)，即两个区域有不同的均值但相同的方差。图中展示了一个信号剖面，其中目标区域的均值为 m_a，背景区域的均值为 m_b，叠加在信号上的是均匀的噪声波动。

利用不变群的性质，可以对这个配置进行归一化变换：

y = \frac{x - m_a}{\sigma}

这个仿射变换将原始参数映射为标准化参数。目标区域的参数变为 \theta_a' = (0, 1)，即均值为0、方差为1的标准正态分布。背景区域的参数变为 \theta_b' = \left(\frac{m_b - m_a}{\sigma}, 1\right)。这个标准化后的配置与原始配置 [\theta_a, \theta_b] 具有相同的处理性能，因为它们通过不变群的变换相联系。

从标准化参数可以看出，处理性能仅依赖于一个参数：

SNR = \frac{(m_b - m_a)^2}{\sigma^2}

这个量称为信噪比（signal to noise ratio），是经典的对比度度量。信噪比的分子 (m_b - m_a)^2 是目标与背景均值差的平方，代表信号强度；分母 \sigma^2 是噪声方差，代表噪声强度。信噪比完全决定了检测任务的难度，无论原始参数 m_a, m_b, \sigma 的具体数值如何，只要它们产生相同的信噪比，检测性能就相同。这就是标量对比度参数的定义：将多个统计参数归约为一个标量，这个标量完全刻画了检测问题的本质难度。

Gamma噪声的对比度

对于Gamma噪声，两个区域的参数为 \theta_a = m_a 和 \theta_b = m_b。Gamma分布的一个特性是标准差与均值成正比，因此噪声的强度随着信号强度的增加而增加。图中的信号剖面显示了这种特性，在均值 m_b 处的噪声波动幅度大于均值 m_a 处。

应用归一化变换：

y = \frac{x}{m_a}

这个乘法变换将原始参数映射为标准化参数 \theta_a' = 1 和 \theta_b' = \frac{m_b}{m_a}。这个配置与原始配置 [m_a, m_b] 具有相同的处理性能。对比度的正确表达式为：

C = \frac{m_b}{m_a}

这是目标均值与背景均值的比值，称为对比度比（contrast ratio）。对于Gamma噪声，对比度是一个纯粹的比例关系，不涉及绝对差值。

不同方差的高斯噪声

当两个区域的高斯噪声具有不同的方差时，情况变得更加复杂。参数为 \theta_a = (m_a, \sigma_a) 和 \theta_b = (m_b, \sigma_b)，即不同的均值和不同的方差。应用归一化变换：

y = \frac{x - m_a}{\sigma_a}

得到标准化参数 \theta_a' = (0, 1) 和 \theta_b' = \left(\frac{m_b - m_a}{\sigma_a}, \frac{\sigma_b}{\sigma_a}\right)。这个配置与原始配置 [\theta_a, \theta_b] 具有相同的处理性能。

检验标准化参数可以发现，处理性能依赖于两个参数：

SNR = \frac{(m_b - m_a)^2}{\sigma_a^2}

和

\rho = \frac{\sigma_b}{\sigma_a}

第一个参数是信噪比，反映均值差异相对于背景噪声的大小。第二个参数是方差比，反映两个区域噪声强度的相对关系。原始问题有4个参数 (m_a, \sigma_a, m_b, \sigma_b)，通过不变群归约为2个参数 (SNR, \rho)。由于性能依赖于两个独立参数，在这种情况下不存在标量对比度参数。这意味着无法用单一数值完全刻画检测问题的难度，必须同时考虑信噪比和方差比的影响。

泊松噪声的情况

对于泊松噪声，两个区域的参数分别为 \theta_a = \lambda_a 和 \theta_b = \lambda_b。泊松分布的概率密度函数为：

P_{\theta_k}(s) = \frac{(\lambda_k)^s}{s!} e^{-\lambda_k}

泊松分布不存在能够减少参数数量的简单不变变换。处理性能直接依赖于 \lambda_a 和 \lambda_b 这两个参数，参数数量没有减少。泊松分布的特殊性在于其均值和方差相等（都等于 \lambda），这种耦合关系限制了参数归约的可能性。

向量高斯噪声的对比度

现在考虑向量情况，其中观测是 K 维随机向量。两个区域的参数为 \theta_a = (\bar{\mathbf{m}}_a, \Gamma) 和 \theta_b = (\bar{\mathbf{m}}_b, \Gamma)，即不同的均值向量但相同的协方差矩阵。这种情况在多通道图像或多光谱图像中很常见。

首先应用白化变换（变换1）：

\bar{\mathbf{y}} = \Gamma^{-1/2}(\bar{\mathbf{x}} - \bar{\mathbf{m}}_a)

这个变换将协方差矩阵对角化为单位矩阵。对于目标区域，变换后的参数 \theta_a' 的均值为：

E[\bar{\mathbf{y}}] = \Gamma^{-1/2}E[\bar{\mathbf{x}} - \bar{\mathbf{m}}_a] = \bar{\mathbf{0}}

协方差矩阵为：

E[\bar{\mathbf{y}}\bar{\mathbf{y}}^T] = \Gamma^{-1/2}E[(\bar{\mathbf{x}} - \bar{\mathbf{m}}_a)(\bar{\mathbf{x}} - \bar{\mathbf{m}}_a)^T]\Gamma^{-1/2} = I

因此 \theta_a' = (\bar{\mathbf{0}}, I)。对于背景区域，变换后的均值为：

E[\bar{\mathbf{y}}] = \Gamma^{-1/2}E[\bar{\mathbf{x}} - \bar{\mathbf{m}}_a] = \Gamma^{-1/2}[\bar{\mathbf{m}}_b - \bar{\mathbf{m}}_a]

协方差矩阵同样变为单位矩阵 I，因此 \theta_b' = (\Gamma^{-1/2}[\bar{\mathbf{m}}_b - \bar{\mathbf{m}}_a], I)。定义向量：

\bar{\mathbf{v}} = \Gamma^{-1/2}[\bar{\mathbf{m}}_b - \bar{\mathbf{m}}_a]

处理性能只依赖于这个向量 \bar{\mathbf{v}}。然而向量本身包含 K 个分量，参数数量仍然较多。

进一步的参数归约

可以通过第二次变换进一步简化。应用旋转变换（变换2）：

\bar{\mathbf{y}} = Q\bar{\mathbf{x}}

其中 Q 是酉矩阵（满足 QQ^T = I），其第一行设定为 \bar{\mathbf{v}}^T/||\bar{\mathbf{v}}||。酉矩阵代表坐标系的旋转，不改变数据的统计结构。

对于目标区域，变换后的均值仍为零向量：

E[\bar{\mathbf{y}}] = QE[\bar{\mathbf{x}}] = \bar{\mathbf{0}}

协方差矩阵保持为单位矩阵：

E[\bar{\mathbf{y}}\bar{\mathbf{y}}^T] = QE[\bar{\mathbf{x}}\bar{\mathbf{x}}^T]Q^T = I

因此 \theta_a'' = (\bar{\mathbf{0}}, I)。对于背景区域，变换后的均值为：

E[\bar{\mathbf{y}}] = QE[\bar{\mathbf{x}}] = Q\bar{\mathbf{v}} = \begin{bmatrix} \bar{\mathbf{v}}^T\bar{\mathbf{v}}/||\bar{\mathbf{v}}|| \\ q_2^T\bar{\mathbf{v}} \\ \vdots \\ q_K^T\bar{\mathbf{v}} \end{bmatrix} = \begin{bmatrix} ||\bar{\mathbf{v}}|| \\ 0 \\ \vdots \\ 0 \end{bmatrix} = ||\bar{\mathbf{v}}||\bar{\mathbf{e}}

这里 \bar{\mathbf{e}} = [1, 0, \ldots, 0]^T 是第一个标准基向量。由于 Q 的第一行与 \bar{\mathbf{v}} 对齐，投影结果为 ||\bar{\mathbf{v}}||；其他行与 \bar{\mathbf{v}} 正交，投影结果为零。协方差矩阵仍为单位矩阵：

E[(\bar{\mathbf{y}} - E[\bar{\mathbf{y}}])(\bar{\mathbf{y}} - E[\bar{\mathbf{y}}])^T] = QE[(\bar{\mathbf{x}} - \bar{\mathbf{v}})(\bar{\mathbf{x}} - \bar{\mathbf{v}})^T]Q^T = I

因此 \theta_b' = (||\bar{\mathbf{v}}||\bar{\mathbf{e}}, I)。处理性能只依赖于单个数字：

||\bar{\mathbf{v}}|| = ||\Gamma^{-1/2}[\bar{\mathbf{m}}_b - \bar{\mathbf{m}}_a]||

这是Mahalanobis距离，衡量两个均值向量在协方差矩阵归一化后的欧氏距离。原始问题的参数数量是 2K + \frac{K(K+1)}{2}（两个均值向量各有 K 个分量，对称协方差矩阵有 \frac{K(K+1)}{2} 个独立元素），最终归约为单个标量 ||\bar{\mathbf{v}}||。这个标量完全决定了检测性能，是向量高斯情况下的标量对比度参数。

向量高斯噪声的对比度

前面已经推导了向量高斯噪声在不同均值、相同协方差矩阵情况下的标量对比度参数。现在用更简洁的形式重新表述这个结果，并讨论另一种重要情况。

向量高斯噪声情况1：不同均值、相同协方差矩阵

两个区域的参数为 \theta_a = (\bar{\mathbf{m}}_a, \Gamma) 和 \theta_b = (\bar{\mathbf{m}}_b, \Gamma)。处理性能只依赖于一个标量参数：

SNR = (\bar{\mathbf{m}}_a - \bar{\mathbf{m}}_b)^T \Gamma^{-1}(\bar{\mathbf{m}}_a - \bar{\mathbf{m}}_b)

这个表达式是平方Mahalanobis距离的显式形式。它度量了两个均值向量之间的距离，但这个距离是在协方差矩阵定义的度量空间中计算的。如果两个方向上的噪声方差不同，Mahalanobis距离会自动对方差较小的方向赋予更大的权重，因为在这些方向上的均值差异更容易被区分出来。

从代数角度看，\Gamma^{-1} 的作用是对均值差向量进行加权。如果某个特征方向上的方差很大（协方差矩阵在该方向的特征值大），则逆矩阵在该方向的权重较小，因为大的噪声会掩盖均值差异。反之，如果某个方向上的方差很小，逆矩阵在该方向的权重较大，因为小的噪声使得均值差异更容易检测。这个单一标量完全刻画了检测问题的难度。

向量高斯噪声情况2：零均值、不同协方差矩阵

另一种情况是两个区域的均值相同（不失一般性设为零），但协方差矩阵不同：\theta_a = (\mathbf{0}, \Gamma_a) 和 \theta_b = (\mathbf{0}, \Gamma_b)。这种情况在实际中对应于检测纹理变化或噪声特性变化，而不是亮度或颜色的变化。

在这种配置下，处理性能只依赖于矩阵 \Gamma_a \Gamma_b^{-1} 的特征值。这个矩阵描述了两个协方差矩阵之间的相对关系。特征值反映了在不同特征方向上协方差的比率。如果所有特征值都接近1，说明两个区域的协方差结构非常相似，检测会很困难。如果某些特征值远离1（无论是远大于1还是远小于1），说明在对应的特征方向上两个区域的噪声特性有明显差异，检测相对容易。

需要注意的是，这种情况下不存在单一的标量对比度参数，因为性能依赖于多个特征值。矩阵 \Gamma_a \Gamma_b^{-1} 是 K \times K 维的，其特征值有 K 个，因此需要 K 个参数来完全描述检测问题的难度。这与情况1形成对比：情况1中均值不同但协方差相同，可以归约为一个标量；情况2中均值相同但协方差不同，无法进一步归约，需要保留所有特征值信息。这两种情况代表了向量检测问题中两种本质不同的对比度类型。

基于不变群方法的局限性

前面介绍的基于不变群的方法是一个减少刻画处理性能参数数量的通用方法。通过利用概率密度函数族的群不变性，可以系统地将多个统计参数归约为更少的参数。

然而这个方法存在三个重要的局限性。第一，该方法并不总是能够减少参数的数量。在某些情况下（如不同方差的高斯噪声或泊松噪声），参数无法进一步归约，必须保留原有的多个参数。第二，即使能够减少参数数量，该方法也不一定能得到标量参数。有些情况下会归约到多个参数（如向量高斯噪声中零均值但不同协方差矩阵的情况），仍然无法用单个数值完全刻画检测难度。第三，通过这种方法得到的参数只对所考虑的特定噪声统计类型有效。这些参数可能无法用于比较不同的成像系统，因为不同系统可能遵循不同的噪声模型（如一个系统是高斯噪声，另一个是Gamma噪声）。

基于这些局限性，提出新的目标：确定一个通用的标量对比度参数，即使只是近似的。这个参数应该能够跨越不同的噪声类型，为各种成像系统提供统一的对比度度量标准。

标量对比度参数的例子

标量对比度的一般定义。图中展示了一幅噪声图像，其中目标区域和背景区域分别由参数 \theta_a 和 \theta_b 描述。右侧是对应的概率密度函数图，显示了两个分布 p_a(x) 和 p_b(x)，它们的均值分别为 m_a 和 m_b，标准差分别为 \sigma_a 和 \sigma_b。

基于信息论的度量可以提供通用的标量对比度参数。这些度量不依赖于特定的噪声模型，而是直接从概率分布的差异出发定义对比度。

Fisher比率

Fisher比率定义为：

F = \frac{(m_a - m_b)^2}{\sigma_a^2 + \sigma_b^2}

这个度量将均值差的平方除以两个方差之和。分子反映了两个分布中心位置的差异，分母反映了分布的总体扩散程度。Fisher比率越大，说明两个分布的分离程度越好，检测越容易。这个定义形式简单，计算方便，但只利用了分布的一阶和二阶矩信息。

Kullback距离

Kullback-Leibler散度（也称KL散度）定义为：

K = \int p_a(x) \log\left[\frac{p_a(x)}{p_b(x)}\right] dx

这个度量衡量的是用分布 p_b 来近似分布 p_a 时的信息损失。积分遍历整个样本空间，在每个点 x 处，如果 p_a(x) 显著大于 p_b(x)，对数项为正且较大，对积分贡献较多；如果两者接近，贡献较小。Kullback距离具有信息论的明确意义，它度量了两个分布之间的"距离"（虽然严格来说它不是对称的，不满足数学上距离的定义）。Kullback距离越大，两个分布差异越大，对比度越高。

Bhattacharyya距离

Bhattacharyya距离定义为：

B = -\log\left(\int \sqrt{p_a(x)p_b(x)} dx\right)

积分项 \int \sqrt{p_a(x)p_b(x)} dx 称为Bhattacharyya系数，它度量了两个分布的重叠程度。如果两个分布完全重合，该系数为1；如果完全不重叠，该系数为0。取负对数后，Bhattacharyya距离的范围是 [0, +\infty)。距离为0表示分布完全相同，距离越大表示分布差异越大。Bhattacharyya距离在统计模式识别中应用广泛，因为它与分类错误率的理论界限有直接联系。

不同概率分布的参数结构

\delta(x) 是Dirac分布，\mathbb{N} 是整数集合。对于Weibull和Gamma分布，参数 \mu 和 L 假设已知且在目标和背景区域中相等，以便得到归约后的参数。这个假设在实际应用中需要根据具体情况验证，但它简化了对比度参数的定义，使得可以用单个参数刻画这些分布下的检测难度。

不同概率分布下的对比度度量表达式

表格给出了六种常见概率分布在Fisher比率 \mathcal{F}、Kullback散度 \mathcal{K} 和Bhattacharyya距离 \mathcal{B} 三种度量下的具体表达式。这些表达式基于表1中定义的概率密度函数参数。

Bernoulli分布

Fisher比率为：

\mathcal{F} = \frac{(p_a - p_b)^2}{p_a q_a + p_b q_b}

其中 q_a = 1 - p_a，q_b = 1 - p_b。分子是两个成功概率之差的平方，分母是两个区域方差的和（Bernoulli分布的方差为 p(1-p)）。

Kullback散度为：

\mathcal{K} = (p_a - p_b) \ln\left|\frac{p_a q_b}{p_b q_a}\right|

这个表达式度量了两个Bernoulli分布之间的信息差异，涉及两个区域成功概率和失败概率的比值。

Bhattacharyya距离为：

\mathcal{B} = -\ln[\sqrt{p_a p_b} + \sqrt{q_a q_b}]

这个表达式通过两个概率及其补概率的几何平均来度量分布的重叠程度。

Poisson分布

Fisher比率为：

\mathcal{F} = \frac{(\lambda_a - \lambda_b)^2}{\lambda_a + \lambda_b}

Poisson分布的均值和方差都等于参数 \lambda，因此分母是两个参数之和。

Kullback散度为：

\mathcal{K} = (\lambda_a - \lambda_b) \ln\left|\frac{\lambda_a}{\lambda_b}\right|

这个形式简洁地反映了两个Poisson分布参数的相对差异。

Bhattacharyya距离为：

\mathcal{B} = \frac{1}{2}[\sqrt{\lambda_a} - \sqrt{\lambda_b}]^2

这个表达式表明Bhattacharyya距离依赖于参数平方根之差的平方，反映了Poisson分布特殊的统计结构。

Gamma分布

设 r = \frac{m_a}{m_b}，Fisher比率为：

\mathcal{F} = L\frac{(r - 1)^2}{r^2 + 1}

其中 L 是散斑阶数。Fisher比率与 L 成正比，说明散斑阶数越高，对比度越好。

Kullback散度为：

\mathcal{K} = L\left(\sqrt{r} - \frac{1}{\sqrt{r}}\right)^2

Bhattacharyya距离为：

\mathcal{B} = L\ln\left[\frac{1}{2}\left(\sqrt{r} + \frac{1}{\sqrt{r}}\right)\right]

这三个度量都与均值比 r 和阶数 L 相关，反映了Gamma分布的两层结构。

Weibull分布

设 r = \frac{m_a}{m_b}，\mu 是形状参数。Fisher比率为：

\mathcal{F} = A\frac{(r - 1)^2}{r^2 + 1}

其中 A 是与 \mu 相关的常数，定义为 A = [\Gamma(\frac{1}{\mu})]^2/[2\Gamma(\frac{2}{\mu}) - [\Gamma(\frac{1}{\mu})]^2]。

Kullback散度为：

\mathcal{K} = \left[(\sqrt{\mu}r)^{\mu^2} - \left(\frac{1}{\sqrt{r}}\right)^{\mu^2}\right]

Bhattacharyya距离为：

\mathcal{B} = \ln\left[\frac{2}{\mu}\left[(\sqrt{\mu}r)^{\mu} + \left(\frac{1}{\sqrt{r}}\right)^{\mu}\right]\right]

Weibull分布的对比度度量涉及形状参数 \mu 的幂次，反映了分布形状对检测性能的影响。

Gaussian分布

设 \alpha = \frac{\sigma_b}{\sigma_a}，\beta = \frac{m_a - m_b}{\sigma_a}。Fisher比率为：

\mathcal{F} = \frac{\beta}{1 + \alpha}

Kullback散度为：

\mathcal{K} = \frac{1}{2}\frac{\beta(1 + \alpha)}{\alpha} + \frac{1}{2}\left(\sqrt{\alpha} - \frac{1}{\sqrt{\alpha}}\right)^2

第一项反映均值差异，第二项反映方差差异。

Bhattacharyya距离为：

\mathcal{B} = \frac{1}{4}\frac{1}{1 + \alpha} + \frac{1}{2}\ln\left[\frac{1}{2}\left(\sqrt{\alpha} + \frac{1}{\sqrt{\alpha}}\right)\right]

Gaussian分布的对比度同时依赖于均值差和方差比，这与前面关于不同方差高斯噪声无法归约为标量参数的结论一致。

Geometric分布

Fisher比率为：

\mathcal{F} = \frac{(p_a - p_b)^2}{q_a p_a^2 + q_b p_b^2}

Kullback散度为：

\mathcal{K} = \frac{p_a - p_b}{p_a p_b} \ln\left|\frac{q_a}{q_b}\right|

Bhattacharyya距离为：

\mathcal{B} = \ln\left[\frac{1 - \sqrt{q_a q_b}}{\sqrt{p_a p_b}}\right]

表格注释说明概率密度函数参数的含义在表1中定义。对于Gamma分布，A = [\Gamma(\frac{1}{\mu})]^2/[2\Gamma(\frac{2}{\mu}) - [\Gamma(\frac{1}{\mu})]^2]，\Gamma(x) = \int_0^{\infty} x^{x-1} \exp(-x)dx，q_a = 1 - p_a。这些表达式提供了在不同噪声模型下计算标量对比度参数的具体公式，使得对比度的定义在理论上更加完整和可操作。

标量对比度参数的比较

为了评估不同标量对比度参数的有效性，进行了系统的实验比较。实验设置包括两个部分：首先是处理任务，选择在不同类型噪声存在下进行图像分割。噪声源包括Gaussian、Gamma、Poisson和Bernoulli四种类型，对于每种噪声类型，参数 \theta_a 和 \theta_b 取不同的数值。其次是性能评估指标，使用误分类像素的平均数量（ANMP, Average Number of Misclassified Pixels）来度量分割质量。ANMP越小，说明分割越准确，对应的对比度参数越能有效预测检测难度。

图中展示了分割的过程：上方是含噪声的原始图像，下方是估计的轮廓，红色圈出的区域标注了ANMP的计算位置，即估计轮廓与真实轮廓之间的误差区域。

三个图表分别展示了Fisher比率、Kullback散度和Bhattacharyya距离与ANMP之间的关系。横轴是对比度参数的值，纵轴是ANMP。每个图中包含四种噪声类型的数据点，用不同符号标记（GWI、BG、PO、GA分别代表不同噪声）。

观察Fisher比率图（左），可以看到四种噪声类型的数据点散布较分散，不同噪声类型的曲线有明显差异。这说明Fisher比率在不同噪声类型下的行为不一致，难以提供统一的对比度标准。

Kullback散度图（中）显示出类似的问题，虽然整体趋势是对比度增加时ANMP降低，但不同噪声类型的数据点仍然没有很好地聚集在一条曲线上。

Bhattacharyya距离图（右，红框标注）展现出最好的性能。四种噪声类型的数据点几乎完全重合在一条单调下降的曲线上。这意味着Bhattacharyya距离能够统一地预测不同噪声类型下的分割性能：无论噪声是Gaussian、Gamma、Poisson还是Bernoulli，只要Bhattacharyya距离相同，ANMP就基本相同。这种统一性使得Bhattacharyya距离成为最合适的标量对比度参数，可以用于跨越不同噪声模型的性能比较。

实验结果证明了Bhattacharyya距离是最恰当的标量对比度参数。

应用实例

Bhattacharyya距离作为通用对比度参数的一个重要应用是比较不同噪声统计特性的成像系统性能。图片展示了一个飞机目标在五种不同噪声类型下的分割结果。这五种噪声类型包括：Gaussian噪声且 m_a = m_b（相同均值）、Gaussian噪声且 \sigma_a = \sigma_b（相同方差）、Poisson噪声、Gamma噪声和Bernoulli噪声。

表格的列对应不同的噪声类型，行对应不同的Bhattacharyya距离值 \mathcal{B}（0.1、0.2、0.4、0.6）。每个单元格显示了在该噪声类型和对比度水平下的分割结果，白色线条是估计的目标轮廓。

观察表格的横向（同一行），可以发现一个显著的规律：在相同的Bhattacharyya距离下，不同噪声类型的分割结果质量非常相似。例如在 \mathcal{B} = 0.1 这一行，所有五种噪声类型的分割轮廓都较为粗糙，存在明显的误差；而在 \mathcal{B} = 0.6 这一行，所有噪声类型的分割轮廓都非常精确，几乎完美地提取了飞机的形状。

观察表格的纵向（同一列），可以看到随着Bhattacharyya距离从0.1增加到0.6，分割质量逐步改善。这种改善在所有噪声类型中都保持一致的速率。轮廓从高度不规则、充满噪声，逐渐变得平滑、准确。

分享

信号处理与成像系统（完整版）

概率论和随机信号基础

随机变量

随机变量的定义

离散值随机变量

连续值随机变量

矩

随机变量的函数的平均值（期望值）

矩

随机变量例子

高斯随机变量

泊松变量

Gamma变量

随机变量的耦合

联合累积分布函数

联合概率密度函数

独立性

条件概率密度函数

贝叶斯关系

随机变量之和

随机变量向量

定义

随机向量的相关性

高斯随机向量

生成高斯相关随机向量

通过线性变换生成

线性滤波

傅里叶空间中的滤波

循环矩阵的重要性质

例子

随机变量的和

大数定律

中心极限定理

随机函数

两种角度下的均值和协方差

平稳性和遍历性

平稳随机函数的滤波

信号处理与成像系统

整体概述

全局优化与协同设计

图像处理中的核心问题

课程的三大理论支柱

估计问题的基本框架

问题的建立

统计量的概念

似然函数的引入

独立同分布样本的特殊情况

指数分布的具体例子

两种估计方法的提出

估计理论的整体框架

均方误差：估计量质量的度量标准

估计量的几何直观理解

算术平均作为均值估计量

经验方差作为方差估计量

经验方差的方差

两个基本估计量的总结

指数分布估计量的数值对比

直方图估计：概率密度函数的非参数估计

矩方法估计器

高斯分布的矩估计

伽马分布及其矩估计

雷达图像噪声的实际应用

最大似然估计的基本思想

高斯分布的最大似然估计

伽马分布的最大似然估计

Cramér-Rao下界：估计精度的理论极限

指数分布的Cramér-Rao下界计算

Cramér-Rao下界的直观意义

最大似然估计量的渐近效率

指数族与最大似然估计的严格有效性

鲁棒估计的必要性

异常值对不同估计量的影响

估计问题的系统化求解步骤

指数弛豫估计问题的完整求解

估计问题求解的第四步：性能评估

向量参数的Cramér-Rao下界

Fisher信息矩阵

向量参数的CRLB定理

从向量CRLB提取各个参数的下界