第一章概率论基础

1.1 概率空间的三要素

概率论建立在三个核心概念之上，它们共同构成了概率空间。首先是样本空间 \Omega，它包含了所有可能的实验结果。在样本空间的基础上，我们需要定义哪些子集是可以被赋予概率的，这就引出了 \sigma-代数（读作"西格玛代数"）的概念，记为 \mathcal{F}。\sigma-代数是样本空间子集的集合，但不是任意的子集集合，它必须满足特定的封闭性要求。

1.1.1 \sigma-代数的定义

\sigma-代数 \mathcal{F} 需要满足四个条件，这四个条件保证了我们可以对事件进行合理的概率运算。第一个条件是 \Omega \in \mathcal{F}，即样本空间本身必须在 \mathcal{F} 中，这意味着"某个结果一定发生"这件事是可以讨论概率的。第二个条件是 \emptyset \in \mathcal{F}，空集也必须在 \mathcal{F} 中，对应"什么都不发生"这个事件。

第三个条件涉及补集运算：如果 A \in \mathcal{F}，那么 A 的补集 \tilde{A} 也必须在 \mathcal{F} 中。这个条件保证了如果我们能讨论某事件发生的概率，就也能讨论它不发生的概率。第四个条件是可数并的封闭性：如果有可数多个事件 \{A_i\} 都在 \mathcal{F} 中，那么它们的并集 \bigcup_{i=1}^{\infty} A_i 也必须在 \mathcal{F} 中。这个条件使得我们可以讨论"至少有一个事件发生"的概率。

1.1.2 概率测度的公理化定义

有了 \sigma-代数后，概率测度 P 就是定义在 \mathcal{F} 上的函数，将每个事件映射到 [0,1] 区间的一个实数。概率测度必须满足的基本性质包括：P(\Omega) = 1 表示某个结果必然发生的概率是1；P(\emptyset) = 0 表示不可能事件的概率是0；对任意事件 A 有 0 \leq P(A) \leq 1。

最关键的性质是可数可加性：对于互斥的事件序列 \{A_i\}（即 A_i \cap A_j = \emptyset 当 i \neq j），有

P\left(\bigcup_{i=1}^{\infty} A_i\right) = \sum_{i=1}^{\infty} P(A_i)

这个性质说明如果多个事件不能同时发生，那么"至少有一个发生"的概率等于各自概率之和。

1.2 泊松分布

当样本空间是自然数集 \Omega = \mathbb{N} 时（这是离散的情况），泊松分布给出了一个具体的概率模型。其概率质量函数为

P_k = e^{-\lambda} \frac{\lambda^k}{k!}, \quad \lambda > 0

这里 k 取自然数，\lambda 是分布的参数。这个参数同时决定了分布的期望值和方差，它们都等于 \lambda。要验证这确实是一个合法的概率分布，需要检验两点：首先每个 P_k 都非负，这从指数函数和阶乘的性质直接可见；其次所有概率之和为1，即 \sum_{k=0}^{\infty} P_k = 1，这可以通过指数函数 e^x 的泰勒展开来验证。

1.3 随机变量的定义

随机变量并不是通常意义上的"变量"，而是一个函数。它将样本空间 \Omega 中的每个样本点映射到实数 \mathbb{R} 上。但并不是任意函数都能称为随机变量，它需要满足可测性条件：对于实数轴上的任意博雷尔集 B \subset \mathbb{R}，其原像 B^{-1}(B) = \{w \in \Omega: X(w) \in B\} 必须在 \sigma-代数 \mathcal{F} 中。这个条件保证了我们可以讨论"随机变量取值落在某个区间"这类事件的概率。

1.4 事件的独立性

1.4.1 两个事件的独立性

两个事件 A 和 B 独立，定义为它们的交集概率等于各自概率的乘积：

P(A \cap B) = P(A) \cdot P(B)

这个定义刻画的是：知道 B 发生与否不会改变 A 发生的概率，反之亦然。

1.4.2 三个事件的独立性

当涉及三个事件 A、B、C 时，独立性变得更加复杂。仅仅要求两两独立是不够的，还需要总体独立。具体来说，需要同时满足四个等式：

总体独立条件：

P(A \cap B \cap C) = P(A) \cdot P(B) \cdot P(C)

两两独立条件（三个等式）：

P(A \cap B) = P(A) \cdot P(B)

P(A \cap C) = P(A) \cdot P(C)

P(B \cap C) = P(B) \cdot P(C)

之所以需要总体独立这个额外条件，是因为两两独立无法保证三个事件同时发生的概率具有乘积形式。

1.4.3 n个事件独立性的验证

对于 n 个事件，要验证它们完全独立需要检验的等式数量是 2^n - n - 1 个。这个数字的来源是：我们需要验证所有可能的 k 个事件的交集（k \geq 2）的概率都满足乘积形式。选择 k 个事件有 \binom{n}{k} 种方式，从 k=2 到 k=n 的总和为

\sum_{k=2}^{n} \binom{n}{k}

利用二项式定理，我们知道

\sum_{k=0}^{n} \binom{n}{k} = 2^n

因此

\sum_{k=2}^{n} \binom{n}{k} = 2^n - \binom{n}{0} - \binom{n}{1} = 2^n - 1 - n

这个推导依赖于二项式定理 (a+b)^n = \sum_{k=0}^{n} \binom{n}{k} a^k b^{n-k}，令 a=b=1 即得上式。

1.5 离散随机变量的表示与期望

1.5.1 离散随机变量的结构

对于取有限个或可数个不同值的离散随机变量 X，假设其取值集合为 E = \{x_1, x_2, \ldots, x_N\}，其中这些 x_i 互不相同。对每个取值 x_i，定义对应的事件

A_i = \{w \in \Omega : X(w) = x_i\}

这些事件构成了样本空间的一个划分，即 \Omega = A_1 \cup A_2 \cup \cdots \cup A_N，且它们两两互斥。

1.5.2 指示函数的引入

利用这个划分，随机变量可以表示为

X(w) = \sum_{i=1}^{N} x_i \cdot \mathbb{1}_{A_i}(w)

这里 \mathbb{1}_{A_i}(w) 是事件 A_i 的指示函数，定义为

\mathbb{1}_{A_i}(w) = \begin{cases} 1 & w \in A_i \\ 0 & w \notin A_i \end{cases}

这个表示方法的意义在于：对任意样本点 w，X(w) 的值就是那个使得 w \in A_i 的 x_i。因为这些 A_i 构成划分，恰好有一个指示函数取值为1，其余都是0。

1.5.3 期望的计算

指示函数的期望有一个简洁的性质：

E[\mathbb{1}_{A_i}(w)] = P(A_i)

这是因为指示函数只取0或1，其期望就是取1的概率。利用这个性质和期望的线性性，随机变量 X 的期望可以计算为

E[X(w)] = E\left[\sum_{i=1}^{N} x_i \cdot \mathbb{1}_{A_i}(w)\right] = \sum_{i=1}^{N} x_i \cdot E[\mathbb{1}_{A_i}(w)] = \sum_{i=1}^{N} x_i \cdot P(A_i)

这个公式表明，离散随机变量的期望就是各个可能取值与对应概率的加权平均。从第一步到第二步使用了期望算子的线性性，即期望可以与求和交换顺序；从第二步到第三步则直接应用了指示函数期望等于概率的性质。

第二章期望的性质与随机变量的函数

2.1 扔骰子的例子

考虑扔骰子的例子，定义随机变量 X 表示获得的奖金。假设规则是：投出1、2、3得0元，投出4、5得5元，投出6得10元。这样就有三个不同的取值：x_1 = 0（对应概率 \frac{1}{2}），x_2 = 5（对应概率 \frac{1}{3}），x_3 = 10（对应概率 \frac{1}{6}）。期望值的计算为

E[X(w)] = \sum_{i=1}^{3} x_i \cdot P(A_i) = 0 \cdot \frac{1}{2} + 5 \cdot \frac{1}{3} + 10 \cdot \frac{1}{6} = \frac{10}{3}

2.2 期望的基本性质

期望算子满足三个基本性质。第一个性质是指示函数的期望等于相应事件的概率，即 E[\mathbb{1}_A(w)] = P(A)，这是我们之前已经使用过的结论。第二个性质是常数的期望等于常数本身，即 E[C] = C，这是因为常数可以看作在所有样本点上都取相同值的随机变量。

第三个性质是期望的线性性，这是最重要的性质：

E[aX(w) + bY(w)] = a E[X(w)] + b E[Y(w)]

2.2.1 期望的线性性证明

这个性质说明期望算子对线性组合保持线性关系。要证明这个性质，我们从两个离散随机变量的表示出发。设 X(w) = \sum_{i} x_i \cdot \mathbb{1}_{A_i}(w)，Y(w) = \sum_{j} y_j \cdot \mathbb{1}_{B_j}(w)，那么它们的线性组合可以写成

aX(w) + bY(w) = a \sum_{i} x_i \cdot \mathbb{1}_{A_i}(w) + b \sum_{j} y_j \cdot \mathbb{1}_{B_j}(w)

关键观察是，我们可以将这个表达式重新组织为

= \sum_{i,j} (ax_i + by_j) \cdot \mathbb{1}_{A_i \cap B_j}(w)

这里用到了 \mathbb{1}_{A_i}(w) \cdot \mathbb{1}_{B_j}(w) = \mathbb{1}_{A_i \cap B_j}(w) 的事实。对两边取期望得

E[(aX(w) + bY(w))] = \sum_{i,j} (ax_i + by_j) \cdot E[\mathbb{1}_{A_i \cap B_j}(w)]

由于指示函数期望等于概率，右边等于

= \sum_{i,j} (ax_i + by_j) \cdot P(A_i \cap B_j)

现在我们将这个二重求和分成两部分，分别对应含 a 和含 b 的项：

= \sum_{i,j} ax_i \cdot P(A_i \cap B_j) + \sum_{i,j} by_j \cdot P(A_i \cap B_j)

对于第一项，注意到对固定的 i，当 j 遍历所有可能值时，A_i \cap B_j 构成了 A_i 的一个划分（因为所有 B_j 构成样本空间的划分）。因此

\sum_{j} P(A_i \cap B_j) = P(A_i)

这个关系的本质是 A_i \cap \Omega = A_i，而 \Omega = \bigcup_j B_j。利用这个关系，第一项变为

\sum_{i} ax_i \sum_{j} P(A_i \cap B_j) = \sum_{i} ax_i \cdot P(A_i) = a \sum_{i} x_i \cdot P(A_i) = a E[X(w)]

类似地，第二项可以化简为 b E[Y(w)]，从而证明了线性性。

2.3 随机变量函数的期望

当我们有一个随机变量 X(w) 和一个函数 g，我们可以构造复合随机变量 g(X(w))。这个新随机变量的期望有一个简洁的计算公式。如果 X 的取值为 x_1, x_2, \ldots, x_N，对应的事件为 A_1, A_2, \ldots, A_N，那么 g(X(w)) 的取值就是 g(x_1), g(x_2), \ldots, g(x_N)，期望为

E[g(X(w))] = \sum_{i=1}^{N} g(x_i) \cdot P_i

这里 P_i = P(A_i) 是 X 取值为 x_i 的概率。这个公式直接来自期望的定义，但它的意义在于我们不需要重新定义样本空间上的函数，只需要在 X 的取值集合上对 g 求加权平均即可。

2.4 方差和标准差

方差衡量随机变量相对于其期望值的离散程度。对随机变量 X(w) 而言，其方差定义为

\sigma_X^2 = \text{Var}(X) = E\left[\left(X(w) - E[X(w)]\right)^2\right]

这个定义直接测量了 X 与其均值 E[X(w)] 的偏差的平方的期望。方差有一个等价但更便于计算的形式：

\sigma_X^2 = E[X^2(w)] - \left(E[X(w)]\right)^2

要看出这个等式，展开方差定义中的平方项，设 \mu = E[X(w)]，则

E[(X(w) - \mu)^2] = E[X^2(w) - 2\mu X(w) + \mu^2]

利用期望的线性性，这等于

E[X^2(w)] - 2\mu E[X(w)] + \mu^2 = E[X^2(w)] - 2\mu^2 + \mu^2 = E[X^2(w)] - \mu^2

标准差是方差的平方根 \sqrt{\sigma_X^2} = \sigma_X，它的量纲与原随机变量相同，因此更便于解释。

2.5 线性组合的方差

对于两个随机变量 X_1 和 X_2 的线性组合，其方差满足

\text{Var}(a_1 X_1 + a_2 X_2) = a_1^2 \text{Var}(X_1) + a_2^2 \text{Var}(X_2) + 2a_1 a_2 \text{Cov}(X_1, X_2)

这里出现的 \text{Cov}(X_1, X_2) 是协方差，它衡量两个随机变量之间的线性相关性。对于 n 个随机变量的线性组合，方差的一般公式是

\text{Var}\left(\sum_{i=1}^{n} a_i X_i\right) = \sum_{i=1}^{n} a_i^2 \text{Var}(X_i) + \sum_{i<j} 2a_i a_j \text{Cov}(X_i, X_j)

这个公式包含了两部分：第一部分是各个随机变量方差的加权和，第二部分是所有配对的协方差项。如果随机变量 X_1, X_2, \ldots, X_N 两两独立，则它们之间的协方差全为零，即 \text{Cov}(X_i, X_j) = 0。在这种情况下，方差公式大大简化为

\text{Var}\left(\sum_{i=1}^{n} a_i X_i\right) = \sum_{i=1}^{n} a_i^2 \text{Var}(X_i)

2.6 随机变量的标准化

给定一个随机变量 X(w)，假设其期望为 \mu = E[X(w)]，方差为 \sigma_X^2 = \text{Var}(X)。我们可以构造其标准化形式 \tilde{X}(w)，定义为

\tilde{X}(w) = \frac{X(w) - \mu}{\sigma_X}

这个变换包含两个步骤：首先减去均值 \mu（中心化），使得新变量的期望为零；然后除以标准差 \sigma_X（标准化），使得新变量的方差为1。标准化变量便于不同尺度的随机变量之间进行比较。

反过来，原随机变量可以从标准化变量重构：

X(w) = \mu + \sigma_X \tilde{X}(w)

这个关系表明任何随机变量都可以看作是其均值加上标准差乘以一个标准化变量。

2.7 随机变量的分布

随机变量 X(w) 定义在概率空间 (\Omega, \mathcal{F}, P) 中，它本身作为函数将样本空间映射到实数。但我们常常更关心的是 X 的取值在实数轴上的分布，而不是样本空间本身的结构。随机变量的分布，记为 \mu_X，是定义在实数轴的博雷尔集上的概率测度，对于任意博雷尔集 B \subset \mathbb{R}，定义

\mu_X(B) = P(\{w : X(w) \in B\}) = P(X^{-1}(B))

这里 X^{-1}(B) = \{w \in \Omega : X(w) \in B\} 是 B 在映射 X 下的原像，它是样本空间中的一个事件。分布 \mu_X 完全刻画了随机变量在实数轴上取值的概率结构。

如果随机变量有概率密度函数，记为 \mu_X(B)（或简写为分布的值），那么对于区间 B = [a, b]，其概率就是密度函数在该区间上的积分。这个密度函数在每一点的值描述了随机变量取值在该点附近的概率密度，而通过积分就可以得到取值落在任意区间的概率。

第三章累积分布函数与概率密度函数

3.1 累积分布函数

3.1.1 累积分布函数的定义

累积分布函数（CDF）是刻画随机变量分布的另一种方式。对随机变量 X(w)，其累积分布函数 F_X(x) 定义为

F_X(x) = P(X(w) \leq x) = P(X^{-1}((-\infty, x]))

这个函数的含义是：随机变量的取值不超过 x 的概率。注意这里 x 是实数轴上的一个固定点，而 X^{-1}((-\infty, x]) 是样本空间中所有使得 X(w) \leq x 的样本点构成的事件。

3.1.2 累积分布函数的性质

累积分布函数具有三个基本性质。第一个性质是当 x 趋向正无穷时，\lim_{x \to +\infty} F_X(x) = 1。这是因为所有样本点最终都会被包含进来，对应事件变为整个样本空间。第二个性质是当 x 趋向负无穷时，\lim_{x \to -\infty} F_X(x) = 0。这对应着不可能事件的概率为零。

第三个性质是 F_X(x) 是单调不减的函数。也就是说，如果 x_1 < x_2，那么 F_X(x_1) \leq F_X(x_2)。这是因为事件 \{X(w) \leq x_1\} 是事件 \{X(w) \leq x_2\} 的子集，因此前者的概率不会超过后者。

3.1.3 离散随机变量的CDF

对于离散随机变量，累积分布函数是一个阶梯函数。考虑一个简单的例子：随机变量 X(w) 只取两个值，P(X(w) = 0) = 1-p 和 P(X(w) = 1) = p。其累积分布函数为

F_X(x) = \begin{cases} 0 & x < 0 \\ 1-p & 0 \leq x < 1 \\ 1 & x \geq 1 \end{cases}

这个函数在 x = 0 处从0跳跃到 1-p，在 x = 1 处从 1-p 跳跃到1。每个跳跃的高度等于随机变量在该点取值的概率。

3.2 连续随机变量与概率密度函数

3.2.1 标准正态分布

考虑标准正态分布 X(w) \sim \mathcal{N}(0, 1)，其期望 \mu_X = 0，方差 \sigma_X^2 = 1。其累积分布函数为

F_X(x) = P(X(w) \leq x) = \int_{-\infty}^{x} \frac{1}{\sqrt{2\pi}} e^{-\frac{u^2}{2}} du

这里积分号内的函数 \frac{1}{\sqrt{2\pi}} e^{-\frac{u^2}{2}} 就是标准正态分布的概率密度函数（pdf）。更一般地，期望为 \mu、方差为 \sigma^2 的正态分布的概率密度函数为

f_X(x) = \frac{1}{\sqrt{2\pi}\sigma} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)

这就是高斯分布的密度函数，也被称为正态分布。

3.2.2 对数正态分布的构造

如果 X(w) \sim \mathcal{N}(0, 1)，定义新的随机变量 Y(w) = e^{X(w)}，那么 Y 服从对数正态分布。要求 Y 的累积分布函数，我们利用单调性进行变换：

F_Y(y) = P(Y(w) \leq y) = P(e^{X(w)} \leq y)

当 y > 0 时，由于指数函数单调递增，两边取对数不改变不等号方向，因此

P(e^{X(w)} \leq y) = P(X(w) \leq \log y)

这意味着

F_Y(y) = F_X(\log y), \quad y > 0

这个关系表明 Y 的累积分布函数可以通过 X 的累积分布函数复合对数函数得到。这里需要注意的是，由于 e^{X(w)} 恒为正，所以 Y 的取值范围是 (0, +\infty)，我们只需考虑 y > 0 的情况。

3.3 PDF与CDF的关系

3.3.1 从CDF到PDF

当累积分布函数 F_X(x) 可微时，其导数就是概率密度函数：

f_X(x) = \frac{d}{dx} F_X(x)

这个关系说明概率密度函数是累积分布函数的变化率。在某个点附近，如果累积分布函数增长得快，说明随机变量取值落在该点附近的概率密度大。

3.3.2 从PDF到CDF

反过来，概率密度函数的积分给出累积分布函数：

\int_a^b f_X(x) dx = \int_a^b \frac{d}{dx} F_X(x) dx = F_X(b) - F_X(a)

利用累积分布函数的定义，右边可以写成

F_X(b) - F_X(a) = P(X(w) \leq b) - P(X(w) \leq a)

由于事件 \{X(w) \leq a\} 包含在事件 \{X(w) \leq b\} 中（假设 a < b），两者的差集恰好是 \{a < X(w) \leq b\}，因此

P(X(w) \leq b) - P(X(w) \leq a) = P(a \leq X(w) \leq b)

综合起来，我们得到

\int_a^b f_X(x) dx = P(a \leq X(w) \leq b)

这个公式的含义是：概率密度函数在区间 [a, b] 上的积分等于随机变量取值落在该区间内的概率。

3.4 对数正态分布的密度函数

回到之前对数正态分布的例子。已知 X(w) \sim \mathcal{N}(0, 1)，其密度函数为 f_X(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}，现在要求 Y(w) = e^{X(w)} 的密度函数。利用CDF与PDF的关系：

f_Y(y) = \frac{d}{dy} F_Y(y) = \frac{d}{dy} F_X(\log y)

使用链式法则，对复合函数求导：

\frac{d}{dy} F_X(\log y) = f_X(\log y) \cdot \frac{d}{dy}(\log y) = f_X(\log y) \cdot \frac{1}{y}

将 f_X 的表达式代入：

f_Y(y) = \frac{1}{\sqrt{2\pi}} e^{-\frac{(\log y)^2}{2}} \cdot \frac{1}{y} = \frac{1}{\sqrt{2\pi}y} e^{-\frac{(\log y)^2}{2}}, \quad y > 0

这就是参数为 (0, 1) 的对数正态分布的概率密度函数。这个密度函数的形式体现了从标准正态分布到对数正态分布的变换关系：除了将 x 替换为 \log y 外，还需要乘以雅可比因子 \frac{1}{y}，这个因子来自变量变换时的微分关系。

第四章分布变换与二项分布

4.1 均匀分布上的简单随机变量

考虑随机变量 X(w) \sim U[0,1]，即 X 服从区间 [0,1] 上的均匀分布。均匀分布的性质是，对于任意子区间 [a,b] \subset [0,1]，随机变量落在该区间的概率等于区间长度：

P(X(w) \in [a,b]) = b - a

其累积分布函数为 F_X(x) = P(X(w) \leq x)。从 X 出发，定义一个新的随机变量 Y(w)：

Y(w) = \begin{cases} 0 & X(w) \leq \frac{1}{3} \\ 1 & X(w) > \frac{1}{3} \end{cases}

这是一个只取两个值的离散随机变量。要求其累积分布函数 F_Y(y) = P(Y(w) \leq y)，需要分情况讨论。

当 y < 0 时，不存在任何样本点使得 Y(w) \leq y，因此 P_Y = 0，即 F_Y(y) = 0。

当 0 \leq y < 1 时，事件 \{Y(w) \leq y\} 等价于 \{Y(w) = 0\}，因为 Y 只能取0或1。而 Y(w) = 0 当且仅当 X(w) \leq \frac{1}{3}，因此

P_Y = P(Y = 0) = P(X \leq \frac{1}{3}) = \frac{1}{3}

所以 F_Y(y) = \frac{1}{3}。

当 y \geq 1 时，事件 \{Y(w) \leq y\} 包含了 Y 的所有可能取值，因此

P_Y = P(Y = 0) + P(Y = 1) = 1

其中 P(Y = 1) = P(X > \frac{1}{3}) = \frac{2}{3}。综合起来，Y 的累积分布函数是一个阶梯函数，在0处跳跃 \frac{1}{3}，在1处达到1。

4.2 逆变换法

逆变换法是一种从均匀分布生成任意分布随机变量的方法。假设我们有一个服从标准均匀分布的随机变量 U(w) \sim U(0,1)，以及一个目标累积分布函数 F_X(x)。逆变换法的核心思想是：如果 F_X 是单调递增且连续的，那么定义

X(w) = F_X^{-1}(U(w))

则 X(w) 服从累积分布函数 F_X。

要验证这一点，计算 X 的累积分布函数：

P(X(w) \leq x) = P(F_X^{-1}(U(w)) \leq x)

由于 F_X 单调递增，对两边同时应用 F_X 不改变不等号方向：

P(F_X^{-1}(U(w)) \leq x) = P(U(w) \leq F_X(x))

而 U 的累积分布函数为

F_U(u) = \begin{cases} 0 & u < 0 \\ u & 0 \leq u \leq 1 \\ 1 & u > 1 \end{cases}

因此

P(U(w) \leq F_X(x)) = F_U(F_X(x)) = F_X(x)

最后一个等号成立是因为 F_X(x) \in [0,1]（累积分布函数的取值范围），在这个区间上 F_U(u) = u。这个推导说明 X 的累积分布函数确实是 F_X。

逆变换法的意义在于：任何分布的随机变量都可以通过其累积分布函数的逆函数从均匀分布得到。这使得我们只需要能够生成均匀随机数，就可以通过变换得到任意分布的随机样本。

4.3 二项分布

4.3.1 狄拉克函数

在讨论离散分布的密度函数时，需要引入狄拉克函数 \delta(x)。它不是通常意义上的函数，而是一种广义函数，定义为

\delta(x) = \begin{cases} 0 & x \neq 0 \\ +\infty & x = 0 \end{cases}

但满足积分性质

\int_I \delta(x) dx = \begin{cases} 1 & 0 \in I \\ 0 & 0 \notin I \end{cases}

利用狄拉克函数，离散随机变量的概率密度函数可以写成

f_X(x) = \sum_{k=0}^{n} P(X = k) \cdot \delta(x - k)

4.3.2 伯努利分布

伯努利分布 B_e(p) 是最简单的离散分布，它只有两个可能结果。定义 X 服从伯努利分布，其取值为

P(X = 0) = p, \quad P(X = 1) = 1-p

其概率密度函数（使用狄拉克函数）可以写成

f_X(x) = p \delta(x) + (1-p) \delta(x-1)

4.3.3 二项分布的定义

二项分布 B(n,p) 表示在 n 次独立重复的伯努利试验中成功次数的分布，每次试验成功的概率为 p。可以将其表示为

X(w) = \sum_{i=1}^{n} Y_i(w)

其中每个 Y_i(w) 独立同分布，且 Y_i(w) \sim B_e(p)。这里 Y_i(w) 取1表示第 i 次试验成功，取0表示失败。因此 X(w) 就是 n 次试验中成功的总次数。

由于每个 Y_i 只能取0或1，所以 X(w) 的取值范围是 \{0, 1, 2, \ldots, n\}，这是一个离散随机变量。

4.3.4 二项分布的概率质量函数

要求 P(X(w) = k)，即恰好有 k 次成功的概率。首先需要从 n 次试验中选出 k 次作为成功的试验，有 \binom{n}{k} 种选法，其中组合数定义为

\binom{n}{k} = \frac{n!}{(n-k)!k!}

对于每一种选法，这 k 次成功各贡献概率 p，剩余 n-k 次失败各贡献概率 1-p。由于试验独立，概率相乘，因此

P(X(w) = k) = \binom{n}{k} (1-p)^{n-k} p^k, \quad k = 0, 1, \ldots, n

这就是二项分布的概率质量函数（PMF）。

4.3.5 归一性验证

要验证这是一个合法的概率分布，需要检查所有概率之和为1：

\sum_{k=0}^{n} P(X = k) = \sum_{k=0}^{n} \binom{n}{k} (1-p)^{n-k} p^k = 1

等号右边正是二项式定理 (a+b)^n = \sum_{k=0}^{n} \binom{n}{k} a^k b^{n-k} 的应用，令 a = p，b = 1-p，得到

(p + (1-p))^n = 1^n = 1

这验证了概率的归一性。二项式定理保证了二项分布的概率质量函数确实定义了一个合法的概率分布。

第五章常见概率分布

5.1 泊松分布

泊松分布 P(\lambda) 是一个重要的离散分布，参数 \lambda > 0。其概率质量函数为

P(X(w) = k) = e^{-\lambda} \frac{\lambda^k}{k!}, \quad k = 0, 1, 2, \ldots

5.1.1 用狄拉克函数表示概率密度

泊松分布的概率密度函数可以用狄拉克函数的级数形式写出：

f_X(x) = \sum_{k=0}^{\infty} e^{-\lambda} \frac{\lambda^k}{k!} \delta(x-k)

这个表达式表明泊松分布在每个非负整数 k 处有一个质量点，质量大小为 e^{-\lambda} \frac{\lambda^k}{k!}。求和从 k=0 到无穷，覆盖了所有可能的取值。

5.1.2 泊松分布的期望和方差

泊松分布有一个特殊性质：其期望和方差都等于参数 \lambda：

E[X(w)] = \lambda

\sigma_X^2 = \lambda

5.2 连续随机变量期望的计算

对于连续随机变量，期望通过积分定义：

E[X(w)] = \int_{-\infty}^{+\infty} x \cdot f_X(x) dx

这个积分的含义是：将所有可能的取值 x 与其对应的概率密度 f_X(x) 相乘后求和（通过积分实现）。

5.2.1 混合分布的例子

考虑一个混合随机变量 X，其密度函数为

f_X(x) = \frac{1}{4} \delta(x) + \frac{1}{4} \delta(x-1) + \frac{1}{2} f_W(x)

这里前两项是离散成分，最后一项 W 是某个连续随机变量（例如 W \sim N(0,1)）。计算期望时需要分段处理：

E[X] = \int_{-\infty}^{+\infty} x f_X(x) dx = \int_{-\infty}^{0} x \cdot \frac{1}{4} \delta(x) dx + \int_{-\infty}^{+\infty} x \cdot \frac{1}{4} \delta(x-1) dx + \frac{1}{2} \int_{-\infty}^{+\infty} x f_W(x) dx

第一项积分为 \frac{1}{4} \cdot 0 = 0（因为狄拉克函数在0处的加权），第二项为 \frac{1}{4} \cdot 1 = \frac{1}{4}，第三项是 \frac{1}{2} E[W]。如果 W \sim N(0,1)，则 E[W] = 0，因此总期望为 \frac{1}{4}。

5.2.2 二阶矩的计算

对于 E[X^2(w)]，利用类似的分段积分方法，并结合分部积分技巧。最终可以得到

E[X^2] = \frac{3}{4}

因此方差为

\sigma_X^2 = \text{Var}(X) = E[X^2] - (E[X])^2 = \frac{3}{4} - \left(\frac{1}{4}\right)^2 = \frac{11}{16}

这个方差也可以分解为各个成分的方差贡献：

\text{Var}(X) = \frac{1}{4} \text{Var}(X_0) + \frac{1}{4} \text{Var}(X_1) + \frac{1}{2} \text{Var}(W)

其中 X_0 和 X_1 是退化随机变量（取常数0和1），其方差为0，而 W 的方差为1。

5.3 常见的连续分布

5.3.1 均匀分布

均匀分布 U[a,b] 在区间 [a,b] 上有常数密度：

f_X(x) = \begin{cases} \frac{1}{b-a} & a \leq x \leq b \\ 0 & \text{else} \end{cases}

这个分布的含义是随机变量在区间内每个位置出现的概率密度相同，都是 \frac{1}{b-a}，而区间外的概率密度为0。

5.3.2 正态分布

正态分布 N(\mu, \sigma^2) 的密度函数为

f_X(x) = \frac{1}{\sigma\sqrt{2\pi}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)

参数 \mu 是期望，\sigma^2 是方差。这个分布是钟形曲线，关于 \mu 对称，\sigma 控制分布的宽度。

5.3.3 Gamma函数

Gamma分布依赖于Gamma函数 \Gamma(\lambda)，定义为

\Gamma(\lambda) = \int_0^{+\infty} e^{-x} x^{\lambda-1} dx, \quad \lambda > 0

Gamma函数有一个重要性质：对于正整数 k > 1，有

\Gamma(k) = (k-1)!

这意味着Gamma函数是阶乘的推广。Gamma函数满足递推关系

\Gamma(\lambda+1) = \lambda \Gamma(\lambda)

这个递推关系可以通过分部积分证明。

5.4 Gamma分布的性质

5.4.1 密度函数

如果随机变量 X(w) \sim \Gamma(\lambda)，其密度函数为

f_X(x) = \begin{cases} \frac{1}{\Gamma(\lambda)} e^{-x} x^{\lambda-1} & x > 0 \\ 0 & x \leq 0 \end{cases}

这里 \Gamma(\lambda) 是归一化常数，保证密度函数在整个实轴上的积分为1。

5.4.2 归一化验证

验证这确实是一个概率密度函数：

\int_{-\infty}^{+\infty} f_X(x) dx = \int_0^{+\infty} \frac{1}{\Gamma(\lambda)} e^{-x} x^{\lambda-1} dx = \frac{1}{\Gamma(\lambda)} \cdot \Gamma(\lambda) = 1

最后一步利用了Gamma函数的定义。

5.4.3 期望的计算

计算Gamma分布的期望：

E[X] = \int_{-\infty}^{+\infty} x f_X(x) dx = \frac{1}{\Gamma(\lambda)} \int_0^{+\infty} x \cdot e^{-x} x^{\lambda-1} dx

将 x 合并到指数项中：

= \frac{1}{\Gamma(\lambda)} \int_0^{+\infty} e^{-x} x^{\lambda} dx

这个积分恰好是 \Gamma(\lambda+1) 的定义，因此

E[X] = \frac{\Gamma(\lambda+1)}{\Gamma(\lambda)}

利用Gamma函数的递推关系 \Gamma(\lambda+1) = \lambda \Gamma(\lambda)，得到

E[X] = \lambda

5.4.4 方差的计算

计算二阶矩：

E[X^2] = \int_{-\infty}^{+\infty} x^2 f_X(x) dx = \frac{1}{\Gamma(\lambda)} \int_0^{+\infty} x^2 \cdot e^{-x} x^{\lambda-1} dx

= \frac{1}{\Gamma(\lambda)} \int_0^{+\infty} e^{-x} x^{\lambda+1} dx = \frac{\Gamma(\lambda+2)}{\Gamma(\lambda)}

再次使用递推关系，\Gamma(\lambda+2) = (\lambda+1) \Gamma(\lambda+1) = (\lambda+1) \lambda \Gamma(\lambda)，因此

E[X^2] = \lambda(\lambda+1)

方差为

\text{Var}(X) = E[X^2] - (E[X])^2 = \lambda(\lambda+1) - \lambda^2 = \lambda

这个结果说明Gamma分布的期望和方差都与参数 \lambda 有关，具体地，期望为 \lambda，方差也为 \lambda。

第六章随机变量的变换与多维分布

6.1 标准正态分布的平方

考虑 X(w) \sim N(0,1) 是标准正态分布，现在求 Y(w) = X^2(w) 的概率密度函数。这需要从累积分布函数入手。

首先计算 Y 的CDF：

F_Y(y) = P(Y(w) \leq y) = P(X^2(w) \leq y)

当 y \geq 0 时，不等式 X^2(w) \leq y 等价于 -\sqrt{y} \leq X(w) \leq \sqrt{y}，因此

F_Y(y) = P(-\sqrt{y} \leq X(w) \leq \sqrt{y}) = F_X(\sqrt{y}) - F_X(-\sqrt{y})

利用标准正态分布关于0对称的性质，有 F_X(-\sqrt{y}) = 1 - F_X(\sqrt{y})，但实际上直接从密度函数角度更清晰。对CDF求导得到密度函数：

f_Y(y) = \frac{d}{dy} F_Y(y) = \frac{d}{dy}\left(F_X(\sqrt{y}) - F_X(-\sqrt{y})\right)

使用链式法则：

f_Y(y) = f_X(\sqrt{y}) \cdot \frac{1}{2\sqrt{y}} + f_X(-\sqrt{y}) \cdot \frac{1}{2\sqrt{y}}

第二项来自 \frac{d}{dy}(-\sqrt{y}) = -\frac{1}{2\sqrt{y}}，但前面有负号，所以变为正。由于标准正态密度函数关于0对称，即 f_X(\sqrt{y}) = f_X(-\sqrt{y})，因此

f_Y(y) = \frac{1}{\sqrt{y}} f_X(\sqrt{y})

将标准正态密度 f_X(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}} 代入，并注意 x = \sqrt{y} 时 x^2 = y：

f_Y(y) = \frac{1}{\sqrt{y}} \cdot \frac{1}{\sqrt{2\pi}} e^{-\frac{y}{2}} = \frac{1}{\sqrt{2\pi y}} e^{-\frac{y}{2}}, \quad y > 0

这就是自由度为1的卡方分布 \chi^2(1) 的密度函数。完整的密度函数为

f_Y(y) = \begin{cases} \frac{1}{\sqrt{2\pi y}} e^{-\frac{y}{2}} & y \geq 0 \\ 0 & \text{sinon} \end{cases}

6.2 线性变换的一般规则

考虑随机变量 X(w) 有密度函数 f_X，定义线性变换

Y(w) = aX(w) + b, \quad a \neq 0

要求 Y 的分布。

6.2.1 累积分布函数

Y 的CDF为

F_Y(y) = P(Y(w) \leq y) = P(aX(w) + b \leq y)

这里需要分两种情况。

当 a > 0 时，不等式方向不变：

P(aX(w) + b \leq y) = P\left(X(w) \leq \frac{y-b}{a}\right) = F_X\left(\frac{y-b}{a}\right)

当 a < 0 时，不等式方向改变。但从PDF的角度直接处理更简洁。

6.2.2 概率密度函数

对CDF求导得到PDF。关键的结果是：

f_Y(y) = \frac{d}{dy} F_Y(y) = \frac{1}{|a|} f_X\left(\frac{y-b}{a}\right)

这个公式统一了 a > 0 和 a < 0 两种情况。系数 \frac{1}{|a|} 是雅可比因子，它来自变量替换时的尺度变换。分母中的绝对值保证了密度函数非负，分子中的 \frac{y-b}{a} 是逆变换，将 Y 的取值映射回 X 的取值。

6.3 多维随机变量

6.3.1 随机向量的定义

随机向量是将样本空间映射到多维实数空间的函数：

X(w) = \begin{bmatrix} X_1(w) \\ X_2(w) \end{bmatrix}

这里 X_1(w) 和 X_2(w) 是两个随机变量，它们共同构成一个二维随机向量。

6.3.2 联合累积分布函数

联合CDF定义为

F_X(x_1, x_2) = P(X_1(w) \leq x_1, X_2(w) \leq x_2)

这个函数给出两个随机变量同时满足各自不等式的概率。它是二维实空间上的函数。

6.3.3 联合概率密度函数

如果联合CDF可微，则联合PDF定义为

f_X(x_1, x_2) = \frac{\partial^2}{\partial x_1 \partial x_2} F_X(x_1, x_2)

这是对两个变量分别求偏导数。联合密度函数满足

\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} f_X(x_1, x_2) dx_1 dx_2 = 1

6.4 多维正态分布

考虑二维随机向量 X(w) = [X_1(w), X_2(w)]^T 服从二维正态分布 N(\mu, \Sigma)。

6.4.1 均值向量

均值是一个向量，包含每个分量的期望：

\mu = E[X(w)] = \begin{bmatrix} E[X_1(w)] \\ E[X_2(w)] \end{bmatrix} = \begin{bmatrix} E[X_1] \\ E[X_2] \end{bmatrix}

6.4.2 协方差矩阵

协方差矩阵 \Sigma 是一个 2 \times 2 的对称矩阵，包含方差和协方差信息：

\Sigma = \begin{bmatrix} \text{Var}(X_1) & \text{Cov}(X_1, X_2) \\ \text{Cov}(X_1, X_2) & \text{Var}(X_2) \end{bmatrix}

对角线元素是各个分量的方差，非对角线元素是协方差。由于协方差满足 \text{Cov}(X_1, X_2) = \text{Cov}(X_2, X_1)，所以这个矩阵是对称的。

6.4.3 不相关随机变量的特殊情况

首先考虑 X_1(w) 和 X_2(w) 不相关的情况，即 \text{Cov}(X_1, X_2) = 0。此时协方差矩阵变为对角矩阵：

\Sigma = \begin{bmatrix} \sigma_1^2 & 0 \\ 0 & \sigma_2^2 \end{bmatrix}

其中 \sigma_1^2 = \text{Var}(X_1)，\sigma_2^2 = \text{Var}(X_2)。

6.4.4 二维正态分布的密度函数

二维正态分布的密度函数有一个标准形式：

f_{X,\mu,\Sigma}(x) = \frac{1}{2\pi |\Sigma|^{1/2}} \exp\left(-\frac{1}{2}(x - \mu)^T \Sigma^{-1} (x - \mu)\right)

这里 |\Sigma| 是协方差矩阵的行列式，(x - \mu)^T 是列向量 (x - \mu) 的转置，\Sigma^{-1} 是协方差矩阵的逆。指数中的二次型 (x - \mu)^T \Sigma^{-1} (x - \mu) 刻画了点 x 到均值 \mu 的马氏距离。归一化常数 \frac{1}{2\pi |\Sigma|^{1/2}} 保证密度函数的积分为1，可以写成 \frac{1}{\sqrt{(2\pi)^2 |\Sigma|}}。

将协方差矩阵的逆和行列式展开后，指数部分的二次型为

(x - \mu)^T \Sigma^{-1} (x - \mu) = \begin{bmatrix} x_1 - \mu_1 & x_2 - \mu_2 \end{bmatrix} \Sigma^{-1} \begin{bmatrix} x_1 - \mu_1 \\ x_2 - \mu_2 \end{bmatrix}

因此密度函数可以完整写为

f(x) = \frac{1}{\sqrt{(2\pi)^2 |\Sigma|}} \exp\left(-\frac{1}{2} \begin{bmatrix} x_1 - \mu_1 \\ x_2 - \mu_2 \end{bmatrix}^T \Sigma^{-1} \begin{bmatrix} x_1 - \mu_1 \\ x_2 - \mu_2 \end{bmatrix}\right)

6.5 概率不等式

6.5.1 Markov不等式

Markov不等式给出了随机变量偏离其期望的一个粗糙上界。对于非负随机变量 X(w) \geq 0，对任意 a > 0，有

P(X(w) \geq a) \leq \frac{E[X(w)]}{a}

这个不等式的含义是：如果一个非负随机变量的期望有限，那么它取很大值的概率会受到期望除以该值的限制。Markov不等式只需要知道期望就能给出概率的上界，但这个上界通常比较宽松。

6.5.2 Chebyshev不等式

Chebyshev不等式利用方差信息给出更精确的界。对于随机变量 Y(w)，设 \mu_Y = E[Y]，\sigma_Y^2 = \text{Var}(Y)，则对任意 a > 0，有

P(|Y(w) - \mu_Y| \geq a) \leq \frac{\sigma_Y^2}{a^2}

这个不等式说明随机变量偏离其均值超过 a 的概率最多为方差除以 a^2。Chebyshev不等式比Markov不等式更精细，因为它同时利用了均值和方差的信息。特别地，如果方差很小，随机变量就集中在均值附近。

这个不等式也说明，对于任何分布，至少有 (1-\frac{\sigma^2}{a^2}) 的概率落在 (\mu - a, \mu + a) 区间内。

6.5.3 Cauchy-Schwarz不等式

Cauchy-Schwarz不等式是关于期望和协方差的基本不等式。对于任意两个随机变量 X(w) 和 Y(w)，假设 E[X(w)] = 0，E[Y(w)] = 0（如果不为零，可以通过中心化处理），则

E[X(w)Y(w)] \leq \sigma_X \sigma_Y

这里 \sigma_X = \sqrt{\text{Var}(X)} 是 X 的标准差，\sigma_Y = \sqrt{\text{Var}(Y)} 是 Y 的标准差。等价地，对于协方差，有

|\text{Cov}(X, Y)| \leq \sigma_X \sigma_Y

注意左边是绝对值，因为协方差可能为负。这个不等式的直接推论是：

E[X(w)Y(w)] \leq E[X(w)] \cdot E[Y(w)]

但这个形式需要在特定条件下才成立，一般形式是通过方差和协方差表述。

6.5.4 相关系数的定义

利用Cauchy-Schwarz不等式，可以定义相关系数 \rho_{XY}：

\rho_{XY} = \frac{\text{Cov}(X, Y)}{\sigma_X \sigma_Y}

由Cauchy-Schwarz不等式知

-1 \leq \rho_{XY} \leq 1

相关系数衡量两个随机变量之间的线性相关程度。\rho_{XY} = 1 表示完全正相关，\rho_{XY} = -1 表示完全负相关，\rho_{XY} = 0 表示不相关（但不一定独立）。

6.5.5 由Cauchy不等式推导相关系数性质

从Cauchy-Schwarz不等式出发，我们有

-1 \leq \frac{E[(X(w) - E[X(w)])](Y(w) - E[Y(w)])}{\sigma_X \sigma_Y} \leq 1

这正是相关系数的定义，因此相关系数天然满足 |\rho_{XY}| \leq 1。这个界限说明协方差永远不会超过两个标准差的乘积。

6.6 Jensen不等式

6.6.1 凸函数的定义

函数 \phi: \mathbb{R} \to \mathbb{R} 是凸函数，当且仅当对任意 x, y \in \mathbb{R} 和 \lambda \in [0,1]，有

\phi(\lambda x + (1-\lambda)y) \leq \lambda \phi(x) + (1-\lambda) \phi(y)

几何上，这意味着连接曲线上任意两点的弦总是在曲线的上方（或重合）。

6.6.2 Jensen不等式的陈述

如果 \phi 是凸函数，X(w) 是随机变量，则

E[\phi(X(w))] \geq \phi(E[X(w)])

这个不等式说明：凸函数的期望不小于期望的凸函数。换句话说，先求期望再做凸变换，得到的值会比先做凸变换再求期望要小。这是因为凸函数会"放大"变异性，因此作用在随机变量上会产生更大的期望值。

6.7 收敛性概念

6.7.1 几乎必然收敛

给定概率空间 (\Omega, \mathcal{F}, P)，考虑随机变量序列 X_1(w), X_2(w), \ldots, X_n(w), \ldots 和随机变量 X(w)。

几乎必然收敛（almost sure convergence）意味着：

P\left(\lim_{n \to \infty} X_n(w) = X(w)\right) = 1

等价地，可以写成

P\left(w \in \Omega : \lim_{n \to \infty} X_n(w) = X(w)\right) = 1

这表示除了一个零概率事件外，对所有样本点 w，序列 X_n(w) 都会收敛到 X(w)。这是最强的收敛概念，因为它要求对几乎所有路径都收敛。

6.7.2 依概率收敛

依概率收敛（convergence in probability）是一个较弱的概念。序列 X_n(w) 依概率收敛到 X(w)，记为 X_n(w) \xrightarrow{P} X(w)，当且仅当对任意 \varepsilon > 0，有

\lim_{n \to \infty} P(|X_n(w) - X(w)| \geq \varepsilon) = 0

等价地，可以写成

\lim_{n \to \infty} P(w \in \Omega : |X_n(w) - X(w)| \geq \varepsilon) = 0

这个定义的含义是：当 n 越来越大时，X_n(w) 与 X(w) 的差距超过任意给定阈值 \varepsilon 的概率趋向于0。注意这里不要求每个样本路径都收敛，只要求"距离很远"的样本点的概率集合趋向于0。

6.7.3 两种收敛的关系

几乎必然收敛可以推出依概率收敛，但反之不成立。依概率收敛只关心概率测度，而几乎必然收敛关心的是逐点行为。

一个注释（Remarque）：如果 X_n(w) \xrightarrow{P.S.} X(w)（几乎必然收敛），那么 X_n(w) \xrightarrow{P} X(w)（依概率收敛）。但依概率收敛不保证样本路径的收敛性，因为可能在不同的 n 处，偏离 X(w) 超过 \varepsilon 的样本点集合是不同的，尽管每个这样的集合的概率都趋向于0。

6.7.4 依概率收敛的等价刻画

另一种理解依概率收敛的方式是：对任意 \varepsilon > 0，当 n 越来越大时，

\lim_{n \to \infty} P(|X_n(w) - X(w)| \geq \varepsilon) = 0

意味着对于任意给定的容忍度 \varepsilon，X_n 落在 X 的 \varepsilon-邻域 (X(w) - \varepsilon, X(w) + \varepsilon) 之外的概率最终趋于0。因此，虽然不能保证每个样本点都收敛，但"不收敛的样本点"构成的事件的概率可以任意小。

第七章极限定理

7.1 收敛性的例子

考虑随机变量序列 X_n(w)，其分布为

P(X_n(w) = 0) = 1 - \frac{1}{n^2}, \quad P(X_n(w) = 1) = \frac{1}{n^2}

7.1.1 依概率收敛的验证

要判断 X_n(w) 是否依概率收敛到0。对任意 \varepsilon > 0，计算

P(|X_n(w)| > \varepsilon) = \frac{1}{n^2} \xrightarrow{n \to \infty} 0

这说明 X_n(w) \xrightarrow{P} 0，即序列依概率收敛到0。

7.1.2 几乎必然收敛的判断

对于几乎必然收敛，情况更复杂。虽然在每个固定的 n 处，X_n(w) = 1 的概率很小，但如果这些事件在无限多个 n 上反复发生，就不能保证几乎必然收敛。实际上，在依概率收敛条件下，假设 X_n(w) = 1 只是小概率事件，但不能断定几乎所有样本路径都收敛到0。

7.2 依分布收敛

依分布收敛（convergence in distribution）是另一种更弱的收敛概念，记为 X_n(w) \Rightarrow X(w)。它的定义是：序列 X_n(w) 依分布收敛到 X(w)，当且仅当对任意连续有界函数 f: \mathbb{R} \to \mathbb{R}，有

E[f(X_n(w))] \xrightarrow{n \to \infty} E[f(X(w))]

这个定义说明，依分布收敛关注的不是随机变量本身的接近程度，而是它们的分布函数的接近程度。如果两个随机变量的分布接近，那么任何连续有界函数作用后的期望也应该接近。

7.3 概率论的极限定理

7.3.1 弱大数定理（WLLN）

弱大数定理描述的是独立同分布随机变量的样本均值的渐近行为。假设 X_1(w), X_2(w), \ldots, X_n(w) 是独立随机变量，满足：

对所有 i，E[X_i(w)] = \mu
对所有 i，\sigma_{X_i}^2 = \sigma^2

定义样本均值为 \frac{1}{n} \sum_{i=1}^n X_i(w)，它是 n 个随机变量的算术平均。弱大数定理断言

\frac{1}{n} \sum_{i=1}^n X_i(w) \xrightarrow{P} \mu = E[X_1] = \int_{-\infty}^{+\infty} x f_{X_1}(x) dx

这个结论称为经验均值依概率收敛到理论期望。也就是说，当样本量足够大时，样本均值会接近真实的总体均值，偏离的概率会趋向于0。这是统计推断的理论基础：我们可以用大量观测的平均值来估计未知的期望值。

7.3.2 强大数定理（SLLN）

强大数定理给出了更强的结论。假设 X_1(w), \ldots, X_n(w) 独立，并且满足：

对所有 i，E[X_i(w)] = \mu
对所有 i，E[|X_i(w) - \mu|^4] < \infty

第二个条件要求偏差的四阶矩有限，这是比方差有限更强的条件。在这些条件下，强大数定理保证

\frac{1}{n} \sum_{i=1}^n X_i(w) \xrightarrow{P.S.} \mu

即样本均值几乎必然收敛到 \mu。这意味着除了零概率事件外，对几乎所有的样本路径，样本均值都会收敛到总体均值。这比依概率收敛要强得多。

7.3.3 中心极限定理（CLT）

中心极限定理是概率论中最重要的定理之一。假设 \{X_n(w)\} 是独立同分布（iid）的随机变量序列，满足：

E[X_i] = \mu
\text{Var}[X_i] = \sigma^2 < \infty

定义和 S_n(w) = \sum_{i=1}^n X_i(w)。由期望和方差的性质：

E[S_n(w)] = \sum_{i=1}^n E[X_i(w)] = n\mu

\text{Var}[S_n(w)] = \text{Var}\left[\sum_{i=1}^n X_i(w)\right] = \sum_{i=1}^n \text{Var}[X_i(w)] = n\sigma^2

第二个等式利用了独立性：独立随机变量和的方差等于方差之和。

标准化形式

为了得到一个有非退化极限分布的量，我们对 S_n(w) 进行标准化。定义

Z_n(w) = \frac{S_n(w) - n\mu}{\sqrt{n\sigma^2}}

这个变换首先减去均值（使期望为0），然后除以标准差（使方差为1）。我们可以将这个表达式改写为

Z_n(w) = \frac{1}{\sigma\sqrt{n}} \left(\sum_{i=1}^n X_i(w) - n\mu\right)

进一步整理：

= \frac{1}{\sigma\sqrt{n}} \cdot n\left(\frac{1}{n} \sum_{i=1}^n X_i(w) - \mu\right)

= \frac{\sqrt{n}}{\sigma} \left(\frac{1}{n} \sum_{i=1}^n X_i(w) - \mu\right)

最后这个形式清晰地显示了：括号内是样本均值与理论期望的偏差，外面的 \frac{\sqrt{n}}{\sigma} 是放大因子。虽然样本均值会收敛到 \mu（由大数定理），但偏差乘以 \sqrt{n} 后会保持在一个稳定的尺度上。

中心极限定理的结论

中心极限定理断言：标准化的和 Z_n(w) 依分布收敛到标准正态分布，即

Z_n(w) \Rightarrow N(0,1)

其中标准正态分布的密度函数为

f(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}

这个结果的意义深远：无论原始随机变量 X_i 服从什么分布（只要期望和方差有限且独立同分布），它们的和经过适当标准化后都会趋向正态分布。这解释了为什么正态分布在自然界和社会科学中如此普遍——许多现象都是大量独立微小效应的累积。

第八章特征函数理论

8.1 特征函数的定义与中心极限定理的证明

8.1.1 特征函数的引入

中心极限定理的证明需要使用特征函数。对于随机变量 X(w)，其特征函数定义为

\varphi_X(u) = E[e^{iuX(w)}] = \int_{-\infty}^{+\infty} e^{iux} f_X(x) dx

这里 i = \sqrt{-1} 是虚数单位，u \in \mathbb{R} 是参数。特征函数本质上是概率密度函数的傅里叶变换。

8.1.2 标准化随机变量的期望

在标准正态分布 \mu^2 = (0,1) 的设定下，定义标准化的和为

Z_n(w) = \frac{1}{\sqrt{n}} \sum_{i=1}^n X_i(w)

由于每个 X_i 已经是中心化的（期望为0），因此

E[Z_n(w)] = \frac{1}{\sqrt{n}} E\left[\sum_{i=1}^n X_i(w)\right] = \frac{1}{\sqrt{n}} \sum_{i=1}^n E[X_i(w)]

8.1.3 标准化和的特征函数

Z_n(w) 的特征函数可以通过以下步骤计算：

\varphi_{Z_n(w)}(u) = \varphi_{\frac{1}{\sqrt{n}}\sum_{i=1}^n X_i(w)}(u)

利用特征函数的两个性质进行简化：

第一个性质：对于缩放后的随机变量，有

\varphi_{\frac{X(w)}{\sqrt{n}}}(u) = E\left[e^{iu\frac{X(w)}{\sqrt{n}}}\right] = E\left[e^{i\frac{u}{\sqrt{n}}X(w)}\right] = \varphi_{X(w)}\left(\frac{u}{\sqrt{n}}\right)

第二个性质：如果 X_1, \ldots, X_n 独立同分布（iid），则它们的特征函数相同，即

\varphi_{X_1} = \varphi_{X_2} = \cdots = \varphi_{X_n}

结合这两个性质，和的特征函数可以写为各个分量特征函数的乘积（这是独立性的结果）：

\varphi_{Z_n(w)}(u) = \varphi_{X_1(w)}\left(\frac{u}{\sqrt{n}}\right) \cdot \varphi_{X_2(w)}\left(\frac{u}{\sqrt{n}}\right) \cdots \varphi_{X_n(w)}\left(\frac{u}{\sqrt{n}}\right)

由于iid，所有项相同，因此

\varphi_{Z_n(w)}(u) = \left[\varphi_{X_1(w)}\left(\frac{u}{\sqrt{n}}\right)\right]^n

8.1.4 特征函数的泰勒展开

对于中心化的随机变量（E[X_1(w)] = 0），其特征函数可以进行泰勒展开：

\varphi_{X_1(w)}(u) = E[e^{iuX_1(w)}] = E\left[1 + iuX_1(w) - \frac{u^2}{2}X_1^2(w) + \cdots\right]

取期望，由于 E[X_1(w)] = 0 和 E[X_1^2(w)] = \sigma^2（假设方差为 \sigma^2），得到

\varphi_{X_1(w)}(u) = 1 + iu \cdot E[X_1(w)] - \frac{u^2}{2} E[X_1^2(w)] + o(u^2) = 1 - \frac{u^2}{2}\sigma^2 + o(u^2)

对于标准化后的变量（方差为1的情况），这简化为

\varphi_{X_1(w)}(u) = 1 - \frac{u^2}{2} + o(u^2)

8.1.5 独立和的特征函数性质

独立随机变量和的特征函数等于各自特征函数的乘积。如果 X(w) 和 Y(w) 独立，则

\varphi_{X(w)+Y(w)}(u) = E[e^{iu(X(w)+Y(w))}] = E[e^{iuX(w)} \cdot e^{iuY(w)}] = E[e^{iuX(w)}] \cdot E[e^{iuY(w)}] = \varphi_{X(w)}(u) \cdot \varphi_{Y(w)}(u)

最后一个等号利用了独立性：独立随机变量函数的期望等于期望的乘积。

8.2 线性组合的特征函数

考虑 Z(w) = aX(w) + bY(w)，其中 a, b \in \mathbb{R}。计算其特征函数：

第一步，缩放性质：

\varphi_{aX(w)}(u) = E[e^{iuaX(w)}] = \varphi_{X(w)}(au)

第二步，如果 X 和 Y 独立，则和的特征函数为乘积，因此

\varphi_{aX(w)+bY(w)}(u) = \varphi_{X(w)}(au) \cdot \varphi_{Y(w)}(bu)

8.3 特征函数的基本性质

8.3.1 有界性

特征函数的模总是不超过1：

|\varphi_X(u)| \leq \varphi_X(0) = 1

这是因为利用三角不等式，有

\left|E[e^{iuX(w)}]\right| \leq E\left[|e^{iuX(w)}|\right] = E[1] = 1

最后一步利用了 |e^{iuX(w)}| = 1 这个事实（复指数的模为1）。

8.3.2 连续性

\varphi_X(u) 是参数 u 的连续函数。这来自于控制收敛定理。

8.3.3 Hermite对称性

特征函数满足

\varphi_X(-u) = \overline{\varphi_X(u)}

这里 \overline{z} 表示复共轭。这个对称性称为Hermite对称性，它刻画了实值随机变量特征函数的特殊结构。

8.4 特征函数的唯一性定理

特征函数唯一确定分布。如果两个随机变量有相同的特征函数，即

\varphi_X(u) = \varphi_Y(u), \quad \forall u

那么 X(w) 和 Y(w) 有相同的分布，即

F_X(x) = P(X(w) \leq x) = P(Y(w) \leq x) = F_Y(x)

这个定理说明特征函数完全刻画了随机变量的分布信息。

8.5 Lévy连续性定理

Levy连续性定理给出了如何从特征函数恢复累积分布函数。假设 P(X(w) = a) = P(X(w) = b) = 0（端点处概率为0），则

F_X(b) - F_X(a) = \lim_{T \to \infty} \frac{1}{2\pi} \int_{-T}^T \frac{e^{-iua} - e^{-iub}}{-iu} \varphi_X(u) du

这个公式通过特征函数 \varphi_X 的积分计算出CDF在区间 [a,b] 上的增量，即 P(X(w) \in [a,b])。虽然理论上可行，但实际计算中这个公式并不常用。

8.6 傅里叶逆变换与概率密度函数

8.6.1 傅里叶逆变换公式

概率密度函数可以通过特征函数的傅里叶逆变换得到：

f_X(x) = \frac{1}{2\pi} \int_{-\infty}^{+\infty} \varphi_X(u) \cdot e^{-iux} du

这个公式在理论上非常优美，它建立了概率密度函数与特征函数之间的双向关系。

8.6.2 存在密度函数的充分条件

如果特征函数是可积的，即

\int_{-\infty}^{+\infty} |\varphi_X(u)| du < \infty

也就是说 \varphi_X(u) \in L^1(\mathbb{R})，那么 X(w) 必有概率密度函数，且密度函数由上述傅里叶逆变换给出：

f_X(x) = \frac{1}{2\pi} \int_{-\infty}^{+\infty} \varphi_X(u) e^{-iux} du

8.7 特征函数与矩的关系

如果随机变量 X(w) 的 k 阶矩存在，即 E[X(w)^k] < \infty，记为 m_k = E[X^k(w)]。常见的矩包括：

一阶矩（期望）：E[X(w)] = \mu

二阶矩：E[X^2(w)] = \mu^2 + \sigma_X^2

这个关系来自 E[X^2] = \text{Var}(X) + (E[X])^2 = \sigma_X^2 + \mu^2。

更高阶的矩以此类推，三阶矩、四阶矩等都有各自的统计意义。特征函数可以通过求导在原点处得到这些矩的信息。

8.8 特征函数的高阶性质

8.8.1 高阶导数公式

特征函数的 k 阶导数由下式给出：

\varphi_X^{(k)}(u) = \int_{-\infty}^{+\infty} (ix)^k e^{iux} f_X(x) dx

当 k=1 时，得到一阶导数：

\varphi_X'(u) = \int_{-\infty}^{+\infty} (ix) e^{iux} f_X(x) dx

在原点处求值，\varphi_X'(0) 的含义是：

\varphi_X'(0) = i E[X(w)]

这个等式表明特征函数在原点处的一阶导数与随机变量的期望有关。

8.8.2 矩的存在条件

如果随机变量的 k 阶绝对矩有限，即

E[|X(w)|^k] < \infty

那么可以通过特征函数在原点处的导数得到矩的信息。特别地，特征函数在原点处的泰勒展开为

E[X^k(w)] = \frac{1}{i^k} \varphi_X^{(k)}(0)

8.8.3 泰勒展开与矩生成

利用指数函数的泰勒展开，特征函数可以表示为矩的级数：

\sum_{k=0}^{\infty} \frac{u^k}{k!} E[X^k] = \sum_{k=0}^{\infty} \frac{u^k}{i!k!} \varphi_X^{(k)}(0)

这个展开式中，第 k 项的系数正是 k 阶矩 E[X^k]。反过来，通过特征函数的导数可以计算矩：

E[e^{uX}] = \varphi_X(iu)

这连接了特征函数与矩生成函数（MGF）。矩生成函数定义为

\psi_X(u) = E[e^{uX}] = \varphi_X(iu)

因此

\varphi'_X(u) = \int_{-\infty}^{+\infty} ix e^{iux} f_X(x) dx

在 u=0 处，有 \varphi'_X(0) = i E[X]。

对于任意 u，特征函数可以在原点附近泰勒展开为

\varphi(u) = \varphi(0) + u\varphi'(0) + \frac{u^2}{2}\varphi''(0) + \cdots

8.9 特征函数的基本定理

8.9.1 特征性定理

特征函数具有两个重要的刻画性质：

第一，\psi_X(u) 的相关测度性。这涉及到特征函数如何确定概率测度。

第二，\varphi_X(u) 与分布的对应关系是一对一的。这意味着特征函数和随机变量的分布之间存在双射关系：

\varphi(u) \Leftrightarrow F_X

特征分布和随机分布通过特征函数一一对应。

8.9.2 Lévy连续性定理

Lévy连续性定理是依分布收敛的重要刻画工具：

\mu_n \Rightarrow \mu \quad \Leftrightarrow \quad X_n(w) \Rightarrow X(w)

其中 \mu_n 和 \mu 是概率测度。等价地，用特征函数表述为：

\varphi_{X_n}(u) \xrightarrow{n \to \infty} \varphi_X(u), \quad \forall u

特征函数的逐点收敛当且仅当对应的随机变量依分布收敛。这个定理在证明中心极限定理时起到关键作用。

8.10 泊松分布的贝叶斯推断例子

考虑随机变量 X(w) \sim P(\lambda)，即服从参数为 \lambda 的泊松分布。泊松分布的概率质量函数为

P(X(w) = k) = e^{-\lambda} \frac{\lambda^k}{k!}, \quad k = 0, 1, 2, \ldots

给定两个参数设定：

\begin{array}{ll} \text{(1)} & \left\{ \begin{aligned} \mathbb{E}[X(\omega)] &= \lambda \\ \sigma_X^2 = \lambda \end{aligned} \right. \quad\quad \text{(2)} & \left\{ \begin{aligned} \Pr\{\lambda=1\} &= \tfrac{1}{3} \\ \Pr\{\lambda=3\} &= \tfrac{2}{3} \end{aligned} \right. \end{array}

在观测到数据（样本）的情况下，求参数 \lambda 的后验概率。具体地，观测到 X_1 = 2 和 X_2 = 4，现在要计算在这个观测条件下 \lambda = 2 的后验概率。

利用贝叶斯公式，后验概率可以写为

P(\lambda = 2 | X_1 = 2, X_2 = 4) = \frac{P(X_1 = 2, X_2 = 4 | \lambda = 2) \cdot P(\lambda = 2)}{P(X_1 = 2, X_2 = 4)}

这个公式的含义是：给定观测数据后参数的概率，等于似然函数乘以先验概率，再除以边缘概率（归一化常数）。分母 P(X_1 = 2, X_2 = 4) 是边缘概率，需要对所有可能的 \lambda 值求和。假设 \lambda 只有两个候选值：\lambda = 2 和 \lambda = 3（这取决于问题的先验设定），利用全概率公式展开分母：

P(X_1 = 2, X_2 = 4) = P(X_1 = 2, X_2 = 4 | \lambda = 2) \cdot P(\lambda = 2) + P(X_1 = 2, X_2 = 4 | \lambda = 3) \cdot P(\lambda = 3)

因此后验概率可以改写为分子除以这个包含两项的分母。注意分母中同时包含了 \lambda = 2 和 \lambda = 3 两种情况的贡献。

由于泊松分布的两个样本独立，联合概率等于各自概率的乘积：

P(X_1, X_2 | \lambda) = P(X_1 | \lambda) \cdot P(X_2 | \lambda)

对于 \lambda = 2 的情况，计算联合似然时需要分别计算两个概率。利用泊松分布的概率质量函数

P(X = k) = e^{-\lambda} \frac{\lambda^k}{k!}

可以得到

P(X_1 = 2 | \lambda = 2) = e^{-2} \frac{2^2}{2!} = e^{-2} \cdot 2

以及

P(X_2 = 4 | \lambda = 2) = e^{-2} \frac{2^4}{4!} = e^{-2} \cdot \frac{2}{3}

将两个概率相乘，得到联合似然为

P(X_1 = 2, X_2 = 4 | \lambda = 2) = \left(e^{-2} \cdot 2\right) \cdot \left(e^{-2} \cdot \frac{2}{3}\right) = e^{-4} \cdot \frac{4}{3}

这个表达式也可以写成更对称的形式

P(X_1 = 2, X_2 = 4 | \lambda = 2) = \left(e^{-2} \cdot \frac{2^2}{2!}\right) \cdot \left(e^{-2} \cdot \frac{2^4}{4!}\right)

假设先验概率相等或按某种方式给定，代入具体数值后计算第一问的结果为

P(\lambda = 2 | X_1 = 2, X_2 = 4) = 0.245

类似地，对于第二问计算 \lambda = 3 的后验概率，利用同样的贝叶斯公式和计算流程，得到

P(\lambda = 3 | X_1 = 2, X_2 = 4) = 0.755

两个后验概率之和为 0.245 + 0.755 = 1.000，满足概率的归一性。从结果来看，观测到 X_1 = 2 和 X_2 = 4 后，\lambda = 3 的后验概率（0.755）远高于 \lambda = 2 的后验概率（0.245）。这说明数据更支持参数 \lambda = 3 的假设。这个结论是合理的，因为两个观测值的和为6，而如果 \lambda = 3，两个独立泊松随机变量的期望和为6，与观测数据更加吻合；而如果 \lambda = 2，期望和仅为4，与观测有一定偏差。贝叶斯推断通过似然函数和先验分布，定量地给出了各个参数假设在观测数据下的可信度。

第九章矩阵代数基础

9.1 矩阵的基本概念

考虑 n 阶方阵 A \in M_{n×n}(\mathbb{R})，这表示 A 是一个 n 行 n 列的实数矩阵。矩阵可以按列的方式表示，将 A 看作由 n 个列向量组成：

A = (a_1, a_2, \ldots, a_n)

其中每个 a_i 是一个 n 维列向量。等价地，可以用元素的形式表示为

A = (a_{ij})_{1 \leq i \leq n, 1 \leq j \leq n}

其中 i 是行指标，j 是列指标。完整的矩阵形式可以写为

A = \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nn} \end{bmatrix}_{n \times n}

9.2 矩阵的基本运算

矩阵转置 A^T 定义为将矩阵的行列互换，即如果 A = (a_{ij})，则转置后的矩阵元素为

A^T = (a_{ji})

第 i 行第 j 列的元素变为第 j 行第 i 列。

共轭转置 A^* 定义为先取每个元素的共轭，再转置：

A^* = \overline{A}^T = \overline{(a_{ji})}

这里 \overline{z} 表示复数 z 的共轭。对于实矩阵，共轭转置就是转置。

单位矩阵 I_n 是对角线元素全为1、其余元素全为0的矩阵：

I_n = \begin{bmatrix} 1 & 0 & \cdots & 0 \\ 0 & 1 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1 \end{bmatrix}

9.3 矩阵的特殊性质

对称性：如果矩阵 A = A^T，则称 A 是对称矩阵（A \in M_{n \times n}(\mathbb{R})）。对称矩阵满足 a_{ij} = a_{ji} 对所有 i, j 成立。

Hermitian矩阵（厄米矩阵）：如果 A = A^*，即矩阵等于其共轭转置，则称 A 是Hermitian矩阵。这是对称矩阵在复数域上的推广。

Unitaire矩阵（酉矩阵）：如果 AA^* = A^*A = I，则称 A 是酉矩阵。这等价于 A^* = A^{-1}，即共轭转置就是逆矩阵。

正交矩阵：如果 A^T A = A A^T = I_n，则称 A 是正交矩阵。这是酉矩阵在实数域上的特例，满足 A^T = A^{-1}。

Normale矩阵（正规矩阵）：如果 A^* A = A A^*，则称 A 是正规矩阵。这表示矩阵与其共轭转置可交换。

9.4 特征值与特征向量

对于 n \times n 矩阵 A，如果存在非零向量 \underline{v} \neq 0 和标量 \lambda，使得

A\underline{v} = \lambda \underline{v}

则称 \lambda 是矩阵 A 的特征值，\underline{v} 是对应于 \lambda 的特征向量。这个等式的几何含义是：向量 \underline{v} 在矩阵 A 的作用下仅发生伸缩变换，不改变方向，伸缩倍数为 \lambda。

关于特征向量有几个重要说明：如果 \underline{v} = 0，则 A\underline{v} = 0 对任意 \lambda 都成立，这没有意义，因此要求特征向量必须非零。如果 \underline{v} 是特征向量，那么任意其倍数 c\underline{v}（c \neq 0）也是对应于同一特征值的特征向量，因此特征向量不唯一。对应于特征值 \lambda 的所有特征向量（加上零向量）构成一个子空间，记为 V_\lambda。如果存在 \underline{v}_i 使得 A\underline{v}_i = -2\underline{v}_i，则 -2\underline{v}_i 也是特征向量。

9.5 特征多项式

特征多项式 P_A(\lambda) 定义为

P_A(\lambda) = \det(A - \lambda I)

这是矩阵 A - \lambda I 的行列式。特征值就是使得这个行列式为零的 \lambda 值，即特征多项式的根。特征多项式可以因式分解为

P_A(\lambda) = \prod_{i=1}^n (\lambda_i - \lambda) = \prod_{i=1}^k (\lambda_i - \lambda)^{m_i}

这里 \lambda_1, \lambda_2, \ldots, \lambda_k 是 k 个不同的特征值，m_i 是特征值 \lambda_i 的代数重数（在特征多项式中作为根的重数）。所有代数重数之和等于 n，即 \sum_{i=1}^k m_i = n。

对于每个特征值 \lambda_i，存在非零向量 \underline{v}_i 使得 A\underline{v}_i = \lambda_i \underline{v}_i。这些向量的存在性由方程 (A - \lambda_i I)\underline{v} = 0 有非零解保证，而这等价于 \det(A - \lambda_i I) = 0，即 \lambda_i 是特征值。

一个具体例子：假设特征多项式为 P_A(\lambda) = (1-\lambda)(2-\lambda)^2，这说明有两个特征值：\lambda_1 = 1 的代数重数 m_1 = 1，\lambda_2 = 2 的代数重数 m_2 = 2。对于 \lambda_i 是特征值，矩阵 (A - \lambda_i I) 必然不可逆（行列式为零），因此齐次线性方程组 (A - \lambda_i I)\underline{v} = 0 存在非零解 \underline{v} \neq 0，这些解就是对应的特征向量。

9.6 谱与谱半径

矩阵 A 的谱 \sigma(A) 定义为所有特征值的集合：

\sigma(A) = \{\lambda_i : 1 \leq i \leq n\}

谱半径 \rho(A) 定义为所有特征值绝对值的最大值：

\rho(A) = \max_{1 \leq i \leq n} |\lambda_i|

谱半径衡量了特征值在复平面上离原点的最远距离，它在矩阵分析和迭代方法的收敛性分析中起着关键作用。

9.7 特殊矩阵结构

矩阵 A \times A 的乘积可以用元素的形式表示为

(A \times A)_{ij} = \sum_{k=1}^{n} \sum_{l=1}^{n} a_{ij} x_k x_l

9.7.1 对角矩阵

矩阵 A 是对角矩阵，当且仅当非对角元素全为零，即

a_{ij} = 0 \quad \text{当 } i \neq j

对角矩阵的所有元素集中在主对角线上，其余位置都是零。确非对角元素为0这个条件刻画了对角矩阵的结构。

9.7.2 对称矩阵与逆矩阵

矩阵 A 对称，记为 A^T B / AB = BA = I_n，这里涉及对称性和逆矩阵的关系。如果 B 是 A 的逆矩阵，记为 B = A^{-1}，那么满足 AB = BA = I_n，其中 I_n 是单位矩阵。

一个具体例子涉及三元一次方程组：

\begin{cases} 2x + y - z = 1 \\ y - 3z = 2 \\ z = 6 \end{cases}

这个方程组有三个未知数，三个方程。解这个线性方程组的过程说明了三元一次方程元次确定，而且高斯消元法可以用于求解。

9.7.3 上三角矩阵

矩阵 A 是上三角矩阵，记为 A 上三角，其形式为

A = \begin{pmatrix} x & x & x \\ 0 & x & x \\ 0 & 0 & x \end{pmatrix}

这说明 Az = b，矩阵 A 是由主对角线、主对角线上方（超对角线）的元素组成，主对角线下方全为零。上三角形式的矩阵一个具体例子是

\begin{pmatrix} 2 & 6 & -1 \\ 0 & 1 & -2 \\ 0 & 0 & 1 \end{pmatrix}

9.7.4 Toeplitz矩阵

Toeplitz矩阵的定义是：矩阵 A 为 Toeplitz矩阵，当且仅当沿对角线方向的元素相同。具体结构为

A = \begin{bmatrix} a_0 & a_1 & \cdots & a_{n-1} \\ a_1 & a_0 & \ddots & \\ a_2 & & \ddots & \\ \vdots & & & \\ a_{n-1} & \cdots & a_1 & a_0 \end{bmatrix}

矩阵的第一行由 \{a_{n-1}, \ldots, a_0, a_1, \ldots, a_{n-1}\} 组成。Toeplitz矩阵的特点是每条平行于主对角线的对角线上的元素都相同，因此只需要 2n-1 个参数就能确定整个 n \times n 的Toeplitz矩阵。

9.7.5 随机过程的自相关矩阵

对于随机过程 X(w,n)，考虑其自相关函数的期望：

E[X(n) \cdot X(n+k)] = R_X(k)

这里 R_X(k) 是自相关函数，衡量过程在时刻 n 和时刻 n+k 的相关性。对于向量形式的随机变量，期望可以展开为

E\begin{bmatrix} X(n) \\ X(n-1) \\ \vdots \\ X(1) \end{bmatrix} \begin{bmatrix} X(n) & X(n-1) & \cdots \end{bmatrix} = E\left[(Z_n) \cdot (Z_n)^T\right]

这是向量的外积，结果是一个矩阵。进一步展开为

= \begin{bmatrix} E[X^2(n)] & E[X(n)X(n-1)] & \cdots \\ & E[X^2(n-1)] & \\ & & \ddots \end{bmatrix}

最终得到自相关矩阵

R_{XX} = \begin{bmatrix} R_{XX}(0) & R_{XX}(1) & R_{XX}(2) & \cdots \\ R_{XX}(-1) & R_{XX}(0) & \\ \vdots & & \ddots \end{bmatrix}

这个自相关矩阵本身是一个Toeplitz矩阵，因为 R_{XX}(k) 只依赖于时间差 k，而不依赖于绝对时间。上对角线和下对角线的位置关系表明这是一个Toeplitz结构。

9.7.6 Hankel矩阵

Hankel矩阵的定义基于元素序列 \{a_1, \ldots, a_{2n-1}\}。一个 n \times n 的Hankel矩阵形式为

A = \begin{bmatrix} a_1 & a_2 & \cdots & a_n \\ a_2 & & & \\ \vdots & & & \vdots \\ a_n & & & a_{2n-1} \end{bmatrix}

Hankel矩阵的特点是沿反对角线方向的元素相同，即从左下到右上的对角线上元素相同。n \times n 的Hankel矩阵也只需要 2n-1 个参数就能确定。

9.7.7 循环矩阵

循环矩阵（circulant matrix）由序列 \{a_1, \ldots, a_n\} 构成，对应之后的矩阵形式为

A = \begin{bmatrix} a_1 & \cdots & a_n \\ a_n & \cdots & a_{n-1} \\ a_{n-1} & a_n & a_1 & \cdots \\ a_{n-2} & & & \\ \vdots & & & \\ a_2 & a_3 & \cdots & a_1 \end{bmatrix}

循环矩阵的每一行都是前一行向右循环移动一位得到的，最后一列的元素循环到第一列。循环矩阵既是Toeplitz矩阵的特例，又有额外的循环对称性，高热值也具有很好的结构性质。

9.7.8 Vandermonde矩阵

Vandermonde矩阵由 n 个标量 a_1, a_2, \ldots, a_n 定义，其形式为

A = \begin{bmatrix} 1 & 1 & 1 & \cdots & 1 \\ a_1 & \cdots & & & a_n \\ a_1^2 & a_2^2 & \cdots& & a_n^2 \\ a_1^3 & a_2^3 & \cdots& & \\ \vdots & \vdots & & & \vdots \\ a_1^{n-1} & a_2^{n-1} & \cdots & & a_n^{n-1} \end{bmatrix}_{n \times n}

第 i 列是 1, a_i, a_i^2, \ldots, a_i^{n-1} 的幂次递增序列。Vandermonde矩阵的行列式有一个优美的显式公式：

\det A = \prod_{1 \leq i < j \leq n} (a_i - a_j)

这个行列式等于所有下标对 (i,j) 满足 i < j 的 (a_i - a_j) 的乘积。因此，Vandermonde矩阵可逆当且仅当所有 a_i 互不相同。

第十章矩阵运算的性质与应用

10.1 矩阵维度的分类

对于矩阵 A 的维度为 (n \times m)：

如果 n > m，称为瘦高（tall）矩阵
如果 m > n，称为矮胖（fat）矩阵

10.2 矩阵乘法

对于矩阵 A 为 (n \times m)，矩阵 B 为 (m \times p)，它们的乘积 (A \cdot B) 是一个 (n \times p) 矩阵，其元素定义为

(A \cdot B)_{ij} = \sum_{k=1}^{m} A_{ik} \cdot B_{kj}

这个公式的含义是：乘积矩阵第 i 行第 j 列的元素，等于 A 的第 i 行与 B 的第 j 列的内积。维度匹配条件是 A 的列数必须等于 B 的行数。

10.3 方阵的运算性质

对于 n \times n 的方阵 A, B, C，有以下基本性质：

矩阵乘法不满足交换律，一般情况下 AB \neq BA。

结合律成立：

(A \cdot B) \cdot C = A \cdot (B \cdot C) = A \cdot B \cdot C

分配律成立：

A \cdot (B + C) = A \cdot B + A \cdot C

转置的性质：乘积的转置等于转置的逆序乘积

(A \cdot B)^T = B^T \cdot A^T

逆矩阵的性质：乘积的逆等于逆的逆序乘积

(A \cdot B)^{-1} = B^{-1} \cdot A^{-1}

三个矩阵乘积的转置：

(ABC)^T = C^T B^T A^T

三个矩阵乘积的逆：

(ABC)^{-1} = C^{-1} B^{-1} A^{-1}

10.4 矩阵的迹

对于 n \times n 矩阵 A，其迹定义为主对角线元素之和：

\text{Tr}(A) = \sum_{i=1}^{n} a_{ii}

迹的性质包括：

转置不改变迹：

\text{Tr}(A) = \text{Tr}(A^T)

交换乘法顺序不改变迹：

\text{Tr}(AB) = \text{Tr}(BA)

标量乘法可以提取：

\text{Tr}(\lambda A) = \lambda \text{Tr}(A)

线性性：

\text{Tr}(A + B) = \text{Tr}(A) + \text{Tr}(B)

迹等于所有特征值之和。如果 A 的特征值为 \lambda_1, \ldots, \lambda_n，则

\text{Tr}(A) = \sum_{i=1}^{n} \lambda_i

10.5 行列式

10.5.1 行列式的定义

对于 n \times n 矩阵 A，行列式通过排列求和定义：

\det(A) = \sum_{\sigma \in S_n} (-1)^{\varepsilon(\sigma)} a_{1\sigma(1)} a_{2\sigma(2)} \cdots a_{n\sigma(n)}

这里 S_n 是所有 n! 个排列的集合（permutation）。\varepsilon(\sigma) 是排列 \sigma 的逆序数，定义为

\varepsilon(\sigma) = \#\{(i,j) : i < j \text{ 且 } \sigma(i) > \sigma(j)\}

逆序数等于排列中发生逆序的配对数量。

10.5.2 行列式的基本性质

对列向量的线性性：如果第 k 列乘以标量 \lambda，行列式也乘以 \lambda：

\det[a_1, \ldots, \lambda a_k, \ldots, a_n] = \lambda \det[a_1, \ldots, a_n]

对列向量的可加性：第 k 列可以分解为两列之和时，行列式也可分解：

\det[a_1, \ldots, a_k + b, \ldots, a_n] = \det[a_1, \ldots, a_n] + \det[a_1, \ldots, b, \ldots, a_n]

单位矩阵的行列式为1：

\det I_n = 1

标量矩阵的行列式：对于标量 \lambda 和 n \times n 矩阵 A：

\det(\lambda A) = \lambda^n \det(A)

10.5.3 行列式与矩阵运算

矩阵乘积的行列式等于行列式的乘积：

\det(AB) = \det(A) \det(B) = \det(BA)

矩阵可逆当且仅当行列式非零：

A \text{ 可逆} \Leftrightarrow \det(A) \neq 0

转置不改变行列式：

\det A^T = \det A

正交矩阵或酉矩阵的行列式模为1。对于正交矩阵，满足 AA^T = A^T A = I；对于酉矩阵，满足 AA^* = A^* A = I。由此可得

|\det(A)| = 1

证明过程如下：利用 \det(AA^T) = \det(A) \det(A^T) = (\det(A))^2，而 \det(AA^T) = \det(I_n) = 1，因此 (\det(A))^2 = 1，得到 |\det(A)| = 1。

10.5.4 Laplace展开

行列式可以按任意行或列展开。按第 i 行展开的公式为

\det(A) = \sum_{j=1}^{n} (-1)^{i+j} a_{ij} \det(A_{ij})

这里 A_{ij} 是删去第 i 行和第 j 列后得到的 (n-1) \times (n-1) 子矩阵，\det(A_{ij}) 称为余子式。系数 (-1)^{i+j} 决定了符号，称为代数余子式的符号因子。

等价地，按第 j 列展开为

\det(A) = \sum_{i=1}^{n} (-1)^{i+j} a_{ij} \det A_{ij}

Laplace展开将 n 阶行列式的计算递归地化简为 (n-1) 阶行列式的计算，把原来的 n \times n 矩阵分解成更小的子矩阵进行处理。这个方法在理论推导和小规模矩阵的手工计算中很有用。

10.6 Cramer法则

对于线性方程组 Ax = b，其中 A 是 (n \times n) 可逆矩阵，b 是 (n \times 1) 列向量。该方程组的唯一解为

x = A^{-1}b

Cramer法则给出了解的每个分量的显式表达式。对于 1 \leq i \leq n，第 i 个分量 x_i 可以表示为

x_i = \frac{\det \hat{A_i}}{\det A}

这里 \hat{A_i} 是将矩阵 A 的第 i 列替换为向量 b 得到的矩阵，即

\hat{A_i} = \begin{bmatrix} a_1 & \cdots & b & \cdots & a_n \end{bmatrix}

其中 b 位于第 i 列的位置。分母 \det A 是原矩阵的行列式，分子 \det\hat{A_i} 是替换后矩阵的行列式。这个公式将线性方程组的解用行列式比值表示出来，但实际计算中由于行列式计算复杂度高，这个方法主要用于理论分析。

10.7 Jacobian矩阵与变量替换

在多重积分的变量替换中，Jacobian矩阵起着关键作用。考虑从 (x, y) 坐标系到 (u, v) 坐标系的变换。如果有映射关系

\begin{cases} u = \phi(x, y) \\ v = \psi(x, y) \end{cases}

或反过来

\begin{cases} x = \alpha(u, v) \\ y = \beta(u, v) \end{cases}

那么积分变换公式为

\int\int f(x,y) \, dx dy = \int\int g(u,v) \, du dv

Jacobian矩阵 J 定义为

J = \frac{\partial(x,y)}{\partial(u,v)} = \begin{bmatrix} \frac{\partial x}{\partial u} & \frac{\partial x}{\partial v} \\ \frac{\partial y}{\partial u} & \frac{\partial y}{\partial v} \end{bmatrix}

它的行列式 \det J 给出了面积元的伸缩因子，因此有 dx dy = |\det J| \, du dv。

反向的Jacobian矩阵 \tilde{J} 定义为

\tilde{J} = \frac{\partial(u,v)}{\partial(x,y)} = \begin{bmatrix} \frac{\partial u}{\partial x} & \frac{\partial u}{\partial y} \\ \frac{\partial v}{\partial x} & \frac{\partial v}{\partial y} \end{bmatrix}

两个Jacobian矩阵满足

J \cdot \tilde{J} = I_N

即它们互为逆矩阵，因此 du dv = |\det \tilde{J}| \, dx dy。

10.8 正交矩阵的列向量性质

矩阵 A 是正交矩阵，当且仅当 A^T A = I_N。将 A 按列分块表示为

A = \begin{bmatrix} a_1 & a_2 & \cdots & a_n \\ \vdots & & & \vdots \\ a_1 & a_2 & \cdots & a_n \end{bmatrix} \;\Longrightarrow\; A^{T} = \begin{bmatrix} a_1 & \cdots & a_1 \\ a_2 & & a_2 \\ \vdots & & \vdots \\ a_n & \cdots & a_n \end{bmatrix}

矩阵乘积 A^T A 的元素为

(A^T A)_{ij} = a_i^T \cdot a_j = \delta_{ij} = \begin{cases} 1 & i = j \\ 0 & i \neq j \end{cases}

这里 \delta_{ij} 是Kronecker符号。当 i = j 时，对角元素为

a_i^T a_i = \langle a_i, a_i \rangle = ||a_i||^2 = 1

这说明每个列向量都是单位向量。当 i \neq j 时，非对角元素为

a_i^T a_j = \langle a_i, a_j \rangle = 0

这说明不同列向量之间两两正交。因此，正交矩阵的列向量构成了一组标准正交基，既相互正交又各自归一化为单位长度。

10.9 矩阵的像空间与秩

对于 (m \times n) 矩阵 A: \mathbb{R}^n \to \mathbb{R}^m，其像空间（image space）定义为

E = \{Ax : x \in \mathbb{R}^n\}

这是 \mathbb{R}^m 中所有可以表示为 Ax 形式的向量构成的集合，也是一个向量空间。像空间的维数等于矩阵的秩：

\dim(E) = \text{rank}(A)

矩阵的秩满足不等式

\text{rank}(A) \leq \min(m, n)

这是因为像空间最多是 \mathbb{R}^m 的子空间（维数不超过 m），同时由 n 个列向量张成（维数不超过 n）。

如果矩阵 A 可逆，则 \text{rank}(A) = n，此时矩阵是满秩的。转置不改变秩：

\text{rank}(A^T) = \text{rank}(A)

矩阵可以分为两类：如果 \text{rank}(A) = \min(m,n)，称为满秩矩阵（full-rank）；否则称为秩亏矩阵（rank-deficient）。

秩的运算性质包括：对于矩阵乘积，有

\text{rank}(A \cdot B) \leq \min(\text{rank}(A), \text{rank}(B))

对于矩阵和，有

\text{rank}(A + B) \leq \text{rank}(A) + \text{rank}(B)

10.10 线性方程组的可解性

考虑线性方程组 Ax = b，其中 A 是 (m \times n) 矩阵。方程组有解（consistent）当且仅当

\text{rank}([A \ \ \cdots \ \ \cdots \ b]) = \text{rank}(A)

这里 [A \ \ \cdots \ \ \cdots \ b] 是增广矩阵，将 b 作为新的一列添加到 A 右侧。这个条件等价于 b 属于 A 的像空间，即 b \in E，其中 E = \{Ax : x \in \mathbb{R}^n\}。

如果 A 满秩且可逆（即 A 是方阵且 \text{rank}(A) = n），则方程组有唯一解 x = A^{-1}b。如果 A 可逆但使用其他求解方法，解仍然唯一。如果 A 不是满秩的，方程组要么无解（当 b \notin E 时），要么有无穷多解（当 b \in E 但秩亏时）。这是线性代数中解的存在性和唯一性的基本判别准则。

线性系统与最小二乘法

线性系统的基本理论

我们从最基本的线性系统开始讲起。当我们面对一个线性方程组 Ax = b 时，其中 A 是一个 m \times n 的矩阵，这意味着我们有 m 个方程和 n 个未知数。这个系统的可解性完全取决于矩阵 A 的性质。

首先考虑最简单的情况，当 A 是方阵且可逆时，系统有唯一解。这是因为可逆矩阵的列向量线性无关，它们张成整个空间，所以无论 b 是什么向量，都能找到唯一的线性组合来表示它。

但现实中我们经常遇到 A 不可逆的情况。此时系统的可解性取决于 b 与 A 的关系。如果 b 属于 A 的像空间（记作 b \in \text{Im}(A)），也就是说 b 可以表示为 A 的列向量的线性组合，那么系统有解，而且通常有无穷多个解。这是因为当 A 不可逆时，它的零空间非平凡，任何解加上零空间中的向量仍然是解。相反，如果 b \notin \text{Im}(A)，那么系统无解，因为无论怎样组合 A 的列向量都无法得到 b。

最小二乘问题的产生

在实际应用中，我们经常遇到超定系统，即方程个数远大于未知数个数（m >> n）的情况。比如在数据拟合中，我们可能有上百个数据点，但只想用几个参数的模型来拟合。这种情况下，系统 Ax = b 通常是不相容的，也就是说没有精确解。

这时候我们退而求其次，不再寻找精确解，而是寻找一个"最接近"的解。这个"最接近"的含义就是使得残差 Ax - b 的二范数平方最小，即求解优化问题：

\min_x \|Ax - b\|^2

这里需要理解范数的含义。向量 x 的二范数定义为 \|x\|^2 = \sum_i x_i^2 = x^T x，它度量了向量的"长度"。对于 Ax 这样的向量，其范数可以写成 \|Ax\|^2 = (Ax)^T(Ax) = x^T A^T A x。这个转换很重要，因为它把向量范数转化为了二次型的形式，便于后续的优化求解。

normal方程的推导

为了求解最小二乘问题，我们需要找到使目标函数 \|Ax - b\|^2 最小的 x。展开这个目标函数：

\|Ax - b\|^2 = (Ax - b)^T(Ax - b) = x^T A^T Ax - 2x^T A^T b + b^T b

对 x 求导并令导数为零（这是寻找极值点的必要条件），我们得到：

2A^T Ax - 2A^T b = 0

整理后得到著名的normal方程（Normal Equation）：

A^T A x = A^T b

这个方程的得名是因为它要求残差向量 Ax - b 正交于（normal to）A 的列空间。从几何角度理解，最小二乘解对应的 Ax 是 b 在 A 的列空间上的正交投影。

normal方程的可解性

注意到 A^T A 是一个 n \times n 的方阵（因为 A^T 是 n \times m，A 是 m \times n）。如果 A^T A 可逆，那么normal方程有唯一解：

x = (A^T A)^{-1} A^T b

A^T A 可逆当且仅当 A 的列向量线性无关。

我们知道 A^T A 可逆等价于它的零空间只包含零向量，即如果 A^T A v = 0，则必有 v = 0。现在假设 A^T A v = 0，两边同时左乘 v^T，得到 v^T A^T A v = \|Av\|^2 = 0，这意味着 Av = 0。因此，A^T A 的零空间等于 A 的零空间（记作 \text{Ker}(A)）。

所以 A^T A 可逆等价于 \text{Ker}(A) = \{0\}，也就是说 Ax = 0 只有零解，这正是 A 的列向量线性无关的定义。这个结论很重要：即使 A 本身不是方阵或不可逆，只要它的列向量线性无关，我们就能通过normal方程唯一地求解最小二乘问题。

从实际问题到数学模型

现在让我们通过一个具体的例子来理解最小二乘法的应用。假设我们有 n 个数据点 (x_i, y_i)，i = 1, 2, ..., n，这些点可能来自某个物理实验的测量，比如测量弹簧的伸长量与所加重量的关系，或者是经济数据中两个变量的关系。我们想用一条直线来拟合这些数据点。

线性模型的形式是 y = \alpha x + \beta，其中 \alpha 是斜率，表示 x 每增加一个单位时 y 的变化量；\beta 是截距，表示当 x = 0 时 y 的值。我们的任务是找到最佳的 \alpha 和 \beta，使得这条直线尽可能地接近所有数据点。

建立方程组

如果我们希望直线精确地通过所有数据点，那么对于每个点 (x_i, y_i)，都应该有：

y_i = \alpha x_i + \beta

这给我们 n 个方程：

y_1 = \alpha x_1 + \beta
y_2 = \alpha x_2 + \beta
\vdots
y_n = \alpha x_n + \beta

但这里有个问题：我们有 n 个方程，却只有 2 个未知数（\alpha 和 \beta）。当 n > 2 时（实际应用中几乎总是这样），这个系统是超定的。除非所有点恰好共线（这在实际测量中几乎不可能，因为总有测量误差），否则不存在一条直线能精确通过所有点。

最小二乘目标函数

既然无法找到精确解，我们就寻找最佳近似解。对于每个数据点，拟合直线上对应的 y 值是 \alpha x_i + \beta，而实际观测值是 y_i。两者的差 y_i - \alpha x_i - \beta 称为第 i 个残差，它衡量了模型在这个点上的误差。

最小二乘法的思想是选择参数 \alpha 和 \beta，使得所有残差的平方和最小。平方保证了正负误差不会相互抵消（如果直接求和，正误差和负误差会抵消，可能得到总和为零但拟合很差的情况）。其次，平方会放大较大的误差，使得算法倾向于避免出现特别大的偏差。最后，平方函数是可微的，便于用微积分方法求解。

因此，我们要最小化的目标函数是：

f(\alpha, \beta) = \sum_{i=1}^n (y_i - \alpha x_i - \beta)^2

这个函数关于 \alpha 和 \beta 是二次的，因此有唯一的最小值点。

几何解释

从几何角度看，最小二乘解对应的直线使得所有点到直线的垂直距离（在 y 方向上）的平方和最小。这相当于在所有可能的直线中，找到一条使得数据点在垂直方向上的"分散程度"最小的直线。

normal方程矩阵的具体形式

让我们深入分析线性拟合中normal方程的具体结构。回顾我们的设计矩阵 A，它的形式是：

A = \begin{bmatrix} 1 & x_1 \\ 1 & x_2 \\ \vdots & \vdots \\ 1 & x_n \end{bmatrix}

第一列全是1（对应截距项 \beta），第二列是各个 x 值（对应斜率项 \alpha）。相应地，参数向量变为 x = [\beta, \alpha]^T（这里的 x 是参数向量，不要与数据点的横坐标混淆）。

现在计算 A^T A。首先 A^T 是：

A^T = \begin{bmatrix} 1 & 1 & \cdots & 1 \\ x_1 & x_2 & \cdots & x_n \end{bmatrix}

计算矩阵乘积 A^T A，我们需要计算四个元素。第 (1,1) 元素是第一行与第一列的内积，即 n 个1相加，得到 n。第 (1,2) 元素是第一行与第二列的内积，即 \sum_{i=1}^n x_i。类似地可以得到：

A^T A = \begin{bmatrix} n & \sum x_i \\ \sum x_i & \sum x_i^2 \end{bmatrix}

这个 2 \times 2 矩阵包含了数据的基本统计量。如果我们定义 \bar{x} = \frac{1}{n}\sum x_i（x 的平均值）和 \overline{x^2} = \frac{1}{n}\sum x_i^2（x^2 的平均值），那么：

A^T A = n \begin{bmatrix} 1 & \bar{x} \\ \bar{x} & \overline{x^2} \end{bmatrix}

这个形式揭示了normal方程与数据统计特性的深刻联系。矩阵的行列式是 n^2(\overline{x^2} - \bar{x}^2)，这正比于 x 的方差。因此，当且仅当数据点的 x 坐标不全相同时（即有方差），A^T A 才可逆，这在直观上是合理的：如果所有点都在同一条垂直线上，我们无法确定唯一的拟合直线。

同样地，计算 A^T b：

A^T b = \begin{bmatrix} \sum y_i \\ \sum x_i y_i \end{bmatrix} = n \begin{bmatrix} \bar{y} \\ \overline{xy} \end{bmatrix}

其中 \bar{y} = \frac{1}{n}\sum y_i 是 y 的平均值，\overline{xy} = \frac{1}{n}\sum x_i y_i 是 xy 的平均值。

超定系统的几何视角

当我们面对超定系统 Ax = b，其中 A 是 m \times n 矩阵且 m >> n（方程数远大于未知数），这个系统通常无精确解。图中的三维示意图清晰地展示了这个问题的几何本质。

向量 b 是 m 维空间中的一个点，而矩阵 A 的像空间 \text{Im}(A) 是一个低维子空间（图中表示为一个平面）。当 b 不在这个子空间内时，不存在 x 使得 Ax = b。但是，我们可以找到 b 在 \text{Im}(A) 上的正交投影点 Pb。

这个投影点 Pb 有特殊的意义：它是 \text{Im}(A) 中距离 b 最近的点。既然 Pb \in \text{Im}(A)，那么必然存在某个向量 x 使得：

Ax = Pb

这个 x 就是我们要找的最小二乘解。

投影矩阵的表达式

投影矩阵 P 的作用是将任意向量投影到 \text{Im}(A) 上。它的显式表达式是：

P = A(A^T A)^{-1}A^T

这个矩阵被称为"正交投影矩阵"（matrice de projection orthogonale sur \text{Im}(A)）。注意这个公式的前提是 A^T A 必须可逆，这等价于 A 的列向量线性无关。

当我们将 P 作用于 b 时，得到：

Pb = A(A^T A)^{-1}A^T b

最小二乘解的统一表达

第二张图片揭示了一个重要的命题：当 A^T A 可逆时，方程 Ax = Pb 的解恰好等同于最小二乘问题的解。

具体来说，求解 Ax = Pb 相当于求解：

Ax = A(A^T A)^{-1}A^T b

如果 A 的列线性无关，我们可以得到：

x = (A^T A)^{-1}A^T b

这正是normal方程的解！这个结果表明，最小二乘解可以从两个等价的角度理解：

优化角度：找到使 \|Ax - b\|^2 最小的 x
几何角度：找到 x 使得 Ax 等于 b 在 \text{Im}(A) 上的正交投影

这两个看似不同的问题实际上有相同的解，这种等价性深刻地揭示了最小二乘法的几何本质。投影的观点特别有助于理解为什么最小二乘解是"最优"的：它给出了在模型空间（\text{Im}(A)）内最接近观测数据的点。

一个完整的数值例子

让我们通过一个具体的数值例子来理解最小二乘法的计算过程。给定矩阵 A 和向量 b：

A = \begin{bmatrix} 1 & 0 \\ -2 & 1 \\ 1 & 1 \end{bmatrix}, \quad b = \begin{bmatrix} 1 \\ 0 \\ 0 \end{bmatrix}

这是一个超定系统，3个方程但只有2个未知数。首先需要判断 b 是否在 A 的像空间 \text{Im}(A) 中。

步骤1：计算 A^T A

首先计算 A^T A：

A^T = \begin{bmatrix} 1 & -2 & 1 \\ 0 & 1 & 1 \end{bmatrix}

A^T A = \begin{bmatrix} 1 & -2 & 1 \\ 0 & 1 & 1 \end{bmatrix} \begin{bmatrix} 1 & 0 \\ -2 & 1 \\ 1 & 1 \end{bmatrix} = \begin{bmatrix} 6 & -1 \\ -1 & 2 \end{bmatrix}

这个 2 \times 2 矩阵是可逆的，因为它的行列式为 6 \times 2 - (-1) \times (-1) = 12 - 1 = 11 \neq 0。

步骤2：应用正规方程

计算 A^T b：

A^T b = \begin{bmatrix} 1 & -2 & 1 \\ 0 & 1 & 1 \end{bmatrix} \begin{bmatrix} 1 \\ 0 \\ 0 \end{bmatrix} = \begin{bmatrix} 1 \\ 0 \end{bmatrix}

现在求解正规方程 A^T A x = A^T b：

\begin{bmatrix} 6 & -1 \\ -1 & 2 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} = \begin{bmatrix} 1 \\ 0 \end{bmatrix}

通过求逆矩阵，得到：

x = (A^T A)^{-1} A^T b = \frac{1}{11} \begin{bmatrix} 2 & 1 \\ 1 & 6 \end{bmatrix} \begin{bmatrix} 1 \\ 0 \end{bmatrix} = \frac{1}{11} \begin{bmatrix} 2 \\ 1 \end{bmatrix}

因此，最小二乘解为 x_1 = \frac{2}{11}，x_2 = \frac{1}{11}。

投影矩阵的计算与验证

投影矩阵 P 的显式计算

投影矩阵定义为：

P = A(A^T A)^{-1} A^T

代入我们的数值：

P = \begin{bmatrix} 1 & 0 \\ -2 & 1 \\ 1 & 1 \end{bmatrix} \frac{1}{11} \begin{bmatrix} 2 & 1 \\ 1 & 6 \end{bmatrix} \begin{bmatrix} 1 & -2 & 1 \\ 0 & 1 & 1 \end{bmatrix}

经过计算得到：

P = \frac{1}{11} \begin{bmatrix} 2 & -3 & 3 \\ -3 & 10 & 1 \\ 3 & 1 & 10 \end{bmatrix}

计算投影向量 Pb

将 P 作用于 b：

Pb = \frac{1}{11} \begin{bmatrix} 2 & -3 & 3 \\ -3 & 10 & 1 \\ 3 & 1 & 10 \end{bmatrix} \begin{bmatrix} 1 \\ 0 \\ 0 \end{bmatrix} = \frac{1}{11} \begin{bmatrix} 2 \\ -3 \\ 3 \end{bmatrix}

验证 Ax = Pb

现在验证我们的解：

Ax = \begin{bmatrix} 1 & 0 \\ -2 & 1 \\ 1 & 1 \end{bmatrix} \begin{bmatrix} 2/11 \\ 1/11 \end{bmatrix} = \frac{1}{11} \begin{bmatrix} 2 \\ -3 \\ 3 \end{bmatrix}

确实有 Ax = Pb，这验证了我们的计算是正确的。

向量投影的基础理论

向量投影的基础概念。当我们有两个向量 u 和 v，其中 u \in \mathbb{R}^n，v \in \mathbb{R}^n，我们想要计算 v 在 u 方向上的投影。

投影矩阵的构造基于一个简单的想法：如果 u 是单位向量（满足 \|u\| = 1，即 u^T u = 1），那么 v 在 u 方向上的投影可以表示为：

A = u u^T

这里 A 是一个 n \times n 的矩阵。为什么是 u u^T 而不是 u^T u？这涉及到维度的问题。u^T u 是一个标量（1 \times n 乘以 n \times 1 得到 1 \times 1），而 u u^T 是一个矩阵（n \times 1 乘以 1 \times n 得到 n \times n）。我们需要的是一个能够作用于任意向量的线性变换，因此需要矩阵形式。

当 A = u u^T 时，对任意向量 z 的作用是：

Az = u u^T z = u (u^T z) = \lambda u

其中 \lambda = u^T z 是一个标量，表示 z 在 u 方向上的投影长度。这个公式的几何意义是：先计算 z 在 u 方向上的分量大小（u^T z），然后沿着 u 方向伸缩这个长度。

投影是将高维空间中的点映射到低维子空间的过程。当 u 是单位向量时，投影矩阵 A = u u^T 是正交投影矩阵，它将任意向量正交投影到 u 张成的一维子空间上。

奇异值分解

首先给出预备性质（Remarques préliminaires）：考虑一个 m \times n 的矩阵 A。这里强调 A^T A 是半正定的（semi-définie positive）。为什么 A^T A 一定是半正定的？

对于任意非零向量 x \in \mathbb{R}^n，我们有：

x^T A^T A x = (Ax)^T (Ax) = \|Ax\|^2 \geq 0

这个二次型永远非负，因为它等于向量 Ax 的范数平方。等号成立当且仅当 Ax = 0，即 x 在 A 的零空间中。这就证明了 A^T A 的半正定性。

由于 A^T A 是对称半正定矩阵（维度为 n \times n），它有以下重要性质：

所有特征值都是非负实数
存在正交的特征向量基
可以进行谱分解

\|Ax\|^2 \geq 0 再次强调了这个关键性质。这个性质是奇异值分解理论的基础，因为奇异值实际上就是 \sqrt{\lambda_i}，其中 \lambda_i 是 A^T A 的特征值。

奇异值的定义

对于矩阵 A，奇异值的定义建立在 A^T A 的特征值基础上。

首先明确，A 的奇异值 \mu_1 \geq \mu_2 \geq ... \geq \mu_n \geq 0 是 A^T A 的特征值的平方根。因为 A^T A 是半正定矩阵，它的所有特征值 \lambda_1 \geq \lambda_2 \geq ... \geq \lambda_n \geq 0 都是非负的，因此我们可以安全地取平方根：

\mu_i = \sqrt{\lambda_i}

从几何角度理解，当我们将矩阵 A 作用于单位球面上的向量时，得到的像在各个方向上的最大伸缩因子就是这些奇异值。

映射链 A \rightarrow A^T A \rightarrow \lambda_i \rightarrow \sqrt{\lambda_i} = \mu_i 清晰地说明了从原始矩阵到奇异值的推导过程。

矩阵的维度：A 是 (m \times n)，A^T A 是 (n \times n)。这个维度变化很重要，因为它决定了我们最多有 n 个奇异值。

特征值是通过求解特征多项式得到的 \det(A - \lambda I) ，这是计算特征值的标准方法。

奇异值分解的主要定理

对于任意实矩阵 A_{(m \times n)}，存在分解：

A = U \Sigma V^T

其中各个矩阵的结构和性质如下：

U 是 m \times m 的正交矩阵（orthogonale），满足 U^T U = I
V 是 n \times n 的正交矩阵（orthogonale），满足 V^T V = I
\Sigma 是 m \times n 的矩阵

存在性定理：每个矩阵都可以进行这样的分解，它将任意矩阵分解为三个具有特殊几何意义的部分：两个旋转（或反射）操作 U 和 V^T，以及一个伸缩操作 \Sigma。

正交矩阵的性质 U^T U = I 和 V^T V = I 保证了这些变换保持长度和角度（除了可能的反射）。这意味着 U 和 V 的列向量分别构成 \mathbb{R}^m 和 \mathbb{R}^n 的标准正交基。

奇异值矩阵 \Sigma 的结构

\Sigma 矩阵的维度为 (m \times n)，与原矩阵 A 相同。奇异值 \{\mu_1, ..., \mu_n\} 被放置在其对角线上，具体结构为：

\Sigma = \begin{bmatrix} \mu_1 & & & \\ & \mu_2 & & \\ & & \ddots & \\ & & & \mu_r \\ & & & & 0 \\ & & & & & \ddots \end{bmatrix}_{m \times n}

这里 r 是矩阵 A 的秩，等于非零奇异值的个数。当 m > n 时，\Sigma 下方有额外的零行；当 m < n 时，\Sigma 右侧有额外的零列。对角线上的奇异值按降序排列：\mu_1 \geq \mu_2 \geq ... \geq \mu_r > 0，之后都是零。

这种对角结构使得 \Sigma 的作用非常直观：它只在前 r 个方向上进行伸缩，伸缩因子就是相应的奇异值。在其余方向上，\Sigma 将向量映射为零，这对应于矩阵 A 的零空间。通过正交变换将复杂的线性变换简化为简单的坐标轴方向上的伸缩，这正是SVD在数据压缩、降维和矩阵近似中如此有效的原因。

奇异值分解的性质与矩阵对角化

SVD中的正交性质

在奇异值分解 A = U \Sigma V^T 中，U 和 V 都是正交矩阵，这意味着它们满足：

V^T V = I，因此 V^T = V^{-1}
U^T U = I，因此 U^T = U^{-1}

这些正交性质使得我们可以优雅地计算 A^T A。从 A = U \Sigma V^T 出发：

A^T A = (U \Sigma V^T)^T (U \Sigma V^T) = V \Sigma^T U^T U \Sigma V^T

由于 U 是正交矩阵，U^T U = I，因此：

A^T A = V \Sigma^T \Sigma V^T

进一步整理，由于 V 也是正交的，我们可以写成：

V^{-1}(A^T A)V = V^T(A^T A)V = \Sigma^T \Sigma

这个结果极其重要：\Sigma^T \Sigma 是对角矩阵！其对角元素是 \mu_1^2, \mu_2^2, ..., \mu_n^2，正好是奇异值的平方。这表明 SVD 实际上给出了 A^T A 的对角化：V 的列向量是 A^T A 的特征向量，而 \mu_i^2 是对应的特征值。

矩阵相似性与基变换

矩阵相似性是理解SVD几何意义的关键概念。如果存在可逆矩阵 P 使得：

B = P^{-1} A P

则称矩阵 A 和 B 相似（semblables）。相似矩阵的本质是：它们代表同一个线性变换在不同基下的表示。

设 \{e_1, e_2, ..., e_n\} 是原始基，\{e'_1, e'_2, ..., e'_n\} 是新基。如果线性变换 \varphi 在原始基下的矩阵表示是 A，在新基下的矩阵表示是 B，那么 A 和 B 通过基变换矩阵 P 相联系。这里 P 的列向量正是新基在原始基下的坐标表示。

相似矩阵有许多重要的不变性质：

特征值相同（虽然特征向量不同）
行列式相同
迹（对角元素之和）相同
秩相同

这解释了为什么对角化如此有用：如果能找到合适的基使得线性变换的矩阵表示是对角的，那么这个变换的性质就一目了然——对角元素就是特征值，表示在各个特征方向上的伸缩因子。

对角化的完整计算示例

考虑对称矩阵：

A = \begin{bmatrix} 3 & 2 \\ 2 & 3 \end{bmatrix}

步骤1：求特征值

特征方程为 \det(A - \lambda I) = 0：

\det\begin{bmatrix} 3-\lambda & 2 \\ 2 & 3-\lambda \end{bmatrix} = (3-\lambda)^2 - 4 = 0

展开得：

\lambda^2 - 6\lambda + 9 - 4 = 0

\lambda^2 - 6\lambda + 5 = 0

分解因式：

(\lambda - 5)(\lambda - 1) = 0

因此特征值为 \lambda_1 = 5，\lambda_2 = 1。

步骤2：求特征向量

对于 \lambda_1 = 5，求解 (A - 5I)v = 0：

\begin{bmatrix} -2 & 2 \\ 2 & -2 \end{bmatrix}\begin{bmatrix} v_1 \\ v_2 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}

得到 -2v_1 + 2v_2 = 0，即 v_1 = v_2。取单位特征向量：

v_1 = \frac{1}{\sqrt{2}}\begin{bmatrix} 1 \\ 1 \end{bmatrix}

对于 \lambda_2 = 1，求解 (A - I)v = 0：

\begin{bmatrix} 2 & 2 \\ 2 & 2 \end{bmatrix}\begin{bmatrix} v_1 \\ v_2 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}

得到 v_1 + v_2 = 0，即 v_1 = -v_2。取单位特征向量：

v_2 = \frac{1}{\sqrt{2}}\begin{bmatrix} 1 \\ -1 \end{bmatrix}

步骤3：构造对角化矩阵

将特征向量组成矩阵 P：

P = \begin{bmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \end{bmatrix}

注意 P 是正交矩阵（因为 A 对称），所以 P^{-1} = P^T。

对角矩阵为：

\Lambda = \begin{bmatrix} 5 & 0 \\ 0 & 1 \end{bmatrix}

验证

计算 P^T A P：

P^T A P = \begin{bmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \end{bmatrix}\begin{bmatrix} 3 & 2 \\ 2 & 3 \end{bmatrix}\begin{bmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \end{bmatrix} = \begin{bmatrix} 5 & 0 \\ 0 & 1 \end{bmatrix}

这验证了对角化的正确性。对称矩阵总能通过正交矩阵对角化，这个性质在SVD中起到核心作用：A^T A 始终是对称矩阵，因此总能找到正交矩阵 V 使其对角化。

AA^T 的对角化

前面我们分析了 A^T A 的对角化，现在考虑 AA^T。从 A = U\Sigma V^T 出发：

AA^T = (U\Sigma V^T)(U\Sigma V^T)^T = U\Sigma V^T V \Sigma^T U^T

由于 V 是正交矩阵，V^T V = I：

AA^T = U\Sigma \Sigma^T U^T

这可以改写为：

U^{-1}(AA^T)U = U^T(AA^T)U = \Sigma\Sigma^T

这里 \Sigma\Sigma^T 是 m \times m 的对角矩阵。与 A^T A 的情况类似，但现在 U 的列向量是 AA^T 的特征向量。这揭示了SVD的双重性：V 对角化 A^T A，而 U 对角化 AA^T。

为什么要同时考虑 A^T A 和 AA^T？这两个矩阵从不同角度刻画了线性变换 A 的性质。A^T A 是 n \times n 矩阵，描述了输入空间（定义域）的结构；AA^T 是 m \times m 矩阵，描述了输出空间（值域）的结构。它们的非零特征值是相同的（都是 \mu_i^2），但特征向量分别属于不同的空间。

这种对偶性在实际应用中很重要。例如在主成分分析（PCA）中，如果数据矩阵是 m \times n（m 个样本，n 个特征），当 m >> n 时计算 A^T A 更高效，当 n >> m 时计算 AA^T 更高效。

秩与奇异值的关系

矩阵的秩 \text{rang}(A) = r 等于非零奇异值的个数。假设奇异值按降序排列：

\mu_1 \geq \mu_2 \geq ... \geq \mu_r > \mu_{r+1} = ... = 0

这里 r 个非零奇异值对应矩阵的秩。为什么秩等于非零奇异值个数？因为奇异值描述了线性变换在各个方向上的伸缩因子，零奇异值意味着在该方向上的投影为零，即该方向属于零空间。

秩揭示分解（Rank Revealing Factorization）

SVD提供了一种"秩揭示"的矩阵分解。当我们将 A = U\Sigma V^T 写成求和形式时：

A = \sum_{i=1}^{m \times n} \mu_i u_i v_i^T

但由于只有前 r 个奇异值非零，实际上：

A = \sum_{i=1}^{r} \mu_i u_i v_i^T

这里 u_i 是 U 的第 i 列（m \times 1 向量），v_i 是 V 的第 i 列（n \times 1 向量），因此 u_i v_i^T 是秩为1的 m \times n 矩阵。

这种表示形式在数据压缩中极其有用。如果我们只保留前 k 个最大的奇异值及对应的向量（k < r），得到的截断和：

A_k = \sum_{i=1}^{k} \mu_i u_i v_i^T

是秩为 k 的矩阵中对 A 的最佳近似（在Frobenius范数意义下）。

值得注意的是，u_i 和 v_i 分别构成输出空间和输入空间的正交基。前 r 个 u_i 张成 A 的列空间，前 r 个 v_i 张成 A^T 的列空间（等价于 A 的行空间）。这种正交分解使得我们可以清晰地理解线性变换的结构：哪些方向被保留、哪些被压缩、哪些被映射为零。

矩阵的特殊形式与对角化的特殊情况

方阵的特殊形式

回到 n \times n 方阵的情况，矩阵可以有几种特殊的简单形式，这些形式在理论和计算中都有重要作用。

对角矩阵（diagonale）

对角矩阵是最简单的矩阵形式：

\begin{bmatrix} 1 & 0 \\ 0 & 2 \end{bmatrix}

对角矩阵的特点是所有非对角元素都为零。为什么对角矩阵如此重要？因为它的作用非常直观：对第 i 个坐标分量乘以 \lambda_i。这种矩阵的特征值就是对角元素本身，特征向量是标准基向量。计算上，对角矩阵的幂、逆矩阵、指数函数等都极其简单。

三角矩阵（triangulaire）

上三角矩阵的形式为：

\begin{bmatrix} 1 & x \\ 0 & 1 \end{bmatrix}

其中 x 可以是任意值。下三角矩阵则是：

\begin{bmatrix} 0 & 0 \\ 0 & 1 \end{bmatrix}

三角矩阵的重要性在于它们保持了部分简单性：特征值仍然是对角元素，但特征向量的结构更复杂。在数值计算中，许多算法（如高斯消元法）的目标就是将矩阵化为三角形式，因为三角系统易于求解。

矩阵的可对角化性质分析

回到方阵的情况

这部分内容主要探讨的是n \times n方阵的简单形式分类。当我们研究矩阵时，总是希望将其化简为某种特殊的简单形式，因为简单形式的矩阵在计算和理论分析上都更加便利。这里主要关注三种重要的简单形式：对角矩阵、三角矩阵，以及最重要的分类标准——矩阵是否可对角化。

矩阵的可对角化性和可逆性是两个独立的性质，它们之间没有必然的联系。为了深入理解这一点，我们通过具体的例子来分析四种不同的情况组合。

可逆且可对角化的情况

考虑矩阵：

A = \begin{bmatrix} 1 & 0 \\ 0 & 2 \end{bmatrix}

这是最理想的情况。该矩阵已经是对角形式，其特征值为\lambda_1 = 1和\lambda_2 = 2，都不为零，因此矩阵可逆。对角矩阵的特征值就是对角线上的元素，这使得求解特征值问题变得极其简单。同时，标准基向量e_1 = \begin{bmatrix} 1 \\ 0 \end{bmatrix}和e_2 = \begin{bmatrix} 0 \\ 1 \end{bmatrix}就是对应的特征向量。

可逆但不可对角化的情况

现在看一个更有趣的例子：

A = \begin{bmatrix} 1 & \text{*} \\ 0 & 1 \end{bmatrix}

这里*表示任意非零数值。这个矩阵是上三角矩阵，行列式为\det(A) = 1 \times 1 = 1 \neq 0，所以矩阵可逆。然而，这个矩阵只有一个重特征值\lambda = 1（代数重数为2），但只能找到一个线性无关的特征向量。这是因为(A - I)的秩为1，所以特征空间的维数（几何重数）只有1，小于代数重数2。这种几何重数小于代数重数的情况正是矩阵不可对角化的根本原因。

不可逆的情况

对于不可逆矩阵，我们看两个例子。第一个是：

\begin{bmatrix} 0 & \text{*} \\ 0 & 0 \end{bmatrix}

第二个是：

\begin{bmatrix} 0 & 0 \\ \text{*} & 0 \end{bmatrix}

这两个矩阵的行列式都为零，因此不可逆。它们都有重特征值\lambda = 0，但可对角化性质取决于*的具体取值。

特殊情况的深入分析

接下来我们深入分析一个特殊但重要的例子。设\lambda = \lambda_2 = 1，即所有特征值都等于1。如果矩阵A可对角化，那么存在可逆矩阵P使得：

P^{-1}AP = \Lambda = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}

由于\Lambda = I（单位矩阵），我们可以推导出P^{-1}AP = I，因此A = PIP^{-1} = PP^{-1} = I。这告诉我们一个重要结论：如果一个矩阵的所有特征值都等于1且矩阵可对角化，那么这个矩阵必然是单位矩阵。

现在考虑一个具体的不可逆不可对角化矩阵例子，其中\varepsilon \neq 0：

A = \begin{bmatrix} 0 & 0 \\ \varepsilon & 0 \end{bmatrix}

计算这个矩阵的特征值，我们需要求解特征方程\det(A - \lambda I) = 0。展开后得到\lambda^2 = 0，所以\lambda_1 = \lambda_2 = 0。这是一个重特征值的情况。

让我们计算A^2：

A^2 = \begin{bmatrix} 0 & 0 \\ \varepsilon & 0 \end{bmatrix} \begin{bmatrix} 0 & 0 \\ \varepsilon & 0 \end{bmatrix} = \begin{bmatrix} 0 & 0 \\ 0 & 0 \end{bmatrix}

这个结果很有意思：A^2 = 0 但 A \neq 0。这样的矩阵称为幂零矩阵（nilpotent matrix）。对于特征向量，由于Ax = 0x = 0对所有x成立，我们需要找非零向量x使得Ax = 0。由于\varepsilon_1 + 0x_2 = 0和\varepsilon x_1 + 0x_2 = 0，当\varepsilon \neq 0时，只有x_1 = 0的向量才是特征向量，这意味着特征空间是一维的，而特征值的代数重数是2。因此这个矩阵不可对角化。

特征值理论与Schur分解定理

特征多项式与代数重数

我们首先来深入理解矩阵A的特征值结构。对于一个n \times n的矩阵A，其特征多项式定义为：

P_A(\lambda) = \det(A - \lambda I)

这个多项式的计算实际上是求解行列式，它会给出一个关于\lambda的n次多项式。这个多项式可以分解为线性因子的乘积形式：

P_A(\lambda) = \prod_{i=1}^{n} (\lambda_i - \lambda)

但更准确地说，当我们考虑重特征值时，应该将相同的特征值归类在一起，写成：

P_A(\lambda) = \prod_{k=1}^{r} (\lambda_k - \lambda)^{m_k}

这里的关键概念是m_k，它表示特征值\lambda_k的代数重数（multiplicité arithmétique）。代数重数告诉我们这个特征值在特征多项式中作为根出现的次数。比如，如果特征多项式是(\lambda - 2)^3(\lambda - 5)，那么\lambda = 2的代数重数是3，而\lambda = 5的代数重数是1。

几何重数与特征空间

当我们有了特征值\lambda_k后，自然要考虑对应的特征向量。特征向量满足方程：

Ax_k = \lambda_k x_k

这个方程可以重写为(A - \lambda_k I)x_k = 0，这是一个齐次线性方程组。这个方程组的解空间（也就是核空间）的维数记为d_k，这就是特征值\lambda_k的几何重数（multiplicité géométrique）。

几何重数d_k的物理意义非常重要：它表示对应于特征值\lambda_k的线性无关特征向量的最大个数。换句话说，d_k就是特征值\lambda_k对应的特征空间的维数。这个特征空间就是所有满足Ax = \lambda_k x的向量x构成的子空间。

代数重数和几何重数之间有一个基本但极其重要的关系：对于任何特征值，其几何重数永远不会超过代数重数，即1 \leq d_k \leq m_k。当d_k < m_k时，我们说这个特征值是亏损的（defective）。一个矩阵可对角化的充要条件是所有特征值的几何重数都等于其代数重数。

三角化与Schur分解定理

现在让我们回顾一下三角矩阵的重要性。一个上三角矩阵T具有如下形式：

T = \begin{bmatrix} * & * & \cdots & * \\ 0 & * & \cdots & * \\ \vdots & \ddots & \ddots & \vdots \\ 0 & 0 & \cdots & * \end{bmatrix}

其中*表示可能非零的元素。三角矩阵的一个重要性质是它的特征值就是对角线上的元素，这使得特征值的计算变得极其简单。

Schur分解定理是线性代数中的一个基础性定理，它告诉我们即使一个矩阵不能对角化，我们仍然可以将其化简为一个相对简单的形式。具体地说，如果A是一个n \times n的复矩阵，那么存在一个酉矩阵U（满足UU^* = I = U^*U，其中U^*表示U的共轭转置）和一个上三角矩阵R，使得：

U^*AU = U^{-1}AU = R

这个分解的深刻意义在于它总是存在的。不像对角化要求所有几何重数等于代数重数这样苛刻的条件，Schur分解对任何复矩阵都成立。这意味着任何矩阵都相似于一个三角矩阵，这是一个非常强大的结果。

酉矩阵U的特殊性质保证了这个变换是保范的，也就是说它不会改变向量的长度和角度关系。在数值计算中，这种性质使得Schur分解特别稳定和可靠。而上三角矩阵R的对角线元素恰好就是原矩阵A的特征值（包括重数）。

从几何角度理解，Schur分解告诉我们总可以找到一个标准正交基，在这个基下，线性变换A的矩阵表示是上三角的。这相当于说，我们可以选择一个合适的坐标系，使得线性变换的作用变得"层次分明"——第一个基向量只影响自己，第二个基向量的像可能包含第一个和第二个基向量的分量，依此类推。

这个定理的证明通常采用归纳法，利用特征值和特征向量的存在性，逐步构造出酉矩阵U。在实际应用中，Schur分解是许多数值算法的基础，特别是在求解特征值问题和矩阵函数计算中扮演着核心角色。

QR分解与矩阵分解理论

QR分解的基本概念

对于一个m \times n的矩阵A，QR分解是将其分解为两个特殊矩阵乘积的过程。这个分解告诉我们存在一个正交矩阵（或酉矩阵）Q和一个上三角矩阵R，使得：

A = QR

这里需要深入理解两种矩阵的性质。正交矩阵Q是指满足Q^TQ = I的实矩阵，或者更一般地，对于复矩阵，我们称之为酉矩阵（unitaire），满足Q^*Q = I，其中Q^*表示Q的共轭转置。这种矩阵的重要性在于它保持向量的长度和角度不变，因此在数值计算中特别稳定。上三角矩阵R则具有对角线以下元素全为零的特殊结构，这种结构使得求解线性方程组变得异常简单。

当原矩阵A是实矩阵时，我们可以选择Q和R也都是实矩阵。这个性质很重要，因为它保证了实际计算中不会引入不必要的复数运算，从而提高计算效率。

Gram-Schmidt正交化过程

QR分解的核心算法是Gram-Schmidt正交化过程。这个过程的本质是将矩阵A的列向量组成的向量系统逐步转换为一组正交规范的向量系统。假设我们有一组向量\{e_1, ..., e_n\}，通过Gram-Schmidt过程，我们可以得到一组正交规范向量\{f_1, ..., f_n\}，满足：

\langle f_i, f_j \rangle = \delta_{ij}

这里\delta_{ij}是Kronecker delta函数，当i = j时等于1，否则等于0。这个条件精确地表达了正交规范性：不同向量相互正交（内积为0），而每个向量自身的长度为1（规范化）。

Gram-Schmidt过程的工作原理是逐步构造正交向量。对于第k个向量，我们从原始向量e_k中减去它在前k-1个已经正交化的向量上的投影，从而得到与前面所有向量都正交的新向量。这个过程不仅理论优美，而且在实际应用中也是构造正交基的标准方法。当我们将这个过程应用到矩阵A的列向量时，正交化后的向量构成矩阵Q的列，而投影系数则构成上三角矩阵R。

LU分解及其数值意义

对于n \times n的方阵A，另一个重要的分解是LU分解（也称为LDU分解）。这个分解将矩阵A写成下三角矩阵L和上三角矩阵U的乘积：

A = LU

这里L是下三角矩阵（主对角线以上元素为零），通常我们要求L的对角元素为1，这样的L称为单位下三角矩阵。U是上三角矩阵（主对角线以下元素为零）。

更一般的形式是A = LDC分解，其中L是单位下三角矩阵，D是对角矩阵，C是单位上三角矩阵。这种分解进一步揭示了矩阵的结构，将缩放因子（对角矩阵D）与纯粹的三角结构分离。

LU分解并不总是存在的。当我们使用高斯消元法（méthode du pivot de Gauss）时，如果主元（pivot）为零，就需要进行行交换。这就是为什么在实际计算中，我们经常使用带部分主元选择的LU分解，写作PA = LU，其中P是置换矩阵。

求解线性方程组的应用

LU分解在求解线性方程组Ax = b中发挥着关键作用。一旦我们有了分解A = LU，原方程就变成：

LUx = b

我们可以分两步求解这个方程。首先，令Ux = c，将问题转化为：

Lc = b

由于L是下三角矩阵且对角元素为1，我们可以通过前向替换（forward substitution）快速求出c。具体来说，从第一个方程开始，我们可以直接得到c_1，然后利用c_1求c_2，依此类推。

得到c之后，我们需要求解：

Ux = c

这是一个上三角系统（système linéaire triangulaire），可以通过回代（back substitution）求解。从最后一个方程开始，我们有：

u_{n,n}x_n = c_n

因此x_n = c_n/u_{n,n}。然后我们可以利用x_n求x_{n-1}：

u_{n-1,n-1}x_{n-1} + u_{n-1,n}x_n = c_{n-1}

继续这个过程直到求出所有的x_i。这种方法的计算复杂度是O(n^2)，远低于直接求逆矩阵的O(n^3)复杂度。

谱定理与正规矩阵

最后，我们讨论复矩阵的谱定理（Théorème Spectral）。对于n \times n的复矩阵A，如果它是正规矩阵（normale），即满足：

A^*A = AA^*

那么存在一个酉矩阵U（满足U^*U = I），使得：

A = U\Lambda U^*

其中\Lambda是对角矩阵，对角线上的元素是A的特征值。

正规矩阵这个条件看似简单，实际上包含了许多重要的矩阵类。所有的厄米矩阵（Hermitian，A^* = A）、反厄米矩阵（A^* = -A）、酉矩阵（A^*A = I）都是正规矩阵。这个定理的深刻之处在于，它保证了这些矩阵都可以通过酉相似变换对角化，而且特征向量可以选择为正交规范的。

这个定理的重要性不仅在于理论上的优美，更在于实际应用。当矩阵可以对角化时，许多计算变得极其简单。例如，计算矩阵的幂A^k、矩阵指数e^A、求解微分方程等问题都可以通过对角化大大简化。而酉对角化的额外好处是数值稳定性——酉变换不会放大舍入误差，这在实际计算中至关重要。

Jordan 块部分没做

分享

数学工具（一）：概率论与矩阵代数（完整版）

第一章 概率论基础