矩阵分析笔记
本文最后更新于 2026年10月15日 上午
矩阵分析笔记
审校说明: 本稿以 54 页手写 PDF 为第一依据,沿原有章节及标题连续编排。现已结合《矩阵理论与应用》(正文第 1—245 页,含 SVD、范数、矩阵函数及广义逆章节)核查。“续审核对/教材补充”是核查者添加,不冒充原手写笔记。 已对关键定义、定理的适用条件和部分例题独立验算;保留原稿的复内积约定。仍有手绘示意图与冗长板书演算以等价文字概述,不代表全部公式均经逐字符人工校勘。具体记录见《矩阵分析笔记_审校报告_完整教材续审.md》。
第一章 线性代数概要与提高
数域与线性代数回顾
数域定义: 设 \(\{0,1\}\subseteq\mathbb F\subseteq\mathbb C\),且 \(\mathbb F\) 对加、减、乘、除(除数非 \(0\))四则运算封闭,则称 \(\mathbb F\) 为一个数域。
常用数域:\(\mathbb Q\subseteq\mathbb R\subseteq\mathbb C\)(有理数域、实数域、复数域)。
线性方程组
\[ \begin{cases} a_{11}x_1+a_{12}x_2+\cdots+a_{1n}x_n=b_1,\\ a_{21}x_1+a_{22}x_2+\cdots+a_{2n}x_n=b_2,\\ \qquad\vdots\\ a_{m1}x_1+a_{m2}x_2+\cdots+a_{mn}x_n=b_m. \end{cases} \]
令 \(A=(a_{ij})_{m\times n}\),\(X=(x_1,\ldots,x_n)^T\),\(\beta=(b_1,\ldots,b_m)^T\),则线性方程组写成 \(AX=\beta\)。若 \(A=(\alpha_1,\ldots,\alpha_n)\),则
\[ AX=\beta\iff x_1\alpha_1+\cdots+x_n\alpha_n=\beta. \]
- \(AX=\beta\) 有解 \(\iff\beta\) 可由 \(\alpha_1,\ldots,\alpha_n\) 线性表示 \(\iff\operatorname{rank}(A\mid\beta)=\operatorname{rank}(A)\)。
- \(AX=\beta\) 至多有一个解 \(\iff\alpha_1,\ldots,\alpha_n\) 线性无关 \(\iff\operatorname{rank}(A)=n\)。
- 对任意 \(\beta\in\mathbb F^{m\times1}\),\(AX=\beta\) 有解 \(\iff\operatorname{rank}(A)=m\)(满行秩)。
- 对任意 \(\beta\in\mathbb F^{m\times1}\),\(AX=\beta\) 恰有一个解 \(\iff m=n=\operatorname{rank}(A)\),即 \(A\) 为可逆方阵。
二次型与矩阵运算
设 \(X\in\mathbb F^{n\times1}\),\(A\in\mathbb F^{n\times n}\),二次型(quadratic form)为
\[ f(X)=X^TAX=\sum_{i=1}^n\sum_{j=1}^n x_i a_{ij}x_j. \]
方阵 \(A\) 可逆时,\(A^{-1}=\dfrac{A^*}{|A|}\)(这里 \(A^*\) 为伴随矩阵)。
若 \(A=PBP^{-1}\),其中 \(B=\operatorname{diag}(\lambda_1,\ldots,\lambda_n)\),则称 \(A\) 可相似对角化,且
\[ A^k=PB^kP^{-1}. \]
线性空间(Linear Space)
一、线性空间
设 \(\mathbb F\) 为数域,\(V\) 为非空集合。
加法运算: \(+:V\times V\to V\),\((\alpha,\beta)\mapsto\alpha+\beta\),满足:
- 结合律:\((\alpha+\beta)+\gamma=\alpha+(\beta+\gamma)\)。
- 交换律:\(\alpha+\beta=\beta+\alpha\)。
- 存在零元 \(\theta\in V\):\(\alpha+\theta=\theta+\alpha=\alpha\)。
- 每个 \(\alpha\in V\) 有加法逆元 \(-\alpha\):\(\alpha+(-\alpha)=\theta\)。
此时称 \((V,+)\) 为交换群(加群)。零元、加法逆元若存在则均唯一。
数乘运算: \(V\times\mathbb F\to V\),\((\alpha,\lambda)\mapsto\alpha\lambda\),还需满足:
- \((\alpha\lambda_1)\lambda_2=\alpha(\lambda_1\lambda_2)\)。
- \(\alpha(\lambda_1+\lambda_2)=\alpha\lambda_1+\alpha\lambda_2\)。
- \((\alpha_1+\alpha_2)\lambda=\alpha_1\lambda+\alpha_2\lambda\)。
- \(\alpha\cdot1=\alpha\)。
满足以上八条,称 \((V,+,\cdot)\) 构成 \(\mathbb F\) 上的线性空间(右数乘约定)。
注: \(\alpha\cdot0=\theta\);\(\alpha(-1)=-\alpha\)。可由加法逆元唯一性及数乘分配律推出。
二、例子
\(V=\mathbb F^{m\times1}\):列向量空间,逐项相加、逐项数乘。
\(V=\mathbb F^{m\times n}\):矩阵空间,按通常矩阵加法和数乘。
多项式空间:\(\mathbb F[x]=\{\sum_{i=0}^n c_ix^i\mid c_i\in\mathbb F,\ n\in\mathbb N\}\)。
若 \(S\) 非空,\(\mathbb F^S=\{\varphi:S\to\mathbb F\}\),按点定义:
\[ (\varphi_1+\varphi_2)(x)=\varphi_1(x)+\varphi_2(x),\qquad (\varphi\lambda)(x)=\varphi(x)\lambda. \]
若 \(\mathbb Q\subseteq\mathbb F_1\subseteq\mathbb F_2\subseteq\mathbb C\) 且 \(\mathbb F_1,\mathbb F_2\) 是数域,则 \(\mathbb F_2\) 可看作 \(\mathbb F_1\) 上的线性空间。
三、维数、基底、坐标
设 \(V\) 是 \(\mathbb F\) 上的线性空间。
当 \(V=\{\theta\}\) 时,称 \(V\) 为 \(0\) 维线性空间。
若存在向量组 \(\mathcal I=(\xi_1,\ldots,\xi_n)\),使任意 \(\alpha\in V\) 都能唯一表示成
\[ \alpha=\xi_1k_1+\xi_2k_2+\cdots+\xi_nk_n,\qquad k_i\in\mathbb F, \]
则 \(V\) 是 \(n\) 维线性空间,\(\mathcal I\) 是 \(V\) 的一个基底;\(X=(k_1,\ldots,k_n)^T\) 称为 \(\alpha\) 在基 \(\mathcal I\) 下的坐标。
四、过渡矩阵及坐标转换公式
设 \(\mathcal I=(\xi_1,\ldots,\xi_n)\) 与 \(\mathcal I'=(\xi_1',\ldots,\xi_n')\) 均为 \(V\) 的基。若
\[ (\xi_1',\ldots,\xi_n')=(\xi_1,\ldots,\xi_n)P, \]
则 \(P\) 称为从 \(\mathcal I\) 到 \(\mathcal I'\) 的过渡矩阵。对于同一向量 \(\alpha\),
\[ \alpha=(\xi_1,\ldots,\xi_n)X=(\xi_1',\ldots,\xi_n')X' \quad\Longrightarrow\quad X=PX',\qquad X'=P^{-1}X. \]
标准基举例:
- \(\mathbb R^{n\times1}\) 的标准基 \(e_1,\ldots,e_n\)。
- \(\mathbb R^{2\times3}\) 的基 \(E_{11},E_{12},E_{13},E_{21},E_{22},E_{23}\),其中 \(E_{ij}\) 在 \((i,j)\) 位置为 \(1\),其他为 \(0\)。坐标可按列拉直或按行拉直,但必须明确顺序。
- \(\mathbb R[x]_2\) 的基 \((1,x,x^2)\),对 \(c_0+c_1x+c_2x^2\) 的坐标为 \((c_0,c_1,c_2)^T\)。
原稿提示练习:第 26、27、28 题。
内积空间
复共轭回顾
对 \(z=a+ib\in\mathbb C\),有 \(\overline z=a-ib\),
\[ \overline{z_1\pm z_2}=\overline{z_1}\pm\overline{z_2},\qquad \overline{z_1z_2}=\overline{z_1}\,\overline{z_2},\qquad \overline{z_1/z_2}=\overline{z_1}/\overline{z_2}\ (z_2\ne0), \]
\[ \bar z=z\iff z\in\mathbb R,\qquad z\bar z=a^2+b^2=|z|^2. \]
一、概念
设 \(V\) 为 \(\mathbb F\) 上的线性空间,通常 \(\mathbb F=\mathbb R\) 或 \(\mathbb C\)。映射 \(\langle\cdot,\cdot\rangle:V\times V\to\mathbb F\) 称为内积,若满足:
共轭对称性:\(\langle\beta,\alpha\rangle=\overline{\langle\alpha,\beta\rangle}\)。
正定性:\(\langle\alpha,\alpha\rangle\ge0\),且 \(\langle\alpha,\alpha\rangle=0\iff\alpha=\theta\)。
对第二变量线性:
\[ \langle\alpha,\beta_1\lambda_1+\beta_2\lambda_2\rangle =\langle\alpha,\beta_1\rangle\lambda_1+ \langle\alpha,\beta_2\rangle\lambda_2. \]
则 \((V,\langle\cdot,\cdot\rangle)\) 是 \(\mathbb F\)-内积空间。实内积空间称欧几里得空间;有限维复内积空间称酉空间(unitary space)。
审校注(与参考教材的记号约定不同): 本笔记采用第二变量线性、第一变量共轭线性,对应标准复向量内积 \(\langle x,y\rangle=x^Hy\)。所附教材《矩阵理论与应用》的定义 1.5.1 则采用第一变量线性、第二变量共轭线性。两种约定均可使用,但必须在 Gram 矩阵、正交化和投影公式中保持一致;下文沿用笔记本身的约定。
由共轭对称性和第二变量线性性得:
\[ \langle\alpha_1\lambda_1+\alpha_2\lambda_2,\beta\rangle =\bar\lambda_1\langle\alpha_1,\beta\rangle+ \bar\lambda_2\langle\alpha_2,\beta\rangle. \]
二、正交及勾股定理
称 \(\alpha,\beta\in V\) 正交,记为 \(\alpha\perp\beta\),若 \(\langle\alpha,\beta\rangle=0\)。
- \(\alpha\perp\alpha\iff\alpha=\theta\)。
- \(\alpha\perp\beta\iff\beta\perp\alpha\)。
- \(\alpha\perp\beta\) 且 \(\alpha\perp\gamma\),则对任意标量 \(s,t\) 都有 \(\alpha\perp(s\beta+t\gamma)\);正交关系不意味着 \(\beta\perp\gamma\)。
勾股定理: 若 \(\alpha\perp\beta\),则
\[ \langle\alpha+\beta,\alpha+\beta\rangle =\langle\alpha,\alpha\rangle+\langle\beta,\beta\rangle. \]
向量长度(范数)定义为
\[ \|\alpha\|=\sqrt{\langle\alpha,\alpha\rangle}, \]
从而 \(\alpha\perp\beta\Longrightarrow\|\alpha+\beta\|^2=\|\alpha\|^2+\|\beta\|^2\)。
距离定义为 \(d(\alpha,\beta)=\|\alpha-\beta\|\)。三角不等式:
\[ \|\alpha+\beta\|\le\|\alpha\|+\|\beta\|, \qquad d(\alpha,\gamma)\le d(\alpha,\beta)+d(\beta,\gamma). \]
内积例子:
| 空间 | 内积 |
|---|---|
| \(\mathbb R^{n\times1}\) | \(\langle\alpha,\beta\rangle=\alpha^T\beta\) |
| \(\mathbb C^{n\times1}\) | \(\langle\alpha,\beta\rangle=\alpha^H\beta=\overline\alpha^T\beta\) |
| \(\mathbb F^{m\times n}\) | \(\langle A,B\rangle=\operatorname{tr}(A^HB)\)(实矩阵用 \(A^T\)) |
| \(\mathbb R[x]_{n}\) | \(\langle f,g\rangle=\int_0^1 f(t)g(t)\,dt\) |
其中 \(\operatorname{tr}\) 表示迹(trace),\(H\) 表示共轭转置。
三、柯西不等式(Cauchy–Schwarz)
对任意 \(\alpha,\beta\in V\),
\[ \boxed{|\langle\alpha,\beta\rangle|\le\|\alpha\|\,\|\beta\|}. \]
证明思路: 若 \(\alpha=\theta\) 显然。若 \(\alpha\ne\theta\),取
\[ k=\frac{\langle\alpha,\beta\rangle}{\langle\alpha,\alpha\rangle}, \qquad \gamma=\beta-\alpha k, \]
于是 \(\langle\alpha,\gamma\rangle=0\)。根据勾股定理,
\[ \|\beta\|^2=\|\alpha k\|^2+\|\gamma\|^2 =\frac{|\langle\alpha,\beta\rangle|^2}{\|\alpha\|^2}+\|\gamma\|^2 \ge\frac{|\langle\alpha,\beta\rangle|^2}{\|\alpha\|^2}. \]
等号成立当且仅当 \(\alpha,\beta\) 线性相关(零向量情形也包含在内)。
实内积空间中,非零 \(\alpha,\beta\) 的夹角 \(\theta\in[0,\pi]\) 定义为
\[ \langle\alpha,\beta\rangle=\|\alpha\|\,\|\beta\|\cos\theta. \]
三角不等式 \(\|\alpha\pm\beta\|\le\|\alpha\|+\|\beta\|\) 可由柯西不等式证明。
四、标准正交基
- 若向量组 \(\alpha_1,\ldots,\alpha_s\) 满足 \(\langle\alpha_i,\alpha_j\rangle=0\)(\(i\ne j\)),则称为正交向量组。非零正交向量组线性无关(原稿引用命题 1.5.2)。
- 若进一步满足 \(\langle\alpha_i,\alpha_j\rangle=\delta_{ij}\),则称为标准正交向量组。
- 若有限维内积空间 \(V\) 的一个基是标准正交向量组,则称为标准正交基。任一有限维内积空间均存在标准正交基(原稿引用定理 1.5.1)。
五、Gram 矩阵及正交化
设 \(\xi_1,\ldots,\xi_n\) 为内积空间 \(V\) 的基,令 \(\alpha=(\xi_1,\ldots,\xi_n)X\),\(\beta=(\xi_1,\ldots,\xi_n)Y\)。定义 Gram 矩阵
\[ G=(\langle\xi_i,\xi_j\rangle)_{n\times n}. \]
则
\[ \boxed{\langle\alpha,\beta\rangle=\overline X^{\,T}GY=X^HGY}. \]
性质:
\(G^H=G\),即 \(G\) 为 Hermitian(厄米特)矩阵。复空间下为厄米特对称矩阵,实空间下为实对称矩阵。
\(G\) 正定;基为标准正交基时 \(G=I_n\)。
若从基 \(\mathcal I\) 到基 \(\mathcal I'\) 的过渡矩阵为 \(P\),则新 Gram 矩阵为
\[ G'=P^HGP\quad(\text{复空间}),\qquad G'=P^TGP\quad(\text{实空间}). \]
正交化示意(Gram–Schmidt): 对线性无关的 \(\alpha_1,\alpha_2,\alpha_3\),取
\[ \begin{aligned} \xi_1&=\alpha_1,\\ \xi_2&=\alpha_2-\frac{\langle\xi_1,\alpha_2\rangle}{\langle\xi_1,\xi_1\rangle}\xi_1,\\ \xi_3&=\alpha_3-\frac{\langle\xi_1,\alpha_3\rangle}{\langle\xi_1,\xi_1\rangle}\xi_1 -\frac{\langle\xi_2,\alpha_3\rangle}{\langle\xi_2,\xi_2\rangle}\xi_2. \end{aligned} \]
原稿亦以 \(\xi_2=\alpha_2-k_1\alpha_1\)、\(\xi_3=\alpha_3-k_2\alpha_1-k_3\alpha_2\),通过解正交条件确定未知系数。
求有限维内积空间的标准正交基: (1)求维数并找基底;(2)正交化;(3)标准化 \(e_i=\xi_i/\|\xi_i\|\)。
六、计算例题
例 1:矩阵幂。 对
\[ A=\begin{pmatrix}\cos x&\sin x\\-\sin x&\cos x\end{pmatrix}, \]
特征值为 \(\lambda_{1,2}=\cos x\pm i\sin x\)。当 \(\sin x\ne0\) 时,选复特征向量构造 \(P\),可得 \(A=PDP^{-1}\),从而 \(A^n=PD^nP^{-1}\)。另外,原稿提醒可寻找规律并用数学归纳法证明。
对于
\[ A=\begin{pmatrix}\cos x&\sin x\\\sin x&-\cos x\end{pmatrix}, \]
有特征多项式 \(\lambda^2-1\),因此 \(A\) 可对角化,其对角形为 \(\operatorname{diag}(1,-1)\)。
例 2:幂零矩阵与二项式公式。 设
\[ A=\begin{pmatrix}-1&2&3\\0&-1&4\\0&0&-1\end{pmatrix}=-I+N, \quad N=\begin{pmatrix}0&2&3\\0&0&4\\0&0&0\end{pmatrix}, \quad N^3=0. \]
则
\[ A^n=(-1)^nI+\binom n1(-1)^{n-1}N+\binom n2(-1)^{n-2}N^2. \]
例 3:与任意矩阵可交换的矩阵。 设
\[ S=\{A\in\mathbb R^{2\times2}: AX=XA,\ \forall X\in\mathbb R^{2\times2}\}. \]
取矩阵空间的基 \(E_{11},E_{12},E_{21},E_{22}\),只需令 \(AE_{ij}=E_{ij}A\),求得
\[ S=\{cI:c\in\mathbb R\}. \]
例 4:复数单位根与正交性。 设 \(\omega=e^{2\pi i/3}\),\(\omega^3=1\) 且 \(1+\omega+\omega^2=0\),取
\[ A=\begin{pmatrix}1&1&1\\1&\omega&\omega^2\\1&\omega^2&\omega^4\end{pmatrix} =(\alpha_1,\alpha_2,\alpha_3). \]
则 \(A^HA=3I\),各列两两正交,
\[ A^{-1}=\frac13A^H. \]
第二章 矩阵与线性映射
2.1 线性子空间及直和分解
一、线性子空间(Linear Subspace)
设 \(V\) 为 \(\mathbb F\) 上的线性空间,\(W\) 为 \(V\) 的非空子集。若对任意 \(\alpha,\beta\in W\) 和 \(\lambda\in\mathbb F\),有
\[ \alpha+\beta\in W,\qquad\alpha\lambda\in W, \]
则称 \(W\) 是 \(V\) 的一个线性子空间,记为 \(W\le V\)。
- 对加法与数乘封闭是判别子空间的关键。
- \(W\) 必包含零元;\((W,+,\cdot)\) 仍为线性空间。
- \(V\) 与 \(\{\theta\}\) 均为 \(V\) 的子空间。
- \(0\) 维空间只有一个子空间;\(1\) 维空间有两个子空间;\(2\) 维空间有无数个子空间(图示为过原点的直线)。
对两个子空间 \(W_1,W_2\le V\):
\[ W_1\cap W_2\le V,\qquad W_1+W_2=\{\alpha_1+\alpha_2:\alpha_i\in W_i\}\le V. \]
但 \(W_1\cup W_2\) 一般不是子空间,除非 \(W_1\subseteq W_2\) 或 \(W_2\subseteq W_1\)。
例: \(V=\mathbb R^3\),\(W_1=\{(x,y,0)^T:x,y\in\mathbb R\}\),\(W_2=\{(0,y,z)^T:y,z\in\mathbb R\}\)。则
\[ \dim(W_1)=\dim(W_2)=2,\quad \dim(W_1\cap W_2)=1,\quad W_1+W_2=\mathbb R^3. \]
二、直和分解(Direct Sum Decomposition)
设 \(W_1,W_2\le V\)。若 \(V\) 中任意向量 \(\alpha\) 都唯一分解为
\[ \alpha=\beta_1+\beta_2,\qquad\beta_1\in W_1,\ \beta_2\in W_2, \]
则称 \(V=W_1\oplus W_2\) 是 \(V\) 的一个直和分解。
其本质判别条件为
\[ \boxed{V=W_1\oplus W_2\iff \begin{cases}V=W_1+W_2,\\W_1\cap W_2=\{\theta\}.\end{cases}} \]
唯一性证明思路: 若 \(\alpha=\beta_1+\beta_2=\gamma_1+\gamma_2\),则 \(\beta_1-\gamma_1=\gamma_2-\beta_2\in W_1\cap W_2\),故两边都为零,分解唯一。
三、维数(Dimension)
对有限维空间 \(V\):
\(W_1\subseteq W_2\subseteq V\Longrightarrow\dim W_1\le\dim W_2\le\dim V\)。
若 \(W_1\subseteq W_2\) 且 \(\dim W_1=\dim W_2\),则 \(W_1=W_2\)。
维数公式:
\[ \boxed{\dim(W_1+W_2)+\dim(W_1\cap W_2)=\dim W_1+\dim W_2.} \]
四、矩阵的四个基本子空间
设 \(A\in\mathbb F^{m\times n}\),\(\operatorname{rank}(A)=r\)。
零空间(null space):
\[ W_1=\{X\in\mathbb F^{n\times1}:AX=0\},\qquad\dim W_1=n-r. \]
列空间(column space):
\[ W_2=\{\beta:AX=\beta\text{ 对某个 }X\text{ 有解}\}\subseteq\mathbb F^{m\times1},\qquad\dim W_2=r. \]
左零空间(left null space):
\[ W_3=\{Y\in\mathbb F^{1\times m}:YA=0\},\qquad\dim W_3=m-r. \]
行空间(row space):
\[ W_4=\{Y:\exists X\in\mathbb F^{1\times m},\ Y=XA\}\subseteq\mathbb F^{1\times n},\qquad\dim W_4=r. \]
原稿提出思考:在 \(m=n\) 时,是否存在 \(\mathbb F^{n\times1}=W_1\oplus W_2\) 等直和分解?要同时检查和空间、交空间是否满足相应条件。
线性映射及其矩阵表示
一、线性映射
设 \(V_1,V_2\) 是同一数域 \(\mathbb F\) 上的线性空间。若 \(\varphi:V_1\to V_2\) 满足
\[ \varphi(\alpha+\beta)=\varphi(\alpha)+\varphi(\beta),\qquad \varphi(\alpha\lambda)=\varphi(\alpha)\lambda, \]
则称 \(\varphi\) 为线性映射。当 \(V_1=V_2=V\) 时,称为 \(V\) 上的线性算子。
性质:
\[ \varphi\!\left(\sum_{i=1}^s\alpha_i k_i\right)=\sum_{i=1}^s\varphi(\alpha_i)k_i, \]
\[ \varphi(\alpha-\beta)=\varphi(\alpha)-\varphi(\beta), \qquad\varphi(\theta_{V_1})=\theta_{V_2}. \]
即线性映射保持线性组合、差及坐标原点。
像空间与核空间:
\[ \operatorname{Im}\varphi=\{\varphi(\alpha):\alpha\in V_1\}\le V_2, \qquad \ker\varphi=\{\alpha\in V_1:\varphi(\alpha)=\theta_{V_2}\}\le V_1. \]
命题:
\[ \begin{aligned} \operatorname{Im}\varphi=V_2&\iff\varphi\text{ 是满射},\\ \ker\varphi=\{\theta_{V_1}\}&\iff\varphi\text{ 是单射},\\ \varphi\text{ 可逆}&\iff\varphi\text{ 是双射}. \end{aligned} \]
同构: 若线性映射 \(\varphi:V_1\to V_2\) 为双射,称为线性同构,记 \(V_1\cong V_2\)。特别地,\(\mathbb C\) 作为实线性空间与 \(\mathbb R^2\) 同构:
\[ a+ib\mapsto\binom ab. \]
非通常运算的例子: 原稿在区间 \((-\tfrac12,+\infty)\) 上定义新的加法、数乘,使
\[ \varphi(x)=\ln(1+2x) \]
成为到 \(\mathbb R\) 的线性同构。因而新运算需使 \(\ln(1+2(x_1\oplus x_2))=\ln(1+2x_1)+\ln(1+2x_2)\),原稿列作练习(P31,21、22)。
二、线性映射的矩阵表示
设 \(\dim V_1=n\),\(\dim V_2=m\),分别取基
\[ \mathcal I=(\alpha_1,\ldots,\alpha_n),\qquad \mathcal J=(\beta_1,\ldots,\beta_m). \]
若
\[ \varphi(\alpha_j)=\sum_{i=1}^{m}\beta_i a_{ij},\qquad j=1,\ldots,n, \]
则矩阵 \(A=(a_{ij})_{m\times n}\) 称为 \(\varphi\) 在两组基下的矩阵表示。记 \(v=\mathcal I X\)、\(\varphi(v)=\mathcal J Y\),那么
\[ \boxed{Y=AX}. \]
变换基底: 设 \(V_1\) 两组基的过渡矩阵为 \(P\),\(V_2\) 两组基的过渡矩阵为 \(Q\),同一线性映射的矩阵表示分别为 \(A,B\)。则
\[ AP=QB,\qquad\boxed{B=Q^{-1}AP}. \]
因此 \(A,B\) 相抵,秩相同。
线性算子的特殊情况: \(V_1=V_2=V\),输入、输出使用同一组基,换基后
\[ \boxed{B=P^{-1}AP}. \]
因此 \(A,B\) 相似,特征多项式相同:
\[ |\lambda I-A|=|\lambda I-B|. \]
内积空间中的正交补与保内积算子
一、正交补
设 \((V,\langle\cdot,\cdot\rangle)\) 是有限维内积空间,\(W\le V\)。定义
\[ \boxed{W^\perp=\{\beta\in V:\langle\alpha,\beta\rangle=0,\ \forall\alpha\in W\}}. \]
则 \(W^\perp\) 是线性子空间,并且
\[ W\cap W^\perp=\{\theta\},\qquad \dim W^\perp=\dim V-\dim W, \]
\[ \boxed{V=W\oplus W^\perp}. \]
若 \(v=w+w'\),\(w\in W\)、\(w'\in W^\perp\),则 \(w\) 称为 \(v\) 在 \(W\) 中的正交投影,\(\|w'\|=\|v-w\|\) 是 \(v\) 到 \(W\) 的距离,并且
\[ \|v\|^2=\|w\|^2+\|w'\|^2. \]
二、保内积的线性算子
若线性算子 \(\varphi:V\to V\) 满足
\[ \langle\varphi(\alpha),\varphi(\beta)\rangle =\langle\alpha,\beta\rangle,\qquad\forall\alpha,\beta\in V, \]
则称 \(\varphi\) 为保内积的线性算子。当 \(\mathbb F=\mathbb R\) 时称为正交变换,当 \(\mathbb F=\mathbb C\) 时称为酉变换。
- 保内积意味着保长度(范数)与距离。
- 保内积算子将标准正交基映为标准正交基。
实空间 \(V=\mathbb R^n\),以通常内积 \(\langle X,Y\rangle=X^TY\),设 \(\varphi(X)=AX\)。则
\[ \langle AX,AY\rangle=X^TA^TAY=\langle X,Y\rangle \iff\boxed{A^TA=I}. \]
故 \(A\) 为正交矩阵。二维示例:
\[ A=\begin{pmatrix}\cos x&\sin x\\\sin x&-\cos x\end{pmatrix} \quad(\det A=-1),\qquad A=\begin{pmatrix}\cos x&-\sin x\\\sin x&\cos x\end{pmatrix} \quad(\det A=1). \]
复空间 \(V=\mathbb C^n\),通常内积为 \(\langle X,Y\rangle=X^HY\),则
\[ \langle AX,AY\rangle=\langle X,Y\rangle \iff\boxed{A^HA=I}, \]
故 \(A\) 为酉矩阵。注:酉矩阵行列式的模为 \(1\),即 \(|\det A|=1\)。
第三章 相似标准型
四种矩阵标准形的对照
笔记将矩阵的相似与相抵放在一起比较。对 \(A\in\mathbb C^{m\times n}\):
| 使用的矩阵 | 关系 | 标准形式 |
|---|---|---|
| 可逆矩阵,\(m=n\) | \(P^{-1}AP=B\)(相似) | Jordan 标准形 \(J=\operatorname{diag}(J_1,\ldots,J_s)\) |
| 酉矩阵,\(m=n\) | \(U^HAU=B\)(酉相似) | Schur 上三角标准形 |
| 可逆矩阵 \(P,Q\) | \(Q^{-1}AP=B\)(相抵) | \(\begin{pmatrix}I_r&0\\0&0\end{pmatrix}\),\(r=\operatorname{rank}(A)\) |
| 酉矩阵 \(U,V\) | \(U^HAV=\Sigma\)(酉相抵) | SVD 的对角矩形阵,奇异值 \(\sigma_1\ge\cdots\ge\sigma_r>0\) |
注: 酉矩阵在几何上保内积、保长度。
酉相似标准型(Schur 上三角化)
一、相似对角化回顾
对 \(A\in\mathbb C^{n\times n}\),若存在可逆矩阵 \(P=(\xi_1,\ldots,\xi_n)\),使
\[ P^{-1}AP=D=\operatorname{diag}(\lambda_1,\ldots,\lambda_n), \]
则 \(AP=PD\),即 \(A\xi_i=\lambda_i\xi_i\),其中 \(\xi_1,\ldots,\xi_n\) 为线性无关的特征向量。
特征值 \(\lambda\) 满足 \(A\xi=\lambda\xi\)(\(\xi\ne0\)),等价于 \(\det(\lambda I-A)=0\)。特征多项式为
\[ f_A(x)=\det(xI-A)=\prod_{i=1}^{s}(x-\lambda_i)^{\alpha_i}, \qquad \sum_{i=1}^s\alpha_i=n. \]
二、Schur 标准形
定理: 对任意 \(A\in\mathbb C^{n\times n}\),存在酉矩阵 \(U\),使
\[ \boxed{U^HAU=T},\qquad T=\begin{pmatrix} \lambda_1&*&\cdots&*\\ 0&\lambda_2&\ddots&\vdots\\ \vdots&\ddots&\ddots&*\\ 0&\cdots&0&\lambda_n \end{pmatrix} \]
为上三角矩阵。这称为 Schur 上三角化。
若 \(n=3\),\(U=(\xi_1,\xi_2,\xi_3)\),则
\[ AU=UT, \qquad T=\begin{pmatrix}b_{11}&b_{12}&b_{13}\\0&b_{22}&b_{23}\\0&0&b_{33}\end{pmatrix}. \]
因此 \(A\xi_1=b_{11}\xi_1\),\(b_{11}\) 为特征值。相似不改变特征多项式,故 \(T\) 对角线上的元素为 \(A\) 的特征值(计重数),但上三角形不要求上方元素全为零。
证明思路——对 \(n\) 归纳:
\(n=1\) 显然。
任意复方阵 \(A\) 都有单位特征向量 \(\xi_1\),可将其扩充为一组标准正交基,构成酉矩阵 \(U_1\),使
\[ U_1^HAU_1=\begin{pmatrix}\lambda_1&*\\0&A_1\end{pmatrix}. \]
对低一阶的 \(A_1\) 使用归纳假设,存在酉矩阵 \(U_2\) 将其化为上三角形;使用分块酉阵 \(\operatorname{diag}(1,U_2)\) 完成证明。
推论: 若特征多项式中有不同特征值 \(\lambda_1,\ldots,\lambda_s\)(代数重数 \(\alpha_i\)),则可调整酉基,使 Schur 形的对角线按这些特征值分成上三角分块 \(T_i\);\(\det(xI-T_i)=(x-\lambda_i)^{\alpha_i}\)。
Cayley–Hamilton 定理:
\[ \boxed{f_A(A)=0_{n\times n}},\qquad f_A(x)=\det(xI-A). \]
这里是先求出标量多项式 \(f_A(x)\),再把 \(x\) 换成矩阵 \(A\);不是写成 \(\det(AI-A)=0\)。约定 \(A^0=I\)。
对任意多项式 \(g(x)=\sum_{i=0}^r c_ix^i\),若 \(U^HAU=T\),则
\[ g(A)=Ug(T)U^H. \]
原稿例:若 \(\lambda_1\ne\lambda_2\),则
\[ \begin{pmatrix}\lambda_1&a\\0&\lambda_2\end{pmatrix} \sim\begin{pmatrix}\lambda_1&0\\0&\lambda_2\end{pmatrix}, \]
可取 \(P=\begin{pmatrix}1&x\\0&1\end{pmatrix}\),其中 \(x=\dfrac{a}{\lambda_2-\lambda_1}\)。
三、酉相似对角化与正规矩阵
定理: 对任意 \(A\in\mathbb C^{n\times n}\),以下条件等价:
- 存在酉矩阵 \(U\),使 \(U^HAU=D\) 为对角矩阵。
- \(A^HA=AA^H\)。
满足第二条的 \(A\) 称为正规矩阵(normal matrix)。
证明思路:
(1)\(\Rightarrow\)(2):若 \(A=UDU^H\),则
\[ A^HA=UD^HDU^H,\qquad AA^H=UDD^HU^H, \]
由对角阵 \(D^HD=DD^H\) 即得结论。
(2)\(\Rightarrow\)(1):由 Schur 定理,取酉矩阵 \(U\) 使 \(B=U^HAU\) 为上三角阵。正规性在酉相似下保持,\(B^HB=BB^H\)。通过比较行列范数或归纳证明,正规上三角阵必为对角阵。
二维验证示例:
\[ B=\begin{pmatrix}a&b\\0&c\end{pmatrix}, \quad B^HB=BB^H\Longrightarrow b=0. \]
本节习题: 原稿记录第二章 7、12(1)(3)、32、37、39;第三章 36;第四章 1–3、5、7、18。
补充问题: 设
\[ V=\{X\in\mathbb F^{n\times1}:BAX=0\},\qquad W=\{AX:X\in V\}. \]
定义 \(\widetilde A:V\to\mathbb F^{m\times1}\) 为 \(X\mapsto AX\),则
\[ \dim W=\dim V-\dim\ker\widetilde A =[n-\operatorname{rank}(BA)]-[n-\operatorname{rank}(A)] =\boxed{\operatorname{rank}(A)-\operatorname{rank}(BA)}. \]
相似不变量与 Jordan 标准型
一、相似不变量
设 \(A,B\in\mathbb C^{n\times n}\)。若存在可逆矩阵 \(P\) 使 \(P^{-1}AP=B\),称 \(A\) 与 \(B\) 相似,记作 \(A\sim B\)。
相似时,下列量保持不变:
行列式:\(\det B=\det A\)。
秩:\(\operatorname{rank}B=\operatorname{rank}A\)。
特征多项式及全部特征值:\(f_B(x)=f_A(x)\)。
对任意多项式 \(g(x)\),
\[ g(B)=P^{-1}g(A)P,\quad \operatorname{rank}g(B)=\operatorname{rank}g(A),\quad \det g(B)=\det g(A). \]
零化多项式:\(g(A)=0\iff g(B)=0\)。
最小多项式:\(m_A(x)=m_B(x)\)。
最小多项式定义: 在
\[ S=\{g(x)\in\mathbb C[x]:g(A)=0\} \]
中,次数最低、首项系数为 \(1\) 的多项式,称为 \(A\) 的最小多项式,记作 \(m_A(x)\)。
由 Cayley–Hamilton 定理,\(f_A(A)=0\),故该集合非空,并且
\[ \boxed{m_A(x)\mid f_A(x)}. \]
若 \(A=\operatorname{diag}(A_1,A_2)\),则
\[ m_A(x)=\operatorname{lcm}(m_{A_1}(x),m_{A_2}(x)). \]
证明整除关系的思路: 多项式带余除法 \(f_A=q m_A+r\),其中 \(r=0\) 或 \(\deg r<\deg m_A\)。代入 \(A\) 得 \(r(A)=0\),若余式不为零就与最小次数矛盾。
例:
\[ A=\begin{pmatrix}0&1&0\\0&0&1\\0&0&0\end{pmatrix}, \qquad A^3=0,\ A^2\ne0. \]
故 \(f_A(x)=x^3\),\(m_A(x)=x^3\)。另一解法是考查 \(I,A,A^2,A^3\) 的线性相关性:最先出现的线性依赖关系给出最小多项式。
二、Jordan 标准形
定理: 任意 \(A\in\mathbb C^{n\times n}\),存在可逆矩阵 \(P\),使
\[ \boxed{P^{-1}AP=J=\operatorname{diag}(J_1,\ldots,J_s)}, \]
其中每个 \(J_i\) 为 Jordan 块
\[ J_k(\lambda)=\begin{pmatrix} \lambda&1&0&\cdots&0\\ 0&\lambda&1&\ddots&\vdots\\ \vdots&\ddots&\ddots&\ddots&0\\ 0&\cdots&0&\lambda&1\\ 0&\cdots&\cdots&0&\lambda \end{pmatrix}_{k\times k}. \]
注:Jordan 标准形在不计 Jordan 块排列顺序时唯一;使之成立的可逆矩阵 \(P\) 不唯一。
三、计算 Jordan 标准形
设
\[ f_A(x)=\prod_{i=1}^s(x-\lambda_i)^{\alpha_i}, \qquad m_A(x)=\prod_{i=1}^s(x-\lambda_i)^{\beta_i}, \qquad1\le\beta_i\le\alpha_i. \]
对于每个特征值 \(\lambda_i\):
- 所有对应 Jordan 块的阶数之和等于代数重数 \(\alpha_i\)。
- 最大 Jordan 块阶数等于最小多项式中 \((x-\lambda_i)\) 的指数 \(\beta_i\)。
- 对应 Jordan 块的总数等于 \(\dim\ker(A-\lambda_i I)\)(几何重数)。
定理 3.3.1(幂零矩阵): 若 \(A\) 为严格上三角阵,设其 Jordan 标准形中最大 Jordan 块阶数为 \(\ell\),则 \(\ell\) 等于 \(A\) 的幂零指数,即 \(A^\ell=0\)、\(A^{\ell-1}\ne0\)。
设 \(j_k=\dim\ker A^k\),且 \(j_0=0\)。则
\[ \begin{aligned} &\text{Jordan 块总数}=j_1,\\ &\text{阶数恰为 }k\text{ 的块数}=2j_k-j_{k-1}-j_{k+1}. \end{aligned} \]
定理 3.3.2(一般特征值): 给定特征值 \(\lambda\),令
\[ j_k=\dim\ker(A-\lambda I)^k,\qquad j_0=0. \]
则
\[ \begin{aligned} &\text{属于 }\lambda\text{ 的 Jordan 块总数}=j_1,\\ &\text{属于 }\lambda\text{ 且阶数为 }1\text{ 的块数}=2j_1-j_2,\\ &\text{属于 }\lambda\text{ 且阶数为 }k\text{ 的块数}=2j_k-j_{k-1}-j_{k+1}\quad(k\ge2). \end{aligned} \]
计算步骤:
- 求 \(f_A(x)\) 与 \(m_A(x)\),确定特征值及其代数重数、最大块阶数。
- 计算 \(\dim\ker(A-\lambda_i I)^k\),确定各阶 Jordan 块个数。
- 组合得到 \(J\)(Jordan 块先后次序可调整)。
- 如要求 \(P\),用 \(AP=PJ\) 求解。设 \(P=(\alpha_1,\ldots,\alpha_n)\),由对应的 \(n\) 个方程构造 Jordan 链,使 \(\det P\ne0\)。
四、广义特征向量
设 \(\lambda\) 是 \(A\) 的特征值,\(\xi\ne0\)。若
\[ (A-\lambda I)^k\xi=0,\qquad(A-\lambda I)^{k-1}\xi\ne0, \]
则称 \(\xi\) 为属于 \(\lambda\) 的深度为 \(k\) 的广义特征向量。
- \(k=1\) 时就是通常特征向量。
- \(k>1\) 时,\(\xi,(A-\lambda I)\xi,\ldots,(A-\lambda I)^{k-1}\xi\) 构成一条 Jordan 链(反向排列可作为相应 Jordan 块的基)。
令 \(\xi_k=\xi\),\(\xi_{k-1}=(A-\lambda I)\xi_k,\ldots,\xi_1=(A-\lambda I)\xi_2\),则
\[ (A-\lambda I)\xi_1=0,\qquad (A-\lambda I)\xi_j=\xi_{j-1}\quad(j\ge2), \]
从而在基 \((\xi_1,\ldots,\xi_k)\) 下,矩阵即 \(J_k(\lambda)\)。
五、例题与应用
例 1:只给特征多项式与最小多项式。 已知 \(A\) 为 \(4\) 阶矩阵,\(f_A(x)=x^4\)、\(m_A(x)=x^2\),则所有特征值均为 \(0\),最大 Jordan 块阶数为 \(2\)。可能的 Jordan 形为
\[ J=J_2(0)\oplus J_2(0) \quad\text{或}\quad J=J_2(0)\oplus J_1(0)\oplus J_1(0). \]
相似对角化判别:
\[ \boxed{A\text{ 可相似对角化}\iff m_A(x)\text{ 无重根}}. \]
等价于所有 Jordan 块阶数均为 \(1\)。原稿提醒:不能只用矩阵可逆性或特征多项式来判别是否可对角化。
例 2:斐波那契数列。 设 \(a_{n+2}=a_{n+1}+a_n\),\(a_0=0,a_1=1\),构造
\[ \binom{a_{n+2}}{a_{n+1}} =\underbrace{\begin{pmatrix}1&1\\1&0\end{pmatrix}}_{A} \binom{a_{n+1}}{a_n}. \]
\(A\) 的特征值是 \((1\pm\sqrt5)/2\),可通过 \(A=PDP^{-1}\) 和 \(A^n=PD^nP^{-1}\) 得通项公式。
例 3:多项式微分算子。 \(V=\mathbb R[x]_2\),\(\mathcal D:V\to V\),\(f\mapsto f'\)。在基 \((1,x,x^2)\) 下
\[ [\mathcal D]=\begin{pmatrix}0&1&0\\0&0&2\\0&0&0\end{pmatrix}. \]
该算子为幂零算子,可适当重新选基化为 \(J_3(0)\)。
例 4:矩阵转置算子。 \(V=\mathbb R^{3\times3}\),定义 \(\mathcal A(B)=B^T\)。原稿建议取矩阵单位基 \(E_{ij}\) 展开并讨论 Jordan 形。审校补全: 因 \(\mathcal A^2=\mathrm{id}\),且实对称矩阵空间维数为 \(6\)、实反对称矩阵空间维数为 \(3\),所以特征值 \(1\) 的重数为 \(6\)、特征值 \(-1\) 的重数为 \(3\)。故
\[ J=\operatorname{diag}(I_6,-I_3). \]
这一步是依据原稿题意给出的数学推导,不是原稿已完整写出的计算。
例 5:对合算子的直和分解。 若线性算子 \(\mathcal A:V\to V\) 满足 \(\mathcal A^2=\mathrm{id}\),令
\[ V_+=\{v:\mathcal A(v)=v\},\qquad V_-=\{v:\mathcal A(v)=-v\}. \]
对于任意 \(v\in V\),有
\[ v=\frac{v+\mathcal A(v)}2+\frac{v-\mathcal A(v)}2, \]
且两部分分别属于 \(V_+\)、\(V_-\),交空间为 \(\{0\}\)。故
\[ V=V_+\oplus V_-. \]
第四章 相抵标准形与奇异值分解
相抵标准形
对 \(A\in\mathbb C^{m\times n}\),设 \(\operatorname{rank}(A)=r\),则存在可逆矩阵 \(P\in\mathbb C^{m\times m}\)、\(Q\in\mathbb C^{n\times n}\),使
\[ \boxed{P^{-1}AQ=\begin{pmatrix}I_r&0\\0&0\end{pmatrix}}. \]
这与矩阵初等行、列变换可将矩阵化为含有 \(I_r\) 的相抵标准形相对应。
与之相比:相似变换 \(P^{-1}AP\) 一般只能化成 Jordan 形(可逆变换)或 Schur 形(酉变换),不能任意化成 \(\operatorname{diag}(I_r,0)\)。
4.5 奇异值分解(Singular Value Decomposition,SVD)
一、\(A^HA\) 的特征值
设 \(A\in\mathbb C^{m\times n}\),\(A\ne0\),\(\operatorname{rank}(A)=r\)。
\(A^HA\in\mathbb C^{n\times n}\) 为 Hermitian 矩阵:
\[ (A^HA)^H=A^HA. \]
\(A^HA\) 为正规阵,可酉相似对角化。存在酉矩阵 \(V\),使
\[ V^HA^HAV=\operatorname{diag}(\lambda_1,\ldots,\lambda_n). \]
所有 \(\lambda_i\) 均为非负实数:令 \(A^HA\xi_i=\lambda_i\xi_i\),则
\[ \lambda_i\|\xi_i\|^2=\xi_i^HA^HA\xi_i=\|A\xi_i\|^2\ge0. \]
\(\ker(A^HA)=\ker A\),故 \(\operatorname{rank}(A^HA)=r\)。于是有且仅有 \(r\) 个正特征值(计重数),排序为
\[ \lambda_1\ge\lambda_2\ge\cdots\ge\lambda_r>0,\qquad\lambda_{r+1}=\cdots=\lambda_n=0. \]
定义 \(\sigma_i=\sqrt{\lambda_i}\),则 \(\sigma_i\) 为 \(A\) 的正奇异值。
二、构造酉矩阵 \(U,V\)
按上述排序,取
\[ V=(V_1,V_2),\quad V_1\in\mathbb C^{n\times r},\quad \Sigma_r=\operatorname{diag}(\sigma_1,\ldots,\sigma_r). \]
从 \(V^HA^HAV=\operatorname{diag}(\Sigma_r^2,0)\) 出发,定义
\[ \boxed{U_1=AV_1\Sigma_r^{-1}}. \]
有
\[ U_1^HU_1 =\Sigma_r^{-1}V_1^HA^HAV_1\Sigma_r^{-1} =\Sigma_r^{-1}\Sigma_r^2\Sigma_r^{-1}=I_r. \]
即 \(U_1\) 的列是标准正交向量,可将其扩充为酉矩阵 \(U=(U_1,U_2)\)。利用 \(AV_2=0\),得到
\[ \boxed{U^HAV=\begin{pmatrix}\Sigma_r&0\\0&0\end{pmatrix}=\Sigma}. \]
于是
\[ \boxed{A=U\Sigma V^H}. \]
原稿特别强调:
- 从 \(A^HA\) 的特征向量出发,先求出 \(V\),再用 \(U_1=AV_1\Sigma_r^{-1}\) 求 \(U\)。
- 也可以先对 \(AA^H\) 做特征分解,先求 \(U\),再用 \(V_1=A^HU_1\Sigma_r^{-1}\) 求 \(V\)。
- 根据 \(m,n\) 大小选取较低阶的 \(A^HA\) 或 \(AA^H\) 计算更方便。
- 求完整的 \(U\) 或 \(V\) 时,剩余列应在相应正交补子空间内寻找,并进行正交、标准化。
- 若 \(m>n\),可先做相应的“瘦矩阵”构造,再补全酉矩阵;注意最后转回原来矩阵的形状。
推论 4.5.1: \(A^HA\) 与 \(AA^H\) 有完全相同的非零特征值(计代数重数);二者非零特征值的平方根即 \(A\) 的正奇异值。因而 \(A\) 与 \(A^H\) 具有相同的正奇异值。
三、几何意义与秩一分解
令 \(V=(\xi_1,\ldots,\xi_n)\)、\(U=(\eta_1,\ldots,\eta_m)\) 是标准正交列向量组组成的酉矩阵,则
\[ A\xi_i=\sigma_i\eta_i\quad(1\le i\le r), \qquad A\xi_i=0\quad(i>r). \]
即 \(A\) 先在右奇异向量基下取坐标,沿不同方向以 \(\sigma_i\) 为因子伸缩,再变换到左奇异向量基。
将 \(A=U\Sigma V^H\) 展开得
\[ \boxed{A=\sum_{i=1}^r\sigma_i\eta_i\xi_i^H}. \]
每个 \(\eta_i\xi_i^H\) 均为秩一矩阵,这是一种秩一分解。
续审核对(教材第 139—142 页): 上述推导对应教材的奇异值分解定理。对 \(A=0\),仍存在完整 SVD,只需取任意酉矩阵 \(U,V\),令 \(\Sigma=0\) 即可(无正奇异值)。当 \(r>0\) 时,\(\sigma_1\ge\cdots\ge\sigma_r>0\) 是非零奇异值,\(A^HA\) 与 \(AA^H\) 的非零谱相同;这里不应把奇异值当作 \(A\) 本身的特征值。
四、递推关系的矩阵化例题
齐次二阶递推: 对 \(x_{n+2}=t_1x_{n+1}+t_2x_n\),令
\[ z_n=\binom{x_{n+1}}{x_n},\quad A=\begin{pmatrix}t_1&t_2\\1&0\end{pmatrix}, \]
则 \(z_{n+1}=Az_n\),\(z_n=A^nz_0\)。
重特征值时: 原稿以 \(x_{n+2}=6x_{n+1}-9x_n\) 为例,矩阵
\[ A=\begin{pmatrix}6&-9\\1&0\end{pmatrix} \]
有重特征值 \(3\);注意不能直接当作可对角化矩阵处理,需要判断 Jordan 形。其 Jordan 形为 \(J_2(3)\),可取广义特征向量组成 \(P\),通过 \(A^n=PJ^nP^{-1}\) 求递推。
非齐次递推: 对 \(x_{n+2}=3x_{n+1}+4x_n+5\),可引入常数分量:
\[ \begin{pmatrix}x_{n+2}\\x_{n+1}\\1\end{pmatrix} =\begin{pmatrix}3&4&5\\1&0&0\\0&0&1\end{pmatrix} \begin{pmatrix}x_{n+1}\\x_n\\1\end{pmatrix}. \]
本部分知识脉络: 线性空间与内积 \(\to\) 线性映射 \(\to\) 矩阵表示 \(\to\) 特征值、特征向量 \(\to\) 相似(Schur、Jordan)及相抵(秩标准形、SVD)\(\to\) 矩阵函数、矩阵方程。
第五章 矩阵范数、函数及微积分
原稿提示:第 5.5 节自学。回顾数列、函数、极限、导数、微分、积分、级数。实数序列有极限当且仅当为柯西列。
续审范围提示: 教材第 179—187 页的“自变量为矩阵的函数与极值及应用”(教材 §5.5)包含 Jacobian、Hessian 与矩阵微积分。手写笔记仅写“5.5 自学”而无对应系统讲解,因此本稿不将该教材章节冒充为原始课堂笔记;相关部分仅用于核对笔记中的求导规则。
向量范数及矩阵范数
一、有限维线性空间上的范数
设 \(V\) 为 \(\mathbb F\) 上的有限维线性空间。映射 \(\|\cdot\|:V\to\mathbb R\) 称为一个范数,若
- \(\|v\|\ge0\),且 \(\|v\|=0\iff v=\theta\)。
- \(\|v\lambda\|=\|v\|\,|\lambda|\)。
- \(\|v_1+v_2\|\le\|v_1\|+\|v_2\|\)。
称 \((V,\|\cdot\|)\) 为赋范线性空间。范数诱导的距离定义为
\[ d(v_1,v_2)=\|v_1-v_2\|. \]
三角不等式保证 \(d(v_1,v_3)\le d(v_1,v_2)+d(v_2,v_3)\)。
内积诱导范数: \(\|v\|=\sqrt{\langle v,v\rangle}\)。此时满足平行四边形法则:
\[ \boxed{\|\alpha+\beta\|^2+\|\alpha-\beta\|^2=2\|\alpha\|^2+2\|\beta\|^2}. \]
向量 \(p\)-范数: 对 \(x=(x_1,\ldots,x_n)^T\),
\[ \boxed{\|x\|_p=\left(\sum_{k=1}^n|x_k|^p\right)^{1/p}},\quad1\le p<\infty; \qquad \boxed{\|x\|_\infty=\max_{1\le k\le n}|x_k|}. \]
| \(p\) | 形式 |
|---|---|
| \(1\) | \(\|x\|_1=\sum_i|x_i|\) |
| \(2\) | \(\|x\|_2=(\sum_i|x_i|^2)^{1/2}\);对应内积范数 |
| \(\infty\) | \(\|x\|_\infty=\max_i|x_i|\) |
原稿旁注:证明 \(p\)-范数的三角不等式可用 Minkowski 不等式。
由线性单射拉回范数: 设 \(\varphi:V_1\to V_2\) 为线性单射,且 \(V_2\) 有范数 \(\|\cdot\|\)。则
\[ \|v\|_\varphi:=\|\varphi(v)\| \]
在 \(V_1\) 上也构成范数。若 \(\varphi\) 不是单射,则正定性可能不成立。
有限维范数等价: 若 \(\|\cdot\|_\alpha,\|\cdot\|_\beta\) 是有限维空间 \(V\) 上的两个范数,则存在 \(c_1,c_2>0\),使
\[ \boxed{c_1\|v\|_\alpha\le\|v\|_\beta\le c_2\|v\|_\alpha,\quad\forall v\in V.} \]
推论:
- 在有限维线性空间中,序列收敛与选取哪一个范数无关。
- 在有限维赋范线性空间中,柯西列必收敛。序列收敛 \(\iff\) 序列为柯西列。
原稿例(P203 第 26 题,补回漏转录的矩阵):
\[ A_k=\begin{pmatrix} \dfrac{1}{k^2}&\dfrac{k^2+k}{k^2+1}\\ 2&\left(1-\dfrac2k\right)^k \end{pmatrix}, \qquad \lim_{k\to\infty}A_k= \begin{pmatrix}0&1\\2&e^{-2}\end{pmatrix}. \]
各项分别使用有理式极限与 \(\lim_{k\to\infty}(1-2/k)^k=e^{-2}\)。这是对手写原稿中矩阵内容的转录补全。
二、线性映射的范数
对 \(\varphi:(V_1,\|\cdot\|_\beta)\to(V_2,\|\cdot\|_\alpha)\),定义算子范数(线性映射的范数):
\[ \boxed{\|\!|\varphi\|\!|= \sup_{\xi\ne0}\frac{\|\varphi(\xi)\|_\alpha}{\|\xi\|_\beta} =\max_{\|\xi\|_\beta=1}\|\varphi(\xi)\|_\alpha}. \]
该范数定义在全部从 \(V_1\) 到 \(V_2\) 的线性映射组成的空间 \(\operatorname{Hom}_{\mathbb F}(V_1,V_2)\) 上。
次乘性: 若复合 \(g\circ f\) 有定义,则
\[ \boxed{\|\!|g\circ f\|\!|\le\|\!|g\|\!|\cdot\|\!|f\|\!|}. \]
三、由 \(p\)-范数诱导的矩阵范数
设 \(A\in\mathbb F^{m\times n}\),矩阵诱导范数为
\[ \|A\|_p=\sup_{x\ne0}\frac{\|Ax\|_p}{\|x\|_p}. \]
常用公式:
\(p=1\),列和范数:
\[ \boxed{\|A\|_1=\max_{1\le j\le n}\sum_{i=1}^m|a_{ij}|}. \]
\(p=2\),谱范数(算子二范数):
\[ \boxed{\|A\|_2=\sigma_1(A)=\sqrt{\lambda_{\max}(A^HA)}}. \]
\(p=\infty\),行和范数:
\[ \boxed{\|A\|_\infty=\max_{1\le i\le m}\sum_{j=1}^n|a_{ij}|}. \]
审校注(原笔记概念误标): 手写原稿在诱导二范数旁写了“又称 Frobenius 范数”。这是不准确的:诱导二范数(谱范数)\(\|A\|_2=\sigma_1(A)\),而 Frobenius 范数为 \(\|A\|_F=\sqrt{\operatorname{tr}(A^HA)}=\sqrt{\sum_i\sigma_i(A)^2}\)。例如 \(A=I_2\) 时,\(\|A\|_2=1\),\(\|A\|_F=\sqrt2\)。下文统一按这两个不同概念使用。
续审核对(教材第 154、159 页): 对任意非零矩阵 \(A\),若 \(r=\operatorname{rank}(A)\),则
\[ \|A\|_F^2=\sum_{i=1}^r\sigma_i(A)^2, \qquad \|A\|_2=\sigma_1(A), \qquad \|A\|_2\le\|A\|_F\le\sqrt r\,\|A\|_2. \]
教材第 154 页定义的“矩阵的极大列和范数、极大行和范数”也恰与此处的诱导 \(1\)-范数和 \(\infty\)-范数数值一致;但 Frobenius 范数并非向量 \(2\)-范数诱导的矩阵范数。
证明思路(\(p=2\)): 用 SVD \(A=U\Sigma V^H\),利用酉变换保持向量二范数,
\[ \frac{\|Ax\|_2}{\|x\|_2} =\frac{\|\Sigma V^Hx\|_2}{\|V^Hx\|_2}, \]
取最大奇异值的右奇异向量达到上界 \(\sigma_1\)。
证明思路(\(p=1\)): 若 \(A=(a_1,\ldots,a_n)\)(\(a_j\) 是第 \(j\) 列),令 \(c=\max_j\|a_j\|_1\),则
\[ \|Ax\|_1=\left\|\sum_jx_ja_j\right\|_1 \le\sum_j|x_j|\|a_j\|_1\le c\|x\|_1. \]
取 \(x=e_k\) 且 \(\|a_k\|_1=c\),即取到等号。
次乘性与矩阵幂:
\[ \boxed{\|AB\|\le\|A\|\,\|B\|},\qquad \|A^k\|\le\|A\|^k. \]
原稿备注:分析矩阵幂 \(A^k\) 时直接求 Jordan 分解往往需要计算特征值,可能比较困难。利用次乘性可容易地控制 \(\|A^k\|\) 的大小。
四、矩阵范数与谱半径
设 \(A\in\mathbb C^{n\times n}\),特征值为 \(\lambda_1,\ldots,\lambda_n\)。定义谱半径
\[ \boxed{\rho(A)=\max_i|\lambda_i|}. \]
若矩阵范数与向量范数相容:\(\|Ax\|\le\|A\|\,\|x\|\),取 \(A\xi=\lambda\xi\) 且 \(\xi\ne0\),可得
\[ \|A\|\|\xi\|\ge\|A\xi\|=|\lambda|\|\xi\|, \quad\Longrightarrow\quad \boxed{\rho(A)\le\|A\|}. \]
对于满足次乘性的方阵范数,也有 \(\rho(A)\le\|A\|\)。证明思路:从 \(\mathbb C^{n\times n}\) 上的范数出发,构造一个相容的向量范数,例如用重复列
\[ \|x\|_V:=\|\!|(x,x,\ldots,x)\|\!|, \]
由次乘性推出所需的不等式。
引理: 对任意 \(A\in\mathbb C^{n\times n}\) 和 \(\varepsilon>0\),存在满足次乘性的矩阵范数,使
\[ \boxed{\|A\|<\rho(A)+\varepsilon}. \]
证明思路: 取 \(A=PJP^{-1}\),设 \(J\) 为上三角或 Jordan 形;用 \(Q=\operatorname{diag}(1,\varepsilon,\varepsilon^2,\ldots)\) 对其作相似变换,把超对角线元素缩小,随后定义
\[ \|C\|:=\|Q^{-1}P^{-1}CPQ\|_\infty. \]
由相似变换和诱导范数的次乘性,获得 \(\|A\|\le\rho(A)+C\varepsilon\);调整参数即可。
推论:
\[ \boxed{\rho(A)<1\iff\text{存在满足次乘性的矩阵范数使 }\|A\|<1}. \]
Gelfand 公式: 对任意满足次乘性的矩阵范数,
\[ \boxed{\rho(A)=\lim_{k\to\infty}\|A^k\|^{1/k}}. \]
五、矩阵幂 \(A^k\) 的收敛
数列 \(a^k\) 回顾: \(|a|<1\) 时趋于 \(0\),\(a=1\) 时恒为 \(1\),\(a=-1\) 时振荡,\(|a|>1\) 时一般不收敛。
对于二维 Jordan 块
\[ J_2(a)=\begin{pmatrix}a&1\\0&a\end{pmatrix}=aI+N, \quad N^2=0, \]
\[ J_2(a)^k=\begin{pmatrix}a^k&k a^{k-1}\\0&a^k\end{pmatrix}. \]
因此即使 \(|a|=1\),只要 Jordan 块阶数大于 \(1\),幂中含 \(k a^{k-1}\) 等项,仍不收敛。
矩阵幂收敛判别: \(\lim_{k\to\infty}A^k\) 存在当且仅当:
- \(\rho(A)\le1\)。
- 所有模长为 \(1\) 的特征值只能是 \(1\),且特征值 \(1\) 对应的所有 Jordan 块均为 \(1\times1\)。
特别地:
\[ \boxed{A^k\to0\iff\rho(A)<1}. \]
证明思路: 若 \(\rho(A)<1\),由前述引理选 \(\|A\|<1\) 的次乘性范数,则
\[ \|A^k\|\le\|A\|^k\to0, \]
由有限维空间范数与收敛的性质得 \(A^k\to0\)。反过来可由特征值或 Jordan 形证明。
方阵 \(A\) 的级数及函数
一、矩阵几何级数
考虑
\[ \sum_{k=0}^{\infty}A^k=I+A+A^2+\cdots. \]
收敛则必要有 \(A^k\to0\)。当 \(\rho(A)<1\) 时,级数收敛,并且
\[ \boxed{\sum_{k=0}^{\infty}A^k=(I-A)^{-1}}. \]
若 \(\|A\|<1\),也可直接用矩阵范数、几何级数与次乘性证明收敛,同时推出 \(I-A\) 可逆。
标量对应公式:\(\sum_{k=0}^{\infty}z^k=(1-z)^{-1}\)(\(|z|<1\))。原稿特别提醒:判断级数收敛时应注意收敛半径与边界,不能直接套用公式。
二、一般矩阵幂级数
设标量幂级数
\[ f(z)=\sum_{k=0}^{\infty}a_kz^k \]
收敛半径为 \(R\)。当 \(|z|<R\) 时绝对收敛;当 \(|z|=R\) 时须单独判断收敛性。收敛域内部可以逐项求导:
\[ f'(z)=\sum_{k=1}^{\infty}k a_k z^{k-1},\qquad f''(z)=\sum_{k=2}^{\infty}k(k-1)a_k z^{k-2}. \]
若 \(A\) 为方阵且 \(\rho(A)<R\),则矩阵级数
\[ \sum_{k=0}^{\infty}a_kA^k \]
收敛,定义矩阵函数 \(f(A)\)。证明可结合 \(\rho(A)<\|A\|<R\) 的相容矩阵范数与级数收敛准则。
续审核对(教材第 164—168 页): \(\rho(A)<R\) 是上述幂级数收敛的充分条件;当 \(\rho(A)=R\) 时,不能仅凭谱半径判断收敛。特别地,\(\sum_{k=0}^{\infty}A^k\) 收敛的充要条件是 \(\rho(A)<1\),不仅仅是 \(I-A\) 可逆。
三、计算 \(f(A)\) 的方法:Jordan 标准形
设
\[ J_k(\lambda)=\lambda I+N,\qquad N^k=0. \]
由二项式公式和幂级数的逐项求导,
\[ \boxed{f(J_k(\lambda)) =\sum_{j=0}^{k-1}\frac{f^{(j)}(\lambda)}{j!}N^j}. \]
三阶示例:
\[ J_3(\lambda)=\begin{pmatrix}\lambda&1&0\\0&\lambda&1\\0&0&\lambda\end{pmatrix}, \quad f(J_3(\lambda))= \begin{pmatrix} f(\lambda)&f'(\lambda)&\frac{f''(\lambda)}{2!}\\ 0&f(\lambda)&f'(\lambda)\\ 0&0&f(\lambda) \end{pmatrix}. \]
若 \(J=\operatorname{diag}(J_1,\ldots,J_s)\),则 \(f(J)=\operatorname{diag}(f(J_1),\ldots,f(J_s))\)。
若 \(A=PJP^{-1}\),则
\[ \boxed{f(A)=Pf(J)P^{-1}}. \]
原稿标注:参看教材 P117 例题,以及 logarithm(Sylvester 方法)相关内容。
四、常用标量幂级数与矩阵函数
指数、正弦、余弦:
\[ \begin{aligned} e^z&=\sum_{k=0}^{\infty}\frac{z^k}{k!},\\ \sin z&=\sum_{k=0}^{\infty}\frac{(-1)^k z^{2k+1}}{(2k+1)!},\\ \cos z&=\sum_{k=0}^{\infty}\frac{(-1)^kz^{2k}}{(2k)!}. \end{aligned} \]
相应地,
\[ \begin{aligned} e^A&=I+A+\frac{A^2}{2!}+\cdots,\\ \sin A&=A-\frac{A^3}{3!}+\frac{A^5}{5!}-\cdots,\\ \cos A&=I-\frac{A^2}{2!}+\frac{A^4}{4!}-\cdots. \end{aligned} \]
这些级数对任何方阵都收敛。
其他展开(通常在 \(|z|<1\)):
\[ (1+z)^\alpha=\sum_{k=0}^{\infty}\binom\alpha k z^k,\qquad \binom\alpha k=\frac{\alpha(\alpha-1)\cdots(\alpha-k+1)}{k!}, \]
\[ (1+z)^{-1}=1-z+z^2-z^3+\cdots, \]
\[ (1+z)^{-1/2}=1-\frac12z+\frac{1\cdot3}{2\cdot4}z^2-\frac{1\cdot3\cdot5}{2\cdot4\cdot6}z^3+\cdots, \]
\[ \ln(1+z)=z-\frac{z^2}{2}+\frac{z^3}{3}-\cdots+ (-1)^{n-1}\frac{z^n}{n}+\cdots. \]
五、矩阵指数 \(e^A\)
原稿给出六个命题。
若 \(AB=BA\),则
\[ \boxed{e^{A+B}=e^Ae^B=e^Be^A}. \]
\(e^A\) 可逆,且
\[ (e^A)^{-1}=e^{-A}. \]
行列式与迹:
\[ \boxed{\det(e^A)=e^{\operatorname{tr}(A)}}. \]
Euler 公式:
\[ \boxed{e^{iA}=\cos A+i\sin A}. \]
若 \(A\) 是实反对称矩阵 \(A^T=-A\),则 \(e^A\) 为正交矩阵,且 \(\det(e^A)=1\)。
若 \(A\) 是 Hermitian 矩阵 \(A^H=A\),则 \(e^{iA}\) 为酉矩阵。
证明思路与备注:
\(AB=BA\) 时矩阵指数可以按交换二项式公式展开,得到命题 1;非交换时一般不能这样拆分。
命题 3 用 \(A=PJP^{-1}\)、\(e^A=Pe^JP^{-1}\),再利用相似不改变行列式值、迹及 Schur/Jordan 形对角线为特征值。
对实反对称阵,
\[ e^A(e^A)^T=e^Ae^{A^T}=e^Ae^{-A}=I,\quad\det(e^A)=e^{\operatorname{tr}A}=1. \]
对 Hermitian 阵,
\[ (e^{iA})^H=e^{-iA},\quad e^{iA}(e^{iA})^H=I. \]
原稿旁注:\(e^A\) 具有很好性质——总可逆;可用于微分方程。
六、矩阵函数求导
若 \(A(t)=(a_{ij}(t))\),则
\[ A'(t)=\frac{dA(t)}{dt}=(a_{ij}'(t)). \]
矩阵指数(\(A\) 为与 \(t\) 无关的常矩阵):
\[ \boxed{\frac{d}{dt}e^{At}=Ae^{At}}. \]
常系数线性微分方程 \(\dot X(t)=AX(t)\),初值 \(X(0)=\xi\) 的解为
\[ \boxed{X(t)=e^{At}\xi}. \]
七、计算 \(f(A)\) 的方法:插值法
取多项式 \(p(x)\) 为 \(A\) 的特征多项式或最小多项式。设 \(f\) 在 \(A\) 的所有特征值附近解析(指数、正弦、余弦等均满足)。
求一个次数低于 \(\deg p\) 的 Hermite 插值多项式 \(r(x)\):若 \(\lambda\) 是 \(p\) 的 \(s\) 重根,则要求
\[ r^{(j)}(\lambda)=f^{(j)}(\lambda),\qquad j=0,1,\ldots,s-1. \]
由于这些条件保证 \(f\) 与 \(r\) 在各 Jordan 块上的函数值一致,而 \(p(A)=0\),从矩阵函数的解析定义可推出
\[ \boxed{f(A)=r(A)}. \]
对多项式 \(f\),这等价于多项式带余除法 \(f(x)=q(x)p(x)+r(x)\);对于 \(e^x\) 等非多项式,原稿的这一写法应理解为解析函数的局部因式分解或 Hermite 插值,不能直接当作普通多项式长除法。
实际计算时,设 \(r(x)\) 的待定系数,代入不同特征值;若有重根,同时代入相应阶数的导数条件。例如二重根 \(\lambda\) 须满足 \(r(\lambda)=f(\lambda)\)、\(r'(\lambda)=f'(\lambda)\)。
注: 选最小多项式通常比用特征多项式待定系数更少。原稿建议参看教材 P77 例 5.4.4、P78 例 5.4.5。
续审核对(教材第 176—179 页,Lagrange–Sylvester / Hermite 插值法): 若最小多项式
\[ m_A(x)=\prod_{i=1}^s(x-\lambda_i)^{k_i}, \]
其中 \(\lambda_i\) 两两不同,则 \(\deg r<\deg m_A\) 且满足
\[ r^{(j)}(\lambda_i)=f^{(j)}(\lambda_i) \quad(0\le j<k_i) \]
的唯一多项式 \(r\) 给出 \(f(A)=r(A)\)。这里所需的导数阶数由最小多项式的重数决定;使用特征多项式同样可行,但可能引入不必要的条件。对超越函数不能直接把 \(f(x)=q(x)m_A(x)+r(x)\) 当作普通多项式除法来操作。
第六章 矩阵方程
线性方程组 \(AX=\beta\)
设 \(A\in\mathbb F^{m\times n}\),\(X\in\mathbb F^{n\times1}\),\(\beta\in\mathbb F^{m\times1}\)。求解矩阵方程主要考虑:解是否存在、是否唯一、怎样求解。
一、解的存在性
代数判别:
\[ \boxed{AX=\beta\text{ 有解}\iff\operatorname{rank}(A\mid\beta)=\operatorname{rank}(A)}. \]
几何判别: 若 \(A=(\alpha_1,\ldots,\alpha_n)\),则有解当且仅当
\[ \beta\in\operatorname{span}\{\alpha_1,\ldots,\alpha_n\}. \]
命题: 对所有 \(\beta\in\mathbb F^{m\times1}\),\(AX=\beta\) 都有解 \(\iff\operatorname{rank}(A)=m\),即 \(A\) 是满行秩矩阵,\(X\mapsto AX\) 是满射。
二、解的唯一性
代数判别: \(AX=\beta\) 至多有一个解当且仅当 \(\operatorname{rank}(A)=n\),即 \(A\) 列满秩。
几何判别: \(A\) 的列向量 \(\alpha_1,\ldots,\alpha_n\) 线性无关。
线性映射判别: \(T(X)=AX\) 为单射,等价于 \(\ker T=\{0\}\)。这里“至多一个解”可能表示零个或一个解,并不等同于“一定有唯一解”。
三、右逆、左逆、可逆
设 \(A\in\mathbb F^{m\times n}\)。
存在 \(G\in\mathbb F^{n\times m}\),使 \(AG=I_m\),当且仅当 \(\operatorname{rank}(A)=m\)。称 \(G\) 为 \(A\) 的右逆。这要求 \(m\le n\)。
存在 \(H\in\mathbb F^{n\times m}\),使 \(HA=I_n\),当且仅当 \(\operatorname{rank}(A)=n\)。称 \(H\) 为 \(A\) 的左逆。这要求 \(n\le m\)。
若左逆和右逆同时存在,则 \(m=n=\operatorname{rank}(A)\),此时 \(A\) 为可逆方阵,且两者相同:
\[ H=H(AG)=(HA)G=G=A^{-1}. \]
注意: 严格核对矩阵尺寸。胖矩阵有可能存在右逆,瘦矩阵有可能存在左逆;反方向维数一般不允许出现相应的单位矩阵。
右逆存在的证明思路: \(\operatorname{rank}(A)=m\) 表示每个标准基向量 \(e_j\in\mathbb F^{m\times1}\) 都可由 \(A\) 的列向量线性表示。对每个 \(j\) 选 \(\xi_j\) 使 \(A\xi_j=e_j\),再令 \(G=(\xi_1,\ldots,\xi_m)\),即有 \(AG=I_m\)。
四、解法:初等变换、相抵与 SVD
初等行变换: 将增广矩阵 \((A\mid\beta)\) 作行变换,求出线性方程组的解。
左右可逆变换: 若 \(Q^{-1}AP=B\),令
\[ Y=P^{-1}X,\qquad\widehat\beta=Q^{-1}\beta, \]
则原方程等价于 \(BY=\widehat\beta\),解出 \(Y\) 后由 \(X=PY\) 回到原坐标。
相抵与 SVD: 对 \(A\) 做双侧化简可使用:
\[ Q^{-1}AP=\begin{pmatrix}I_r&0\\0&0\end{pmatrix} \quad\text{(可逆变换)}, \]
或
\[ U^HAV=\begin{pmatrix}\Sigma_r&0\\0&0\end{pmatrix} \quad\text{(酉变换)}. \]
酉矩阵保向量二范数:\(\|U^H\beta\|_2=\|\beta\|_2\)、\(\|V^HX\|_2=\|X\|_2\)。原稿强调:在数值分析中,酉变换使问题保持稳定,单纯任意可逆变换可能放大扰动。
五、无解与多解问题
- \(AX=\beta\) 无解时,寻找近似解,使 \(\|AX-\beta\|_2\) 尽量小——最小二乘解。
- 有多个精确解时,在 \(AX=\beta\) 条件下使 \(\|X\|_2\) 最小——最小范数解。
- 更一般地,在所有最小二乘解中选范数最小的一个——最小范数最小二乘解。
续审核对(教材第 226—229 页): 三种问题可以统一用 Moore–Penrose 逆表示。记 \(A^+\) 为 MP 逆,则对任意 \(b\):
\[ \boxed{\min_{x\in\mathbb C^n}\|Ax-b\|_2=\|(I_m-AA^+)b\|_2,} \]
\[ \boxed{\operatorname{argmin}_{x}\|Ax-b\|_2 =\{A^+b+(I_n-A^+A)z:\ z\in\mathbb C^n\}.} \]
其中唯一的最小范数最小二乘解为 \(x_*=A^+b\)。若 \(b\in\operatorname{im}(A)\),上式就是精确方程 \(Ax=b\) 的通解,而 \(A^+b\) 同时为唯一的最小范数精确解;若 \(b\notin\operatorname{im}(A)\),它仍是唯一的最小范数最小二乘解。不可把 \(A^+b\) 在不相容情形称为“精确解”。
广义逆(Generalized Inverse)
Moore–Penrose 逆(MP 逆)
一、概念与定理
设 \(A\in\mathbb C^{m\times n}\),若 \(X\in\mathbb C^{n\times m}\) 满足四个 Penrose 条件:
\[ \begin{aligned} (1)\quad& AXA=A,\\ (2)\quad& XAX=X,\\ (3)\quad& (AX)^H=AX,\\ (4)\quad& (XA)^H=XA, \end{aligned} \]
则 \(X\) 称为 \(A\) 的 Moore–Penrose 逆,记为 \(A^+\)。
定理: 对任何复矩阵 \(A\),都存在唯一的 \(A^+\),使以上四个条件同时成立。
续审核对(教材第 208、211—213 页): \(AA^+\) 与 \(A^+A\) 均为 Hermitian 幂等矩阵,即正交投影:
\[ \begin{aligned} AA^+&=P_{\operatorname{im}(A)},\\ A^+A&=P_{\operatorname{im}(A^H)},\\ I_m-AA^+&=P_{\ker(A^H)},\\ I_n-A^+A&=P_{\ker(A)}. \end{aligned} \]
这里 \(A^+\) 对零矩阵仍存在且 \(0^+=0\)。若 \(A\) 列满秩,则
\[ \boxed{A^+=(A^HA)^{-1}A^H}; \]
若 \(A\) 行满秩,则
\[ \boxed{A^+=A^H(AA^H)^{-1}}. \]
上面两式的“列满秩/行满秩”是必需条件,不能对任意矩阵直接取对应逆矩阵。
二、由 SVD 求 MP 逆
设 \(A\) 的秩为 \(r>0\)。由奇异值分解,
\[ A=U\Sigma V^H, \qquad \Sigma=\begin{pmatrix}\Sigma_r&0\\0&0\end{pmatrix}, \qquad\Sigma_r=\operatorname{diag}(\sigma_1,\ldots,\sigma_r), \]
令
\[ \Sigma^+=\begin{pmatrix}\Sigma_r^{-1}&0\\0&0\end{pmatrix}_{n\times m} \]
(上下、左右零块尺寸由 \(m,n,r\) 决定),则
\[ \boxed{A^+=V\Sigma^+U^H}. \]
证明思路: 令 \(X=VYU^H\),把四个 Penrose 条件代入,即可化为 \(\Sigma\) 与 \(Y\) 的条件。取 \(Y=\Sigma^+\),由
\[ \Sigma\Sigma^+\Sigma=\Sigma,\quad \Sigma^+\Sigma\Sigma^+=\Sigma^+,\quad (\Sigma\Sigma^+)^H=\Sigma\Sigma^+,\quad (\Sigma^+\Sigma)^H=\Sigma^+\Sigma \]
得到存在性。
唯一性证明思路: 若 \(Y\) 也满足四条件,在 \(U,V\) 给定的基下分块表示 \(Y\),前两式与 Hermitian 条件迫使非零块为 \(\Sigma_r^{-1}\)、其余块为零,故 \(Y=\Sigma^+\)。
原稿强调:从 SVD 可以直接看出 MP 逆的存在性和唯一性。
三、其他广义逆集合
原稿使用 \(A^{(1)}\) 和 \(A^{(1,2)}\) 表示只满足部分 Penrose 条件的广义逆集合:
\[ A^{(1)}=\{X\in\mathbb C^{n\times m}:AXA=A\}, \]
\[ A^{(1,2)}=\{X\in\mathbb C^{n\times m}:AXA=A,\ XAX=X\}. \]
它们一般不唯一,原稿以经 SVD 化成 \(\Sigma\) 后的分块矩阵示意自由参数:
- 只满足 (1):任意剩余分块都可自由选择。
- 满足 (1)、(2):自由分块减少,但通常仍有多个解。
- 四个 Penrose 条件同时成立:唯一确定 \(A^+\)。
续审核对(教材第 219、223—225 页,广义逆自由度的精确表示): 设 \(r=\operatorname{rank}(A)\),取可逆矩阵 \(P\in\mathbb C^{m\times m}\)、\(Q\in\mathbb C^{n\times n}\) 使
\[ PAQ=D=\begin{pmatrix}I_r&0\\0&0\end{pmatrix}_{m\times n}. \]
则 全部 \(\{1\}\)-逆(仅要求 \(AGA=A\))恰是
\[ \boxed{G=Q\begin{pmatrix}I_r&F\\H&K\end{pmatrix}_{n\times m}P,} \]
其中 \(F\in\mathbb C^{r\times(m-r)}\)、\(H\in\mathbb C^{(n-r)\times r}\) 和 \(K\in\mathbb C^{(n-r)\times(m-r)}\) 任意;进一步要求 \(GAG=G\),则必须 \(K=HF\),故全部 \(\{1,2\}\)-逆为
\[ \boxed{G=Q\begin{pmatrix}I_r&F\\H&HF\end{pmatrix}_{n\times m}P.} \]
这将原稿“剩余分块有自由度”的口头结论落实为可以直接验算的矩阵表示。上述 \(P,Q\) 只要求可逆,不要求酉;求 MP 逆则优先使用 SVD,以便满足 Hermitian 两条件。
\(AX-YB=C\) 与 \(AX-XB=C\)
一、矩阵方程 \(AX-YB=C\)
设
\[ A\in\mathbb C^{m\times n},\quad X\in\mathbb C^{n\times q},\quad Y\in\mathbb C^{m\times p},\quad B\in\mathbb C^{p\times q},\quad C\in\mathbb C^{m\times q}. \]
相抵判别: 方程 \(AX-YB=C\) 有解当且仅当下述分块矩阵的秩等于 \(\operatorname{rank}A+\operatorname{rank}B\)。先证必要性:如果 \(AX-YB=C\) 有解,那么
\[ \begin{pmatrix}I_m&Y\\0&I_p\end{pmatrix} \begin{pmatrix}A&C\\0&B\end{pmatrix} \begin{pmatrix}I_n&-X\\0&I_q\end{pmatrix} =\begin{pmatrix}A&0\\0&B\end{pmatrix} \]
(注意符号,乘积右上角为 \(C-AX+YB\)),所以
\[ \boxed{\operatorname{rank}\begin{pmatrix}A&C\\0&B\end{pmatrix} =\operatorname{rank}A+\operatorname{rank}B}. \]
充分性的审校补充: 反过来,若分块矩阵秩相等,分别以可逆行列变换将 \(A\)、\(B\) 化成秩标准形。在相应分块中,右上块 \(C\) 唯一不能由 \(AX\) 或 \(YB\) 抵消的“余下行、余下列”子块必须为零;否则分块矩阵的秩会严格大于 \(\operatorname{rank}A+\operatorname{rank}B\)。因此其余分块均可选取 \(X,Y\) 消去,方程有解。故完整判别为
\[ \boxed{AX-YB=C\text{ 有解}\iff \operatorname{rank}\begin{pmatrix}A&C\\0&B\end{pmatrix} =\operatorname{rank}A+\operatorname{rank}B}. \]
原稿采用矩阵相抵与线性映射的角度研究此方程。定义
\[ S_{A,B}:\mathbb C^{n\times q}\oplus\mathbb C^{m\times p}\to\mathbb C^{m\times q}, \qquad S_{A,B}(X,Y)=AX-YB. \]
这是一个线性映射,满足:
- 对任意 \(C\) 方程有解 \(\iff S_{A,B}\) 为满射 \(\iff\operatorname{rank}S_{A,B}=mq\)。
- 对每个 \(C\) 至多一组解 \(\iff S_{A,B}\) 为单射 \(\iff\operatorname{rank}S_{A,B}=nq+mp\)。
- 对任意 \(C\) 有唯一一组解 \(\iff S_{A,B}\) 为双射,秩等于定义域与值域的维数。
化简思路: 分别对 \(A,B\) 作相抵变换,把二者化成只含正奇异值和零的对角块(如果关心二范数则使用 SVD),将 \(AX-YB=C\) 化为分块方程求解。
二、Sylvester 方程 \(AX-XB=C\)
设 \(A\in\mathbb C^{m\times m}\),\(B\in\mathbb C^{p\times p}\),\(X,C\in\mathbb C^{m\times p}\)。
若有解 \(AX-XB=C\),则可对块矩阵作相似变换:
\[ \begin{pmatrix}I_m&X\\0&I_p\end{pmatrix} \begin{pmatrix}A&C\\0&B\end{pmatrix} \begin{pmatrix}I_m&-X\\0&I_p\end{pmatrix} =\begin{pmatrix}A&C+XB-AX\\0&B\end{pmatrix} =\begin{pmatrix}A&0\\0&B\end{pmatrix}. \]
与相抵相比,相似变换要求同一个变换矩阵及其逆,结构限制更严格。
相似标准形思路: 分别用可逆矩阵将 \(A,B\) 化为 Jordan 标准形,或用酉矩阵化为 Schur 上三角形。原稿备注:若题目关注矩阵范数,优先考虑 Schur 形;否则 Jordan 形也可用于理论分析。
定义线性映射
\[ S_{A,B}:\mathbb C^{m\times p}\to\mathbb C^{m\times p},\qquad X\mapsto AX-XB. \]
由于它的定义域与值域维数相等:
\[ \boxed{\forall C,\ AX-XB=C\text{ 有唯一解} \iff S_{A,B}\text{ 可逆} \iff\ker S_{A,B}=\{0\}.} \]
三、齐次 Sylvester 方程 \(AX-XB=0\)
公共特征值与非零解: 若 \(A,B\) 有公共特征值 \(\lambda\),可取非零列向量 \(\xi,\eta\) 使
\[ A\xi=\lambda\xi, \qquad B^T\eta=\lambda\eta \quad(\text{即 }\eta^TB=\lambda\eta^T). \]
令 \(X_0=\xi\eta^T\ne0\),则
\[ AX_0=(A\xi)\eta^T=\lambda\xi\eta^T =\xi(\eta^TB)=X_0B. \]
所以 \(AX-XB=0\) 有非零解。反向判别可通过 Jordan 形推出:
\[ \boxed{AX-XB=0\text{ 仅有零解}\iff\operatorname{spec}(A)\cap\operatorname{spec}(B)=\varnothing}. \]
因此当 \(A,B\) 无公共特征值时,对任意 \(C\),Sylvester 方程 \(AX-XB=C\) 有唯一解。
写出线性算子的矩阵: 对 \(X\in\mathbb C^{2\times3}\),选标准基
\[ (E_{11},E_{12},E_{13},E_{21},E_{22},E_{23}). \]
将 \(X\) 的六个元素按行作为 \(6\) 维坐标,逐个计算 \(S_{A,B}(E_{ij})=AE_{ij}-E_{ij}B\),将其坐标作为矩阵的列,即得到一个 \(6\times6\) 矩阵 \(L_{A,B}\)。齐次方程的解空间维数为
\[ \boxed{\dim\ker S_{A,B}=mp-\operatorname{rank}(L_{A,B})}. \]
原稿中的具体示例(补全):
\[ A=\begin{pmatrix}a&1\\0&a\end{pmatrix},\qquad B=\begin{pmatrix}b&1&0\\0&b&1\\0&0&b\end{pmatrix}. \]
若 \(a\ne b\),两矩阵无公共特征值,因而 \(AX-XB=0\) 只有零解,解空间维数为 \(0\)。若 \(a=b\),直接解得
\[ X=\begin{pmatrix}0&s&t\\0&0&s\end{pmatrix},\qquad s,t\in\mathbb C. \]
故 \(a=b\) 时解空间维数为 \(2\)。这也符合单个 Jordan 块间的通用关系 \(\dim\ker(X\mapsto J_m(\lambda)X-XJ_n(\lambda))=\min(m,n)\)。原稿的计算设定可以通过这一结论核验。
课后习题、课堂补充与证明
以下题目在原稿后段连续出现,按原稿标示的教材页码与题号整理;同一习题跨越多个 PDF 页面时已合并。
P85 第 66 题:差分方程的解空间
求差分方程
\[ y_{k+3}-2y_{k+2}-5y_{k+1}+6y_k=0,\qquad k=0,1,2,\ldots \]
解空间的一组基,并说明解空间的维数。
解: 特征多项式为
\[ p(\lambda)=\lambda^3-2\lambda^2-5\lambda+6 =(\lambda-1)(\lambda+2)(\lambda-3). \]
因此有三个根 \(\lambda_1=1\)、\(\lambda_2=-2\)、\(\lambda_3=3\)。
令 \(V=\mathbb C^{\mathbb N_0}\) 表示所有复数序列组成的线性空间,定义移位算子
\[ D:V\to V,\qquad(Dy)_k=y_{k+1}. \]
差分方程等价于
\[ (D^3-2D^2-5D+6I)y =(D-I)(D+2I)(D-3I)y=0. \]
取三个序列
\[ \alpha_1=(1^k)_{k\ge0},\qquad \alpha_2=((-2)^k)_{k\ge0},\qquad \alpha_3=(3^k)_{k\ge0}. \]
显然 \((D-\lambda_i I)\alpha_i=0\),所以它们均为方程的解。
线性无关性: 若 \(c_1\alpha_1+c_2\alpha_2+c_3\alpha_3=0\),比较第 \(0,1,2\) 项,得到
\[ \begin{pmatrix} 1&1&1\\1&-2&3\\1&4&9 \end{pmatrix} \begin{pmatrix}c_1\\c_2\\c_3\end{pmatrix}=0. \]
这是三个互异特征值组成的 Vandermonde 矩阵,行列式非零,所以 \(c_1=c_2=c_3=0\)。又因三阶递推式的解由三个初值 \(y_0,y_1,y_2\) 唯一确定,解空间维数为 \(3\)。因此
\[ \boxed{\{(1^k)_{k\ge0},\ ((-2)^k)_{k\ge0},\ (3^k)_{k\ge0}\}\text{ 为一组基}}. \]
原稿另一思路: 在 \(W=\ker(D^3-2D^2-5D+6I)\) 中取三组初值为 \((1,0,0)\)、\((0,1,0)\)、\((0,0,1)\) 的解序列作为基,再写出 \(D\vert_W\) 的 \(3\times3\) 矩阵并转化为 Jordan 标准形。
P85 第 73 题:商空间的第二同构定理
设 \(U,W\) 为线性空间 \(V\) 的子空间。证明
\[ \boxed{(U+W)/W\cong U/(U\cap W)}. \]
要求尽可能建立不依赖基底选取的同构映射。
商空间回顾: 对 \(W\le V\),定义陪集 \(v+W=\{v+w:w\in W\}\)。商空间 \(V/W\) 由这些陪集组成,运算为
\[ (v_1+W)+(v_2+W)=(v_1+v_2)+W, \]
\[ \lambda(v+W)=(\lambda v)+W. \]
若 \(\dim V=n\)、\(\dim W=m\),则 \(\dim(V/W)=n-m\)。
构造同构:
\[ \Phi:(U+W)/W\longrightarrow U/(U\cap W), \qquad \Phi(u+w+W)=u+(U\cap W). \]
因为 \(u+w+W=u+W\),且如果一个陪集有不同的 \(U\) 分量 \(u,u'\),必有 \(u-u'\in U\cap W\),所以映射良定义。可验证保持线性运算、满射且单射,因此为同构。
P85 第 76 题:迹函数的唯一性
证明:在 \(M_n(\mathbb F)\) 上,满足
\[ \sigma(XY)=\sigma(YX),\qquad\sigma(I_n)=n \]
的线性泛函 \(\sigma:M_n(\mathbb F)\to\mathbb F\) 唯一,且为迹函数 \(\operatorname{tr}\)。(原稿从 \(n=2\) 的基本矩阵计算入手。)
证明思路: 先验证迹函数的线性性和循环性质 \(\operatorname{tr}(XY)=\operatorname{tr}(YX)\)。再取矩阵单位 \(E_{ij}\):
- 当 \(i\ne j\),利用 \(E_{ii}E_{ij}=E_{ij}\) 与 \(E_{ij}E_{ii}=0\),得 \(\sigma(E_{ij})=0\)。
- 利用 \(E_{ij}E_{ji}=E_{ii}\) 与 \(E_{ji}E_{ij}=E_{jj}\),得所有 \(\sigma(E_{ii})\) 相等。
- \(\sum_i E_{ii}=I_n\) 且 \(\sigma(I_n)=n\),所以 \(\sigma(E_{ii})=1\)。
因此对 \(X=(x_{ij})\),
\[ \sigma(X)=\sum_{i,j}x_{ij}\sigma(E_{ij})=\sum_ix_{ii}=\operatorname{tr}(X). \]
P116 第 6 题:指数多项式空间上的求导算子
设 \(a\in\mathbb C\),
\[ V=\{e^{ax}f(x):f\in\mathbb C[x]_n\}, \]
定义 \(\mathcal D:V\to V\),\(\mathcal D(g)=g'\)。证明 \(\mathcal D\) 是线性算子,并求其 Jordan 标准形。
闭合性: 对 \(g=e^{ax}f(x)\),
\[ \mathcal D(g)=e^{ax}(af+f')\in V. \]
由导数的加法与数乘性质可验证线性性。
以 \(n=2\) 为例: 取基 \((e^{ax}x^2,e^{ax}x,e^{ax})\),有
\[ \begin{aligned} \mathcal D(e^{ax}x^2)&=a e^{ax}x^2+2e^{ax}x,\\ \mathcal D(e^{ax}x)&=a e^{ax}x+e^{ax},\\ \mathcal D(e^{ax})&=a e^{ax}. \end{aligned} \]
矩阵表示为
\[ \begin{pmatrix}a&0&0\\2&a&0\\0&1&a\end{pmatrix}. \]
经基向量重新排序与缩放,可化为单个 Jordan 块 \(J_3(a)\)。一般 \(n\) 阶多项式空间对应 \(J_{n+1}(a)\)。
原稿提醒: Jordan 标准形不依赖基底选择;不同基底下的矩阵相似。
P116 第 9 题:矩阵空间上的算子
设
\[ B=\begin{pmatrix}1&1\\0&1\end{pmatrix},\qquad V=\{X\in M_2(\mathbb R):\operatorname{tr}X=0\}, \]
定义 \(\sigma(X)=B^TX-X^TB\)。证明它是 \(V\) 的线性算子,取一组基使其矩阵尽可能简单,并求 Jordan 标准形。
首先,\(\dim V=3\),且
\[ \sigma(X)=B^TX-(B^TX)^T \]
为迹为零的矩阵,故 \(\sigma(V)\subseteq V\);线性性由矩阵加法与数乘推出。
取原稿所用的基
\[ \alpha=\begin{pmatrix}1&0\\0&-1\end{pmatrix},\quad \beta=\begin{pmatrix}0&1\\0&0\end{pmatrix},\quad \gamma=\begin{pmatrix}0&0\\1&0\end{pmatrix}. \]
逐项计算:
\[ \sigma(\alpha)=-\beta+\gamma,\qquad \sigma(\beta)=\beta-\gamma,\qquad \sigma(\gamma)=-\beta+\gamma. \]
矩阵表示为
\[ [\sigma]_{(\alpha,\beta,\gamma)} =\begin{pmatrix}0&0&0\\-1&1&-1\\1&-1&1\end{pmatrix}. \]
该阵秩为 \(1\),迹为 \(2\),特征值为 \(2,0,0\)。故 Jordan 标准形为
\[ \boxed{\operatorname{diag}(2,0,0)}. \]
P116 第 14 题:特征值非负的矩阵行列式估计
设 \(A\) 为 \(n\) 阶矩阵,主对角线元素均为 \(1\),且特征值都为非负实数。证明 \(\det A\le1\)。
证明: 设特征值为 \(\lambda_1,\ldots,\lambda_n\ge0\)。由迹不变性,
\[ \sum_{i=1}^n\lambda_i=\operatorname{tr}A=n. \]
由算术—几何平均值不等式,
\[ \frac{\lambda_1+\cdots+\lambda_n}{n} \ge(\lambda_1\cdots\lambda_n)^{1/n}, \]
故 \(\det A=\prod_i\lambda_i\le1\)。
P116 第 15 题:可交换矩阵的公共特征向量
若 \(A,B\in\mathbb C^{n\times n}\) 且 \(AB=BA\),证明 \(A,B\) 存在一个公共非零特征向量。
证明思路: 取 \(A\) 的某个特征值 \(\lambda\),令
\[ W=\ker(A-\lambda I),\qquad W\ne\{0\}. \]
对 \(\xi\in W\),有
\[ A(B\xi)=B(A\xi)=\lambda B\xi, \]
故 \(B(W)\subseteq W\)。因此 \(B\) 在非零复线性空间 \(W\) 上的限制算子有非零特征向量 \(\xi\),满足 \(B\xi=\mu\xi\),同时 \(A\xi=\lambda\xi\)。
P117 第 32 题:求矩阵幂与矩阵指数
原稿矩阵为
\[ A=\begin{pmatrix}0&0&1\\1&0&-1\\0&1&1\end{pmatrix}. \]
有
\[ \det(\lambda I-A)=\lambda^3-\lambda^2+\lambda-1 =(\lambda-1)(\lambda^2+1). \]
特征值为 \(1,i,-i\)。因 \(A\) 的特征多项式整除 \(\lambda^4-1\),由 Cayley–Hamilton 定理得
\[ \boxed{A^4=I},\qquad A^{100}=I. \]
计算 \(e^A\) 可用插值法。设
\[ e^A=c_0I+c_1A+c_2A^2, \]
按 \(\lambda=1,i,-i\) 配置方程组
\[ \begin{cases} e=c_0+c_1+c_2,\\ e^i=c_0+ic_1-c_2,\\ e^{-i}=c_0-ic_1-c_2. \end{cases} \]
于是
\[ \begin{aligned} c_1&=\sin1,\\ c_0&=\frac{e+\cos1-\sin1}{2},\\ c_2&=\frac{e-\cos1-\sin1}{2}. \end{aligned} \]
从而 \(e^A=c_0I+c_1A+c_2A^2\)。原稿提出的问题:有重特征值时需要对插值多项式求导并增加匹配条件;不一定必须使用 Jordan 形。
P120 第 48 题:严格对角占优矩阵
设 \(A=(a_{ij})\in\mathbb C^{n\times n}\) 严格对角占优,\(D=\operatorname{diag}(a_{11},\ldots,a_{nn})\)。证明 \(D\) 可逆且
\[ \rho(I-D^{-1}A)<1. \]
证明: 对每个 \(i\),\(|a_{ii}|>\sum_{j\ne i}|a_{ij}|\),所以 \(a_{ii}\ne0\)、\(D\) 可逆。并且
\[ \begin{aligned} \|I-D^{-1}A\|_\infty &=\max_i\sum_{j\ne i}\left|\frac{a_{ij}}{a_{ii}}\right|<1. \end{aligned} \]
由谱半径不大于相容矩阵范数,得 \(\rho(I-D^{-1}A)<1\)。
原稿备注:谱半径小于 \(1\) 的条件有利于建立迭代收敛性。
P120 第 53 题:参数递推数列
设 \(a_0=0,a_1=1\),且
\[ a_{n+1}=a_n+x a_{n-1},\qquad n\ge1. \]
要求 \(a_n\) 的通项公式(\(x\) 为实参数)。
方法: 设解为 \(r^n\),得到特征方程
\[ r^2-r-x=0, \qquad\Delta=1+4x, \qquad r_{1,2}=\frac{1\pm\sqrt{1+4x}}{2}. \]
当 \(\Delta\ne0\) 时,
\[ \boxed{a_n=\frac{r_1^n-r_2^n}{r_1-r_2}}. \]
当 \(\Delta=0\)(即 \(x=-1/4\))时,\(r_1=r_2=1/2\),需使用重根形式,得到
\[ \boxed{a_n=n\left(\frac12\right)^{n-1}}. \]
原稿提示:按照判别式为零和不为零的情况分别讨论。
P120 第 54 题:左右特征向量的正交关系
设 \(y^TA=\lambda y^T\)(左特征向量)且 \(Au=\mu u\)(右特征向量),证明不同特征值 \(\lambda\ne\mu\) 时
\[ \boxed{y^Tu=0}. \]
证明:
\[ \lambda y^Tu=(y^TA)u=y^T(Au)=\mu y^Tu, \]
故 \((\lambda-\mu)y^Tu=0\)。
P148 第 14 题:分块酉矩阵
设
\[ A=\begin{pmatrix}P&B\\0&Q\end{pmatrix} \]
是一个酉矩阵,其中 \(P,Q\) 分别为方阵。证明 \(P,Q\) 均为酉矩阵,并且 \(B=0\)。
证明: \(A^HA=I\),故
\[ \begin{pmatrix}P^HP&P^HB\\B^HP&B^HB+Q^HQ\end{pmatrix} =\begin{pmatrix}I&0\\0&I\end{pmatrix}. \]
因此 \(P^HP=I\),由 \(P\) 为方阵知其可逆,且 \(P^HB=0\Longrightarrow B=0\),于是 \(Q^HQ=I\)。
注: 原稿特别强调:若 \(P\) 不是方阵,不能仅从 \(P^HP=I\) 和 \(P^HB=0\) 断定 \(B=0\);矩阵尺寸是本题最容易出错的部分。
P149 第 32 题:反射变换
在 \(\mathbb R^n\) 中设 \(w\) 为长度为 \(1\) 的向量,变换
\[ \sigma(x)=x-a\langle x,w\rangle w. \]
问 \(a\) 取何值时 \(\sigma\) 为正交变换;若 \(w\) 为任意向量如何?
解: 将 \(\mathbb R^n\) 分解为 \(\operatorname{span}\{w\}\oplus w^\perp\)。对 \(x\perp w\),\(\sigma(x)=x\);对 \(x=w\),\(\sigma(w)=(1-a)w\)。因此在适当标准正交基下矩阵为
\[ \operatorname{diag}(1,\ldots,1,1-a). \]
它为正交阵当且仅当 \((1-a)^2=1\),即
\[ \boxed{a=0\quad\text{或}\quad a=2}. \]
若 \(w\ne0\) 未标准化,则相应地
\[ \boxed{a=0\quad\text{或}\quad a=\frac2{\|w\|^2}}. \]
若 \(w=0\),变换本身是恒等变换,对任何 \(a\) 都为正交变换。
P149 第 44 题:低秩矩阵的 Frobenius 范数
设 \(x,y,\alpha,\beta\in\mathbb C^n\),满足
\[ x^Hy=0,\qquad\alpha^H\beta=0, \]
令 \(A=x\alpha^H+y\beta^H\)。求 \(\|A\|_F\)。
由 \(\|A\|_F^2=\operatorname{tr}(A^HA)\),展开后利用正交条件与迹的循环性质,交叉项为零,得到
\[ \boxed{\|A\|_F^2=\|x\|^2\|\alpha\|^2+\|y\|^2\|\beta\|^2}, \]
即
\[ \boxed{\|A\|_F=\sqrt{\|x\|^2\|\alpha\|^2+\|y\|^2\|\beta\|^2}}. \]
原稿补充:\(A\) 可写为 \(A=(x,y)(\alpha,\beta)^H\),所以 \(\operatorname{rank}(A)\le2\)。
P149 第 49 题:两个矩阵零空间的交
设 \(A,B\) 有相同列数,证明
\[ \boxed{\ker A\cap\ker B=\ker\begin{pmatrix}A\\B\end{pmatrix}}. \]
证明:
\[ \begin{pmatrix}A\\B\end{pmatrix}x=0 \iff\begin{cases}Ax=0,\\Bx=0\end{cases} \iff x\in\ker A\cap\ker B. \]
原稿思考:\(\operatorname{rank}\begin{pmatrix}A\\B\end{pmatrix}\le\operatorname{rank}A+\operatorname{rank}B\),何时取等号?可从行空间与维数公式的角度分析。
P203 第 30 题:计算矩阵几何级数
设
\[ A=\begin{pmatrix}2&-\frac12\\2&0\end{pmatrix}, \qquad \text{求 }\sum_{k=0}^{\infty}\frac{A^k}{2^k}. \]
令 \(B=A/2\)。其特征多项式为 \((\lambda-\tfrac12)^2\),故 \(\rho(B)=1/2<1\),级数收敛。于是
\[ \begin{aligned} \sum_{k=0}^{\infty}\frac{A^k}{2^k} &=\sum_{k=0}^{\infty}B^k=(I-B)^{-1}\\ &=\begin{pmatrix}0&\frac14\\-1&1\end{pmatrix}^{-1} =\boxed{\begin{pmatrix}4&-1\\4&0\end{pmatrix}}. \end{aligned} \]
注: 必须先判断收敛,不能忽略谱半径条件直接使用 \((I-B)^{-1}\)。
P203 第 32 题:求 \(e^A\)、\(\sin A\) 与 \(\cos A\)
原稿建议按矩阵形式选择方法:
- 若 \(A\) 已经是 Jordan 分块形,分别求各块的函数。
- 若 \(A=PJP^{-1}\),先求 \(f(J)\),再求 \(f(A)=Pf(J)P^{-1}\)。
- 若 \(A\) 满足低次多项式关系,可使用插值法或多项式降阶。
例: 若 \(A^2=A\)(幂等矩阵),则用特征值 \(0,1\) 的插值法,设 \(e^A=aI+bA\),有
\[ \begin{cases}a=1,\\a+b=e,\end{cases} \quad\Longrightarrow\quad \boxed{e^A=I+(e-1)A}. \]
类似可得
\[ \boxed{\sin A=(\sin1)A},\qquad \boxed{\cos A=I+(\cos1-1)A}. \]
原稿提醒:若最小多项式有重根,插值必须同时考虑相应阶的导数。
P231 第 2 题:投影矩阵的运算
设 \(P_1,P_2\) 为投影矩阵,即 \(P_1^2=P_1\)、\(P_2^2=P_2\)。证明:
- \(P_1+P_2\) 是投影矩阵 \(\iff P_1P_2=P_2P_1=0\)。
- \(P_1-P_2\) 是投影矩阵 \(\iff P_1P_2=P_2P_1=P_2\)。
- \(P_1^H\)、\(I-P_1\)、\(T^{-1}P_1T\)(\(T\) 可逆)仍为投影矩阵。
证明思路:
对 (1),
\[ (P_1+P_2)^2=P_1+P_2+P_1P_2+P_2P_1. \]
故幂等性等价于 \(P_1P_2+P_2P_1=0\)。再利用 \(P_1^2=P_1\)、\(P_2^2=P_2\),左右分别乘 \(P_i\),可推出 \(P_1P_2=P_2P_1=0\);反向显然。
对 (2),
\[ (P_1-P_2)^2=P_1-P_1P_2-P_2P_1+P_2. \]
令其等于 \(P_1-P_2\),得到 \(P_1P_2+P_2P_1=2P_2\),配合投影矩阵的幂等性可推出 \(P_1P_2=P_2P_1=P_2\);反向由直接代入验证。
对 (3):
\[ (P_1^H)^2=(P_1^2)^H=P_1^H, \]
\[ (I-P_1)^2=I-2P_1+P_1^2=I-P_1, \]
\[ (T^{-1}P_1T)^2=T^{-1}P_1^2T=T^{-1}P_1T. \]
原稿强调:投影矩阵的本质是幂等阵;这里不额外要求投影矩阵是 Hermitian 阵。
P233 第 46 题:广义逆与方程可解性
设 \(A\in\mathbb C^{m\times n}\)、\(b\in\mathbb C^m\),取一个满足 \(AGA=A\) 的广义逆 \(G\)。证明
\[ \boxed{Ax=b\text{ 有解}\iff AGb=b}. \]
证明:
- 若 \(Ax=b\) 有解,则 \(AGb=AGAx=Ax=b\)。
- 若 \(AGb=b\),取 \(x=Gb\),则 \(Ax=AGb=b\)。
当有解时,通解为
\[ \boxed{x=Gb+(I-GA)y,\qquad y\in\mathbb C^n}. \]
因为 \(A(I-GA)=A-AGA=0\),这确实给出解;反之若 \(Ax=b\),取 \(y=x\),则 \(Gb+(I-GA)x=x\),故覆盖所有解。
P233 第 48 题:相容方程组的通解与陪集
对相容线性方程组 \(Ax=a\),使用 MP 逆可表示通解为
\[ \boxed{x=A^+a+(I-A^+A)y},\qquad y\in\mathbb C^n. \]
它也可写成陪集形式
\[ \boxed{A^+a+\ker A}. \]
原稿提出的证明要点:\(A^+a\) 与 \((I-A^+A)y\) 正交,其中 \(A^+A\) 为正交投影,从而得出最小范数解为 \(A^+a\)。
续审核对(教材第 227—229 页): 仅在方程相容时,该式称为“精确通解”;不相容时 \(A^+a+(I-A^+A)y\) 是所有最小二乘解,且 \(A^+a\) 是其中唯一的最小范数解。教材分别以 \(\{1,3\}\)-逆描述最小二乘、以 \(\{1,4\}\)-逆描述相容系统的最小范数解。
另设 \(Ax=a\) 与 \(Bx=b\) 均有解,则它们有公共解当且仅当可以同时满足上述两组线性条件;可合并成
\[ \begin{pmatrix}A\\B\end{pmatrix}x= \begin{pmatrix}a\\b\end{pmatrix} \]
研究其解空间和陪集表示。
P234 第 49 题:两个矩阵方程的公共解
设 \(A,B,C,D\) 为同阶方阵,且 \(AX=B\) 与 \(XC=D\) 分别有解。证明两方程有公共解当且仅当
\[ \boxed{AD=BC}. \]
必要性: 若 \(X\) 为公共解,则
\[ AD=A(XC)=(AX)C=BC. \]
充分性: 设 \(X_0\) 满足 \(AX_0=B\),取 \(H\) 为 \(C\) 的一个广义逆,满足 \(CHC=C\)。因 \(XC=D\) 有解,可知 \(DHC=D\)。若 \(AD=BC\),令
\[ X_*=X_0+(D-X_0C)H, \]
则
\[ AX_*=B+(AD-BC)H=B, \]
\[ X_*C=X_0C+(D-X_0C)HC=D. \]
所以 \(X_*\) 为公共解。
公共通解: 若 \(X_*\) 为任一公共解,另取 \(A^{(1)}\)、\(C^{(1)}\) 分别为 \(A,C\) 的一个广义逆,则全部公共解为
\[ \boxed{X=X_*+(I-A^{(1)}A)Z(I-CC^{(1)})}, \qquad Z\text{ 为任意同阶矩阵}. \]
这里的增量满足 \(A\Delta=0\) 与 \(\Delta C=0\),反过来任意公共解与 \(X_*\) 之差都满足这两个齐次条件,因而能表示为上述形式。
考试与复习提醒(原稿批注)
原稿记录考试形式:没有选择题、判断题、填空题,重点为计算、验证、证明与综合说理,例如判断可逆性、线性变换、线性空间以及如何选取基底。
集中关注以下主线:
- 向量空间:线性空间、子空间、内积、正交、维数与商空间。
- 线性映射:核与像、单射与满射、矩阵表示、换基与相似。
- 标准形:Schur、Jordan、相抵标准形、SVD。
- 矩阵函数:谱半径、收敛性、矩阵幂、矩阵指数、插值法。
- 矩阵方程:可解性、唯一性、最小二乘、广义逆、Sylvester 方程。