矩阵分析笔记

本文最后更新于 2026年10月15日 上午

矩阵分析笔记

审校说明: 本稿以 54 页手写 PDF 为第一依据,沿原有章节及标题连续编排。现已结合《矩阵理论与应用》(正文第 1—245 页,含 SVD、范数、矩阵函数及广义逆章节)核查。“续审核对/教材补充”是核查者添加,不冒充原手写笔记。 已对关键定义、定理的适用条件和部分例题独立验算;保留原稿的复内积约定。仍有手绘示意图与冗长板书演算以等价文字概述,不代表全部公式均经逐字符人工校勘。具体记录见《矩阵分析笔记_审校报告_完整教材续审.md》。

第一章 线性代数概要与提高

数域与线性代数回顾

数域定义: 设 \(\{0,1\}\subseteq\mathbb F\subseteq\mathbb C\),且 \(\mathbb F\) 对加、减、乘、除(除数非 \(0\))四则运算封闭,则称 \(\mathbb F\) 为一个数域。

常用数域:\(\mathbb Q\subseteq\mathbb R\subseteq\mathbb C\)(有理数域、实数域、复数域)。

线性方程组

\[ \begin{cases} a_{11}x_1+a_{12}x_2+\cdots+a_{1n}x_n=b_1,\\ a_{21}x_1+a_{22}x_2+\cdots+a_{2n}x_n=b_2,\\ \qquad\vdots\\ a_{m1}x_1+a_{m2}x_2+\cdots+a_{mn}x_n=b_m. \end{cases} \]

令 \(A=(a_{ij})_{m\times n}\),\(X=(x_1,\ldots,x_n)^T\),\(\beta=(b_1,\ldots,b_m)^T\),则线性方程组写成 \(AX=\beta\)。若 \(A=(\alpha_1,\ldots,\alpha_n)\),则

\[ AX=\beta\iff x_1\alpha_1+\cdots+x_n\alpha_n=\beta. \]

  • \(AX=\beta\) 有解 \(\iff\beta\) 可由 \(\alpha_1,\ldots,\alpha_n\) 线性表示 \(\iff\operatorname{rank}(A\mid\beta)=\operatorname{rank}(A)\)。
  • \(AX=\beta\) 至多有一个解 \(\iff\alpha_1,\ldots,\alpha_n\) 线性无关 \(\iff\operatorname{rank}(A)=n\)。
  • 对任意 \(\beta\in\mathbb F^{m\times1}\),\(AX=\beta\) 有解 \(\iff\operatorname{rank}(A)=m\)(满行秩)。
  • 对任意 \(\beta\in\mathbb F^{m\times1}\),\(AX=\beta\) 恰有一个解 \(\iff m=n=\operatorname{rank}(A)\),即 \(A\) 为可逆方阵。

二次型与矩阵运算

设 \(X\in\mathbb F^{n\times1}\),\(A\in\mathbb F^{n\times n}\),二次型(quadratic form)为

\[ f(X)=X^TAX=\sum_{i=1}^n\sum_{j=1}^n x_i a_{ij}x_j. \]

方阵 \(A\) 可逆时,\(A^{-1}=\dfrac{A^*}{|A|}\)(这里 \(A^*\) 为伴随矩阵)。

若 \(A=PBP^{-1}\),其中 \(B=\operatorname{diag}(\lambda_1,\ldots,\lambda_n)\),则称 \(A\) 可相似对角化,且

\[ A^k=PB^kP^{-1}. \]

线性空间(Linear Space)

一、线性空间

设 \(\mathbb F\) 为数域,\(V\) 为非空集合。

加法运算: \(+:V\times V\to V\),\((\alpha,\beta)\mapsto\alpha+\beta\),满足:

  1. 结合律:\((\alpha+\beta)+\gamma=\alpha+(\beta+\gamma)\)。
  2. 交换律:\(\alpha+\beta=\beta+\alpha\)。
  3. 存在零元 \(\theta\in V\):\(\alpha+\theta=\theta+\alpha=\alpha\)。
  4. 每个 \(\alpha\in V\) 有加法逆元 \(-\alpha\):\(\alpha+(-\alpha)=\theta\)。

此时称 \((V,+)\) 为交换群(加群)。零元、加法逆元若存在则均唯一。

数乘运算: \(V\times\mathbb F\to V\),\((\alpha,\lambda)\mapsto\alpha\lambda\),还需满足:

  1. \((\alpha\lambda_1)\lambda_2=\alpha(\lambda_1\lambda_2)\)。
  2. \(\alpha(\lambda_1+\lambda_2)=\alpha\lambda_1+\alpha\lambda_2\)。
  3. \((\alpha_1+\alpha_2)\lambda=\alpha_1\lambda+\alpha_2\lambda\)。
  4. \(\alpha\cdot1=\alpha\)。

满足以上八条,称 \((V,+,\cdot)\) 构成 \(\mathbb F\) 上的线性空间(右数乘约定)。

注: \(\alpha\cdot0=\theta\);\(\alpha(-1)=-\alpha\)。可由加法逆元唯一性及数乘分配律推出。

二、例子

  1. \(V=\mathbb F^{m\times1}\):列向量空间,逐项相加、逐项数乘。

  2. \(V=\mathbb F^{m\times n}\):矩阵空间,按通常矩阵加法和数乘。

  3. 多项式空间:\(\mathbb F[x]=\{\sum_{i=0}^n c_ix^i\mid c_i\in\mathbb F,\ n\in\mathbb N\}\)。

  4. 若 \(S\) 非空,\(\mathbb F^S=\{\varphi:S\to\mathbb F\}\),按点定义:

    \[ (\varphi_1+\varphi_2)(x)=\varphi_1(x)+\varphi_2(x),\qquad (\varphi\lambda)(x)=\varphi(x)\lambda. \]

  5. 若 \(\mathbb Q\subseteq\mathbb F_1\subseteq\mathbb F_2\subseteq\mathbb C\) 且 \(\mathbb F_1,\mathbb F_2\) 是数域,则 \(\mathbb F_2\) 可看作 \(\mathbb F_1\) 上的线性空间。

三、维数、基底、坐标

设 \(V\) 是 \(\mathbb F\) 上的线性空间。

  • 当 \(V=\{\theta\}\) 时,称 \(V\) 为 \(0\) 维线性空间。

  • 若存在向量组 \(\mathcal I=(\xi_1,\ldots,\xi_n)\),使任意 \(\alpha\in V\) 都能唯一表示成

    \[ \alpha=\xi_1k_1+\xi_2k_2+\cdots+\xi_nk_n,\qquad k_i\in\mathbb F, \]

    则 \(V\) 是 \(n\) 维线性空间,\(\mathcal I\) 是 \(V\) 的一个基底;\(X=(k_1,\ldots,k_n)^T\) 称为 \(\alpha\) 在基 \(\mathcal I\) 下的坐标。

四、过渡矩阵及坐标转换公式

设 \(\mathcal I=(\xi_1,\ldots,\xi_n)\) 与 \(\mathcal I'=(\xi_1',\ldots,\xi_n')\) 均为 \(V\) 的基。若

\[ (\xi_1',\ldots,\xi_n')=(\xi_1,\ldots,\xi_n)P, \]

则 \(P\) 称为从 \(\mathcal I\) 到 \(\mathcal I'\) 的过渡矩阵。对于同一向量 \(\alpha\),

\[ \alpha=(\xi_1,\ldots,\xi_n)X=(\xi_1',\ldots,\xi_n')X' \quad\Longrightarrow\quad X=PX',\qquad X'=P^{-1}X. \]

标准基举例:

  • \(\mathbb R^{n\times1}\) 的标准基 \(e_1,\ldots,e_n\)。
  • \(\mathbb R^{2\times3}\) 的基 \(E_{11},E_{12},E_{13},E_{21},E_{22},E_{23}\),其中 \(E_{ij}\) 在 \((i,j)\) 位置为 \(1\),其他为 \(0\)。坐标可按列拉直或按行拉直,但必须明确顺序。
  • \(\mathbb R[x]_2\) 的基 \((1,x,x^2)\),对 \(c_0+c_1x+c_2x^2\) 的坐标为 \((c_0,c_1,c_2)^T\)。

原稿提示练习:第 26、27、28 题。

内积空间

复共轭回顾

对 \(z=a+ib\in\mathbb C\),有 \(\overline z=a-ib\),

\[ \overline{z_1\pm z_2}=\overline{z_1}\pm\overline{z_2},\qquad \overline{z_1z_2}=\overline{z_1}\,\overline{z_2},\qquad \overline{z_1/z_2}=\overline{z_1}/\overline{z_2}\ (z_2\ne0), \]

\[ \bar z=z\iff z\in\mathbb R,\qquad z\bar z=a^2+b^2=|z|^2. \]

一、概念

设 \(V\) 为 \(\mathbb F\) 上的线性空间,通常 \(\mathbb F=\mathbb R\) 或 \(\mathbb C\)。映射 \(\langle\cdot,\cdot\rangle:V\times V\to\mathbb F\) 称为内积,若满足:

  1. 共轭对称性:\(\langle\beta,\alpha\rangle=\overline{\langle\alpha,\beta\rangle}\)。

  2. 正定性:\(\langle\alpha,\alpha\rangle\ge0\),且 \(\langle\alpha,\alpha\rangle=0\iff\alpha=\theta\)。

  3. 对第二变量线性:

    \[ \langle\alpha,\beta_1\lambda_1+\beta_2\lambda_2\rangle =\langle\alpha,\beta_1\rangle\lambda_1+ \langle\alpha,\beta_2\rangle\lambda_2. \]

则 \((V,\langle\cdot,\cdot\rangle)\) 是 \(\mathbb F\)-内积空间。实内积空间称欧几里得空间;有限维复内积空间称酉空间(unitary space)。

审校注(与参考教材的记号约定不同): 本笔记采用第二变量线性、第一变量共轭线性,对应标准复向量内积 \(\langle x,y\rangle=x^Hy\)。所附教材《矩阵理论与应用》的定义 1.5.1 则采用第一变量线性、第二变量共轭线性。两种约定均可使用,但必须在 Gram 矩阵、正交化和投影公式中保持一致;下文沿用笔记本身的约定。

由共轭对称性和第二变量线性性得:

\[ \langle\alpha_1\lambda_1+\alpha_2\lambda_2,\beta\rangle =\bar\lambda_1\langle\alpha_1,\beta\rangle+ \bar\lambda_2\langle\alpha_2,\beta\rangle. \]

二、正交及勾股定理

称 \(\alpha,\beta\in V\) 正交,记为 \(\alpha\perp\beta\),若 \(\langle\alpha,\beta\rangle=0\)。

  • \(\alpha\perp\alpha\iff\alpha=\theta\)。
  • \(\alpha\perp\beta\iff\beta\perp\alpha\)。
  • \(\alpha\perp\beta\) 且 \(\alpha\perp\gamma\),则对任意标量 \(s,t\) 都有 \(\alpha\perp(s\beta+t\gamma)\);正交关系不意味着 \(\beta\perp\gamma\)。

勾股定理: 若 \(\alpha\perp\beta\),则

\[ \langle\alpha+\beta,\alpha+\beta\rangle =\langle\alpha,\alpha\rangle+\langle\beta,\beta\rangle. \]

向量长度(范数)定义为

\[ \|\alpha\|=\sqrt{\langle\alpha,\alpha\rangle}, \]

从而 \(\alpha\perp\beta\Longrightarrow\|\alpha+\beta\|^2=\|\alpha\|^2+\|\beta\|^2\)。

距离定义为 \(d(\alpha,\beta)=\|\alpha-\beta\|\)。三角不等式:

\[ \|\alpha+\beta\|\le\|\alpha\|+\|\beta\|, \qquad d(\alpha,\gamma)\le d(\alpha,\beta)+d(\beta,\gamma). \]

内积例子:

空间 内积
\(\mathbb R^{n\times1}\) \(\langle\alpha,\beta\rangle=\alpha^T\beta\)
\(\mathbb C^{n\times1}\) \(\langle\alpha,\beta\rangle=\alpha^H\beta=\overline\alpha^T\beta\)
\(\mathbb F^{m\times n}\) \(\langle A,B\rangle=\operatorname{tr}(A^HB)\)(实矩阵用 \(A^T\))
\(\mathbb R[x]_{n}\) \(\langle f,g\rangle=\int_0^1 f(t)g(t)\,dt\)

其中 \(\operatorname{tr}\) 表示迹(trace),\(H\) 表示共轭转置。

三、柯西不等式(Cauchy–Schwarz)

对任意 \(\alpha,\beta\in V\),

\[ \boxed{|\langle\alpha,\beta\rangle|\le\|\alpha\|\,\|\beta\|}. \]

证明思路: 若 \(\alpha=\theta\) 显然。若 \(\alpha\ne\theta\),取

\[ k=\frac{\langle\alpha,\beta\rangle}{\langle\alpha,\alpha\rangle}, \qquad \gamma=\beta-\alpha k, \]

于是 \(\langle\alpha,\gamma\rangle=0\)。根据勾股定理,

\[ \|\beta\|^2=\|\alpha k\|^2+\|\gamma\|^2 =\frac{|\langle\alpha,\beta\rangle|^2}{\|\alpha\|^2}+\|\gamma\|^2 \ge\frac{|\langle\alpha,\beta\rangle|^2}{\|\alpha\|^2}. \]

等号成立当且仅当 \(\alpha,\beta\) 线性相关(零向量情形也包含在内)。

实内积空间中,非零 \(\alpha,\beta\) 的夹角 \(\theta\in[0,\pi]\) 定义为

\[ \langle\alpha,\beta\rangle=\|\alpha\|\,\|\beta\|\cos\theta. \]

三角不等式 \(\|\alpha\pm\beta\|\le\|\alpha\|+\|\beta\|\) 可由柯西不等式证明。

四、标准正交基

  1. 若向量组 \(\alpha_1,\ldots,\alpha_s\) 满足 \(\langle\alpha_i,\alpha_j\rangle=0\)(\(i\ne j\)),则称为正交向量组。非零正交向量组线性无关(原稿引用命题 1.5.2)。
  2. 若进一步满足 \(\langle\alpha_i,\alpha_j\rangle=\delta_{ij}\),则称为标准正交向量组。
  3. 若有限维内积空间 \(V\) 的一个基是标准正交向量组,则称为标准正交基。任一有限维内积空间均存在标准正交基(原稿引用定理 1.5.1)。

五、Gram 矩阵及正交化

设 \(\xi_1,\ldots,\xi_n\) 为内积空间 \(V\) 的基,令 \(\alpha=(\xi_1,\ldots,\xi_n)X\),\(\beta=(\xi_1,\ldots,\xi_n)Y\)。定义 Gram 矩阵

\[ G=(\langle\xi_i,\xi_j\rangle)_{n\times n}. \]

则

\[ \boxed{\langle\alpha,\beta\rangle=\overline X^{\,T}GY=X^HGY}. \]

性质:

  • \(G^H=G\),即 \(G\) 为 Hermitian(厄米特)矩阵。复空间下为厄米特对称矩阵,实空间下为实对称矩阵。

  • \(G\) 正定;基为标准正交基时 \(G=I_n\)。

  • 若从基 \(\mathcal I\) 到基 \(\mathcal I'\) 的过渡矩阵为 \(P\),则新 Gram 矩阵为

    \[ G'=P^HGP\quad(\text{复空间}),\qquad G'=P^TGP\quad(\text{实空间}). \]

正交化示意(Gram–Schmidt): 对线性无关的 \(\alpha_1,\alpha_2,\alpha_3\),取

\[ \begin{aligned} \xi_1&=\alpha_1,\\ \xi_2&=\alpha_2-\frac{\langle\xi_1,\alpha_2\rangle}{\langle\xi_1,\xi_1\rangle}\xi_1,\\ \xi_3&=\alpha_3-\frac{\langle\xi_1,\alpha_3\rangle}{\langle\xi_1,\xi_1\rangle}\xi_1 -\frac{\langle\xi_2,\alpha_3\rangle}{\langle\xi_2,\xi_2\rangle}\xi_2. \end{aligned} \]

原稿亦以 \(\xi_2=\alpha_2-k_1\alpha_1\)、\(\xi_3=\alpha_3-k_2\alpha_1-k_3\alpha_2\),通过解正交条件确定未知系数。

求有限维内积空间的标准正交基: (1)求维数并找基底;(2)正交化;(3)标准化 \(e_i=\xi_i/\|\xi_i\|\)。

六、计算例题

例 1:矩阵幂。 对

\[ A=\begin{pmatrix}\cos x&\sin x\\-\sin x&\cos x\end{pmatrix}, \]

特征值为 \(\lambda_{1,2}=\cos x\pm i\sin x\)。当 \(\sin x\ne0\) 时,选复特征向量构造 \(P\),可得 \(A=PDP^{-1}\),从而 \(A^n=PD^nP^{-1}\)。另外,原稿提醒可寻找规律并用数学归纳法证明。

对于

\[ A=\begin{pmatrix}\cos x&\sin x\\\sin x&-\cos x\end{pmatrix}, \]

有特征多项式 \(\lambda^2-1\),因此 \(A\) 可对角化,其对角形为 \(\operatorname{diag}(1,-1)\)。

例 2:幂零矩阵与二项式公式。 设

\[ A=\begin{pmatrix}-1&2&3\\0&-1&4\\0&0&-1\end{pmatrix}=-I+N, \quad N=\begin{pmatrix}0&2&3\\0&0&4\\0&0&0\end{pmatrix}, \quad N^3=0. \]

则

\[ A^n=(-1)^nI+\binom n1(-1)^{n-1}N+\binom n2(-1)^{n-2}N^2. \]

例 3:与任意矩阵可交换的矩阵。 设

\[ S=\{A\in\mathbb R^{2\times2}: AX=XA,\ \forall X\in\mathbb R^{2\times2}\}. \]

取矩阵空间的基 \(E_{11},E_{12},E_{21},E_{22}\),只需令 \(AE_{ij}=E_{ij}A\),求得

\[ S=\{cI:c\in\mathbb R\}. \]

例 4:复数单位根与正交性。 设 \(\omega=e^{2\pi i/3}\),\(\omega^3=1\) 且 \(1+\omega+\omega^2=0\),取

\[ A=\begin{pmatrix}1&1&1\\1&\omega&\omega^2\\1&\omega^2&\omega^4\end{pmatrix} =(\alpha_1,\alpha_2,\alpha_3). \]

则 \(A^HA=3I\),各列两两正交,

\[ A^{-1}=\frac13A^H. \]

第二章 矩阵与线性映射

2.1 线性子空间及直和分解

一、线性子空间(Linear Subspace)

设 \(V\) 为 \(\mathbb F\) 上的线性空间,\(W\) 为 \(V\) 的非空子集。若对任意 \(\alpha,\beta\in W\) 和 \(\lambda\in\mathbb F\),有

\[ \alpha+\beta\in W,\qquad\alpha\lambda\in W, \]

则称 \(W\) 是 \(V\) 的一个线性子空间,记为 \(W\le V\)。

  • 对加法与数乘封闭是判别子空间的关键。
  • \(W\) 必包含零元;\((W,+,\cdot)\) 仍为线性空间。
  • \(V\) 与 \(\{\theta\}\) 均为 \(V\) 的子空间。
  • \(0\) 维空间只有一个子空间;\(1\) 维空间有两个子空间;\(2\) 维空间有无数个子空间(图示为过原点的直线)。

对两个子空间 \(W_1,W_2\le V\):

\[ W_1\cap W_2\le V,\qquad W_1+W_2=\{\alpha_1+\alpha_2:\alpha_i\in W_i\}\le V. \]

但 \(W_1\cup W_2\) 一般不是子空间,除非 \(W_1\subseteq W_2\) 或 \(W_2\subseteq W_1\)。

例: \(V=\mathbb R^3\),\(W_1=\{(x,y,0)^T:x,y\in\mathbb R\}\),\(W_2=\{(0,y,z)^T:y,z\in\mathbb R\}\)。则

\[ \dim(W_1)=\dim(W_2)=2,\quad \dim(W_1\cap W_2)=1,\quad W_1+W_2=\mathbb R^3. \]

二、直和分解(Direct Sum Decomposition)

设 \(W_1,W_2\le V\)。若 \(V\) 中任意向量 \(\alpha\) 都唯一分解为

\[ \alpha=\beta_1+\beta_2,\qquad\beta_1\in W_1,\ \beta_2\in W_2, \]

则称 \(V=W_1\oplus W_2\) 是 \(V\) 的一个直和分解。

其本质判别条件为

\[ \boxed{V=W_1\oplus W_2\iff \begin{cases}V=W_1+W_2,\\W_1\cap W_2=\{\theta\}.\end{cases}} \]

唯一性证明思路: 若 \(\alpha=\beta_1+\beta_2=\gamma_1+\gamma_2\),则 \(\beta_1-\gamma_1=\gamma_2-\beta_2\in W_1\cap W_2\),故两边都为零,分解唯一。

三、维数(Dimension)

对有限维空间 \(V\):

  • \(W_1\subseteq W_2\subseteq V\Longrightarrow\dim W_1\le\dim W_2\le\dim V\)。

  • 若 \(W_1\subseteq W_2\) 且 \(\dim W_1=\dim W_2\),则 \(W_1=W_2\)。

  • 维数公式:

    \[ \boxed{\dim(W_1+W_2)+\dim(W_1\cap W_2)=\dim W_1+\dim W_2.} \]

四、矩阵的四个基本子空间

设 \(A\in\mathbb F^{m\times n}\),\(\operatorname{rank}(A)=r\)。

  1. 零空间(null space):

    \[ W_1=\{X\in\mathbb F^{n\times1}:AX=0\},\qquad\dim W_1=n-r. \]

  2. 列空间(column space):

    \[ W_2=\{\beta:AX=\beta\text{ 对某个 }X\text{ 有解}\}\subseteq\mathbb F^{m\times1},\qquad\dim W_2=r. \]

  3. 左零空间(left null space):

    \[ W_3=\{Y\in\mathbb F^{1\times m}:YA=0\},\qquad\dim W_3=m-r. \]

  4. 行空间(row space):

    \[ W_4=\{Y:\exists X\in\mathbb F^{1\times m},\ Y=XA\}\subseteq\mathbb F^{1\times n},\qquad\dim W_4=r. \]

原稿提出思考:在 \(m=n\) 时,是否存在 \(\mathbb F^{n\times1}=W_1\oplus W_2\) 等直和分解?要同时检查和空间、交空间是否满足相应条件。

线性映射及其矩阵表示

一、线性映射

设 \(V_1,V_2\) 是同一数域 \(\mathbb F\) 上的线性空间。若 \(\varphi:V_1\to V_2\) 满足

\[ \varphi(\alpha+\beta)=\varphi(\alpha)+\varphi(\beta),\qquad \varphi(\alpha\lambda)=\varphi(\alpha)\lambda, \]

则称 \(\varphi\) 为线性映射。当 \(V_1=V_2=V\) 时,称为 \(V\) 上的线性算子。

性质:

\[ \varphi\!\left(\sum_{i=1}^s\alpha_i k_i\right)=\sum_{i=1}^s\varphi(\alpha_i)k_i, \]

\[ \varphi(\alpha-\beta)=\varphi(\alpha)-\varphi(\beta), \qquad\varphi(\theta_{V_1})=\theta_{V_2}. \]

即线性映射保持线性组合、差及坐标原点。

像空间与核空间:

\[ \operatorname{Im}\varphi=\{\varphi(\alpha):\alpha\in V_1\}\le V_2, \qquad \ker\varphi=\{\alpha\in V_1:\varphi(\alpha)=\theta_{V_2}\}\le V_1. \]

命题:

\[ \begin{aligned} \operatorname{Im}\varphi=V_2&\iff\varphi\text{ 是满射},\\ \ker\varphi=\{\theta_{V_1}\}&\iff\varphi\text{ 是单射},\\ \varphi\text{ 可逆}&\iff\varphi\text{ 是双射}. \end{aligned} \]

同构: 若线性映射 \(\varphi:V_1\to V_2\) 为双射,称为线性同构,记 \(V_1\cong V_2\)。特别地,\(\mathbb C\) 作为实线性空间与 \(\mathbb R^2\) 同构:

\[ a+ib\mapsto\binom ab. \]

非通常运算的例子: 原稿在区间 \((-\tfrac12,+\infty)\) 上定义新的加法、数乘,使

\[ \varphi(x)=\ln(1+2x) \]

成为到 \(\mathbb R\) 的线性同构。因而新运算需使 \(\ln(1+2(x_1\oplus x_2))=\ln(1+2x_1)+\ln(1+2x_2)\),原稿列作练习(P31,21、22)。

二、线性映射的矩阵表示

设 \(\dim V_1=n\),\(\dim V_2=m\),分别取基

\[ \mathcal I=(\alpha_1,\ldots,\alpha_n),\qquad \mathcal J=(\beta_1,\ldots,\beta_m). \]

若

\[ \varphi(\alpha_j)=\sum_{i=1}^{m}\beta_i a_{ij},\qquad j=1,\ldots,n, \]

则矩阵 \(A=(a_{ij})_{m\times n}\) 称为 \(\varphi\) 在两组基下的矩阵表示。记 \(v=\mathcal I X\)、\(\varphi(v)=\mathcal J Y\),那么

\[ \boxed{Y=AX}. \]

变换基底: 设 \(V_1\) 两组基的过渡矩阵为 \(P\),\(V_2\) 两组基的过渡矩阵为 \(Q\),同一线性映射的矩阵表示分别为 \(A,B\)。则

\[ AP=QB,\qquad\boxed{B=Q^{-1}AP}. \]

因此 \(A,B\) 相抵,秩相同。

线性算子的特殊情况: \(V_1=V_2=V\),输入、输出使用同一组基,换基后

\[ \boxed{B=P^{-1}AP}. \]

因此 \(A,B\) 相似,特征多项式相同:

\[ |\lambda I-A|=|\lambda I-B|. \]

内积空间中的正交补与保内积算子

一、正交补

设 \((V,\langle\cdot,\cdot\rangle)\) 是有限维内积空间,\(W\le V\)。定义

\[ \boxed{W^\perp=\{\beta\in V:\langle\alpha,\beta\rangle=0,\ \forall\alpha\in W\}}. \]

则 \(W^\perp\) 是线性子空间,并且

\[ W\cap W^\perp=\{\theta\},\qquad \dim W^\perp=\dim V-\dim W, \]

\[ \boxed{V=W\oplus W^\perp}. \]

若 \(v=w+w'\),\(w\in W\)、\(w'\in W^\perp\),则 \(w\) 称为 \(v\) 在 \(W\) 中的正交投影,\(\|w'\|=\|v-w\|\) 是 \(v\) 到 \(W\) 的距离,并且

\[ \|v\|^2=\|w\|^2+\|w'\|^2. \]

二、保内积的线性算子

若线性算子 \(\varphi:V\to V\) 满足

\[ \langle\varphi(\alpha),\varphi(\beta)\rangle =\langle\alpha,\beta\rangle,\qquad\forall\alpha,\beta\in V, \]

则称 \(\varphi\) 为保内积的线性算子。当 \(\mathbb F=\mathbb R\) 时称为正交变换,当 \(\mathbb F=\mathbb C\) 时称为酉变换。

  • 保内积意味着保长度(范数)与距离。
  • 保内积算子将标准正交基映为标准正交基。

实空间 \(V=\mathbb R^n\),以通常内积 \(\langle X,Y\rangle=X^TY\),设 \(\varphi(X)=AX\)。则

\[ \langle AX,AY\rangle=X^TA^TAY=\langle X,Y\rangle \iff\boxed{A^TA=I}. \]

故 \(A\) 为正交矩阵。二维示例:

\[ A=\begin{pmatrix}\cos x&\sin x\\\sin x&-\cos x\end{pmatrix} \quad(\det A=-1),\qquad A=\begin{pmatrix}\cos x&-\sin x\\\sin x&\cos x\end{pmatrix} \quad(\det A=1). \]

复空间 \(V=\mathbb C^n\),通常内积为 \(\langle X,Y\rangle=X^HY\),则

\[ \langle AX,AY\rangle=\langle X,Y\rangle \iff\boxed{A^HA=I}, \]

故 \(A\) 为酉矩阵。注:酉矩阵行列式的模为 \(1\),即 \(|\det A|=1\)。

第三章 相似标准型

四种矩阵标准形的对照

笔记将矩阵的相似与相抵放在一起比较。对 \(A\in\mathbb C^{m\times n}\):

使用的矩阵 关系 标准形式
可逆矩阵,\(m=n\) \(P^{-1}AP=B\)(相似) Jordan 标准形 \(J=\operatorname{diag}(J_1,\ldots,J_s)\)
酉矩阵,\(m=n\) \(U^HAU=B\)(酉相似) Schur 上三角标准形
可逆矩阵 \(P,Q\) \(Q^{-1}AP=B\)(相抵) \(\begin{pmatrix}I_r&0\\0&0\end{pmatrix}\),\(r=\operatorname{rank}(A)\)
酉矩阵 \(U,V\) \(U^HAV=\Sigma\)(酉相抵) SVD 的对角矩形阵,奇异值 \(\sigma_1\ge\cdots\ge\sigma_r>0\)

注: 酉矩阵在几何上保内积、保长度。

酉相似标准型(Schur 上三角化)

一、相似对角化回顾

对 \(A\in\mathbb C^{n\times n}\),若存在可逆矩阵 \(P=(\xi_1,\ldots,\xi_n)\),使

\[ P^{-1}AP=D=\operatorname{diag}(\lambda_1,\ldots,\lambda_n), \]

则 \(AP=PD\),即 \(A\xi_i=\lambda_i\xi_i\),其中 \(\xi_1,\ldots,\xi_n\) 为线性无关的特征向量。

特征值 \(\lambda\) 满足 \(A\xi=\lambda\xi\)(\(\xi\ne0\)),等价于 \(\det(\lambda I-A)=0\)。特征多项式为

\[ f_A(x)=\det(xI-A)=\prod_{i=1}^{s}(x-\lambda_i)^{\alpha_i}, \qquad \sum_{i=1}^s\alpha_i=n. \]

二、Schur 标准形

定理: 对任意 \(A\in\mathbb C^{n\times n}\),存在酉矩阵 \(U\),使

\[ \boxed{U^HAU=T},\qquad T=\begin{pmatrix} \lambda_1&*&\cdots&*\\ 0&\lambda_2&\ddots&\vdots\\ \vdots&\ddots&\ddots&*\\ 0&\cdots&0&\lambda_n \end{pmatrix} \]

为上三角矩阵。这称为 Schur 上三角化。

若 \(n=3\),\(U=(\xi_1,\xi_2,\xi_3)\),则

\[ AU=UT, \qquad T=\begin{pmatrix}b_{11}&b_{12}&b_{13}\\0&b_{22}&b_{23}\\0&0&b_{33}\end{pmatrix}. \]

因此 \(A\xi_1=b_{11}\xi_1\),\(b_{11}\) 为特征值。相似不改变特征多项式,故 \(T\) 对角线上的元素为 \(A\) 的特征值(计重数),但上三角形不要求上方元素全为零。

证明思路——对 \(n\) 归纳:

  1. \(n=1\) 显然。

  2. 任意复方阵 \(A\) 都有单位特征向量 \(\xi_1\),可将其扩充为一组标准正交基,构成酉矩阵 \(U_1\),使

    \[ U_1^HAU_1=\begin{pmatrix}\lambda_1&*\\0&A_1\end{pmatrix}. \]

  3. 对低一阶的 \(A_1\) 使用归纳假设,存在酉矩阵 \(U_2\) 将其化为上三角形;使用分块酉阵 \(\operatorname{diag}(1,U_2)\) 完成证明。

推论: 若特征多项式中有不同特征值 \(\lambda_1,\ldots,\lambda_s\)(代数重数 \(\alpha_i\)),则可调整酉基,使 Schur 形的对角线按这些特征值分成上三角分块 \(T_i\);\(\det(xI-T_i)=(x-\lambda_i)^{\alpha_i}\)。

Cayley–Hamilton 定理:

\[ \boxed{f_A(A)=0_{n\times n}},\qquad f_A(x)=\det(xI-A). \]

这里是先求出标量多项式 \(f_A(x)\),再把 \(x\) 换成矩阵 \(A\);不是写成 \(\det(AI-A)=0\)。约定 \(A^0=I\)。

对任意多项式 \(g(x)=\sum_{i=0}^r c_ix^i\),若 \(U^HAU=T\),则

\[ g(A)=Ug(T)U^H. \]

原稿例:若 \(\lambda_1\ne\lambda_2\),则

\[ \begin{pmatrix}\lambda_1&a\\0&\lambda_2\end{pmatrix} \sim\begin{pmatrix}\lambda_1&0\\0&\lambda_2\end{pmatrix}, \]

可取 \(P=\begin{pmatrix}1&x\\0&1\end{pmatrix}\),其中 \(x=\dfrac{a}{\lambda_2-\lambda_1}\)。

三、酉相似对角化与正规矩阵

定理: 对任意 \(A\in\mathbb C^{n\times n}\),以下条件等价:

  1. 存在酉矩阵 \(U\),使 \(U^HAU=D\) 为对角矩阵。
  2. \(A^HA=AA^H\)。

满足第二条的 \(A\) 称为正规矩阵(normal matrix)。

证明思路:

  • (1)\(\Rightarrow\)(2):若 \(A=UDU^H\),则

    \[ A^HA=UD^HDU^H,\qquad AA^H=UDD^HU^H, \]

    由对角阵 \(D^HD=DD^H\) 即得结论。

  • (2)\(\Rightarrow\)(1):由 Schur 定理,取酉矩阵 \(U\) 使 \(B=U^HAU\) 为上三角阵。正规性在酉相似下保持,\(B^HB=BB^H\)。通过比较行列范数或归纳证明,正规上三角阵必为对角阵。

二维验证示例:

\[ B=\begin{pmatrix}a&b\\0&c\end{pmatrix}, \quad B^HB=BB^H\Longrightarrow b=0. \]

本节习题: 原稿记录第二章 7、12(1)(3)、32、37、39;第三章 36;第四章 1–3、5、7、18。

补充问题: 设

\[ V=\{X\in\mathbb F^{n\times1}:BAX=0\},\qquad W=\{AX:X\in V\}. \]

定义 \(\widetilde A:V\to\mathbb F^{m\times1}\) 为 \(X\mapsto AX\),则

\[ \dim W=\dim V-\dim\ker\widetilde A =[n-\operatorname{rank}(BA)]-[n-\operatorname{rank}(A)] =\boxed{\operatorname{rank}(A)-\operatorname{rank}(BA)}. \]

相似不变量与 Jordan 标准型

一、相似不变量

设 \(A,B\in\mathbb C^{n\times n}\)。若存在可逆矩阵 \(P\) 使 \(P^{-1}AP=B\),称 \(A\) 与 \(B\) 相似,记作 \(A\sim B\)。

相似时,下列量保持不变:

  1. 行列式:\(\det B=\det A\)。

  2. 秩:\(\operatorname{rank}B=\operatorname{rank}A\)。

  3. 特征多项式及全部特征值:\(f_B(x)=f_A(x)\)。

  4. 对任意多项式 \(g(x)\),

    \[ g(B)=P^{-1}g(A)P,\quad \operatorname{rank}g(B)=\operatorname{rank}g(A),\quad \det g(B)=\det g(A). \]

  5. 零化多项式:\(g(A)=0\iff g(B)=0\)。

  6. 最小多项式:\(m_A(x)=m_B(x)\)。

最小多项式定义: 在

\[ S=\{g(x)\in\mathbb C[x]:g(A)=0\} \]

中,次数最低、首项系数为 \(1\) 的多项式,称为 \(A\) 的最小多项式,记作 \(m_A(x)\)。

由 Cayley–Hamilton 定理,\(f_A(A)=0\),故该集合非空,并且

\[ \boxed{m_A(x)\mid f_A(x)}. \]

若 \(A=\operatorname{diag}(A_1,A_2)\),则

\[ m_A(x)=\operatorname{lcm}(m_{A_1}(x),m_{A_2}(x)). \]

证明整除关系的思路: 多项式带余除法 \(f_A=q m_A+r\),其中 \(r=0\) 或 \(\deg r<\deg m_A\)。代入 \(A\) 得 \(r(A)=0\),若余式不为零就与最小次数矛盾。

例:

\[ A=\begin{pmatrix}0&1&0\\0&0&1\\0&0&0\end{pmatrix}, \qquad A^3=0,\ A^2\ne0. \]

故 \(f_A(x)=x^3\),\(m_A(x)=x^3\)。另一解法是考查 \(I,A,A^2,A^3\) 的线性相关性:最先出现的线性依赖关系给出最小多项式。

二、Jordan 标准形

定理: 任意 \(A\in\mathbb C^{n\times n}\),存在可逆矩阵 \(P\),使

\[ \boxed{P^{-1}AP=J=\operatorname{diag}(J_1,\ldots,J_s)}, \]

其中每个 \(J_i\) 为 Jordan 块

\[ J_k(\lambda)=\begin{pmatrix} \lambda&1&0&\cdots&0\\ 0&\lambda&1&\ddots&\vdots\\ \vdots&\ddots&\ddots&\ddots&0\\ 0&\cdots&0&\lambda&1\\ 0&\cdots&\cdots&0&\lambda \end{pmatrix}_{k\times k}. \]

注:Jordan 标准形在不计 Jordan 块排列顺序时唯一;使之成立的可逆矩阵 \(P\) 不唯一。

三、计算 Jordan 标准形

设

\[ f_A(x)=\prod_{i=1}^s(x-\lambda_i)^{\alpha_i}, \qquad m_A(x)=\prod_{i=1}^s(x-\lambda_i)^{\beta_i}, \qquad1\le\beta_i\le\alpha_i. \]

对于每个特征值 \(\lambda_i\):

  • 所有对应 Jordan 块的阶数之和等于代数重数 \(\alpha_i\)。
  • 最大 Jordan 块阶数等于最小多项式中 \((x-\lambda_i)\) 的指数 \(\beta_i\)。
  • 对应 Jordan 块的总数等于 \(\dim\ker(A-\lambda_i I)\)(几何重数)。

定理 3.3.1(幂零矩阵): 若 \(A\) 为严格上三角阵,设其 Jordan 标准形中最大 Jordan 块阶数为 \(\ell\),则 \(\ell\) 等于 \(A\) 的幂零指数,即 \(A^\ell=0\)、\(A^{\ell-1}\ne0\)。

设 \(j_k=\dim\ker A^k\),且 \(j_0=0\)。则

\[ \begin{aligned} &\text{Jordan 块总数}=j_1,\\ &\text{阶数恰为 }k\text{ 的块数}=2j_k-j_{k-1}-j_{k+1}. \end{aligned} \]

定理 3.3.2(一般特征值): 给定特征值 \(\lambda\),令

\[ j_k=\dim\ker(A-\lambda I)^k,\qquad j_0=0. \]

则

\[ \begin{aligned} &\text{属于 }\lambda\text{ 的 Jordan 块总数}=j_1,\\ &\text{属于 }\lambda\text{ 且阶数为 }1\text{ 的块数}=2j_1-j_2,\\ &\text{属于 }\lambda\text{ 且阶数为 }k\text{ 的块数}=2j_k-j_{k-1}-j_{k+1}\quad(k\ge2). \end{aligned} \]

计算步骤:

  1. 求 \(f_A(x)\) 与 \(m_A(x)\),确定特征值及其代数重数、最大块阶数。
  2. 计算 \(\dim\ker(A-\lambda_i I)^k\),确定各阶 Jordan 块个数。
  3. 组合得到 \(J\)(Jordan 块先后次序可调整)。
  4. 如要求 \(P\),用 \(AP=PJ\) 求解。设 \(P=(\alpha_1,\ldots,\alpha_n)\),由对应的 \(n\) 个方程构造 Jordan 链,使 \(\det P\ne0\)。

四、广义特征向量

设 \(\lambda\) 是 \(A\) 的特征值,\(\xi\ne0\)。若

\[ (A-\lambda I)^k\xi=0,\qquad(A-\lambda I)^{k-1}\xi\ne0, \]

则称 \(\xi\) 为属于 \(\lambda\) 的深度为 \(k\) 的广义特征向量。

  • \(k=1\) 时就是通常特征向量。
  • \(k>1\) 时,\(\xi,(A-\lambda I)\xi,\ldots,(A-\lambda I)^{k-1}\xi\) 构成一条 Jordan 链(反向排列可作为相应 Jordan 块的基)。

令 \(\xi_k=\xi\),\(\xi_{k-1}=(A-\lambda I)\xi_k,\ldots,\xi_1=(A-\lambda I)\xi_2\),则

\[ (A-\lambda I)\xi_1=0,\qquad (A-\lambda I)\xi_j=\xi_{j-1}\quad(j\ge2), \]

从而在基 \((\xi_1,\ldots,\xi_k)\) 下,矩阵即 \(J_k(\lambda)\)。

五、例题与应用

例 1:只给特征多项式与最小多项式。 已知 \(A\) 为 \(4\) 阶矩阵,\(f_A(x)=x^4\)、\(m_A(x)=x^2\),则所有特征值均为 \(0\),最大 Jordan 块阶数为 \(2\)。可能的 Jordan 形为

\[ J=J_2(0)\oplus J_2(0) \quad\text{或}\quad J=J_2(0)\oplus J_1(0)\oplus J_1(0). \]

相似对角化判别:

\[ \boxed{A\text{ 可相似对角化}\iff m_A(x)\text{ 无重根}}. \]

等价于所有 Jordan 块阶数均为 \(1\)。原稿提醒:不能只用矩阵可逆性或特征多项式来判别是否可对角化。

例 2:斐波那契数列。 设 \(a_{n+2}=a_{n+1}+a_n\),\(a_0=0,a_1=1\),构造

\[ \binom{a_{n+2}}{a_{n+1}} =\underbrace{\begin{pmatrix}1&1\\1&0\end{pmatrix}}_{A} \binom{a_{n+1}}{a_n}. \]

\(A\) 的特征值是 \((1\pm\sqrt5)/2\),可通过 \(A=PDP^{-1}\) 和 \(A^n=PD^nP^{-1}\) 得通项公式。

例 3:多项式微分算子。 \(V=\mathbb R[x]_2\),\(\mathcal D:V\to V\),\(f\mapsto f'\)。在基 \((1,x,x^2)\) 下

\[ [\mathcal D]=\begin{pmatrix}0&1&0\\0&0&2\\0&0&0\end{pmatrix}. \]

该算子为幂零算子,可适当重新选基化为 \(J_3(0)\)。

例 4:矩阵转置算子。 \(V=\mathbb R^{3\times3}\),定义 \(\mathcal A(B)=B^T\)。原稿建议取矩阵单位基 \(E_{ij}\) 展开并讨论 Jordan 形。审校补全: 因 \(\mathcal A^2=\mathrm{id}\),且实对称矩阵空间维数为 \(6\)、实反对称矩阵空间维数为 \(3\),所以特征值 \(1\) 的重数为 \(6\)、特征值 \(-1\) 的重数为 \(3\)。故

\[ J=\operatorname{diag}(I_6,-I_3). \]

这一步是依据原稿题意给出的数学推导,不是原稿已完整写出的计算。

例 5:对合算子的直和分解。 若线性算子 \(\mathcal A:V\to V\) 满足 \(\mathcal A^2=\mathrm{id}\),令

\[ V_+=\{v:\mathcal A(v)=v\},\qquad V_-=\{v:\mathcal A(v)=-v\}. \]

对于任意 \(v\in V\),有

\[ v=\frac{v+\mathcal A(v)}2+\frac{v-\mathcal A(v)}2, \]

且两部分分别属于 \(V_+\)、\(V_-\),交空间为 \(\{0\}\)。故

\[ V=V_+\oplus V_-. \]

第四章 相抵标准形与奇异值分解

相抵标准形

对 \(A\in\mathbb C^{m\times n}\),设 \(\operatorname{rank}(A)=r\),则存在可逆矩阵 \(P\in\mathbb C^{m\times m}\)、\(Q\in\mathbb C^{n\times n}\),使

\[ \boxed{P^{-1}AQ=\begin{pmatrix}I_r&0\\0&0\end{pmatrix}}. \]

这与矩阵初等行、列变换可将矩阵化为含有 \(I_r\) 的相抵标准形相对应。

与之相比:相似变换 \(P^{-1}AP\) 一般只能化成 Jordan 形(可逆变换)或 Schur 形(酉变换),不能任意化成 \(\operatorname{diag}(I_r,0)\)。

4.5 奇异值分解(Singular Value Decomposition,SVD)

一、\(A^HA\) 的特征值

设 \(A\in\mathbb C^{m\times n}\),\(A\ne0\),\(\operatorname{rank}(A)=r\)。

  1. \(A^HA\in\mathbb C^{n\times n}\) 为 Hermitian 矩阵:

    \[ (A^HA)^H=A^HA. \]

  2. \(A^HA\) 为正规阵,可酉相似对角化。存在酉矩阵 \(V\),使

    \[ V^HA^HAV=\operatorname{diag}(\lambda_1,\ldots,\lambda_n). \]

  3. 所有 \(\lambda_i\) 均为非负实数:令 \(A^HA\xi_i=\lambda_i\xi_i\),则

    \[ \lambda_i\|\xi_i\|^2=\xi_i^HA^HA\xi_i=\|A\xi_i\|^2\ge0. \]

  4. \(\ker(A^HA)=\ker A\),故 \(\operatorname{rank}(A^HA)=r\)。于是有且仅有 \(r\) 个正特征值(计重数),排序为

    \[ \lambda_1\ge\lambda_2\ge\cdots\ge\lambda_r>0,\qquad\lambda_{r+1}=\cdots=\lambda_n=0. \]

定义 \(\sigma_i=\sqrt{\lambda_i}\),则 \(\sigma_i\) 为 \(A\) 的正奇异值。

二、构造酉矩阵 \(U,V\)

按上述排序,取

\[ V=(V_1,V_2),\quad V_1\in\mathbb C^{n\times r},\quad \Sigma_r=\operatorname{diag}(\sigma_1,\ldots,\sigma_r). \]

从 \(V^HA^HAV=\operatorname{diag}(\Sigma_r^2,0)\) 出发,定义

\[ \boxed{U_1=AV_1\Sigma_r^{-1}}. \]

有

\[ U_1^HU_1 =\Sigma_r^{-1}V_1^HA^HAV_1\Sigma_r^{-1} =\Sigma_r^{-1}\Sigma_r^2\Sigma_r^{-1}=I_r. \]

即 \(U_1\) 的列是标准正交向量,可将其扩充为酉矩阵 \(U=(U_1,U_2)\)。利用 \(AV_2=0\),得到

\[ \boxed{U^HAV=\begin{pmatrix}\Sigma_r&0\\0&0\end{pmatrix}=\Sigma}. \]

于是

\[ \boxed{A=U\Sigma V^H}. \]

原稿特别强调:

  • 从 \(A^HA\) 的特征向量出发,先求出 \(V\),再用 \(U_1=AV_1\Sigma_r^{-1}\) 求 \(U\)。
  • 也可以先对 \(AA^H\) 做特征分解,先求 \(U\),再用 \(V_1=A^HU_1\Sigma_r^{-1}\) 求 \(V\)。
  • 根据 \(m,n\) 大小选取较低阶的 \(A^HA\) 或 \(AA^H\) 计算更方便。
  • 求完整的 \(U\) 或 \(V\) 时,剩余列应在相应正交补子空间内寻找,并进行正交、标准化。
  • 若 \(m>n\),可先做相应的“瘦矩阵”构造,再补全酉矩阵;注意最后转回原来矩阵的形状。

推论 4.5.1: \(A^HA\) 与 \(AA^H\) 有完全相同的非零特征值(计代数重数);二者非零特征值的平方根即 \(A\) 的正奇异值。因而 \(A\) 与 \(A^H\) 具有相同的正奇异值。

三、几何意义与秩一分解

令 \(V=(\xi_1,\ldots,\xi_n)\)、\(U=(\eta_1,\ldots,\eta_m)\) 是标准正交列向量组组成的酉矩阵,则

\[ A\xi_i=\sigma_i\eta_i\quad(1\le i\le r), \qquad A\xi_i=0\quad(i>r). \]

即 \(A\) 先在右奇异向量基下取坐标,沿不同方向以 \(\sigma_i\) 为因子伸缩,再变换到左奇异向量基。

将 \(A=U\Sigma V^H\) 展开得

\[ \boxed{A=\sum_{i=1}^r\sigma_i\eta_i\xi_i^H}. \]

每个 \(\eta_i\xi_i^H\) 均为秩一矩阵,这是一种秩一分解。

续审核对(教材第 139—142 页): 上述推导对应教材的奇异值分解定理。对 \(A=0\),仍存在完整 SVD,只需取任意酉矩阵 \(U,V\),令 \(\Sigma=0\) 即可(无正奇异值)。当 \(r>0\) 时,\(\sigma_1\ge\cdots\ge\sigma_r>0\) 是非零奇异值,\(A^HA\) 与 \(AA^H\) 的非零谱相同;这里不应把奇异值当作 \(A\) 本身的特征值。

四、递推关系的矩阵化例题

齐次二阶递推: 对 \(x_{n+2}=t_1x_{n+1}+t_2x_n\),令

\[ z_n=\binom{x_{n+1}}{x_n},\quad A=\begin{pmatrix}t_1&t_2\\1&0\end{pmatrix}, \]

则 \(z_{n+1}=Az_n\),\(z_n=A^nz_0\)。

重特征值时: 原稿以 \(x_{n+2}=6x_{n+1}-9x_n\) 为例,矩阵

\[ A=\begin{pmatrix}6&-9\\1&0\end{pmatrix} \]

有重特征值 \(3\);注意不能直接当作可对角化矩阵处理,需要判断 Jordan 形。其 Jordan 形为 \(J_2(3)\),可取广义特征向量组成 \(P\),通过 \(A^n=PJ^nP^{-1}\) 求递推。

非齐次递推: 对 \(x_{n+2}=3x_{n+1}+4x_n+5\),可引入常数分量:

\[ \begin{pmatrix}x_{n+2}\\x_{n+1}\\1\end{pmatrix} =\begin{pmatrix}3&4&5\\1&0&0\\0&0&1\end{pmatrix} \begin{pmatrix}x_{n+1}\\x_n\\1\end{pmatrix}. \]

本部分知识脉络: 线性空间与内积 \(\to\) 线性映射 \(\to\) 矩阵表示 \(\to\) 特征值、特征向量 \(\to\) 相似(Schur、Jordan)及相抵(秩标准形、SVD)\(\to\) 矩阵函数、矩阵方程。

第五章 矩阵范数、函数及微积分

原稿提示:第 5.5 节自学。回顾数列、函数、极限、导数、微分、积分、级数。实数序列有极限当且仅当为柯西列。

续审范围提示: 教材第 179—187 页的“自变量为矩阵的函数与极值及应用”(教材 §5.5)包含 Jacobian、Hessian 与矩阵微积分。手写笔记仅写“5.5 自学”而无对应系统讲解,因此本稿不将该教材章节冒充为原始课堂笔记;相关部分仅用于核对笔记中的求导规则。

向量范数及矩阵范数

一、有限维线性空间上的范数

设 \(V\) 为 \(\mathbb F\) 上的有限维线性空间。映射 \(\|\cdot\|:V\to\mathbb R\) 称为一个范数,若

  1. \(\|v\|\ge0\),且 \(\|v\|=0\iff v=\theta\)。
  2. \(\|v\lambda\|=\|v\|\,|\lambda|\)。
  3. \(\|v_1+v_2\|\le\|v_1\|+\|v_2\|\)。

称 \((V,\|\cdot\|)\) 为赋范线性空间。范数诱导的距离定义为

\[ d(v_1,v_2)=\|v_1-v_2\|. \]

三角不等式保证 \(d(v_1,v_3)\le d(v_1,v_2)+d(v_2,v_3)\)。

内积诱导范数: \(\|v\|=\sqrt{\langle v,v\rangle}\)。此时满足平行四边形法则:

\[ \boxed{\|\alpha+\beta\|^2+\|\alpha-\beta\|^2=2\|\alpha\|^2+2\|\beta\|^2}. \]

向量 \(p\)-范数: 对 \(x=(x_1,\ldots,x_n)^T\),

\[ \boxed{\|x\|_p=\left(\sum_{k=1}^n|x_k|^p\right)^{1/p}},\quad1\le p<\infty; \qquad \boxed{\|x\|_\infty=\max_{1\le k\le n}|x_k|}. \]

\(p\) 形式
\(1\) \(\|x\|_1=\sum_i|x_i|\)
\(2\) \(\|x\|_2=(\sum_i|x_i|^2)^{1/2}\);对应内积范数
\(\infty\) \(\|x\|_\infty=\max_i|x_i|\)

原稿旁注:证明 \(p\)-范数的三角不等式可用 Minkowski 不等式。

由线性单射拉回范数: 设 \(\varphi:V_1\to V_2\) 为线性单射,且 \(V_2\) 有范数 \(\|\cdot\|\)。则

\[ \|v\|_\varphi:=\|\varphi(v)\| \]

在 \(V_1\) 上也构成范数。若 \(\varphi\) 不是单射,则正定性可能不成立。

有限维范数等价: 若 \(\|\cdot\|_\alpha,\|\cdot\|_\beta\) 是有限维空间 \(V\) 上的两个范数,则存在 \(c_1,c_2>0\),使

\[ \boxed{c_1\|v\|_\alpha\le\|v\|_\beta\le c_2\|v\|_\alpha,\quad\forall v\in V.} \]

推论:

  • 在有限维线性空间中,序列收敛与选取哪一个范数无关。
  • 在有限维赋范线性空间中,柯西列必收敛。序列收敛 \(\iff\) 序列为柯西列。

原稿例(P203 第 26 题,补回漏转录的矩阵):

\[ A_k=\begin{pmatrix} \dfrac{1}{k^2}&\dfrac{k^2+k}{k^2+1}\\ 2&\left(1-\dfrac2k\right)^k \end{pmatrix}, \qquad \lim_{k\to\infty}A_k= \begin{pmatrix}0&1\\2&e^{-2}\end{pmatrix}. \]

各项分别使用有理式极限与 \(\lim_{k\to\infty}(1-2/k)^k=e^{-2}\)。这是对手写原稿中矩阵内容的转录补全。

二、线性映射的范数

对 \(\varphi:(V_1,\|\cdot\|_\beta)\to(V_2,\|\cdot\|_\alpha)\),定义算子范数(线性映射的范数):

\[ \boxed{\|\!|\varphi\|\!|= \sup_{\xi\ne0}\frac{\|\varphi(\xi)\|_\alpha}{\|\xi\|_\beta} =\max_{\|\xi\|_\beta=1}\|\varphi(\xi)\|_\alpha}. \]

该范数定义在全部从 \(V_1\) 到 \(V_2\) 的线性映射组成的空间 \(\operatorname{Hom}_{\mathbb F}(V_1,V_2)\) 上。

次乘性: 若复合 \(g\circ f\) 有定义,则

\[ \boxed{\|\!|g\circ f\|\!|\le\|\!|g\|\!|\cdot\|\!|f\|\!|}. \]

三、由 \(p\)-范数诱导的矩阵范数

设 \(A\in\mathbb F^{m\times n}\),矩阵诱导范数为

\[ \|A\|_p=\sup_{x\ne0}\frac{\|Ax\|_p}{\|x\|_p}. \]

常用公式:

  1. \(p=1\),列和范数:

    \[ \boxed{\|A\|_1=\max_{1\le j\le n}\sum_{i=1}^m|a_{ij}|}. \]

  2. \(p=2\),谱范数(算子二范数):

    \[ \boxed{\|A\|_2=\sigma_1(A)=\sqrt{\lambda_{\max}(A^HA)}}. \]

  3. \(p=\infty\),行和范数:

    \[ \boxed{\|A\|_\infty=\max_{1\le i\le m}\sum_{j=1}^n|a_{ij}|}. \]

审校注(原笔记概念误标): 手写原稿在诱导二范数旁写了“又称 Frobenius 范数”。这是不准确的:诱导二范数(谱范数)\(\|A\|_2=\sigma_1(A)\),而 Frobenius 范数为 \(\|A\|_F=\sqrt{\operatorname{tr}(A^HA)}=\sqrt{\sum_i\sigma_i(A)^2}\)。例如 \(A=I_2\) 时,\(\|A\|_2=1\),\(\|A\|_F=\sqrt2\)。下文统一按这两个不同概念使用。

续审核对(教材第 154、159 页): 对任意非零矩阵 \(A\),若 \(r=\operatorname{rank}(A)\),则

\[ \|A\|_F^2=\sum_{i=1}^r\sigma_i(A)^2, \qquad \|A\|_2=\sigma_1(A), \qquad \|A\|_2\le\|A\|_F\le\sqrt r\,\|A\|_2. \]

教材第 154 页定义的“矩阵的极大列和范数、极大行和范数”也恰与此处的诱导 \(1\)-范数和 \(\infty\)-范数数值一致;但 Frobenius 范数并非向量 \(2\)-范数诱导的矩阵范数。

证明思路(\(p=2\)): 用 SVD \(A=U\Sigma V^H\),利用酉变换保持向量二范数,

\[ \frac{\|Ax\|_2}{\|x\|_2} =\frac{\|\Sigma V^Hx\|_2}{\|V^Hx\|_2}, \]

取最大奇异值的右奇异向量达到上界 \(\sigma_1\)。

证明思路(\(p=1\)): 若 \(A=(a_1,\ldots,a_n)\)(\(a_j\) 是第 \(j\) 列),令 \(c=\max_j\|a_j\|_1\),则

\[ \|Ax\|_1=\left\|\sum_jx_ja_j\right\|_1 \le\sum_j|x_j|\|a_j\|_1\le c\|x\|_1. \]

取 \(x=e_k\) 且 \(\|a_k\|_1=c\),即取到等号。

次乘性与矩阵幂:

\[ \boxed{\|AB\|\le\|A\|\,\|B\|},\qquad \|A^k\|\le\|A\|^k. \]

原稿备注:分析矩阵幂 \(A^k\) 时直接求 Jordan 分解往往需要计算特征值,可能比较困难。利用次乘性可容易地控制 \(\|A^k\|\) 的大小。

四、矩阵范数与谱半径

设 \(A\in\mathbb C^{n\times n}\),特征值为 \(\lambda_1,\ldots,\lambda_n\)。定义谱半径

\[ \boxed{\rho(A)=\max_i|\lambda_i|}. \]

若矩阵范数与向量范数相容:\(\|Ax\|\le\|A\|\,\|x\|\),取 \(A\xi=\lambda\xi\) 且 \(\xi\ne0\),可得

\[ \|A\|\|\xi\|\ge\|A\xi\|=|\lambda|\|\xi\|, \quad\Longrightarrow\quad \boxed{\rho(A)\le\|A\|}. \]

对于满足次乘性的方阵范数,也有 \(\rho(A)\le\|A\|\)。证明思路:从 \(\mathbb C^{n\times n}\) 上的范数出发,构造一个相容的向量范数,例如用重复列

\[ \|x\|_V:=\|\!|(x,x,\ldots,x)\|\!|, \]

由次乘性推出所需的不等式。

引理: 对任意 \(A\in\mathbb C^{n\times n}\) 和 \(\varepsilon>0\),存在满足次乘性的矩阵范数,使

\[ \boxed{\|A\|<\rho(A)+\varepsilon}. \]

证明思路: 取 \(A=PJP^{-1}\),设 \(J\) 为上三角或 Jordan 形;用 \(Q=\operatorname{diag}(1,\varepsilon,\varepsilon^2,\ldots)\) 对其作相似变换,把超对角线元素缩小,随后定义

\[ \|C\|:=\|Q^{-1}P^{-1}CPQ\|_\infty. \]

由相似变换和诱导范数的次乘性,获得 \(\|A\|\le\rho(A)+C\varepsilon\);调整参数即可。

推论:

\[ \boxed{\rho(A)<1\iff\text{存在满足次乘性的矩阵范数使 }\|A\|<1}. \]

Gelfand 公式: 对任意满足次乘性的矩阵范数,

\[ \boxed{\rho(A)=\lim_{k\to\infty}\|A^k\|^{1/k}}. \]

五、矩阵幂 \(A^k\) 的收敛

数列 \(a^k\) 回顾: \(|a|<1\) 时趋于 \(0\),\(a=1\) 时恒为 \(1\),\(a=-1\) 时振荡,\(|a|>1\) 时一般不收敛。

对于二维 Jordan 块

\[ J_2(a)=\begin{pmatrix}a&1\\0&a\end{pmatrix}=aI+N, \quad N^2=0, \]

\[ J_2(a)^k=\begin{pmatrix}a^k&k a^{k-1}\\0&a^k\end{pmatrix}. \]

因此即使 \(|a|=1\),只要 Jordan 块阶数大于 \(1\),幂中含 \(k a^{k-1}\) 等项,仍不收敛。

矩阵幂收敛判别: \(\lim_{k\to\infty}A^k\) 存在当且仅当:

  1. \(\rho(A)\le1\)。
  2. 所有模长为 \(1\) 的特征值只能是 \(1\),且特征值 \(1\) 对应的所有 Jordan 块均为 \(1\times1\)。

特别地:

\[ \boxed{A^k\to0\iff\rho(A)<1}. \]

证明思路: 若 \(\rho(A)<1\),由前述引理选 \(\|A\|<1\) 的次乘性范数,则

\[ \|A^k\|\le\|A\|^k\to0, \]

由有限维空间范数与收敛的性质得 \(A^k\to0\)。反过来可由特征值或 Jordan 形证明。

方阵 \(A\) 的级数及函数

一、矩阵几何级数

考虑

\[ \sum_{k=0}^{\infty}A^k=I+A+A^2+\cdots. \]

收敛则必要有 \(A^k\to0\)。当 \(\rho(A)<1\) 时,级数收敛,并且

\[ \boxed{\sum_{k=0}^{\infty}A^k=(I-A)^{-1}}. \]

若 \(\|A\|<1\),也可直接用矩阵范数、几何级数与次乘性证明收敛,同时推出 \(I-A\) 可逆。

标量对应公式:\(\sum_{k=0}^{\infty}z^k=(1-z)^{-1}\)(\(|z|<1\))。原稿特别提醒:判断级数收敛时应注意收敛半径与边界,不能直接套用公式。

二、一般矩阵幂级数

设标量幂级数

\[ f(z)=\sum_{k=0}^{\infty}a_kz^k \]

收敛半径为 \(R\)。当 \(|z|<R\) 时绝对收敛;当 \(|z|=R\) 时须单独判断收敛性。收敛域内部可以逐项求导:

\[ f'(z)=\sum_{k=1}^{\infty}k a_k z^{k-1},\qquad f''(z)=\sum_{k=2}^{\infty}k(k-1)a_k z^{k-2}. \]

若 \(A\) 为方阵且 \(\rho(A)<R\),则矩阵级数

\[ \sum_{k=0}^{\infty}a_kA^k \]

收敛,定义矩阵函数 \(f(A)\)。证明可结合 \(\rho(A)<\|A\|<R\) 的相容矩阵范数与级数收敛准则。

续审核对(教材第 164—168 页): \(\rho(A)<R\) 是上述幂级数收敛的充分条件;当 \(\rho(A)=R\) 时,不能仅凭谱半径判断收敛。特别地,\(\sum_{k=0}^{\infty}A^k\) 收敛的充要条件是 \(\rho(A)<1\),不仅仅是 \(I-A\) 可逆。

三、计算 \(f(A)\) 的方法:Jordan 标准形

设

\[ J_k(\lambda)=\lambda I+N,\qquad N^k=0. \]

由二项式公式和幂级数的逐项求导,

\[ \boxed{f(J_k(\lambda)) =\sum_{j=0}^{k-1}\frac{f^{(j)}(\lambda)}{j!}N^j}. \]

三阶示例:

\[ J_3(\lambda)=\begin{pmatrix}\lambda&1&0\\0&\lambda&1\\0&0&\lambda\end{pmatrix}, \quad f(J_3(\lambda))= \begin{pmatrix} f(\lambda)&f'(\lambda)&\frac{f''(\lambda)}{2!}\\ 0&f(\lambda)&f'(\lambda)\\ 0&0&f(\lambda) \end{pmatrix}. \]

若 \(J=\operatorname{diag}(J_1,\ldots,J_s)\),则 \(f(J)=\operatorname{diag}(f(J_1),\ldots,f(J_s))\)。

若 \(A=PJP^{-1}\),则

\[ \boxed{f(A)=Pf(J)P^{-1}}. \]

原稿标注:参看教材 P117 例题,以及 logarithm(Sylvester 方法)相关内容。

四、常用标量幂级数与矩阵函数

指数、正弦、余弦:

\[ \begin{aligned} e^z&=\sum_{k=0}^{\infty}\frac{z^k}{k!},\\ \sin z&=\sum_{k=0}^{\infty}\frac{(-1)^k z^{2k+1}}{(2k+1)!},\\ \cos z&=\sum_{k=0}^{\infty}\frac{(-1)^kz^{2k}}{(2k)!}. \end{aligned} \]

相应地,

\[ \begin{aligned} e^A&=I+A+\frac{A^2}{2!}+\cdots,\\ \sin A&=A-\frac{A^3}{3!}+\frac{A^5}{5!}-\cdots,\\ \cos A&=I-\frac{A^2}{2!}+\frac{A^4}{4!}-\cdots. \end{aligned} \]

这些级数对任何方阵都收敛。

其他展开(通常在 \(|z|<1\)):

\[ (1+z)^\alpha=\sum_{k=0}^{\infty}\binom\alpha k z^k,\qquad \binom\alpha k=\frac{\alpha(\alpha-1)\cdots(\alpha-k+1)}{k!}, \]

\[ (1+z)^{-1}=1-z+z^2-z^3+\cdots, \]

\[ (1+z)^{-1/2}=1-\frac12z+\frac{1\cdot3}{2\cdot4}z^2-\frac{1\cdot3\cdot5}{2\cdot4\cdot6}z^3+\cdots, \]

\[ \ln(1+z)=z-\frac{z^2}{2}+\frac{z^3}{3}-\cdots+ (-1)^{n-1}\frac{z^n}{n}+\cdots. \]

五、矩阵指数 \(e^A\)

原稿给出六个命题。

  1. 若 \(AB=BA\),则

    \[ \boxed{e^{A+B}=e^Ae^B=e^Be^A}. \]

  2. \(e^A\) 可逆,且

    \[ (e^A)^{-1}=e^{-A}. \]

  3. 行列式与迹:

    \[ \boxed{\det(e^A)=e^{\operatorname{tr}(A)}}. \]

  4. Euler 公式:

    \[ \boxed{e^{iA}=\cos A+i\sin A}. \]

  5. 若 \(A\) 是实反对称矩阵 \(A^T=-A\),则 \(e^A\) 为正交矩阵,且 \(\det(e^A)=1\)。

  6. 若 \(A\) 是 Hermitian 矩阵 \(A^H=A\),则 \(e^{iA}\) 为酉矩阵。

证明思路与备注:

  • \(AB=BA\) 时矩阵指数可以按交换二项式公式展开,得到命题 1;非交换时一般不能这样拆分。

  • 命题 3 用 \(A=PJP^{-1}\)、\(e^A=Pe^JP^{-1}\),再利用相似不改变行列式值、迹及 Schur/Jordan 形对角线为特征值。

  • 对实反对称阵,

    \[ e^A(e^A)^T=e^Ae^{A^T}=e^Ae^{-A}=I,\quad\det(e^A)=e^{\operatorname{tr}A}=1. \]

  • 对 Hermitian 阵,

    \[ (e^{iA})^H=e^{-iA},\quad e^{iA}(e^{iA})^H=I. \]

原稿旁注:\(e^A\) 具有很好性质——总可逆;可用于微分方程。

六、矩阵函数求导

若 \(A(t)=(a_{ij}(t))\),则

\[ A'(t)=\frac{dA(t)}{dt}=(a_{ij}'(t)). \]

矩阵指数(\(A\) 为与 \(t\) 无关的常矩阵):

\[ \boxed{\frac{d}{dt}e^{At}=Ae^{At}}. \]

常系数线性微分方程 \(\dot X(t)=AX(t)\),初值 \(X(0)=\xi\) 的解为

\[ \boxed{X(t)=e^{At}\xi}. \]

七、计算 \(f(A)\) 的方法:插值法

  1. 取多项式 \(p(x)\) 为 \(A\) 的特征多项式或最小多项式。设 \(f\) 在 \(A\) 的所有特征值附近解析(指数、正弦、余弦等均满足)。

  2. 求一个次数低于 \(\deg p\) 的 Hermite 插值多项式 \(r(x)\):若 \(\lambda\) 是 \(p\) 的 \(s\) 重根,则要求

    \[ r^{(j)}(\lambda)=f^{(j)}(\lambda),\qquad j=0,1,\ldots,s-1. \]

  3. 由于这些条件保证 \(f\) 与 \(r\) 在各 Jordan 块上的函数值一致,而 \(p(A)=0\),从矩阵函数的解析定义可推出

    \[ \boxed{f(A)=r(A)}. \]

    对多项式 \(f\),这等价于多项式带余除法 \(f(x)=q(x)p(x)+r(x)\);对于 \(e^x\) 等非多项式,原稿的这一写法应理解为解析函数的局部因式分解或 Hermite 插值,不能直接当作普通多项式长除法。

  4. 实际计算时,设 \(r(x)\) 的待定系数,代入不同特征值;若有重根,同时代入相应阶数的导数条件。例如二重根 \(\lambda\) 须满足 \(r(\lambda)=f(\lambda)\)、\(r'(\lambda)=f'(\lambda)\)。

注: 选最小多项式通常比用特征多项式待定系数更少。原稿建议参看教材 P77 例 5.4.4、P78 例 5.4.5。

续审核对(教材第 176—179 页,Lagrange–Sylvester / Hermite 插值法): 若最小多项式

\[ m_A(x)=\prod_{i=1}^s(x-\lambda_i)^{k_i}, \]

其中 \(\lambda_i\) 两两不同,则 \(\deg r<\deg m_A\) 且满足

\[ r^{(j)}(\lambda_i)=f^{(j)}(\lambda_i) \quad(0\le j<k_i) \]

的唯一多项式 \(r\) 给出 \(f(A)=r(A)\)。这里所需的导数阶数由最小多项式的重数决定;使用特征多项式同样可行,但可能引入不必要的条件。对超越函数不能直接把 \(f(x)=q(x)m_A(x)+r(x)\) 当作普通多项式除法来操作。

第六章 矩阵方程

线性方程组 \(AX=\beta\)

设 \(A\in\mathbb F^{m\times n}\),\(X\in\mathbb F^{n\times1}\),\(\beta\in\mathbb F^{m\times1}\)。求解矩阵方程主要考虑:解是否存在、是否唯一、怎样求解。

一、解的存在性

代数判别:

\[ \boxed{AX=\beta\text{ 有解}\iff\operatorname{rank}(A\mid\beta)=\operatorname{rank}(A)}. \]

几何判别: 若 \(A=(\alpha_1,\ldots,\alpha_n)\),则有解当且仅当

\[ \beta\in\operatorname{span}\{\alpha_1,\ldots,\alpha_n\}. \]

命题: 对所有 \(\beta\in\mathbb F^{m\times1}\),\(AX=\beta\) 都有解 \(\iff\operatorname{rank}(A)=m\),即 \(A\) 是满行秩矩阵,\(X\mapsto AX\) 是满射。

二、解的唯一性

代数判别: \(AX=\beta\) 至多有一个解当且仅当 \(\operatorname{rank}(A)=n\),即 \(A\) 列满秩。

几何判别: \(A\) 的列向量 \(\alpha_1,\ldots,\alpha_n\) 线性无关。

线性映射判别: \(T(X)=AX\) 为单射,等价于 \(\ker T=\{0\}\)。这里“至多一个解”可能表示零个或一个解,并不等同于“一定有唯一解”。

三、右逆、左逆、可逆

设 \(A\in\mathbb F^{m\times n}\)。

  1. 存在 \(G\in\mathbb F^{n\times m}\),使 \(AG=I_m\),当且仅当 \(\operatorname{rank}(A)=m\)。称 \(G\) 为 \(A\) 的右逆。这要求 \(m\le n\)。

  2. 存在 \(H\in\mathbb F^{n\times m}\),使 \(HA=I_n\),当且仅当 \(\operatorname{rank}(A)=n\)。称 \(H\) 为 \(A\) 的左逆。这要求 \(n\le m\)。

  3. 若左逆和右逆同时存在,则 \(m=n=\operatorname{rank}(A)\),此时 \(A\) 为可逆方阵,且两者相同:

    \[ H=H(AG)=(HA)G=G=A^{-1}. \]

注意: 严格核对矩阵尺寸。胖矩阵有可能存在右逆,瘦矩阵有可能存在左逆;反方向维数一般不允许出现相应的单位矩阵。

右逆存在的证明思路: \(\operatorname{rank}(A)=m\) 表示每个标准基向量 \(e_j\in\mathbb F^{m\times1}\) 都可由 \(A\) 的列向量线性表示。对每个 \(j\) 选 \(\xi_j\) 使 \(A\xi_j=e_j\),再令 \(G=(\xi_1,\ldots,\xi_m)\),即有 \(AG=I_m\)。

四、解法:初等变换、相抵与 SVD

初等行变换: 将增广矩阵 \((A\mid\beta)\) 作行变换,求出线性方程组的解。

左右可逆变换: 若 \(Q^{-1}AP=B\),令

\[ Y=P^{-1}X,\qquad\widehat\beta=Q^{-1}\beta, \]

则原方程等价于 \(BY=\widehat\beta\),解出 \(Y\) 后由 \(X=PY\) 回到原坐标。

相抵与 SVD: 对 \(A\) 做双侧化简可使用:

\[ Q^{-1}AP=\begin{pmatrix}I_r&0\\0&0\end{pmatrix} \quad\text{(可逆变换)}, \]

或

\[ U^HAV=\begin{pmatrix}\Sigma_r&0\\0&0\end{pmatrix} \quad\text{(酉变换)}. \]

酉矩阵保向量二范数:\(\|U^H\beta\|_2=\|\beta\|_2\)、\(\|V^HX\|_2=\|X\|_2\)。原稿强调:在数值分析中,酉变换使问题保持稳定,单纯任意可逆变换可能放大扰动。

五、无解与多解问题

  1. \(AX=\beta\) 无解时,寻找近似解,使 \(\|AX-\beta\|_2\) 尽量小——最小二乘解。
  2. 有多个精确解时,在 \(AX=\beta\) 条件下使 \(\|X\|_2\) 最小——最小范数解。
  3. 更一般地,在所有最小二乘解中选范数最小的一个——最小范数最小二乘解。

续审核对(教材第 226—229 页): 三种问题可以统一用 Moore–Penrose 逆表示。记 \(A^+\) 为 MP 逆,则对任意 \(b\):

\[ \boxed{\min_{x\in\mathbb C^n}\|Ax-b\|_2=\|(I_m-AA^+)b\|_2,} \]

\[ \boxed{\operatorname{argmin}_{x}\|Ax-b\|_2 =\{A^+b+(I_n-A^+A)z:\ z\in\mathbb C^n\}.} \]

其中唯一的最小范数最小二乘解为 \(x_*=A^+b\)。若 \(b\in\operatorname{im}(A)\),上式就是精确方程 \(Ax=b\) 的通解,而 \(A^+b\) 同时为唯一的最小范数精确解;若 \(b\notin\operatorname{im}(A)\),它仍是唯一的最小范数最小二乘解。不可把 \(A^+b\) 在不相容情形称为“精确解”。

广义逆(Generalized Inverse)

Moore–Penrose 逆(MP 逆)

一、概念与定理

设 \(A\in\mathbb C^{m\times n}\),若 \(X\in\mathbb C^{n\times m}\) 满足四个 Penrose 条件:

\[ \begin{aligned} (1)\quad& AXA=A,\\ (2)\quad& XAX=X,\\ (3)\quad& (AX)^H=AX,\\ (4)\quad& (XA)^H=XA, \end{aligned} \]

则 \(X\) 称为 \(A\) 的 Moore–Penrose 逆,记为 \(A^+\)。

定理: 对任何复矩阵 \(A\),都存在唯一的 \(A^+\),使以上四个条件同时成立。

续审核对(教材第 208、211—213 页): \(AA^+\) 与 \(A^+A\) 均为 Hermitian 幂等矩阵,即正交投影:

\[ \begin{aligned} AA^+&=P_{\operatorname{im}(A)},\\ A^+A&=P_{\operatorname{im}(A^H)},\\ I_m-AA^+&=P_{\ker(A^H)},\\ I_n-A^+A&=P_{\ker(A)}. \end{aligned} \]

这里 \(A^+\) 对零矩阵仍存在且 \(0^+=0\)。若 \(A\) 列满秩,则

\[ \boxed{A^+=(A^HA)^{-1}A^H}; \]

若 \(A\) 行满秩,则

\[ \boxed{A^+=A^H(AA^H)^{-1}}. \]

上面两式的“列满秩/行满秩”是必需条件,不能对任意矩阵直接取对应逆矩阵。

二、由 SVD 求 MP 逆

设 \(A\) 的秩为 \(r>0\)。由奇异值分解,

\[ A=U\Sigma V^H, \qquad \Sigma=\begin{pmatrix}\Sigma_r&0\\0&0\end{pmatrix}, \qquad\Sigma_r=\operatorname{diag}(\sigma_1,\ldots,\sigma_r), \]

令

\[ \Sigma^+=\begin{pmatrix}\Sigma_r^{-1}&0\\0&0\end{pmatrix}_{n\times m} \]

(上下、左右零块尺寸由 \(m,n,r\) 决定),则

\[ \boxed{A^+=V\Sigma^+U^H}. \]

证明思路: 令 \(X=VYU^H\),把四个 Penrose 条件代入,即可化为 \(\Sigma\) 与 \(Y\) 的条件。取 \(Y=\Sigma^+\),由

\[ \Sigma\Sigma^+\Sigma=\Sigma,\quad \Sigma^+\Sigma\Sigma^+=\Sigma^+,\quad (\Sigma\Sigma^+)^H=\Sigma\Sigma^+,\quad (\Sigma^+\Sigma)^H=\Sigma^+\Sigma \]

得到存在性。

唯一性证明思路: 若 \(Y\) 也满足四条件,在 \(U,V\) 给定的基下分块表示 \(Y\),前两式与 Hermitian 条件迫使非零块为 \(\Sigma_r^{-1}\)、其余块为零,故 \(Y=\Sigma^+\)。

原稿强调:从 SVD 可以直接看出 MP 逆的存在性和唯一性。

三、其他广义逆集合

原稿使用 \(A^{(1)}\) 和 \(A^{(1,2)}\) 表示只满足部分 Penrose 条件的广义逆集合:

\[ A^{(1)}=\{X\in\mathbb C^{n\times m}:AXA=A\}, \]

\[ A^{(1,2)}=\{X\in\mathbb C^{n\times m}:AXA=A,\ XAX=X\}. \]

它们一般不唯一,原稿以经 SVD 化成 \(\Sigma\) 后的分块矩阵示意自由参数:

  • 只满足 (1):任意剩余分块都可自由选择。
  • 满足 (1)、(2):自由分块减少,但通常仍有多个解。
  • 四个 Penrose 条件同时成立:唯一确定 \(A^+\)。

续审核对(教材第 219、223—225 页,广义逆自由度的精确表示): 设 \(r=\operatorname{rank}(A)\),取可逆矩阵 \(P\in\mathbb C^{m\times m}\)、\(Q\in\mathbb C^{n\times n}\) 使

\[ PAQ=D=\begin{pmatrix}I_r&0\\0&0\end{pmatrix}_{m\times n}. \]

则 全部 \(\{1\}\)-逆(仅要求 \(AGA=A\))恰是

\[ \boxed{G=Q\begin{pmatrix}I_r&F\\H&K\end{pmatrix}_{n\times m}P,} \]

其中 \(F\in\mathbb C^{r\times(m-r)}\)、\(H\in\mathbb C^{(n-r)\times r}\) 和 \(K\in\mathbb C^{(n-r)\times(m-r)}\) 任意;进一步要求 \(GAG=G\),则必须 \(K=HF\),故全部 \(\{1,2\}\)-逆为

\[ \boxed{G=Q\begin{pmatrix}I_r&F\\H&HF\end{pmatrix}_{n\times m}P.} \]

这将原稿“剩余分块有自由度”的口头结论落实为可以直接验算的矩阵表示。上述 \(P,Q\) 只要求可逆,不要求酉;求 MP 逆则优先使用 SVD,以便满足 Hermitian 两条件。

\(AX-YB=C\) 与 \(AX-XB=C\)

一、矩阵方程 \(AX-YB=C\)

设

\[ A\in\mathbb C^{m\times n},\quad X\in\mathbb C^{n\times q},\quad Y\in\mathbb C^{m\times p},\quad B\in\mathbb C^{p\times q},\quad C\in\mathbb C^{m\times q}. \]

相抵判别: 方程 \(AX-YB=C\) 有解当且仅当下述分块矩阵的秩等于 \(\operatorname{rank}A+\operatorname{rank}B\)。先证必要性:如果 \(AX-YB=C\) 有解,那么

\[ \begin{pmatrix}I_m&Y\\0&I_p\end{pmatrix} \begin{pmatrix}A&C\\0&B\end{pmatrix} \begin{pmatrix}I_n&-X\\0&I_q\end{pmatrix} =\begin{pmatrix}A&0\\0&B\end{pmatrix} \]

(注意符号,乘积右上角为 \(C-AX+YB\)),所以

\[ \boxed{\operatorname{rank}\begin{pmatrix}A&C\\0&B\end{pmatrix} =\operatorname{rank}A+\operatorname{rank}B}. \]

充分性的审校补充: 反过来,若分块矩阵秩相等,分别以可逆行列变换将 \(A\)、\(B\) 化成秩标准形。在相应分块中,右上块 \(C\) 唯一不能由 \(AX\) 或 \(YB\) 抵消的“余下行、余下列”子块必须为零;否则分块矩阵的秩会严格大于 \(\operatorname{rank}A+\operatorname{rank}B\)。因此其余分块均可选取 \(X,Y\) 消去,方程有解。故完整判别为

\[ \boxed{AX-YB=C\text{ 有解}\iff \operatorname{rank}\begin{pmatrix}A&C\\0&B\end{pmatrix} =\operatorname{rank}A+\operatorname{rank}B}. \]

原稿采用矩阵相抵与线性映射的角度研究此方程。定义

\[ S_{A,B}:\mathbb C^{n\times q}\oplus\mathbb C^{m\times p}\to\mathbb C^{m\times q}, \qquad S_{A,B}(X,Y)=AX-YB. \]

这是一个线性映射,满足:

  • 对任意 \(C\) 方程有解 \(\iff S_{A,B}\) 为满射 \(\iff\operatorname{rank}S_{A,B}=mq\)。
  • 对每个 \(C\) 至多一组解 \(\iff S_{A,B}\) 为单射 \(\iff\operatorname{rank}S_{A,B}=nq+mp\)。
  • 对任意 \(C\) 有唯一一组解 \(\iff S_{A,B}\) 为双射,秩等于定义域与值域的维数。

化简思路: 分别对 \(A,B\) 作相抵变换,把二者化成只含正奇异值和零的对角块(如果关心二范数则使用 SVD),将 \(AX-YB=C\) 化为分块方程求解。

二、Sylvester 方程 \(AX-XB=C\)

设 \(A\in\mathbb C^{m\times m}\),\(B\in\mathbb C^{p\times p}\),\(X,C\in\mathbb C^{m\times p}\)。

若有解 \(AX-XB=C\),则可对块矩阵作相似变换:

\[ \begin{pmatrix}I_m&X\\0&I_p\end{pmatrix} \begin{pmatrix}A&C\\0&B\end{pmatrix} \begin{pmatrix}I_m&-X\\0&I_p\end{pmatrix} =\begin{pmatrix}A&C+XB-AX\\0&B\end{pmatrix} =\begin{pmatrix}A&0\\0&B\end{pmatrix}. \]

与相抵相比,相似变换要求同一个变换矩阵及其逆,结构限制更严格。

相似标准形思路: 分别用可逆矩阵将 \(A,B\) 化为 Jordan 标准形,或用酉矩阵化为 Schur 上三角形。原稿备注:若题目关注矩阵范数,优先考虑 Schur 形;否则 Jordan 形也可用于理论分析。

定义线性映射

\[ S_{A,B}:\mathbb C^{m\times p}\to\mathbb C^{m\times p},\qquad X\mapsto AX-XB. \]

由于它的定义域与值域维数相等:

\[ \boxed{\forall C,\ AX-XB=C\text{ 有唯一解} \iff S_{A,B}\text{ 可逆} \iff\ker S_{A,B}=\{0\}.} \]

三、齐次 Sylvester 方程 \(AX-XB=0\)

公共特征值与非零解: 若 \(A,B\) 有公共特征值 \(\lambda\),可取非零列向量 \(\xi,\eta\) 使

\[ A\xi=\lambda\xi, \qquad B^T\eta=\lambda\eta \quad(\text{即 }\eta^TB=\lambda\eta^T). \]

令 \(X_0=\xi\eta^T\ne0\),则

\[ AX_0=(A\xi)\eta^T=\lambda\xi\eta^T =\xi(\eta^TB)=X_0B. \]

所以 \(AX-XB=0\) 有非零解。反向判别可通过 Jordan 形推出:

\[ \boxed{AX-XB=0\text{ 仅有零解}\iff\operatorname{spec}(A)\cap\operatorname{spec}(B)=\varnothing}. \]

因此当 \(A,B\) 无公共特征值时,对任意 \(C\),Sylvester 方程 \(AX-XB=C\) 有唯一解。

写出线性算子的矩阵: 对 \(X\in\mathbb C^{2\times3}\),选标准基

\[ (E_{11},E_{12},E_{13},E_{21},E_{22},E_{23}). \]

将 \(X\) 的六个元素按行作为 \(6\) 维坐标,逐个计算 \(S_{A,B}(E_{ij})=AE_{ij}-E_{ij}B\),将其坐标作为矩阵的列,即得到一个 \(6\times6\) 矩阵 \(L_{A,B}\)。齐次方程的解空间维数为

\[ \boxed{\dim\ker S_{A,B}=mp-\operatorname{rank}(L_{A,B})}. \]

原稿中的具体示例(补全):

\[ A=\begin{pmatrix}a&1\\0&a\end{pmatrix},\qquad B=\begin{pmatrix}b&1&0\\0&b&1\\0&0&b\end{pmatrix}. \]

若 \(a\ne b\),两矩阵无公共特征值,因而 \(AX-XB=0\) 只有零解,解空间维数为 \(0\)。若 \(a=b\),直接解得

\[ X=\begin{pmatrix}0&s&t\\0&0&s\end{pmatrix},\qquad s,t\in\mathbb C. \]

故 \(a=b\) 时解空间维数为 \(2\)。这也符合单个 Jordan 块间的通用关系 \(\dim\ker(X\mapsto J_m(\lambda)X-XJ_n(\lambda))=\min(m,n)\)。原稿的计算设定可以通过这一结论核验。

课后习题、课堂补充与证明

以下题目在原稿后段连续出现,按原稿标示的教材页码与题号整理;同一习题跨越多个 PDF 页面时已合并。

P85 第 66 题:差分方程的解空间

求差分方程

\[ y_{k+3}-2y_{k+2}-5y_{k+1}+6y_k=0,\qquad k=0,1,2,\ldots \]

解空间的一组基,并说明解空间的维数。

解: 特征多项式为

\[ p(\lambda)=\lambda^3-2\lambda^2-5\lambda+6 =(\lambda-1)(\lambda+2)(\lambda-3). \]

因此有三个根 \(\lambda_1=1\)、\(\lambda_2=-2\)、\(\lambda_3=3\)。

令 \(V=\mathbb C^{\mathbb N_0}\) 表示所有复数序列组成的线性空间,定义移位算子

\[ D:V\to V,\qquad(Dy)_k=y_{k+1}. \]

差分方程等价于

\[ (D^3-2D^2-5D+6I)y =(D-I)(D+2I)(D-3I)y=0. \]

取三个序列

\[ \alpha_1=(1^k)_{k\ge0},\qquad \alpha_2=((-2)^k)_{k\ge0},\qquad \alpha_3=(3^k)_{k\ge0}. \]

显然 \((D-\lambda_i I)\alpha_i=0\),所以它们均为方程的解。

线性无关性: 若 \(c_1\alpha_1+c_2\alpha_2+c_3\alpha_3=0\),比较第 \(0,1,2\) 项,得到

\[ \begin{pmatrix} 1&1&1\\1&-2&3\\1&4&9 \end{pmatrix} \begin{pmatrix}c_1\\c_2\\c_3\end{pmatrix}=0. \]

这是三个互异特征值组成的 Vandermonde 矩阵,行列式非零,所以 \(c_1=c_2=c_3=0\)。又因三阶递推式的解由三个初值 \(y_0,y_1,y_2\) 唯一确定,解空间维数为 \(3\)。因此

\[ \boxed{\{(1^k)_{k\ge0},\ ((-2)^k)_{k\ge0},\ (3^k)_{k\ge0}\}\text{ 为一组基}}. \]

原稿另一思路: 在 \(W=\ker(D^3-2D^2-5D+6I)\) 中取三组初值为 \((1,0,0)\)、\((0,1,0)\)、\((0,0,1)\) 的解序列作为基,再写出 \(D\vert_W\) 的 \(3\times3\) 矩阵并转化为 Jordan 标准形。

P85 第 73 题:商空间的第二同构定理

设 \(U,W\) 为线性空间 \(V\) 的子空间。证明

\[ \boxed{(U+W)/W\cong U/(U\cap W)}. \]

要求尽可能建立不依赖基底选取的同构映射。

商空间回顾: 对 \(W\le V\),定义陪集 \(v+W=\{v+w:w\in W\}\)。商空间 \(V/W\) 由这些陪集组成,运算为

\[ (v_1+W)+(v_2+W)=(v_1+v_2)+W, \]

\[ \lambda(v+W)=(\lambda v)+W. \]

若 \(\dim V=n\)、\(\dim W=m\),则 \(\dim(V/W)=n-m\)。

构造同构:

\[ \Phi:(U+W)/W\longrightarrow U/(U\cap W), \qquad \Phi(u+w+W)=u+(U\cap W). \]

因为 \(u+w+W=u+W\),且如果一个陪集有不同的 \(U\) 分量 \(u,u'\),必有 \(u-u'\in U\cap W\),所以映射良定义。可验证保持线性运算、满射且单射,因此为同构。

P85 第 76 题:迹函数的唯一性

证明:在 \(M_n(\mathbb F)\) 上,满足

\[ \sigma(XY)=\sigma(YX),\qquad\sigma(I_n)=n \]

的线性泛函 \(\sigma:M_n(\mathbb F)\to\mathbb F\) 唯一,且为迹函数 \(\operatorname{tr}\)。(原稿从 \(n=2\) 的基本矩阵计算入手。)

证明思路: 先验证迹函数的线性性和循环性质 \(\operatorname{tr}(XY)=\operatorname{tr}(YX)\)。再取矩阵单位 \(E_{ij}\):

  • 当 \(i\ne j\),利用 \(E_{ii}E_{ij}=E_{ij}\) 与 \(E_{ij}E_{ii}=0\),得 \(\sigma(E_{ij})=0\)。
  • 利用 \(E_{ij}E_{ji}=E_{ii}\) 与 \(E_{ji}E_{ij}=E_{jj}\),得所有 \(\sigma(E_{ii})\) 相等。
  • \(\sum_i E_{ii}=I_n\) 且 \(\sigma(I_n)=n\),所以 \(\sigma(E_{ii})=1\)。

因此对 \(X=(x_{ij})\),

\[ \sigma(X)=\sum_{i,j}x_{ij}\sigma(E_{ij})=\sum_ix_{ii}=\operatorname{tr}(X). \]

P116 第 6 题:指数多项式空间上的求导算子

设 \(a\in\mathbb C\),

\[ V=\{e^{ax}f(x):f\in\mathbb C[x]_n\}, \]

定义 \(\mathcal D:V\to V\),\(\mathcal D(g)=g'\)。证明 \(\mathcal D\) 是线性算子,并求其 Jordan 标准形。

闭合性: 对 \(g=e^{ax}f(x)\),

\[ \mathcal D(g)=e^{ax}(af+f')\in V. \]

由导数的加法与数乘性质可验证线性性。

以 \(n=2\) 为例: 取基 \((e^{ax}x^2,e^{ax}x,e^{ax})\),有

\[ \begin{aligned} \mathcal D(e^{ax}x^2)&=a e^{ax}x^2+2e^{ax}x,\\ \mathcal D(e^{ax}x)&=a e^{ax}x+e^{ax},\\ \mathcal D(e^{ax})&=a e^{ax}. \end{aligned} \]

矩阵表示为

\[ \begin{pmatrix}a&0&0\\2&a&0\\0&1&a\end{pmatrix}. \]

经基向量重新排序与缩放,可化为单个 Jordan 块 \(J_3(a)\)。一般 \(n\) 阶多项式空间对应 \(J_{n+1}(a)\)。

原稿提醒: Jordan 标准形不依赖基底选择;不同基底下的矩阵相似。

P116 第 9 题:矩阵空间上的算子

设

\[ B=\begin{pmatrix}1&1\\0&1\end{pmatrix},\qquad V=\{X\in M_2(\mathbb R):\operatorname{tr}X=0\}, \]

定义 \(\sigma(X)=B^TX-X^TB\)。证明它是 \(V\) 的线性算子,取一组基使其矩阵尽可能简单,并求 Jordan 标准形。

首先,\(\dim V=3\),且

\[ \sigma(X)=B^TX-(B^TX)^T \]

为迹为零的矩阵,故 \(\sigma(V)\subseteq V\);线性性由矩阵加法与数乘推出。

取原稿所用的基

\[ \alpha=\begin{pmatrix}1&0\\0&-1\end{pmatrix},\quad \beta=\begin{pmatrix}0&1\\0&0\end{pmatrix},\quad \gamma=\begin{pmatrix}0&0\\1&0\end{pmatrix}. \]

逐项计算:

\[ \sigma(\alpha)=-\beta+\gamma,\qquad \sigma(\beta)=\beta-\gamma,\qquad \sigma(\gamma)=-\beta+\gamma. \]

矩阵表示为

\[ [\sigma]_{(\alpha,\beta,\gamma)} =\begin{pmatrix}0&0&0\\-1&1&-1\\1&-1&1\end{pmatrix}. \]

该阵秩为 \(1\),迹为 \(2\),特征值为 \(2,0,0\)。故 Jordan 标准形为

\[ \boxed{\operatorname{diag}(2,0,0)}. \]

P116 第 14 题:特征值非负的矩阵行列式估计

设 \(A\) 为 \(n\) 阶矩阵,主对角线元素均为 \(1\),且特征值都为非负实数。证明 \(\det A\le1\)。

证明: 设特征值为 \(\lambda_1,\ldots,\lambda_n\ge0\)。由迹不变性,

\[ \sum_{i=1}^n\lambda_i=\operatorname{tr}A=n. \]

由算术—几何平均值不等式,

\[ \frac{\lambda_1+\cdots+\lambda_n}{n} \ge(\lambda_1\cdots\lambda_n)^{1/n}, \]

故 \(\det A=\prod_i\lambda_i\le1\)。

P116 第 15 题:可交换矩阵的公共特征向量

若 \(A,B\in\mathbb C^{n\times n}\) 且 \(AB=BA\),证明 \(A,B\) 存在一个公共非零特征向量。

证明思路: 取 \(A\) 的某个特征值 \(\lambda\),令

\[ W=\ker(A-\lambda I),\qquad W\ne\{0\}. \]

对 \(\xi\in W\),有

\[ A(B\xi)=B(A\xi)=\lambda B\xi, \]

故 \(B(W)\subseteq W\)。因此 \(B\) 在非零复线性空间 \(W\) 上的限制算子有非零特征向量 \(\xi\),满足 \(B\xi=\mu\xi\),同时 \(A\xi=\lambda\xi\)。

P117 第 32 题:求矩阵幂与矩阵指数

原稿矩阵为

\[ A=\begin{pmatrix}0&0&1\\1&0&-1\\0&1&1\end{pmatrix}. \]

有

\[ \det(\lambda I-A)=\lambda^3-\lambda^2+\lambda-1 =(\lambda-1)(\lambda^2+1). \]

特征值为 \(1,i,-i\)。因 \(A\) 的特征多项式整除 \(\lambda^4-1\),由 Cayley–Hamilton 定理得

\[ \boxed{A^4=I},\qquad A^{100}=I. \]

计算 \(e^A\) 可用插值法。设

\[ e^A=c_0I+c_1A+c_2A^2, \]

按 \(\lambda=1,i,-i\) 配置方程组

\[ \begin{cases} e=c_0+c_1+c_2,\\ e^i=c_0+ic_1-c_2,\\ e^{-i}=c_0-ic_1-c_2. \end{cases} \]

于是

\[ \begin{aligned} c_1&=\sin1,\\ c_0&=\frac{e+\cos1-\sin1}{2},\\ c_2&=\frac{e-\cos1-\sin1}{2}. \end{aligned} \]

从而 \(e^A=c_0I+c_1A+c_2A^2\)。原稿提出的问题:有重特征值时需要对插值多项式求导并增加匹配条件;不一定必须使用 Jordan 形。

P120 第 48 题:严格对角占优矩阵

设 \(A=(a_{ij})\in\mathbb C^{n\times n}\) 严格对角占优,\(D=\operatorname{diag}(a_{11},\ldots,a_{nn})\)。证明 \(D\) 可逆且

\[ \rho(I-D^{-1}A)<1. \]

证明: 对每个 \(i\),\(|a_{ii}|>\sum_{j\ne i}|a_{ij}|\),所以 \(a_{ii}\ne0\)、\(D\) 可逆。并且

\[ \begin{aligned} \|I-D^{-1}A\|_\infty &=\max_i\sum_{j\ne i}\left|\frac{a_{ij}}{a_{ii}}\right|<1. \end{aligned} \]

由谱半径不大于相容矩阵范数,得 \(\rho(I-D^{-1}A)<1\)。

原稿备注:谱半径小于 \(1\) 的条件有利于建立迭代收敛性。

P120 第 53 题:参数递推数列

设 \(a_0=0,a_1=1\),且

\[ a_{n+1}=a_n+x a_{n-1},\qquad n\ge1. \]

要求 \(a_n\) 的通项公式(\(x\) 为实参数)。

方法: 设解为 \(r^n\),得到特征方程

\[ r^2-r-x=0, \qquad\Delta=1+4x, \qquad r_{1,2}=\frac{1\pm\sqrt{1+4x}}{2}. \]

当 \(\Delta\ne0\) 时,

\[ \boxed{a_n=\frac{r_1^n-r_2^n}{r_1-r_2}}. \]

当 \(\Delta=0\)(即 \(x=-1/4\))时,\(r_1=r_2=1/2\),需使用重根形式,得到

\[ \boxed{a_n=n\left(\frac12\right)^{n-1}}. \]

原稿提示:按照判别式为零和不为零的情况分别讨论。

P120 第 54 题:左右特征向量的正交关系

设 \(y^TA=\lambda y^T\)(左特征向量)且 \(Au=\mu u\)(右特征向量),证明不同特征值 \(\lambda\ne\mu\) 时

\[ \boxed{y^Tu=0}. \]

证明:

\[ \lambda y^Tu=(y^TA)u=y^T(Au)=\mu y^Tu, \]

故 \((\lambda-\mu)y^Tu=0\)。

P148 第 14 题:分块酉矩阵

设

\[ A=\begin{pmatrix}P&B\\0&Q\end{pmatrix} \]

是一个酉矩阵,其中 \(P,Q\) 分别为方阵。证明 \(P,Q\) 均为酉矩阵,并且 \(B=0\)。

证明: \(A^HA=I\),故

\[ \begin{pmatrix}P^HP&P^HB\\B^HP&B^HB+Q^HQ\end{pmatrix} =\begin{pmatrix}I&0\\0&I\end{pmatrix}. \]

因此 \(P^HP=I\),由 \(P\) 为方阵知其可逆,且 \(P^HB=0\Longrightarrow B=0\),于是 \(Q^HQ=I\)。

注: 原稿特别强调:若 \(P\) 不是方阵,不能仅从 \(P^HP=I\) 和 \(P^HB=0\) 断定 \(B=0\);矩阵尺寸是本题最容易出错的部分。

P149 第 32 题:反射变换

在 \(\mathbb R^n\) 中设 \(w\) 为长度为 \(1\) 的向量,变换

\[ \sigma(x)=x-a\langle x,w\rangle w. \]

问 \(a\) 取何值时 \(\sigma\) 为正交变换;若 \(w\) 为任意向量如何?

解: 将 \(\mathbb R^n\) 分解为 \(\operatorname{span}\{w\}\oplus w^\perp\)。对 \(x\perp w\),\(\sigma(x)=x\);对 \(x=w\),\(\sigma(w)=(1-a)w\)。因此在适当标准正交基下矩阵为

\[ \operatorname{diag}(1,\ldots,1,1-a). \]

它为正交阵当且仅当 \((1-a)^2=1\),即

\[ \boxed{a=0\quad\text{或}\quad a=2}. \]

若 \(w\ne0\) 未标准化,则相应地

\[ \boxed{a=0\quad\text{或}\quad a=\frac2{\|w\|^2}}. \]

若 \(w=0\),变换本身是恒等变换,对任何 \(a\) 都为正交变换。

P149 第 44 题:低秩矩阵的 Frobenius 范数

设 \(x,y,\alpha,\beta\in\mathbb C^n\),满足

\[ x^Hy=0,\qquad\alpha^H\beta=0, \]

令 \(A=x\alpha^H+y\beta^H\)。求 \(\|A\|_F\)。

由 \(\|A\|_F^2=\operatorname{tr}(A^HA)\),展开后利用正交条件与迹的循环性质,交叉项为零,得到

\[ \boxed{\|A\|_F^2=\|x\|^2\|\alpha\|^2+\|y\|^2\|\beta\|^2}, \]

即

\[ \boxed{\|A\|_F=\sqrt{\|x\|^2\|\alpha\|^2+\|y\|^2\|\beta\|^2}}. \]

原稿补充:\(A\) 可写为 \(A=(x,y)(\alpha,\beta)^H\),所以 \(\operatorname{rank}(A)\le2\)。

P149 第 49 题:两个矩阵零空间的交

设 \(A,B\) 有相同列数,证明

\[ \boxed{\ker A\cap\ker B=\ker\begin{pmatrix}A\\B\end{pmatrix}}. \]

证明:

\[ \begin{pmatrix}A\\B\end{pmatrix}x=0 \iff\begin{cases}Ax=0,\\Bx=0\end{cases} \iff x\in\ker A\cap\ker B. \]

原稿思考:\(\operatorname{rank}\begin{pmatrix}A\\B\end{pmatrix}\le\operatorname{rank}A+\operatorname{rank}B\),何时取等号?可从行空间与维数公式的角度分析。

P203 第 30 题:计算矩阵几何级数

设

\[ A=\begin{pmatrix}2&-\frac12\\2&0\end{pmatrix}, \qquad \text{求 }\sum_{k=0}^{\infty}\frac{A^k}{2^k}. \]

令 \(B=A/2\)。其特征多项式为 \((\lambda-\tfrac12)^2\),故 \(\rho(B)=1/2<1\),级数收敛。于是

\[ \begin{aligned} \sum_{k=0}^{\infty}\frac{A^k}{2^k} &=\sum_{k=0}^{\infty}B^k=(I-B)^{-1}\\ &=\begin{pmatrix}0&\frac14\\-1&1\end{pmatrix}^{-1} =\boxed{\begin{pmatrix}4&-1\\4&0\end{pmatrix}}. \end{aligned} \]

注: 必须先判断收敛,不能忽略谱半径条件直接使用 \((I-B)^{-1}\)。

P203 第 32 题:求 \(e^A\)、\(\sin A\) 与 \(\cos A\)

原稿建议按矩阵形式选择方法:

  1. 若 \(A\) 已经是 Jordan 分块形,分别求各块的函数。
  2. 若 \(A=PJP^{-1}\),先求 \(f(J)\),再求 \(f(A)=Pf(J)P^{-1}\)。
  3. 若 \(A\) 满足低次多项式关系,可使用插值法或多项式降阶。

例: 若 \(A^2=A\)(幂等矩阵),则用特征值 \(0,1\) 的插值法,设 \(e^A=aI+bA\),有

\[ \begin{cases}a=1,\\a+b=e,\end{cases} \quad\Longrightarrow\quad \boxed{e^A=I+(e-1)A}. \]

类似可得

\[ \boxed{\sin A=(\sin1)A},\qquad \boxed{\cos A=I+(\cos1-1)A}. \]

原稿提醒:若最小多项式有重根,插值必须同时考虑相应阶的导数。

P231 第 2 题:投影矩阵的运算

设 \(P_1,P_2\) 为投影矩阵,即 \(P_1^2=P_1\)、\(P_2^2=P_2\)。证明:

  1. \(P_1+P_2\) 是投影矩阵 \(\iff P_1P_2=P_2P_1=0\)。
  2. \(P_1-P_2\) 是投影矩阵 \(\iff P_1P_2=P_2P_1=P_2\)。
  3. \(P_1^H\)、\(I-P_1\)、\(T^{-1}P_1T\)(\(T\) 可逆)仍为投影矩阵。

证明思路:

对 (1),

\[ (P_1+P_2)^2=P_1+P_2+P_1P_2+P_2P_1. \]

故幂等性等价于 \(P_1P_2+P_2P_1=0\)。再利用 \(P_1^2=P_1\)、\(P_2^2=P_2\),左右分别乘 \(P_i\),可推出 \(P_1P_2=P_2P_1=0\);反向显然。

对 (2),

\[ (P_1-P_2)^2=P_1-P_1P_2-P_2P_1+P_2. \]

令其等于 \(P_1-P_2\),得到 \(P_1P_2+P_2P_1=2P_2\),配合投影矩阵的幂等性可推出 \(P_1P_2=P_2P_1=P_2\);反向由直接代入验证。

对 (3):

\[ (P_1^H)^2=(P_1^2)^H=P_1^H, \]

\[ (I-P_1)^2=I-2P_1+P_1^2=I-P_1, \]

\[ (T^{-1}P_1T)^2=T^{-1}P_1^2T=T^{-1}P_1T. \]

原稿强调:投影矩阵的本质是幂等阵;这里不额外要求投影矩阵是 Hermitian 阵。

P233 第 46 题:广义逆与方程可解性

设 \(A\in\mathbb C^{m\times n}\)、\(b\in\mathbb C^m\),取一个满足 \(AGA=A\) 的广义逆 \(G\)。证明

\[ \boxed{Ax=b\text{ 有解}\iff AGb=b}. \]

证明:

  • 若 \(Ax=b\) 有解,则 \(AGb=AGAx=Ax=b\)。
  • 若 \(AGb=b\),取 \(x=Gb\),则 \(Ax=AGb=b\)。

当有解时,通解为

\[ \boxed{x=Gb+(I-GA)y,\qquad y\in\mathbb C^n}. \]

因为 \(A(I-GA)=A-AGA=0\),这确实给出解;反之若 \(Ax=b\),取 \(y=x\),则 \(Gb+(I-GA)x=x\),故覆盖所有解。

P233 第 48 题:相容方程组的通解与陪集

对相容线性方程组 \(Ax=a\),使用 MP 逆可表示通解为

\[ \boxed{x=A^+a+(I-A^+A)y},\qquad y\in\mathbb C^n. \]

它也可写成陪集形式

\[ \boxed{A^+a+\ker A}. \]

原稿提出的证明要点:\(A^+a\) 与 \((I-A^+A)y\) 正交,其中 \(A^+A\) 为正交投影,从而得出最小范数解为 \(A^+a\)。

续审核对(教材第 227—229 页): 仅在方程相容时,该式称为“精确通解”;不相容时 \(A^+a+(I-A^+A)y\) 是所有最小二乘解,且 \(A^+a\) 是其中唯一的最小范数解。教材分别以 \(\{1,3\}\)-逆描述最小二乘、以 \(\{1,4\}\)-逆描述相容系统的最小范数解。

另设 \(Ax=a\) 与 \(Bx=b\) 均有解,则它们有公共解当且仅当可以同时满足上述两组线性条件;可合并成

\[ \begin{pmatrix}A\\B\end{pmatrix}x= \begin{pmatrix}a\\b\end{pmatrix} \]

研究其解空间和陪集表示。

P234 第 49 题:两个矩阵方程的公共解

设 \(A,B,C,D\) 为同阶方阵,且 \(AX=B\) 与 \(XC=D\) 分别有解。证明两方程有公共解当且仅当

\[ \boxed{AD=BC}. \]

必要性: 若 \(X\) 为公共解,则

\[ AD=A(XC)=(AX)C=BC. \]

充分性: 设 \(X_0\) 满足 \(AX_0=B\),取 \(H\) 为 \(C\) 的一个广义逆,满足 \(CHC=C\)。因 \(XC=D\) 有解,可知 \(DHC=D\)。若 \(AD=BC\),令

\[ X_*=X_0+(D-X_0C)H, \]

则

\[ AX_*=B+(AD-BC)H=B, \]

\[ X_*C=X_0C+(D-X_0C)HC=D. \]

所以 \(X_*\) 为公共解。

公共通解: 若 \(X_*\) 为任一公共解,另取 \(A^{(1)}\)、\(C^{(1)}\) 分别为 \(A,C\) 的一个广义逆,则全部公共解为

\[ \boxed{X=X_*+(I-A^{(1)}A)Z(I-CC^{(1)})}, \qquad Z\text{ 为任意同阶矩阵}. \]

这里的增量满足 \(A\Delta=0\) 与 \(\Delta C=0\),反过来任意公共解与 \(X_*\) 之差都满足这两个齐次条件,因而能表示为上述形式。

考试与复习提醒(原稿批注)

原稿记录考试形式:没有选择题、判断题、填空题,重点为计算、验证、证明与综合说理,例如判断可逆性、线性变换、线性空间以及如何选取基底。

集中关注以下主线:

  • 向量空间:线性空间、子空间、内积、正交、维数与商空间。
  • 线性映射:核与像、单射与满射、矩阵表示、换基与相似。
  • 标准形:Schur、Jordan、相抵标准形、SVD。
  • 矩阵函数:谱半径、收敛性、矩阵幂、矩阵指数、插值法。
  • 矩阵方程:可解性、唯一性、最小二乘、广义逆、Sylvester 方程。

矩阵分析笔记
https://cdro.tech/notes/math/matrix-theory/
作者
k9Q6CK42
发布于
2026年10月15日
更新于
2026年10月15日
许可协议