113 年 國立中央大學數學系碩士班數學組《線性代數》

本題主要在考驗線性代數中矩陣秩 (rank) 的基本性質。

(a) 證明 rank(A + B) ≤ rank(A) + rank(B)
證明：
令 $C(A)$ 表示矩陣 $A$ 的行空間 (column space)，則 $\text{rank}(A) = \dim(C(A))$。
對於任意矩陣 $A$ 和 $B$，矩陣 $A+B$ 的行空間 $C(A+B)$ 是 $C(A)$ 和 $C(B)$ 的子空間的聯集。也就是說，如果 $v \in C(A+B)$，則 $v = (A+B)x = Ax + Bx$ 對於某個 $x$ 成立。由於 $Ax \in C(A)$ 且 $Bx \in C(B)$，因此 $v$ 是 $C(A)$ 和 $C(B)$ 中向量的和。
這意味著 $C(A+B) \subseteq C(A) + C(B)$，其中 $C(A) + C(B) = \{u+w \mid u \in C(A), w \in C(B)\}$。
根據維度定理，我們知道 $\dim(U+W) = \dim(U) + \dim(W) - \dim(U \cap W)$。
因此，
$\text{rank}(A+B) = \dim(C(A+B)) \leq \dim(C(A) + C(B))$
$\dim(C(A) + C(B)) = \dim(C(A)) + \dim(C(B)) - \dim(C(A) \cap C(B))$
由於 $\dim(C(A) \cap C(B)) \geq 0$，我們有
$\dim(C(A) + C(B)) \leq \dim(C(A)) + \dim(C(B)) = \text{rank}(A) + \text{rank}(B)$
綜合以上，得到
$\text{rank}(A+B) \leq \text{rank}(A) + \text{rank}(B)$
【答案】證畢。

(b) 證明 rank(AB) ≤ min{rank(A), rank(B)}
證明：
我們將分別證明 $\text{rank}(AB) \leq \text{rank}(B)$ 和 $\text{rank}(AB) \leq \text{rank}(A)$。

證明 $\text{rank}(AB) \leq \text{rank}(B)$:
矩陣 $AB$ 的行空間 $C(AB)$ 是 $C(A)$ 的子空間。也就是說，如果 $v \in C(AB)$，則 $v = (AB)x = A(Bx)$ 對於某個 $x$ 成立。由於 $Bx \in C(B)$，因此 $v$ 是 $C(A)$ 中的向量。
此處的論述應為：$C(AB)$ 是 $C(A)$ 的列空間的一個子空間。更精確地說，若 $w \in C(AB)$, $w = (AB)x = A(Bx)$. 令 $y=Bx$, $y$ 是 $B$ 的一個列向量。則 $w=Ay$. 這表示 $w$ 是 $A$ 的列向量的線性組合。
然而，這並不能直接推導出 $C(AB) \subseteq C(A)$。
正確的證明方法是考慮矩陣 $AB$ 的行空間。
$C(AB) = \{ (AB)x \mid x \in F^p \}$.
令 $y = Bx$. 則 $y$ 是 $B$ 的行空間 $C(B)$ 中的一個向量。
所以 $C(AB) = \{ Ay \mid y \in C(B) \}$.
這表示 $C(AB)$ 是 $C(A)$ 中向量的集合，其中這些向量是 $A$ 作用於 $C(B)$ 中的向量得到的。
因此 $C(AB)$ 是 $C(A)$ 的行空間 $C(A)$ 的一個子空間。
所以 $\text{rank}(AB) = \dim(C(AB)) \leq \dim(C(A)) = \text{rank}(A)$.

本題主要在考驗矩陣對角化 (diagonalization) 的概念，以及如何利用對角化來計算矩陣的冪次和矩陣指數。

(a) 尋找可逆矩陣 P 和對角矩陣 D 使得 $P^{-1}AP = D$。
這表示我們需要對矩陣 A 進行對角化。步驟如下：

1. 計算特徵值 (eigenvalues)：
   $\det(A - \lambda I) = \det \begin{bmatrix} 1-\lambda & 3 \\ 3 & 1-\lambda \end{bmatrix} = (1-\lambda)^2 - 3^2 = (1-\lambda-3)(1-\lambda+3) = (-\lambda-2)(-\lambda+4) = (\lambda+2)(\lambda-4)$
   令 $\det(A - \lambda I) = 0$, 得到特徵值 $\lambda_1 = -2$ 和 $\lambda_2 = 4$。
   所以對角矩陣 $D = \begin{bmatrix} -2 & 0 \\ 0 & 4 \end{bmatrix}$ (或 $\begin{bmatrix} 4 & 0 \\ 0 & -2 \end{bmatrix}$，順序取決於特徵向量的順序)。

2. 計算對應的特徵向量 (eigenvectors)：
   對於 $\lambda_1 = -2$:
   $(A - (-2)I)v = 0 \implies \begin{bmatrix} 1-(-2) & 3 \\ 3 & 1-(-2) \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix} = \begin{bmatrix} 3 & 3 \\ 3 & 3 \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}$
   $3x + 3y = 0 \implies x = -y$.
   取 $y=1$, 則 $x=-1$. 特徵向量 $v_1 = \begin{bmatrix} -1 \\ 1 \end{bmatrix}$.

對於 $\lambda_2 = 4$:
$(A - 4I)v = 0 \implies \begin{bmatrix} 1-4 & 3 \\ 3 & 1-4 \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix} = \begin{bmatrix} -3 & 3 \\ 3 & -3 \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}$
$-3x + 3y = 0 \implies x = y$.
取 $y=1$, 則 $x=1$. 特徵向量 $v_2 = \begin{bmatrix} 1 \\ 1 \end{bmatrix}$.

3. 構造矩陣 P：
   將特徵向量作為列向量組成矩陣 P。
   $P = [v_1 \ v_2] = \begin{bmatrix} -1 & 1 \\ 1 & 1 \end{bmatrix}$.
   驗證 $P^{-1}AP = D$:
   首先計算 $P^{-1}$。
   $\det(P) = (-1)(1) - (1)(1) = -1 - 1 = -2$.
   $P^{-1} = \frac{1}{-2} \begin{bmatrix} 1 & -1 \\ -1 & -1 \end{bmatrix} = \begin{bmatrix} -1/2 & 1/2 \\ 1/2 & 1/2 \end{bmatrix}$.
   $AP = \begin{bmatrix} 1 & 3 \\ 3 & 1 \end{bmatrix} \begin{bmatrix} -1 & 1 \\ 1 & 1 \end{bmatrix} = \begin{bmatrix} 1(-1)+3(1) & 1(1)+3(1) \\ 3(-1)+1(1) & 3(1)+1(1) \end{bmatrix} = \begin{bmatrix} 2 & 4 \\ -2 & 4 \end{bmatrix}$.
   $P^{-1}AP = \begin{bmatrix} -1/2 & 1/2 \\ 1/2 & 1/2 \end{bmatrix} \begin{bmatrix} 2 & 4 \\ -2 & 4 \end{bmatrix} = \begin{bmatrix} (-1/2)(2)+(1/2)(-2) & (-1/2)(4)+(1/2)(4) \\ (1/2)(2)+(1/2)(-2) & (1/2)(4)+(1/2)(4) \end{bmatrix} = \begin{bmatrix} -1-1 & -2+2 \\ 1-1 & 2+2 \end{bmatrix} = \begin{bmatrix} -2 & 0 \\ 0 & 4 \end{bmatrix} = D$.
   如果我們選擇 $D = \begin{bmatrix} 4 & 0 \\ 0 & -2 \end{bmatrix}$, 則 $P = \begin{bmatrix} 1 & -1 \\ 1 & 1 \end{bmatrix}$.

所以，一個可能的 P 和 D 是：
$P = \begin{bmatrix} -1 & 1 \\ 1 & 1 \end{bmatrix}$, $D = \begin{bmatrix} -2 & 0 \\ 0 & 4 \end{bmatrix}$.
【答案】$P = \begin{bmatrix} -1 & 1 \\ 1 & 1 \end{bmatrix}$, $D = \begin{bmatrix} -2 & 0 \\ 0 & 4 \end{bmatrix}$ (或 $P = \begin{bmatrix} 1 & -1 \\ 1 & 1 \end{bmatrix}$, $D = \begin{bmatrix} 4 & 0 \\ 0 & -2 \end{bmatrix}$)。

(b) 計算 $A^n$, 其中 $n \in \mathbb{N}$。
利用對角化，我們有 $A = PDP^{-1}$。

本題考驗最小平方法 (Least Squares Method) 的基本原理，特別是正規方程組 (normal equation) 的推導與意義。

證明：
我們需要證明兩個方向：
($\Rightarrow$) 如果 $x$ 最小化 $||b - Ax||_2^2$，則 $x$ 滿足 $A^T Ax = A^T b$。
($\Leftarrow$) 如果 $x$ 滿足 $A^T Ax = A^T b$，則 $x$ 最小化 $||b - Ax||_2^2$。

令 $f(x) = ||b - Ax||_2^2 = (b - Ax)^T (b - Ax)$。
$f(x) = (b^T - x^T A^T)(b - Ax) = b^T b - b^T Ax - x^T A^T b + x^T A^T Ax$
$f(x) = b^T b - 2 x^T A^T b + x^T A^T Ax$ (因為 $b^T Ax$ 是純量，所以 $(b^T Ax)^T = x^T A^T b = b^T Ax$)

為了找到使 $f(x)$ 最小的 $x$，我們計算 $f(x)$ 對 $x$ 的梯度 (gradient)。
$\nabla_x f(x) = \frac{\partial}{\partial x} (b^T b - 2 x^T A^T b + x^T A^T Ax)$
$\nabla_x (b^T b) = 0$ (常數項)
$\nabla_x (x^T c) = c$
$\nabla_x (x^T M x) = (M + M^T)x$
在這裡, $c = A^T b$, $M = A^T A$.
所以,
$\nabla_x f(x) = -2(A^T b) + (A^T A + (A^T A)^T) x$
因為 $A^T A$ 是對稱矩陣，所以 $(A^T A)^T = A^T A$.
$\nabla_x f(x) = -2 A^T b + 2 A^T A x$

使 $f(x)$ 最小的條件是其梯度為零向量：
$\nabla_x f(x) = 0$
$-2 A^T b + 2 A^T A x = 0$
$2 A^T A x = 2 A^T b$
$A^T A x = A^T b$
這證明了第一個方向。

現在證明第二個方向：如果 $x$ 滿足 $A^T Ax = A^T b$，則 $x$ 最小化 $||b - Ax||_2^2$。
我們已經計算出 $f(x) = b^T b - 2 x^T A^T b + x^T A^T Ax$。
令 $x_0$ 為滿足 $A^T Ax_0 = A^T b$ 的一個解。
對於任意的 $x$, 我們可以寫成 $x = x_0 + \delta$, 其中 $\delta$ 是任意向量。
將 $x = x_0 + \delta$ 代入 $f(x)$:
$f(x_0 + \delta) = b^T b - 2 (x_0 + \delta)^T A^T b + (x_0 + \delta)^T A^T A (x_0 + \delta)$
$f(x_0 + \delta) = b^T b - 2 x_0^T A^T b - 2 \delta^T A^T b + (x_0^T + \delta^T) A^T A (x_0 + \delta)$

本題考驗外積矩陣 (outer product matrix) 的性質，特別是其秩、特徵值和奇異性。

(a) 證明或否定 A 是奇異矩陣 (singular matrix)。
矩陣 A 的形式為 $A = aa^T$。
$a$ 是一個 $n \times 1$ 的向量，而 $a^T$ 是一個 $1 \times n$ 的向量。
它們的外積 $aa^T$ 是一個 $n \times n$ 的矩陣。

考慮矩陣 A 的秩 (rank)。
矩陣 $A = aa^T$ 的列空間是由向量 $a$ 的倍數構成的。
也就是說，矩陣 A 的每一列都是向量 $a$ 的一個純量倍數。
例如，如果 $a = \begin{bmatrix} a_1 \\ a_2 \\ \vdots \\ a_n \end{bmatrix}$, 則 $a^T = \begin{bmatrix} a_1 & a_2 & \cdots & a_n \end{bmatrix}$.
$A = aa^T = \begin{bmatrix} a_1 \\ a_2 \\ \vdots \\ a_n \end{bmatrix} \begin{bmatrix} a_1 & a_2 & \cdots & a_n \end{bmatrix} = \begin{bmatrix} a_1^2 & a_1a_2 & \cdots & a_1a_n \\ a_2a_1 & a_2^2 & \cdots & a_2a_n \\ \vdots & \vdots & \ddots & \vdots \\ a_na_1 & a_na_2 & \cdots & a_n^2 \end{bmatrix}$.
矩陣 A 的第一列是 $a_1 a = a_1 \begin{bmatrix} a_1 \\ a_2 \\ \vdots \\ a_n \end{bmatrix}$.
矩陣 A 的第二列是 $a_2 a = a_2 \begin{bmatrix} a_1 \\ a_2 \\ \vdots \\ a_n \end{bmatrix}$.
...
矩陣 A 的第 n 列是 $a_n a = a_n \begin{bmatrix} a_1 \\ a_2 \\ \vdots \\ a_n \end{bmatrix}$.

所有列向量都是向量 $a$ 的倍數。
如果 $a$ 是零向量 ($a = 0$), 則 $A$ 是零矩陣，秩為 0。
如果 $a$ 不是零向量，則 $a$ 張成一個維度為 1 的空間。
因此，矩陣 $A = aa^T$ 的秩為 1 (假設 $a \neq 0$)。

一個 $n \times n$ 的矩陣是奇異的，當且僅當它的秩小於 $n$。
題目給定 $n > 1$。
如果 $a \neq 0$, 則 $\text{rank}(A) = 1$. 因為 $n > 1$, 所以 $1 < n$.
因此，$\text{rank}(A) < n$, 矩陣 A 是奇異的。
如果 $a = 0$, 則 $A = 0$, $\text{rank}(A) = 0$. 因為 $n > 1$, 所以 $0 < n$.
因此，$\text{rank}(A) < n$, 矩陣 A 也是奇異的。

結論：對於 $n > 1$, 矩陣 $A = aa^T$ 總是奇異的。
【答案】證明 A 是奇異矩陣。

(b) 如果 $a = [1, 2, 3, 4]^T$, 計算 A 的所有特徵值。
矩陣 $A = aa^T$.
$a = \begin{bmatrix} 1 \\ 2 \\ 3 \\ 4 \end{bmatrix}$, $a^T = \begin{bmatrix} 1 & 2 & 3 & 4 \end{bmatrix}$.

本題考驗 Gram-Schmidt 正交化過程，以及 QR 分解的計算。

(a) 為 $v_1, v_2, v_3$ 所張成的向量空間尋找一個標準正交基 (orthonormal basis)。
向量是 $v_1 = \begin{bmatrix} 1 \\ 0 \\ 0 \end{bmatrix}$, $v_2 = \begin{bmatrix} 2 \\ 0 \\ 3 \end{bmatrix}$, $v_3 = \begin{bmatrix} 3 \\ 4 \\ 5 \end{bmatrix}$.
我們使用 Gram-Schmidt 正交化過程。
令 $u_1, u_2, u_3$ 為正交基，$q_1, q_2, q_3$ 為標準正交基。

步驟 1: $u_1 = v_1$.
$u_1 = \begin{bmatrix} 1 \\ 0 \\ 0 \end{bmatrix}$.
標準化 $u_1$ 得到 $q_1$:
$||u_1|| = \sqrt{1^2 + 0^2 + 0^2} = 1$.
$q_1 = \frac{u_1}{||u_1||} = \begin{bmatrix} 1 \\ 0 \\ 0 \end{bmatrix}$.

步驟 2: 計算 $u_2$.
$u_2 = v_2 - \text{proj}_{u_1} v_2 = v_2 - \frac{v_2 \cdot u_1}{u_1 \cdot u_1} u_1$.
$v_2 \cdot u_1 = \begin{bmatrix} 2 \\ 0 \\ 3 \end{bmatrix} \cdot \begin{bmatrix} 1 \\ 0 \\ 0 \end{bmatrix} = 2(1) + 0(0) + 3(0) = 2$.
$u_1 \cdot u_1 = ||u_1||^2 = 1^2 = 1$.
$u_2 = \begin{bmatrix} 2 \\ 0 \\ 3 \end{bmatrix} - \frac{2}{1} \begin{bmatrix} 1 \\ 0 \\ 0 \end{bmatrix} = \begin{bmatrix} 2 \\ 0 \\ 3 \end{bmatrix} - \begin{bmatrix} 2 \\ 0 \\ 0 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \\ 3 \end{bmatrix}$.
標準化 $u_2$ 得到 $q_2$:
$||u_2|| = \sqrt{0^2 + 0^2 + 3^2} = 3$.
$q_2 = \frac{u_2}{||u_2||} = \begin{bmatrix} 0 \\ 0 \\ 1 \end{bmatrix}$.

步驟 3: 計算 $u_3$.
$u_3 = v_3 - \text{proj}_{u_1} v_3 - \text{proj}_{u_2} v_3$.
$u_3 = v_3 - \frac{v_3 \cdot u_1}{u_1 \cdot u_1} u_1 - \frac{v_3 \cdot u_2}{u_2 \cdot u_2} u_2$.

計算點積：
$v_3 \cdot u_1 = \begin{bmatrix} 3 \\ 4 \\ 5 \end{bmatrix} \cdot \begin{bmatrix} 1 \\ 0 \\ 0 \end{bmatrix} = 3(1) + 4(0) + 5(0) = 3$.
$v_3 \cdot u_2 = \begin{bmatrix} 3 \\ 4 \\ 5 \end{bmatrix} \cdot \begin{bmatrix} 0 \\ 0 \\ 3 \end{bmatrix} = 3(0) + 4(0) + 5(3) = 15$.
$u_1 \cdot u_1 = 1$.
$u_2 \cdot u_2 = ||u_2||^2 = 3^2 = 9$.

代入計算 $u_3$:
$u_3 = \begin{bmatrix} 3 \\ 4 \\ 5 \end{bmatrix} - \frac{3}{1} \begin{bmatrix} 1 \\ 0 \\ 0 \end{bmatrix} - \frac{15}{9} \begin{bmatrix} 0 \\ 0 \\ 3 \end{bmatrix}$
$u_3 = \begin{bmatrix} 3 \\ 4 \\ 5 \end{bmatrix} - \begin{bmatrix} 3 \\ 0 \\ 0 \end{bmatrix} - \frac{5}{3} \begin{bmatrix} 0 \\ 0 \\ 3 \end{bmatrix}$

核心觀念

本題考查「線性方程組可解性」與「基本子空間正交補」之間的關係。

對矩陣 $A\in\mathbb{R}^{m\times n}$：

• $Ax=b$ 有解，等價於 $b\in\operatorname{Col}(A)$。
• $A^T y=0$ 表示 $y\in\operatorname{Null}(A^T)$。
• 基本子空間定理給出
  $\operatorname{Null}(A^T)=\operatorname{Col}(A)^\perp.$

因此，題目中的條件

$$A^T y=0\Longrightarrow b^T y=0$$

表示 $b$ 與 $\operatorname{Col}(A)$ 的每一個正交向量皆正交，也就是

$$b\in\left(\operatorname{Col}(A)^\perp\right)^\perp =\operatorname{Col}(A).$$

這正好等價於 $Ax=b$ 有解。

---

解題方法

分別證明兩個方向。

必要性：$Ax=b$ 有解 $\Rightarrow$ 題目中的條件成立

假設 $Ax=b$ 有解，則存在某個 $x_0\in\mathbb{R}^{n\times 1}$，使得

$$Ax_0=b.$$

取任意 $y\in\mathbb{R}^{m\times 1}$，且滿足

$$A^Ty=0.$$

由 $b=Ax_0$，可得

$$b^Ty=(Ax_0)^Ty.$$

利用轉置公式 $(Ax_0)^T=x_0^TA^T$：

$$b^Ty=x_0^TA^Ty.$$

因為 $A^Ty=0$，所以

$$b^Ty=x_0^T0=0.$$

因此，只要 $A^Ty=0$，必有 $b^Ty=0$。

---

充分性：題目中的條件成立 $\Rightarrow Ax=b$ 有解

假設對所有滿足 $A^Ty=0$ 的向量 $y$，皆有

$$b^Ty=0.$$

由

$$\operatorname{Null}(A^T)=\operatorname{Col}(A)^\perp,$$

題設表示 $b$ 與 $\operatorname{Col}(A)^\perp$ 中的每一個向量皆正交。因此

本題考驗對稱矩陣 (symmetric matrix) 的重要性質，包括其特徵值為實數以及對應的特徵向量相互正交。

(a) 證明 A 的所有特徵值都是實數。
設 $\lambda$ 是 A 的一個特徵值，對應的特徵向量為 $v \neq 0$.
則 $Av = \lambda v$.
因為 A 是實對稱矩陣，所以 $A^T = A$.
我們考慮複數域下的特徵值和特徵向量。假設 $\lambda$ 可以是複數，對應的特徵向量 $v$ 也可以是複數向量。
則 $Av = \lambda v$.
取其共軛轉置 (conjugate transpose): $(Av)^* = (\lambda v)^*$.
$v^* A^* = \bar{\lambda} v^*$.
因為 A 是實矩陣，所以 $A^* = A^T = A$.
所以 $v^* A = \bar{\lambda} v^*$.
將此式左乘 $v$:
$v^* A v = v^* (\bar{\lambda} v^*) = \bar{\lambda} v^* v$.
另一方面，從 $Av = \lambda v$, 我們將其左乘 $v^*$:
$v^* A v = v^* (\lambda v) = \lambda v^* v$.
所以，我們有 $\lambda v^* v = \bar{\lambda} v^* v$.
由於 $v$ 是非零特徵向量，所以 $v^* v = ||v||^2 > 0$. (對於複數向量 $v = [v_1, \dots, v_n]^T$, $v^*v = \sum_{i=1}^n \bar{v}_i v_i = \sum_{i=1}^n |v_i|^2 > 0$ if $v \neq 0$).
因此，我們可以從等式兩邊消去 $v^* v$:
$\lambda = \bar{\lambda}$.