113 年 國立中山大學通訊工程研究所甲組《線性代數》

本題主要考驗對矩陣基本性質、秩 (rank)、線性變換的性質的理解。

核心觀念：

• 秩 (Rank)：矩陣的秩定義為其行空間或列空間的維度，也等於其列獨立向量的最大個數或行獨立向量的最大個數。
• 列運算 (Row Operations)：基本的列運算（交換兩列、將一列乘以非零常數、將一列的倍數加到另一列）不會改變矩陣的秩。
• 線性變換 (Linear Transformation)：一個線性變換 $T: V \to W$ 可以表示為 $T(x) = Ax$，其中 $A$ 是對應的矩陣。
  • 若 $A$ 是 $m \times n$ 矩陣，則 $T: \mathbb{R}^n \to \mathbb{R}^m$。
  • $T$ 是 一對一 (one-to-one) 的條件等價於其核空間 (null space) 只包含零向量，或者說 $Ax = 0$ 只有零解。這也等價於 $A$ 的列空間維度 (rank) 等於 $n$ (輸入空間的維度)。
  • $T$ 是 映成 (onto) 的條件等價於其值域 (range) 等於輸出空間 $\mathbb{R}^m$，或者說 $Ax = b$ 對於所有的 $b \in \mathbb{R}^m$ 都有解。這也等價於 $A$ 的秩等於 $m$ (輸出空間的維度)。
• 座標變換矩陣 (Change-of-coordinates matrix)：當我們從一個基底轉換到另一個基底時，使用的矩陣稱為座標變換矩陣。若兩個基底都包含相同數目的向量，且是 $n$ 維空間的基底，則轉換矩陣一定是 $n \times n$ 的方陣，且必須是可逆的。

逐一分析選項：
(A) If B is obtained from a matrix A by several elementary row operations, then rank(B) = rank(A).
這是秩的基本性質。任何基本的列運算（交換兩列、將一列乘以非零常數、將一列的倍數加到另一列）都不會改變矩陣的秩。因此，這個敘述是 正確 的。

(B) Row operations on a matrix A can change the linear dependence relations among the rows of A.
列運算會改變實際的行向量，因此也可能會改變行向量之間的線性相關性。例如，將一列的倍數加到另一列，會使得新的列向量與其他列向量之間的線性組合關係改變。但是，列運算 不會改變行空間的維度，也就是秩。舉例來說，若 $r_1, r_2$ 是矩陣 $A$ 的兩列，且 $r_2 = 2r_1$，則 $r_1, r_2$ 線性相關。若進行列運算 $r_2' = r_2 - 2r_1$，則新的矩陣中，對應的兩列是 $r_1, 0$。此時，這兩列也是線性相關的，但線性組合的係數不同了。更一般地，列運算僅僅是將行空間中的向量進行線性組合，並不會改變行空間本身。例如，若 $v_1, v_2, \ldots, v_k$ 是行空間的一組基底，則經過列運算後得到的行向量，仍然張成同一個行空間。因此，雖然具體的線性組合關係會改變，但「是否線性相關」這個性質（在行空間的範疇內）並不會改變。
仔細思考： 這裡的敘述是「改變線性依賴關係」。例如，在矩陣 $\begin{pmatrix} 1 & 2 \\ 2 & 4 \end{pmatrix}$ 中，第二列是第一列的兩倍，是線性相關的。經過 $R_2 \leftarrow R_2 - 2R_1$ 操作後，矩陣變成 $\begin{pmatrix} 1 & 2 \\ 0 & 0 \end{pmatrix}$。此時，第二列是零向量，與第一列（非零向量）是線性相關的，且關係是 $0 \cdot r_1 + 1 \cdot r_2 = 0$ (原來的 $r_2$)，或者 $1 \cdot \begin{pmatrix} 1 & 2 \end{pmatrix} + 0 \cdot \begin{pmatrix} 0 & 0 \end{pmatrix} = \begin{pmatrix} 1 & 2 \end{pmatrix}$。
更精確的說法： 列運算會改變「行向量」本身。如果我們討論的是「原行向量」之間的關係，那麼這些關係肯定會變，因為行向量變了。例如，在 $\begin{pmatrix} 1 & 2 \\ 2 & 4 \end{pmatrix}$ 中， $r_2 = 2r_1$。在 $\begin{pmatrix} 1 & 2 \\ 0 & 0 \end{pmatrix}$ 中，新的 $r_2$ (即零向量) 與 $r_1$ 的關係是 $r_2 = 0 \cdot r_1$。這是一個不同的線性依賴關係。所以，敘述是 正確 的。

本題考驗對線性方程組解的性質、行等價、化簡階梯形矩陣以及列空間的理解。

核心觀念：

• 增廣矩陣與方程組的解集：對增廣矩陣 $[A|b]$ 進行初等列運算，得到的矩陣 $[C|d]$ 所對應的方程組 $Cx=d$ 與原方程組 $Ax=b$ 擁有相同的解集。這是因為初等列運算實際上是在操作方程組的變數（例如，交換兩列相當於交換兩個方程，將一列乘以常數相當於將整個方程乘以該常數，將一列的倍數加到另一列相當於將一個方程的倍數加到另一個方程）。
• 齊次方程組 $Ax=0$ 的解：若齊次方程組 $Ax=0$ 有非零解，則其解空間（核空間）的維度大於 0。
• 非齊次方程組 $Ax=b$ 的解：若非齊次方程組 $Ax=b$ 有解，則其解集為 $x_p + x_h$，其中 $x_p$ 是 $Ax=b$ 的一個特解，而 $x_h$ 是對應齊次方程組 $Ax=0$ 的任意解。
• 行等價 (Row Equivalent)：若矩陣 $A$ 可以通過有限次初等列運算變成矩陣 $B$，則稱 $A$ 與 $B$ 行等價。行等價的矩陣有相同的行空間維度（秩）。
• 化簡列階梯形矩陣 (Reduced Row Echelon Form, RREF)：對於給定的矩陣，其化簡列階梯形矩陣是唯一的。
• 主元 (Pivot)：在列階梯形矩陣中，每一非零行的第一個非零元素稱為主元。主元所在的列稱為主元列 (pivot column)。
• 列空間 (Column Space)：矩陣 $A$ 的列空間是 $A$ 的所有列向量的線性組合所形成的向量空間。若 $A$ 是 $m \times n$ 矩陣，其列空間是 $\mathbb{R}^m$ 的一個子空間。
• 方程組 $Ax=b$ 有解的條件：方程組 $Ax=b$ 有解當且僅當向量 $b$ 屬於矩陣 $A$ 的列空間。
• 方程組 $Ax=b$ 對所有 $b \in \mathbb{R}^m$ 都有解的條件：這意味著 $A$ 的列空間必須是整個 $\mathbb{R}^m$。因此，$A$ 的列空間維度（秩）必須等於 $m$。

逐一分析選項：
(A) If an augmented matrix [Ab] is transformed into [C d] by elementary row operations, then the equations Ax = b and Cx = d have exactly the same solution sets.
這是初等列運算的定義和性質。初等列運算不會改變方程組的解集。所以，這個敘述是 正確 的。

(B) If a system Ax = b has more than one solution, then so does the system Ax = 0.
若 $Ax=b$ 有兩個不同的解 $x_1$ 和 $x_2$，則 $Ax_1 = b$ 且 $Ax_2 = b$。
考慮 $A(x_1 - x_2) = Ax_1 - Ax_2 = b - b = 0$。
由於 $x_1 \neq x_2$，所以 $x_1 - x_2$ 是一個非零向量。
因此，$x_1 - x_2$ 是齊次方程組 $Ax=0$ 的一個非零解。
這表示齊次方程組 $Ax=0$ 至少有一個非零解。
所以，如果 $Ax=b$ 有多於一個解，那麼 $Ax=0$ 也至少有一個非零解（即有多於一個解，因為零向量本身就是一個解）。
這個敘述是 正確 的。

(C) If matrices A and B are row equivalent, they have the same reduced echelon form.

本題考驗對矩陣的行等價、向量空間的維度、張成的概念、線性變換的映成性質以及函數定義的理解。

核心觀念：

• 行等價矩陣的性質：若矩陣 $A$ 和 $B$ 行等價，則它們的行空間維度（秩）相同。但是，它們的列空間一般是不同的。
• 張成 (Span)：一組向量的張成是這些向量所有可能的線性組合所形成的集合。
• 向量空間的維度：一個 $n$ 維向量空間（如 $\mathbb{R}^n$）需要至少 $n$ 個線性獨立的向量才能張成。因此，少於 $n$ 個向量無法張成一個 $n$ 維空間。
• 線性變換的映成 (Onto)：一個線性變換 $T: V \to W$ 是映成的，如果 $T$ 的值域等於 $W$。對於矩陣 $A$ ($m \times n$) 代表的線性變換 $x \mapsto Ax$（從 $\mathbb{R}^n$ 到 $\mathbb{R}^m$），它是映成的當且僅當 $A$ 的秩等於 $m$。
• 函數 (Function)：一個函數是一個規則，它將一個集合（定義域）中的每個元素映射到另一個集合（對應域）中的唯一一個元素。

逐一分析選項：
(A) If A and B are row equivalent m × n matrices and if the columns of A span R™, then so do the columns of B.
若 $A$ 和 $B$ 行等價，則它們有相同的秩。設秩為 $r$。
如果 $A$ 的列張成 $\mathbb{R}^m$，則 $A$ 的秩必須是 $m$。
即 $r = m$。
因為 $A$ 和 $B$ 行等價，所以 $B$ 的秩也必須是 $m$。
一個 $m \times n$ 矩陣的秩最大為 $\min(m, n)$。
所以，如果 $r = m$，則必須 $m \le n$。
如果 $A$ 的列張成 $\mathbb{R}^m$，則 $A$ 的秩為 $m$。
由於 $A$ 和 $B$ 行等價，它們的秩相同，所以 $B$ 的秩也為 $m$。
秩為 $m$ 的 $m \times n$ 矩陣 $B$ 的列空間維度是 $m$。
由於列空間是 $\mathbb{R}^m$ 的一個 $m$ 維子空間，它必須是整個 $\mathbb{R}^m$。
因此，如果 $A$ 的列張成 $\mathbb{R}^m$，則 $B$ 的列也張成 $\mathbb{R}^m$。
這個敘述是 正確 的。

核心觀念

本題考查矩陣乘法的尺寸條件、對角矩陣的列運算效果、矩陣消去律、可逆矩陣的逆矩陣性質，以及基本矩陣的非零元素個數。

重要觀念如下：

1. 若 $X$ 為 $a\times b$、$Y$ 為 $c\times d$，則 $XY$ 有定義的條件是 $b=c$。
2. 左乘對角矩陣會對矩陣的各列進行倍乘。
3. 矩陣乘法一般沒有消去律；$BC=BD$ 不一定能推出 $C=D$。
4. 若 $A$ 可逆，則
   $AA^{-1}=A^{-1}A=I.$
5. 基本矩陣是對單位矩陣施行一次初等列運算所得的矩陣。

解題方法

題目問「哪一個敘述是錯誤的」，因此逐一檢查每個選項的定義與矩陣尺寸，特別注意矩陣乘法不能任意消去左因子。

選項分析

（A）正確

已知 $A,B$ 皆為 $m\times n$ 矩陣。

因為
$B^T\in\mathbb{R}^{n\times m},$

所以
$AB^T=(m\times n)(n\times m),$

內側維度相同，故 $AB^T$ 有定義，結果為 $m\times m$ 矩陣。

此外，
$A^T\in\mathbb{R}^{n\times m},$

因此
$A^TB=(n\times m)(m\times n),$

同樣有定義，結果為 $n\times n$ 矩陣。

所以此敘述正確。

（B）正確

設 $A$ 為 $m\times m$ 對角矩陣：

$$A= \begin{bmatrix} a_1&0&\cdots&0\\ 0&a_2&\cdots&0\\ \vdots&\vdots&\ddots&\vdots\\ 0&0&\cdots&a_m \end{bmatrix},$$

且每個對角元素皆非零。令 $B$ 為 $m\times n$ 矩陣，其第 $i$ 列為 $R_i$，則

$$AB= \begin{bmatrix} a_1R_1\\ a_2R_2\\ \vdots\\ a_mR_m \end{bmatrix}.$$

因此，左乘對角矩陣會分別縮放 $B$ 的各列。對角元素非零時，代表每一列都乘上一個非零常數。

所以此敘述正確。

（C）錯誤

由
$BC=BD$

只能得到
$B(C-D)=0.$

本題考驗對行列式性質的理解，包括行變換對行列式的影響、轉置矩陣的行列式、方陣的行列式與 $A^3=0$ 的關係、關於負數的行列式性質以及逆矩陣的行列式性質。

核心觀念：

• 基本行運算對行列式的影響：
  1. 交換兩行：行列式變號。
  2. 將一行乘以常數 $c$：行列式乘以 $c$。
  3. 將一行的倍數加到另一行：行列式不變。
• 行列式的性質：
  • $\det(A^T) = \det(A)$
  • $\det(AB) = \det(A)\det(B)$
  • $\det(cA) = c^n \det(A)$ (其中 $n$ 是矩陣的維度)
  • 若 $A$ 是方陣，則 $A$ 可逆的充要條件是 $\det(A) \neq 0$。
  • 若 $A$ 是方陣，則 $\det(A^{-1}) = 1/\det(A)$。
• $A^k=0$ 與 $\det(A)$ 的關係：若 $A^k = 0$ 對某個正整數 $k$，則 $A$ 是冪零矩陣 (nilpotent matrix)。此時 $\det(A) = 0$。這是因為 $\det(A^k) = (\det(A))^k = \det(0) = 0$。因此 $\det(A)$ 必須為 0。
• $A^T A$ 的性質：對於任何實矩陣 $A$，矩陣 $A^T A$ 是對稱的 (symmetric) 且是半正定的 (positive semi-definite)。對於半正定矩陣，其所有特徵值都大於或等於 0。行列式是所有特徵值的乘積，因此 $\det(A^T A) \ge 0$。

逐一分析選項：
(A) If B is formed by adding to one row of A a linear combination of other rows, then det(A) = det(B).
這是基本行運算中的第三種操作：將一行的倍數加到另一行。這種操作不會改變矩陣的行列式。
因此，這個敘述是 正確 的。

(B) det(AᵀA) ≥ 0.
對於任何實數矩陣 $A$，矩陣 $A^T A$ 是對稱的半正定矩陣。
半正定矩陣的特徵值都非負。
行列式是所有特徵值的乘積。因此，$\det(A^T A) \ge 0$。
這個敘述是 正確 的。

本題考驗對子空間維度的計算，需要將子空間表示為參數形式，並找出其基底向量的個數。

核心觀念：

• 子空間 (Subspace)：一個向量集合，如果滿足加法封閉性、標量乘法封閉性，並且包含零向量，則稱為子空間。
• 子空間的維度 (Dimension of a Subspace)：子空間的維度等於其基底中向量的個數。
• 參數形式的向量：當一個向量的表示式中包含自由參數時，我們可以將其寫成參數與常數向量的線性組合。這些常數向量就構成了張成該子空間的一個集合。
• 基底 (Basis)：張成一個向量空間（或子空間）且線性獨立的向量集合。

解題步驟：

1. 將給定的子空間 $H$ 中的向量表示成矩陣的形式，其中向量的元素是參數 $a, b, c, d$ 的線性組合。
2. 將這個向量寫成參數與常數向量的線性組合。
3. 檢查這些常數向量是否線性獨立。如果線性獨立，它們就構成了子空間 $H$ 的一個基底，其個數即為子空間的維度。

具體計算：
子空間 $H$ 中的向量是 $\begin{pmatrix} x_1 \\ x_2 \\ x_3 \\ x_4 \end{pmatrix}$，其中
$x_1 = a - 3b + 6c$
$x_2 = 5a + 4d$
$x_3 = b - 2c - d$
$x_4 = a + 2b + 4c - d$

我們可以將這個向量寫成參數 $a, b, c, d$ 的線性組合：

$$\begin{pmatrix} x_1 \\ x_2 \\ x_3 \\ x_4 \end{pmatrix} = a \begin{pmatrix} 1 \\ 5 \\ 0 \\ 1 \end{pmatrix} + b \begin{pmatrix} -3 \\ 0 \\ 1 \\ 2 \end{pmatrix} + c \begin{pmatrix} 6 \\ 0 \\ -2 \\ 4 \end{pmatrix} + d \begin{pmatrix} 0 \\ 4 \\ -1 \\ -1 \end{pmatrix}$$

令 $v_1 = \begin{pmatrix} 1 \\ 5 \\ 0 \\ 1 \end{pmatrix}$, $v_2 = \begin{pmatrix} -3 \\ 0 \\ 1 \\ 2 \end{pmatrix}$, $v_3 = \begin{pmatrix} 6 \\ 0 \\ -2 \\ 4 \end{pmatrix}$, $v_4 = \begin{pmatrix} 0 \\ 4 \\ -1 \\ -1 \end{pmatrix}$。
則 $H = \text{Span}\{v_1, v_2, v_3, v_4\}$。

核心觀念

本題考查矩陣冪次極限

$$\lim_{k\to\infty}A^k$$

以及特徵值、特徵投影矩陣。若矩陣 $A$ 的特徵值包含 $1$，且其餘特徵值絕對值小於 $1$，則 $A^k$ 中對應其他特徵值的部分會趨近於零，只保留特徵值 $1$ 所對應的投影。

給定

$$A= \begin{bmatrix} 0.4 & -0.3\\ 0.4 & 1.2 \end{bmatrix}.$$

解題方法

先求 $A$ 的特徵值。特徵多項式為

$$\det(A-\lambda I) = \begin{vmatrix} 0.4-\lambda & -0.3\\ 0.4 & 1.2-\lambda \end{vmatrix}.$$

因此

$$\det(A-\lambda I) =(0.4-\lambda)(1.2-\lambda)+0.12.$$

展開得

$$\det(A-\lambda I) =\lambda^2-1.6\lambda+0.6 =(\lambda-1)(\lambda-0.6).$$

所以 $A$ 的特徵值為

$$\lambda_1=1,\qquad \lambda_2=0.6.$$

因為

$$|0.6|<1,$$

所以當 $k\to\infty$ 時，$0.6^k\to 0$；而 $1^k=1$。故 $A^k$ 的極限就是特徵值 $1$ 所對應的投影矩陣。

對具有相異特徵值 $1$ 與 $0.6$ 的矩陣，特徵值 $1$ 的投影矩陣可寫成

$$P_1=\frac{A-0.6I}{1-0.6}.$$

計算如下：

$$A-0.6I = \begin{bmatrix} 0.4-0.6 & -0.3\\ 0.4 & 1.2-0.6 \end{bmatrix} = \begin{bmatrix} -0.2 & -0.3\\ 0.4 & 0.6 \end{bmatrix}.$$

因此

$$P_1 = \frac{1}{0.4} \begin{bmatrix} -0.2 & -0.3\\ 0.4 & 0.6 \end{bmatrix} = \begin{bmatrix} -0.5 & -0.75\\ 1.0 & 1.50 \end{bmatrix}.$$

所以

$$\lim_{k\to\infty}A^k = \begin{bmatrix} -0.5 & -0.75\\ 1.0 & 1.50 \end{bmatrix}.$$

選項分析

• 選項（A）

本題考驗對特殊矩陣（如全 1 矩陣 J）的特徵值計算。

核心觀念：

• 全 1 矩陣 J：一個 $n \times n$ 的矩陣，所有元素都是 1。
• J 的特徵值：全 1 矩陣 $J$ 的特徵值是 $n$ (對應特徵向量為所有元素皆為 1 的向量) 和 $0$ (對應 $n-1$ 個線性獨立的特徵向量，它們的向量和為 0)。
• 矩陣的線性組合的特徵值：若 $A$ 和 $B$ 是 $n \times n$ 矩陣，且 $AB=BA$，則它們有共同的特徵向量。若 $A$ 的特徵值是 $\lambda_A$， $B$ 的特徵值是 $\lambda_B$，則 $cA+dB$ 的特徵值是 $c\lambda_A + d\lambda_B$。
• 矩陣 $A = cI + dJ$ 的特徵值：
  若 $v$ 是 $J$ 的特徵向量，則 $Jv = \lambda_J v$。
  考慮 $Av = (cI + dJ)v = cIv + dJv = cv + d\lambda_J v = (c + d\lambda_J)v$。
  所以 $v$ 也是 $A$ 的特徵向量，對應的特徵值是 $c + d\lambda_J$。

解題步驟：

1. 確定矩陣 $A$ 的形式，並找出其中的常數 $a, b$ 以及單位矩陣 $I$ 和全 1 矩陣 $J$。
2. 找出全 1 矩陣 $J$ 的特徵值。
3. 利用矩陣 $A$ 的形式，結合 $J$ 的特徵值，計算 $A$ 的特徵值。

矩陣 $A = (a-b)I + bJ$。
這裡 $c = a-b$，$d = b$。
$I$ 是 $n \times n$ 的單位矩陣。
$J$ 是 $n \times n$ 的全 1 矩陣。

全 1 矩陣 $J$ 的特徵值：

• 一個特徵值是 $n$，對應的特徵向量是 $v_1 = \begin{pmatrix} 1 \\ 1 \\ \vdots \\ 1 \end{pmatrix}$。

核心觀念

本題考查行列式的基本性質：

1. 已知
   $\det A=-1,\qquad \det B=4.$

2. 轉置矩陣的行列式：
   $\det(A^T)=\det A.$

3. 矩陣乘積的行列式：
   $\det(XY)=\det X\det Y.$

4. 對 $n\times n$ 矩陣乘以純量 $c$：
   $\det(cA)=c^n\det A.$
   本題矩陣為 $4\times4$，因此
   $\det(2A)=2^4\det A.$

題目中的式子依選項與已知條件，應解讀為

$$\det B+\det A+\det(A^TA)+\det(2A).$$

解題方法

先計算各項。

第一項與第二項直接由題目給定：

$$\det B+\det A=4+(-1)=3.$$

接著計算 $\det(A^TA)$：

$$\det(A^TA)=\det(A^T)\det(A).$$

由 $\det(A^T)=\det A=-1$，可得

$$\det(A^TA)=(-1)(-1)=1.$$

再計算 $\det(2A)$。因為 $A$ 是 $4\times4$ 矩陣，

$$\det(2A)=2^4\det A =16(-1) =-16.$$

因此原式為

核心觀念

本題考查：

1. 分塊三角矩陣的行列式
2. 三階行列式的計算
3. 上三角矩陣行列式等於對角線乘積

若矩陣具有形式

$$A= \begin{bmatrix} B & C\\ 0 & D \end{bmatrix},$$

則

$$\det(A)=\det(B)\det(D).$$

題目中的矩陣前兩列、後三列可分成 $2\times 2$ 與 $3\times 3$ 的分塊，左下方區塊為零矩陣，因此可直接使用此定理。

解題方法

題面給定

$$A= \begin{bmatrix} 3&-7&8&9&-6\\ 0&2&-5&7&7\\ 0&0&1&5&0\\ 0&0&2&4&-1\\ 0&0&0&2&0 \end{bmatrix}.$$

分塊為

$$A= \begin{bmatrix} \begin{matrix}3&-7\\0&2\end{matrix} & \begin{matrix}8&9&-6\\-5&7&7\end{matrix} \\[6pt] \begin{matrix}0&0\\0&0\\0&0\end{matrix} & \begin{matrix}1&5&0\\2&4&-1\\0&2&0\end{matrix} \end{bmatrix}.$$

因此

$$\det(A) = \det \begin{bmatrix} 3&-7\\ 0&2 \end{bmatrix} \det \begin{bmatrix} 1&5&0\\ 2&4&-1\\ 0&2&0 \end{bmatrix}.$$

前面的二階行列式為

$$\det \begin{bmatrix} 3&-7\\ 0&2 \end{bmatrix} =3\cdot 2-(-7)\cdot 0=6.$$

再計算三階行列式。沿第三欄展開：

核心觀念

本題考查矩陣的特徵值、特徵向量，以及奇異值分解（Singular Value Decomposition, SVD）。

對任意矩陣 $A$：

• $AA^T$ 與 $A^TA$ 的非零特徵值相同。
• 若 $\lambda_i$ 是 $AA^T$ 的非零特徵值，則對應的奇異值為
  $\sigma_i=\sqrt{\lambda_i}.$
• SVD 的形式為
  $A=U\Sigma V^T,$
  其中 $U$ 與 $V$ 為正交矩陣，$\Sigma$ 為含奇異值的矩形對角矩陣。
• $AA^T$ 的單位特徵向量可作為左奇異向量；右奇異向量則由
  $v_i=\frac{A^Tu_i}{\sigma_i}$
  求得。

題目中的矩陣為

$$A= \begin{bmatrix} -1&0\\ 1&-1\\ 1&1 \end{bmatrix}, \qquad A^T= \begin{bmatrix} -1&1&1\\ 0&-1&1 \end{bmatrix}.$$

---

解題方法

先計算 $AA^T$，由其特徵值取得奇異值，再利用單位特徵向量組成 $U$，最後求出 $V$。

---

（a）求 $AA^T$ 的特徵值與特徵向量

計算得

$$AA^T= \begin{bmatrix} -1&0\\ 1&-1\\ 1&1 \end{bmatrix} \begin{bmatrix} -1&1&1\\ 0&-1&1 \end{bmatrix} = \begin{bmatrix} 1&-1&-1\\ -1&2&0\\ -1&0&2 \end{bmatrix}.$$

令特徵值為 $\lambda$，則特徵方程為

$$\det(AA^T-\lambda I)=0.$$

因此

$$\det \begin{bmatrix} 1-\lambda&-1&-1\\ -1&2-\lambda&0\\ -1&0&2-\lambda \end{bmatrix}=0.$$

展開後得到

$$\det(AA^T-\lambda I) =-\lambda(\lambda-2)(\lambda-3).$$

所以特徵值為

$$\boxed{\lambda=3,\ 2,\ 0}.$$

---

當 $\lambda=3$ 時

解

$$(AA^T-3I)x=0.$$

即

$$\begin{bmatrix} -2&-1&-1\\ -1&-1&0\\ -1&0&-1 \end{bmatrix} \begin{bmatrix} x_1\\x_2\\x_3 \end{bmatrix} =0.$$

由第二、三列可得

$$x_1=-x_2=-x_3.$$

可取特徵向量

$$\begin{bmatrix}1\\-1\\-1\end{bmatrix}.$$

其單位化結果為

$$u_1=\frac{1}{\sqrt{3}} \begin{bmatrix}1\\-1\\-1\end{bmatrix}.$$

---

當 $\lambda=2$ 時

解

$$(AA^T-2I)x=0,$$

即

$$\begin{bmatrix} -1&-1&-1\\ -1&0&0\\ -1&0&0 \end{bmatrix} \begin{bmatrix} x_1\\x_2\\x_3 \end{bmatrix} =0.$$

由第二列得 $x_1=0$，第一列則得

$$x_2=-x_3.$$

可取特徵向量

$$\begin{bmatrix}0\\1\\-1\end{bmatrix}.$$

其單位化結果為

$$u_2=\frac{1}{\sqrt{2}} \begin{bmatrix}0\\1\\-1\end{bmatrix}.$$

---

當 $\lambda=0$ 時

解

$$AA^Tx=0.$$

由方程組可得

$$x_2=x_3,\qquad x_1=2x_2.$$

可取特徵向量

$$\begin{bmatrix}2\\1\\1\end{bmatrix}.$$

其單位化結果為

$$u_3=\frac{1}{\sqrt{6}} \begin{bmatrix}2\\1\\1\end{bmatrix}.$$

因此，$AA^T$ 的特徵值與單位特徵向量可整理如下：

$$\boxed{ \begin{array}{c|c} \text{特徵值}&\text{單位特徵向量}\\ \hline 3&\displaystyle \frac{1}{\sqrt3}(1,-1,-1)^T\\[4pt] 2&\displaystyle \frac{1}{\sqrt2}(0,1,-1)^T\\[4pt] 0&\displaystyle \frac{1}{\sqrt6}(2,1,1)^T \end{array} }$$

---

（b）求矩陣 $A$ 的 SVD

由（a）可知，$A$ 的非零奇異值為

$$\sigma_1=\sqrt{3},\qquad \sigma_2=\sqrt{2}.$$

因此可取

$$\Sigma= \begin{bmatrix} \sqrt3&0\\ 0&\sqrt2\\ 0&0 \end{bmatrix}.$$

將左奇異向量依照奇異值由大到小排列，取

本題考驗對廣義特徵值問題 (Generalized Eigenvalue Problem) 的理解，以及正定矩陣的性質。

核心觀念：

• 廣義特徵值問題：尋找向量 $b$ 和純量 $\lambda$，使得 $Ab = \lambda Bb$，其中 $A$ 和 $B$ 是方陣。
• 正定矩陣 (Positive Definite Matrix)：一個對稱矩陣 $M$ 如果對於所有非零向量 $x$，都有 $x^H M x > 0$，則稱 $M$ 是正定的。正定矩陣是可逆的，且其特徵值均為正。
• 奇異值分解 (SVD)：對於任意矩陣 $A$，都可以分解為 $A = U \Sigma V^H$。
• 譜定理 (Spectral Theorem)：對於實對稱矩陣（或複數厄米特矩陣），存在一組標準正交的特徵向量，且特徵值均為實數。
• 柯西-施瓦茲不等式 (Cauchy-Schwarz Inequality)：對於向量空間中的任意兩個向量 $u, v$，有 $|<u, v>|^2 \le <u, u> <v, v>$。對於複數向量，$|<u, v>|^2 = |u^H v|^2$。

部分 (a): 找到最大化 $Q$ 的向量 $b$

我們要最大化 $Q = \frac{b^H U b}{b^H V b}$。
這裡 $U$ 和 $V$ 是 $m \times m$ 的正定矩陣。$b$ 是 $m \times 1$ 的複數向量。$b^H$ 是 $b$ 的共軛轉置。

由於 $U$ 和 $V$ 是正定矩陣，對於任意非零向量 $b$， $b^H U b > 0$ 且 $b^H V b > 0$。
因此，$Q$ 是一個實數。

令 $A = V^{-1/2} U V^{-1/2}$，其中 $V^{-1/2}$ 是 $V$ 的（唯一的）正定平方根。
由於 $V$ 是正定矩陣， $V^{-1}$ 也是正定矩陣，$V^{-1/2}$ 存在且是正定的。
$V^{-1/2} V^{-1/2} = V^{-1}$。

則分母可以寫成：
$b^H V b = b^H (V^{-1/2} V^{-1/2})^H b = b^H V^{-1/2 H} V^{-1/2} b$。
因為 $V$ 是正定矩陣，所以 $V^{-1/2}$ 是厄米特矩陣，即 $V^{-1/2 H} = V^{-1/2}$。
所以，$b^H V b = b^H V^{-1/2} V^{-1/2} b$。

令 $x = V^{-1/2} b$。則 $b = V^{1/2} x$。
$b^H = x^H V^{1/2 H} = x^H V^{1/2}$。
則 $b^H V b = (x^H V^{1/2}) V (V^{1/2} x) = x^H (V^{1/2} V V^{1/2}) x = x^H V^2 x$。
這不是簡化。

另一種方法：
令 $x = V^{1/2} b$。則 $b = V^{-1/2} x$。
$b^H = x^H V^{-1/2 H} = x^H V^{-1/2}$。
$b^H V b = (x^H V^{-1/2}) V (V^{-1/2} x) = x^H (V^{-1/2} V V^{-1/2}) x = x^H I x = x^H x$。
所以，分母 $b^H V b = x^H x = \|x\|^2$。

分子 $b^H U b$ 變成：
$(x^H V^{-1/2}) U (V^{-1/2} x) = x^H (V^{-1/2} U V^{-1/2}) x$。
令 $M = V^{-1/2} U V^{-1/2}$。
由於 $U$ 和 $V$ 是正定矩陣， $M$ 也是正定矩陣。
因此，最大化 $Q$ 相當於最大化 $\frac{x^H M x}{x^H x}$。
這個表達式的值是矩陣 $M$ 的最大特徵值。
所以 $Q_{max} = \lambda_{max}(M)$。

矩陣 $M = V^{-1/2} U V^{-1/2}$ 的特徵值與廣義特徵值問題 $Ux = \lambda Vx$ 的特徵值 $\lambda$ 之間的關係：
如果 $Ux = \lambda Vx$，則左乘 $V^{-1/2}$：
$V^{-1/2} U x = \lambda V^{-1/2} V x = \lambda V^{1/2} x$。
令 $y = V^{1/2} x$。則 $x = V^{-1/2} y$。

本題考驗對線性獨立概念的理解和證明技巧。

核心觀念：

• 線性獨立 (Linearly Independent)：一組向量 $v_1, v_2, \ldots, v_k$ 是線性獨立的，如果方程 $c_1 v_1 + c_2 v_2 + \ldots + c_k v_k = 0$ 僅有一個解，即 $c_1 = c_2 = \ldots = c_k = 0$。

證明步驟：

1. 假設給定的集合 $\{u, v, w\}$ 是線性獨立的。
2. 考慮我們要證明其線性獨立的集合 $\{u, u+v, u+v+w\}$。
3. 寫出這個新集合的線性組合等於零向量的方程。
4. 通過代數操作，將這個方程轉化為關於 $u, v, w$ 的線性組合。
5. 利用 $\{u, v, w\}$ 的線性獨立性，得出新集合的係數必須為零。

證明：
已知集合 $\{u, v, w\}$ 是線性獨立的。
我們要證明集合 $\{u, u+v, u+v+w\}$ 是線性獨立的。

考慮集合 $\{u, u+v, u+v+w\}$ 的線性組合等於零向量的方程：
$c_1 u + c_2 (u+v) + c_3 (u+v+w) = 0$
其中 $c_1, c_2, c_3$ 是純量。

本題考驗對投影矩陣和最小平方法 (Least Squares) 的理解。

核心觀念：

• 列空間 (Column Space)：矩陣 $A$ 的列空間 $Col(A)$ 是由 $A$ 的所有列向量的線性組合所構成的向量空間。
• 投影 (Projection)：向量 $y$ 在子空間 $W$ 上的投影 $p$ 是 $W$ 中最接近 $y$ 的向量。如果 $W$ 有一組基底 $v_1, \ldots, v_k$，且 $y$ 的投影是 $p = c_1 v_1 + \ldots + c_k v_k$，則係數 $c_i$ 可以通過最小化 $\|y - p\|^2$ 來找到。
• 最小平方法解：對於方程組 $Ax=b$，如果沒有精確解，則最小平方法尋找一個 $x$ 使得 $\|Ax - b\|$ 最小。這個 $x$ 滿足正規方程 (normal equation)：$A^T Ax = A^T b$。
• 線性獨立的列向量：如果矩陣 $A$ 的列向量是線性獨立的，則矩陣 $A^T A$ 是可逆的。

證明步驟：

1. 確定問題的目標：找到向量 $p$，它是向量 $b$ 在矩陣 $A$ 的列空間 $Col(A)$ 上的投影。
2. 利用 $Col(A)$ 的性質。由於 $A$ 的列向量是線性獨立的，它們構成 $Col(A)$ 的一個基底。
3. 投影向量 $p$ 必然在 $Col(A)$ 中，所以 $p$ 可以寫成 $p = Ax$ 的形式，其中 $x$ 是某個 $n \times 1$ 的向量。
4. 投影的性質是，向量 $b-p$ 必須垂直於 $Col(A)$。這意味著 $b-p$ 必須垂直於 $A$ 的每一個列向量。
5. 將這個垂直條件寫成矩陣形式，得到正規方程。

本題考驗對投影矩陣和最小平方法 (Least Squares) 的理解。

核心觀念：

• 列空間 (Column Space)：矩陣 $A$ 的列空間 $Col(A)$ 是由 $A$ 的所有列向量的線性組合所構成的向量空間。
• 投影 (Projection)：向量 $y$ 在子空間 $W$ 上的投影 $p$ 是 $W$ 中最接近 $y$ 的向量。如果 $W$ 有一組基底 $v_1, \ldots, v_k$，且 $y$ 的投影是 $p = c_1 v_1 + \ldots + c_k v_k$，則係數 $c_i$ 可以通過最小化 $\|y - p\|^2$ 來找到。
• 最小平方法解：對於方程組 $Ax=b$，如果沒有精確解，則最小平方法尋找一個 $x$ 使得 $\|Ax - b\|$ 最小。這個 $x$ 滿足正規方程 (normal equation)：$A^T Ax = A^T b$。
• 線性獨立的列向量：如果矩陣 $A$ 的列向量是線性獨立的，則矩陣 $A^T A$ 是可逆的。

證明步驟：

1. 確定問題的目標：找到向量 $p$，它是向量 $b$ 在矩陣 $A$ 的列空間 $Col(A)$ 上的投影。
2. 利用 $Col(A)$ 的性質。由於 $A$ 的列向量是線性獨立的，它們構成 $Col(A)$ 的一個基底。
3. 投影向量 $p$ 必然在 $Col(A)$ 中，所以 $p$ 可以寫成 $p = Ax$ 的形式，其中 $x$ 是某個 $n \times 1$ 的向量。
4. 投影的性質是，向量 $b-p$ 必須垂直於 $Col(A)$。這意味著 $b-p$ 必須垂直於 $A$ 的每一個列向量。
5. 將這個垂直條件寫成矩陣形式，得到正規方程。