113 年 國立成功大學電機工程學系碩士班已組《線性代數》

本題為判斷題，共十小題，每小題需判斷對錯並給予說明。

核心觀念：線性代數基本性質，包含向量空間、投影、奇異值分解、最小平方法、矩陣性質、線性轉換等。

詳解：
a. False。若 U 的行向量是正交的（非正規正交），則 $UU^T x$ 是 $x$ 在 Col $U$ 上的投影。若 U 的行向量是正規正交的，則 $UU^T$ 是投影矩陣，此時 $UU^T x$ 才是投影。題目敘述 U 只有「orthogonal columns」，並沒有要求是「orthonormal columns」。若 U 的行向量是正交但長度不為 1，例如 $u_1 = \begin{pmatrix} 1 \\ 1 \end{pmatrix}$, $u_2 = \begin{pmatrix} -1 \\ 1 \end{pmatrix}$，則 $U = \begin{pmatrix} 1 & -1 \\ 1 & 1 \end{pmatrix}$。$UU^T = \begin{pmatrix} 1 & -1 \\ 1 & 1 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ -1 & 1 \end{pmatrix} = \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix}$。若 $x = \begin{pmatrix} 1 \\ 0 \end{pmatrix}$，則 $UU^T x = \begin{pmatrix} 2 \\ 0 \end{pmatrix}$。Col $U$ 的基底可以是 $\begin{pmatrix} 1 \\ 1 \end{pmatrix}, \begin{pmatrix} -1 \\ 1 \end{pmatrix}$，其張成的空間是 $\mathbb{R}^2$。$x$ 在 $\mathbb{R}^2$ 上的投影就是 $x$ 本身，即 $\begin{pmatrix} 1 \\ 0 \end{pmatrix}$。因此，$UU^T x$ 不一定是 $x$ 在 Col $U$ 上的投影。
正確的投影矩陣是 $P = U(U^T U)^{-1}U^T$。若 U 的行向量是正規正交的，則 $U^T U = I$，此時 $P = UU^T$。

b. True。設 B 的奇異值分解為 $B = U\Sigma V^T$，其中 $\Sigma = \text{diag}(\sigma_1, \sigma_2, \dots, \sigma_r, 0, \dots, 0)$，且 $\sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_r > 0$。
對於任意向量 $x$， $\|Bx\| = \|U\Sigma V^T x\|$。由於 U 是正交矩陣， $\|Ux\| = \|x\|$。令 $y = V^T x$。那麼 $\|Bx\| = \|\Sigma y\| = \sqrt{\sum_{i=1}^r (\sigma_i y_i)^2}$。
若 $x$ 是單位向量，則 $\|x\| = 1$。由於 V 是正交矩陣， $\|y\| = \|V^T x\| = \|x\| = 1$。
因此，$\|\Sigma y\|^2 = \sum_{i=1}^r (\sigma_i y_i)^2 \le \sum_{i=1}^r (\sigma_1 y_i)^2 = \sigma_1^2 \sum_{i=1}^r y_i^2 \le \sigma_1^2 \sum_{i=1}^n y_i^2 = \sigma_1^2 \|y\|^2 = \sigma_1^2 (1) = \sigma_1^2$。
所以 $\|Bx\| \le \sigma_1$。

c. True。奇異值分解 (SVD) 的定義就是將一個 $m \times n$ 矩陣 B 分解為 $B = U\Sigma V^T$，其中 U 是 $m \times m$ 的正交矩陣，V 是 $n \times n$ 的正交矩陣，$\Sigma$ 是 $m \times n$ 的對角矩陣（其對角線元素為奇異值）。題目中的 $B = PEQ$ 形式，其中 P 是 $m \times m$ 的正交矩陣，Q 是 $n \times n$ 的正交矩陣，$\Sigma$ 是 $m \times n$ 的「對角」矩陣，這與 SVD 的標準形式 $B = U\Sigma V^T$ 僅符號表示不同，但結構上是相同的。

d. True。這是投影定理的一個重要性質。對於任意向量 $v$ 和子空間 $W$，向量 $v$ 可以唯一地分解為 $v = \text{proj}_W v + (v - \text{proj}_W v)$，其中 $\text{proj}_W v$ 是 $v$ 在 $W$ 上的投影，而 $v - \text{proj}_W v$ 則垂直於 $W$。這意味著 $\text{proj}_W v$ 和 $v - \text{proj}_W v$ 是兩個垂直的向量。根據畢氏定理，兩個垂直向量的平方和等於它們和的平方，即 $\|\text{proj}_W v\|^2 + \|v - \text{proj}_W v\|^2 = \|(\text{proj}_W v) + (v - \text{proj}_W v)\|^2 = \|v\|^2$。

e. False。最小平方法解 $\hat{x}$ 使得 $A\hat{x}$ 是 Col $A$ 中最接近 $b$ 的向量，也就是

本題考查線性轉換的性質，特別是關於 one-to-one (單射) 和 onto (滿射) 的條件與維度關係。

核心觀念：線性轉換的核空間 (kernel) 與值域 (range) 的維度，以及維度定理 (rank-nullity theorem)。

詳解：
a. 單射 (One-to-one Mapping)：
一個線性轉換 $T: V \to W$ 是單射，若且唯若其核空間 (kernel) 只包含零向量，即 $\text{ker}(T) = \{0\}$。
根據維度定理 (Rank-Nullity Theorem)，對於一個線性轉換 $T: V \to W$，有 $\dim(V) = \dim(\text{ker}(T)) + \dim(\text{range}(T))$。
在本題中，線性轉換是 $T: \mathbb{R}^n \to \mathbb{R}^m$。
如果 T 是單射，則 $\dim(\text{ker}(T)) = 0$。
將此代入維度定理：$n = 0 + \dim(\text{range}(T))$。

核心觀念

本題考查兩個概念：

1. 三角函數是否互相線性獨立，以及如何找出一組基底。
2. 多項式相對於指定基底的座標向量。

若向量組 $\{v_1,v_2,\dots,v_k\}$ 線性獨立，則其張成空間的基底就是這組向量本身；若其中有向量可由其他向量線性表示，則可將其刪除。

---

解題方法

（a）找出函數子空間的一組基底

題目給定的函數集合為

$$\{\sin t,\sin 2t,\sin t\cos t\}.$$

利用倍角公式

$$\sin 2t=2\sin t\cos t,$$

因此

$$\sin t\cos t=\frac12\sin 2t.$$

所以 $\sin t\cos t$ 可由 $\sin 2t$ 線性表示，原集合所張成的空間為

$$\operatorname{span}\{\sin t,\sin 2t,\sin t\cos t\} = \operatorname{span}\{\sin t,\sin 2t\}.$$

接著確認 $\sin t$ 與 $\sin 2t$ 線性獨立。假設存在常數 $c_1,c_2$，使得

$$c_1\sin t+c_2\sin 2t=0$$

對所有實數 $t$ 成立。

取 $t=\frac{\pi}{2}$，得到

$$c_1\sin\frac{\pi}{2}+c_2\sin\pi=0 \quad\Longrightarrow\quad c_1=0.$$

再取 $t=\frac{\pi}{4}$，得到

$$c_2\sin\frac{\pi}{2}=0 \quad\Longrightarrow\quad c_2=0.$$

因此 $\sin t$ 與 $\sin 2t$ 線性獨立，所以所求基底為

$$\boxed{\{\sin t,\sin 2t\}}.$$

---

（b）求多項式相對於 $B$ 的座標向量

給定基底

$$B=\{1-t,\ t-t^2,\ 2-2t-6t^2\},$$

以及

$$p(t)=3+t-6t^2.$$

設 $p(t)$ 相對於基底 $B$ 的座標為

$$[p(t)]_B= \begin{bmatrix} c_1\\ c_2\\ c_3 \end{bmatrix}.$$

依照座標向量的定義，

$$p(t)=c_1(1-t)+c_2(t-t^2)+c_3(2-2t-6t^2).$$

展開右側：

本題要求計算矩陣 A 的奇異值分解 (Singular Value Decomposition, SVD)，即將 A 表示為 $A = U\Sigma V^T$ 的形式。

核心觀念：奇異值分解 (SVD)，包含計算 $A^TA$ 的特徵值與特徵向量，以及 $AA^T$ 的特徵值與特徵向量。

詳解：
矩陣 A 是 $3 \times 2$ 的矩陣。其 SVD 表示為 $A = U\Sigma V^T$，其中：

• U 是 $3 \times 3$ 的正交矩陣。
• $\Sigma$ 是 $3 \times 2$ 的對角矩陣，對角線元素為 A 的奇異值 $\sigma_1, \sigma_2$。
• $V$ 是 $2 \times 2$ 的正交矩陣。

步驟 1：計算 $A^TA$ 並求其特徵值與特徵向量。
$A^TA = \begin{pmatrix} 1 & 0 & -1 \\ 1 & 1 & 1 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 0 & 1 \\ -1 & 1 \end{pmatrix} = \begin{pmatrix} 1(1)+0(0)+(-1)(-1) & 1(1)+0(1)+(-1)(1) \\ 1(1)+1(0)+1(-1) & 1(1)+1(1)+1(1) \end{pmatrix} = \begin{pmatrix} 2 & 0 \\ 0 & 3 \end{pmatrix}$。

$A^TA$ 的特徵值是其對角線元素：$\lambda_1 = 3$, $\lambda_2 = 2$。
奇異值 $\sigma_i$ 是特徵值 $\lambda_i$ 的平方根。
$\sigma_1 = \sqrt{3}$, $\sigma_2 = \sqrt{2}$。
由於 $\sigma_1 > \sigma_2$，我們將 $\sigma_1$ 對應的特徵向量放在前面。

求 $A^TA$ 的特徵向量：
對於 $\lambda_1 = 3$:
$(A^TA - 3I)v = 0 \implies \begin{pmatrix} 2-3 & 0 \\ 0 & 3-3 \end{pmatrix} v = \begin{pmatrix} -1 & 0 \\ 0 & 0 \end{pmatrix} v = 0$。
令 $v = \begin{pmatrix} v_1 \\ v_2 \end{pmatrix}$，則 $-v_1 = 0 \implies v_1 = 0$。$v_2$ 可以是任意非零值。
取 $v_2 = 1$，得到特徵向量 $v^{(1)} = \begin{pmatrix} 0 \\ 1 \end{pmatrix}$。
正規化得到 V 的第一行向量（對應 $\sigma_1$）：$v_1 = \frac{1}{\sqrt{0^2+1^2}} \begin{pmatrix} 0 \\ 1 \end{pmatrix} = \begin{pmatrix} 0 \\ 1 \end{pmatrix}$。

對於 $\lambda_2 = 2$:
$(A^TA - 2I)v = 0 \implies \begin{pmatrix} 2-2 & 0 \\ 0 & 3-2 \end{pmatrix} v = \begin{pmatrix} 0 & 0 \\ 0 & 1 \end{pmatrix} v = 0$。
令 $v = \begin{pmatrix} v_1 \\ v_2 \end{pmatrix}$，則 $v_2 = 0$。$v_1$ 可以是任意非零值。
取 $v_1 = 1$，得到特徵向量 $v^{(2)} = \begin{pmatrix} 1 \\ 0 \end{pmatrix}$。
正規化得到 V 的第二行向量（對應 $\sigma_2$）：$v_2 = \frac{1}{\sqrt{1^2+0^2}} \begin{pmatrix} 1 \\ 0 \end{pmatrix} = \begin{pmatrix} 1 \\ 0 \end{pmatrix}$。

所以，$V = \begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix}$。
$V^T = \begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix}$。

步驟 2：構建 $\Sigma$ 矩陣。
$\Sigma$ 是 $3 \times 2$ 的矩陣，其對角線元素為奇異值。
$\Sigma = \begin{pmatrix} \sigma_1 & 0 \\ 0 & \sigma_2 \\ 0 & 0 \end{pmatrix} = \begin{pmatrix} \sqrt{3} & 0 \\ 0 & \sqrt{2} \\ 0 & 0 \end{pmatrix}$。

步驟 3：計算 U 的列向量。
U 的列向量 $u_i$ 可以通過 $u_i = \frac{1}{\sigma_i} A v_i$ 來計算。

對於 $\sigma_1 = \sqrt{3}$ 和 $v_1 = \begin{pmatrix} 0 \\ 1 \end{pmatrix}$：

本題要求計算線性方程組 $Ax=b$ 的最小平方法解 (least-squares solution) $\hat{x}$ 以及最小平方法誤差 (least-squares error)。

核心觀念：最小平方法解的計算，正規方程 (normal equations)，最小平方法誤差的計算。

詳解：
給定方程組 $Ax = b$，其中 $A = \begin{pmatrix} 1 & -2 \\ -1 & 2 \\ 2 & -4 \end{pmatrix}$，$b = \begin{pmatrix} 1 \\ 3 \\ 0 \end{pmatrix}$。

步驟 1：計算 $A^TA$ 和 $A^Tb$。
$A^T = \begin{pmatrix} 1 & -1 & 2 \\ -2 & 2 & -4 \end{pmatrix}$。

$A^TA = \begin{pmatrix} 1 & -1 & 2 \\ -2 & 2 & -4 \end{pmatrix} \begin{pmatrix} 1 & -2 \\ -1 & 2 \\ 2 & -4 \end{pmatrix}$
$= \begin{pmatrix} 1(1)+(-1)(-1)+2(2) & 1(-2)+(-1)(2)+2(-4) \\ (-2)(1)+2(-1)+(-4)(2) & (-2)(-2)+2(2)+(-4)(-4) \end{pmatrix}$
$= \begin{pmatrix} 1+1+4 & -2-2-8 \\ -2-2-8 & 4+4+16 \end{pmatrix} = \begin{pmatrix} 6 & -12 \\ -12 & 24 \end{pmatrix}$。

$A^Tb = \begin{pmatrix} 1 & -1 & 2 \\ -2 & 2 & -4 \end{pmatrix} \begin{pmatrix} 1 \\ 3 \\ 0 \end{pmatrix}$
$= \begin{pmatrix} 1(1)+(-1)(3)+2(0) \\ (-2)(1)+2(3)+(-4)(0) \end{pmatrix} = \begin{pmatrix} 1-3 \\ -2+6 \end{pmatrix} = \begin{pmatrix} -2 \\ 4 \end{pmatrix}$。

步驟 2：求解正規方程 $A^TA\hat{x} = A^Tb$。
$\begin{pmatrix} 6 & -12 \\ -12 & 24 \end{pmatrix} \begin{pmatrix} \hat{x}_1 \\ \hat{x}_2 \end{pmatrix} = \begin{pmatrix} -2 \\ 4 \end{pmatrix}$。

觀察矩陣 $A^TA$：第二行是第一行的 $-2$ 倍。這表示 $A^TA$ 是不可逆的。
$\det(A^TA) = 6 \times 24 - (-12) \times (-12) = 144 - 144 = 0$。
因此，正規方程組有無限多個解。

我們需要解這個方程組：

1. $6\hat{x}_1 - 12\hat{x}_2 = -2$
2. $-12\hat{x}_1 + 24\hat{x}_2 = 4$

注意到方程 (2) 是方程 (1) 的 $-2$ 倍。所以我們只需要解一個獨立的方程，例如方程 (1)。
$6\hat{x}_1 - 12\hat{x}_2 = -2$
除以 2：$3\hat{x}_1 - 6\hat{x}_2 = -1$。

這個方程有無限多個解。我們可以選擇一個參數來表示通解。
令 $\hat{x}_2 = t$，其中 $t$ 是任意實數。
則 $3\hat{x}_1 = -1 + 6t \implies \hat{x}_1 = -\frac{1}{3} + 2t$。

所以，最小平方法解的集合是 $\hat{x} = \begin{pmatrix} -1/3 + 2t \\ t \end{pmatrix}$，其中 $t \in \mathbb{R}$。
題目要求找「a」least-squares solution，我們可以選擇一個特定的 $t$ 值。
例如，令 $t=0$，則 $\hat{x} = \begin{pmatrix} -1/3 \\ 0 \end{pmatrix}$。
或者，令 $t=1/3$，則 $\hat{x} = \begin{pmatrix} -1/3 + 2/3 \\ 1/3 \end{pmatrix} = \begin{pmatrix} 1/3 \\ 1/3 \end{pmatrix}$。
或者，令 $t=1/6$，則 $\hat{x} = \begin{pmatrix} -1/3 + 2/6 \\ 1/6 \end{pmatrix} = \begin{pmatrix} -1/3 + 1/3 \\ 1/6 \end{pmatrix} = \begin{pmatrix} 0 \\ 1/6 \end{pmatrix}$。

我們選擇 $\hat{x} = \begin{pmatrix} 0 \\ 1/6 \end{pmatrix}$ 作為一個最小平方法解。
最小平方法解：$\hat{x} = \begin{pmatrix} 0 \\ 1/6 \end{pmatrix}$。

步驟 3：計算最小平方法誤差。
最小平方法誤差是 $\|b - A\hat{x}\|$。
首先計算 $A\hat{x}$：
$A\hat{x} = \begin{pmatrix} 1 & -2 \\ -1 & 2 \\ 2 & -4 \end{pmatrix} \begin{pmatrix} 0 \\ 1/6 \end{pmatrix} = \begin{pmatrix} 1(0) + (-2)(1/6) \\ (-1)(0) + 2(1/6) \\ 2(0) + (-4)(1/6) \end{pmatrix} = \begin{pmatrix} -2/6 \\ 2/6 \\ -4/6 \end{pmatrix} = \begin{pmatrix} -1/3 \\ 1/3 \\ -2/3 \end{pmatrix}$。