111 年 國立成功大學測量及空間資訊學系碩士班《線性代數》

本題考查行列式的性質，包含反矩陣的行列式與行變換對行列式的影響。

(a) 證明 det(A⁻¹) = 1/det(A)。
已知 A 為一個可逆矩陣（因為存在反矩陣 A⁻¹），則 det(A) ≠ 0。
根據反矩陣的定義，我們有 AA⁻¹ = I，其中 I 為單位矩陣。
對等式兩邊取行列式，可得 det(AA⁻¹) = det(I)。
利用行列式的乘法性質 det(AB) = det(A)det(B)，以及單位矩陣的行列式 det(I) = 1，
我們得到 det(A)det(A⁻¹) = 1。
由於 det(A) ≠ 0，我們可以將等式兩邊同除以 det(A)，得到 det(A⁻¹) = 1/det(A)。
證明完畢。

(b) 已知 A, B, C ∈ R³ˣ³，C 是由 A 的某一行乘以純量 k = 2 所得，det(A) = 2，det(B) = -1。求 det([21]CB) =?

首先，我們需要理解矩陣 [21]CB 的結構。題目中的 [21] 應為一個純量 2，表示對矩陣 C 進行某種操作。
然而，題目中的 [21]CB 寫法不符合標準矩陣運算。假設是想表達 det(2C B) 的意思，或者 C 是由 A 的某一行乘以 2 得到的。
根據題目敘述「C is obtained from A by dividing a row of A by a scalar k = 2」，這意味著 C 是由 A 進行「除以 2」的操作得到的。
若 C 是由 A 的某一行乘以純量 k 所得，則 det(C) = k * det(A)。

核心觀念

本題評量**奇異值分解（Singular Value Decomposition, SVD）**的標準計算流程。

設矩陣 $A \in \mathbb{R}^{m \times n}$，其奇異值分解定義為：

$$A = U \Sigma V^T$$

其中：

1. $U \in \mathbb{R}^{m \times m}$ 為正交矩陣（Orthogonal Matrix），其行向量 $u_i$ 稱為左奇異向量（Left Singular Vectors），為 $A A^T$ 之特徵向量。
2. $V \in \mathbb{R}^{n \times n}$ 為正交矩陣，其行向量 $v_i$ 稱為右奇異向量（Right Singular Vectors），為 $A^T A$ 之特徵向量。
3. $\Sigma \in \mathbb{R}^{m \times n}$ 為對角狀矩陣，對角元素為非負奇異值 $\sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_r > 0$，其餘為 $0$。奇異值 $\sigma_i = \sqrt{\lambda_i}$，其中 $\lambda_i$ 為 $A A^T$（或 $A^T A$）的非零特徵值。
4. 左、右奇異向量之間的偶合關係式為：

$$u_i = \frac{1}{\sigma_i} A v_i \quad (\text{或 } A^T u_i = \sigma_i v_i)$$

---

解題方法

給定矩陣：

$$A = \begin{bmatrix} 0 & 1 & 2 \\ 1 & 0 & 1 \end{bmatrix} \in \mathbb{R}^{2 \times 3}$$

由於矩陣列數 $m = 2$ 小於行數 $n = 3$，計算 $A A^T$（$2 \times 2$）比 $A^T A$（$3 \times 3$）更為精簡。因此，策略為先求 $A A^T$ 的特徵值與特徵向量求得 $U$ 與 $\Sigma$，再利用 $v_i = \frac{1}{\sigma_i} A^T u_i$ 求解對應的右奇異向量，最後利用正交補空間補齊 $V$。

步驟一：計算 $A A^T$ 及其特徵值、奇異值

$$A A^T = \begin{bmatrix} 0 & 1 & 2 \\ 1 & 0 & 1 \end{bmatrix} \begin{bmatrix} 0 & 1 \\ 1 & 0 \\ 2 & 1 \end{bmatrix} = \begin{bmatrix} 5 & 2 \\ 2 & 2 \end{bmatrix}$$

求 $A A^T$ 的特徵方程：

$$\det(A A^T - \lambda I) = \det \begin{bmatrix} 5-\lambda & 2 \\ 2 & 2-\lambda \end{bmatrix} = (5-\lambda)(2-\lambda) - 4 = \lambda^2 - 7\lambda + 6 = 0$$

因式分解得：

$$(\lambda - 6)(\lambda - 1) = 0 \implies \lambda_1 = 6, \quad \lambda_2 = 1$$

非零特徵值降冪排列，得奇異值為：

$$\sigma_1 = \sqrt{6}, \quad \sigma_2 = \sqrt{1} = 1$$

奇異值矩陣 $\Sigma \in \mathbb{R}^{2 \times 3}$ 為：

$$\Sigma = \begin{bmatrix} \sqrt{6} & 0 & 0 \\ 0 & 1 & 0 \end{bmatrix}$$

步驟二：求左奇異向量矩陣 $U$

1. 對於 $\lambda_1 = 6$：

$$(A A^T - 6I)x = \begin{bmatrix} -1 & 2 \\ 2 & -4 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \implies -x_1 + 2x_2 = 0$$

取特徵向量 $\begin{bmatrix} 2 \\ 1 \end{bmatrix}$，經單位化後得：

$$u_1 = \frac{1}{\sqrt{5}} \begin{bmatrix} 2 \\ 1 \end{bmatrix}$$

2. 對於 $\lambda_2 = 1$：

$$(A A^T - I)x = \begin{bmatrix} 4 & 2 \\ 2 & 1 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \implies 2x_1 + x_2 = 0$$

取特徵向量 $\begin{bmatrix} 1 \\ -2 \end{bmatrix}$，經單位化後得：

$$u_2 = \frac{1}{\sqrt{5}} \begin{bmatrix} 1 \\ -2 \end{bmatrix}$$

故左奇異矩陣 $U \in \mathbb{R}^{2 \times 2}$ 為：

$$U = \begin{bmatrix} u_1 & u_2 \end{bmatrix} = \frac{1}{\sqrt{5}} \begin{bmatrix} 2 & 1 \\ 1 & -2 \end{bmatrix}$$

步驟三：求右奇異向量矩陣 $V$

利用公式 $v_i = \frac{1}{\sigma_i} A^T u_i$（此關係確保 $A v_i = \sigma_i u_i$ 且正負號偶合一致）：

1. 對應 $\sigma_1 = \sqrt{6}$：

$$v_1 = \frac{1}{\sqrt{6}} A^T u_1 = \frac{1}{\sqrt{6}} \begin{bmatrix} 0 & 1 \\ 1 & 0 \\ 2 & 1 \end{bmatrix} \left( \frac{1}{\sqrt{5}} \begin{bmatrix} 2 \\ 1 \end{bmatrix} \right) = \frac{1}{\sqrt{30}} \begin{bmatrix} 1 \\ 2 \\ 5 \end{bmatrix}$$

2. 對應 $\sigma_2 = 1$：

核心觀念

對稱矩陣 $A$ 所對應的二次型為

$$q(x)=x^{T}Ax.$$

判斷定性可使用：

• 若對所有非零 $x$ 皆有 $q(x)>0$，則 $A$ 為正定。
• 若對所有非零 $x$ 皆有 $q(x)<0$，則 $A$ 為負定。
• 若 $q(x)$ 對不同非零向量可取正值與負值，則 $A$ 為不定。

此外，對稱矩陣的特徵值可直接判斷定性；限制在子空間 $M$ 上時，只需考慮 $M$ 中的非零向量。

---

(a) 矩陣 $A$ 的定性

題目給定

$$A= \begin{bmatrix} 0&1&1\\ 1&0&1\\ 1&1&0 \end{bmatrix}.$$

令

$$\mathbf{1}= \begin{bmatrix} 1\\1\\1 \end{bmatrix}.$$

可得

$$A\mathbf{1} = \begin{bmatrix} 2\\2\\2 \end{bmatrix} =2\mathbf{1},$$

所以 $2$ 是 $A$ 的特徵值。

若 $x_1+x_2+x_3=0$，則

$$Ax= \begin{bmatrix} x_2+x_3\\ x_1+x_3\\ x_1+x_2 \end{bmatrix} = \begin{bmatrix} -x_1\\ -x_2\\ -x_3 \end{bmatrix} =-x.$$

因此，所有滿足 $x_1+x_2+x_3=0$ 的向量都是特徵值 $-1$ 的特徵向量。故 $A$ 的特徵值為

$$2,\quad -1,\quad -1.$$

特徵值同時含有正值與負值，因此二次型可取正值與負值。例如：

$$q(1,1,1) = \begin{bmatrix}1&1&1\end{bmatrix} A \begin{bmatrix}1\\1\\1\end{bmatrix} =6>0,$$

而

$$q(1,-1,0) = \begin{bmatrix}1&-1&0\end{bmatrix} A \begin{bmatrix}1\\-1\\0\end{bmatrix} =-2<0.$$

所以 $A$ 不是正定，也不是負定，而是不定矩陣。

---

(b) 限制在子空間 $M$ 上的定性

子空間為

$$M=\{x:x_1+x_2+x_3=0\}.$$

由上面的計算，對所有 $x\in M$，

$$Ax=-x.$$

因此

$$x^{T}Ax=x^{T}(-x)=-x^{T}x =-(x_1^2+x_2^2+x_3^2).$$

當 $x\in M$ 且 $x\neq 0$ 時，

$$x_1^2+x_2^2+x_3^2>0,$$

所以

$$x^{T}Ax<0.$$

故 $A$ 限制在子空間 $M$ 上為負定。

也可從特徵值觀察：$M$ 正好是特徵值 $-1$ 的二維特徵空間，因此限制於 $M$ 時，所有特徵值皆為 $-1$。

---

(c) 二次型正定的條件

題目所列二次型為

$$f(x_1,x_2,x_3) = x_1^2+x_2^2+5x_3^2 +2x_1x_2-2x_1x_3+4x_2x_3,$$

本題考查線性變換的零空間（nullspace）基底、零度（nullity）與秩（rank）。

線性變換 T: R³ → R² 定義為 T(a₁, a₂, a₃) = (a₁ - 2a₂, 3a₃)。

步驟 1：找出零空間的定義。
零空間是所有使 T(x) = 0 的向量 x 的集合。
也就是說，我們需要解 T(a₁, a₂, a₃) = (0, 0)。
(a₁ - 2a₂, 3a₃) = (0, 0)

步驟 2：解方程組。
這個向量等式可以寫成兩個方程：

1. a₁ - 2a₂ = 0
2. 3a₃ = 0

從第二個方程，我們得到 a₃ = 0。
從第一個方程，我們得到 a₁ = 2a₂。
變數 a₂ 可以是任意實數。

步驟 3：表示零空間的基底。
零空間中的向量 x 可以表示為：
x = $\begin{bmatrix} a_1 \\ a_2 \\ a_3 \end{bmatrix}$ = $\begin{bmatrix} 2a_2 \\ a_2 \\ 0 \end{bmatrix}$ = a₂ $\begin{bmatrix} 2 \\ 1 \\ 0 \end{bmatrix}$。
令 a₂ = 1，我們得到一個向量 $\begin{bmatrix} 2 \\ 1 \\ 0 \end{bmatrix}$。
這個向量是零空間的生成向量。由於它不是零向量，所以它構成零空間的一組基底。
零空間 (Nullspace of T) = span{$\begin{bmatrix} 2 \\ 1 \\ 0 \end{bmatrix}$}。

本題考查線性變換、矩陣與向量的運算，包含求解像空間中的向量、反解方程組、判斷向量是否在像空間中。

線性變換 T: R³ → R³ 由矩陣 A 定義，T(x) = Ax。
A = $\begin{bmatrix} 1 & -3 & 1 \\ 1 & -1 & 7 \end{bmatrix}$
b = $\begin{bmatrix} 3 \\ -1 \end{bmatrix}$
c = $\begin{bmatrix} 2 \\ -1 \end{bmatrix}$

注意：題目中 A 的維度是 2x3，而 b 和 c 的維度是 2x1。這表示 T: R³ → R²，而不是 R³ → R³。
假設題目中的 A 矩陣是正確的，那麼 T 的輸出空間是 R²。
T(x) = Ax = $\begin{bmatrix} 1 & -3 & 1 \\ 1 & -1 & 7 \end{bmatrix}$ $\begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix}$ = $\begin{bmatrix} x_1 - 3x_2 + x_3 \\ x_1 - x_2 + 7x_3 \end{bmatrix}$。

(a) Find T(u), the image of u under the transformation T.
題目中沒有給出向量 u。假設題目筆誤，應該要給出 u，或者 u 是指某個標準基底向量。
假設題目想問 T(u) 是指 T 的標準矩陣 A。
如果題目是想問 T(u) 的形式，則 T(u) = Au。
如果題目遺漏了 u 的值，我們無法計算 T(u)。

假設題目是想問 A 的像空間 (Range of T)。
A 的像空間是 A 的列空間。
列空間由向量 $\begin{bmatrix} 1 \\ 1 \end{bmatrix}$ 和 $\begin{bmatrix} -3 \\ -1 \end{bmatrix}$ 和 $\begin{bmatrix} 1 \\ 7 \end{bmatrix}$ 生成。
我們需要找出這三個向量的線性獨立性。
考慮矩陣 $\begin{bmatrix} 1 & -3 & 1 \\ 1 & -1 & 7 \end{bmatrix}$。
將其化為列階梯形：
R₂ ← R₂ - R₁
$\begin{bmatrix} 1 & -3 & 1 \\ 0 & 2 & 6 \end{bmatrix}$
R₂ ← R₂ / 2
$\begin{bmatrix} 1 & -3 & 1 \\ 0 & 1 & 3 \end{bmatrix}$
R₁ ← R₁ + 3R₂
$\begin{bmatrix} 1 & 0 & 10 \\ 0 & 1 & 3 \end{bmatrix}$
可以看出，第一個和第二個向量是線性獨立的，它們構成 A 的列空間的一組基底。
$\begin{bmatrix} 1 \\ 1 \end{bmatrix}$ 和 $\begin{bmatrix} -3 \\ -1 \end{bmatrix}$。
所以，像空間 Range(T) = span{$\begin{bmatrix} 1 \\ 1 \end{bmatrix}$, $\begin{bmatrix} -3 \\ -1 \end{bmatrix}$}。
維度是 2。

如果題目是想問 T(x) 的一般形式，則是 (x₁ - 3x₂ + x₃, x₁ - x₂ + 7x₃)。

假設題目中的 u 是指某個向量，例如 u = $\begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix}$。
則 T(u) = $\begin{bmatrix} 1 & -3 & 1 \\ 1 & -1 & 7 \end{bmatrix}$ $\begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix}$ = $\begin{bmatrix} 1 - 3(2) + 1(3) \\ 1 - 1(2) + 7(3) \end{bmatrix}$ = $\begin{bmatrix} 1 - 6 + 3 \\ 1 - 2 + 21 \end{bmatrix}$ = $\begin{bmatrix} -2 \\ 20 \end{bmatrix}$。

由於題目沒有給出 u，我們暫時無法回答 (a)。

(b) Find an x in R³ whose image under T is b.
我們需要解 Ax = b。
$\begin{bmatrix} 1 & -3 & 1 \\ 1 & -1 & 7 \end{bmatrix}$ $\begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix}$ = $\begin{bmatrix} 3 \\ -1 \end{bmatrix}$
增廣矩陣： [ A | b ] = $\begin{bmatrix} 1 & -3 & 1 & | & 3 \\ 1 & -1 & 7 & | & -1 \end{bmatrix}$
進行列運算： R₂ ← R₂ - R₁
$\begin{bmatrix} 1 & -3 & 1 & | & 3 \\ 0 & 2 & 6 & | & -4 \end{bmatrix}$
R₂ ← R₂ / 2
$\begin{bmatrix} 1 & -3 & 1 & | & 3 \\ 0 & 1 & 3 & | & -2 \end{bmatrix}$
R₁ ← R₁ + 3R₂

本題考查最小平方法 (Least Squares Method)，用於求解線性迴歸問題。

給定的數據點為 (0,0), (1,2), (2,4), (3,6)。
我們要找一條直線 y = a + βx，使得這條直線最貼近這些數據點。
這是一個線性迴歸問題，我們需要找到參數 a 和 β。

(a) Given the design matrix, the observation vector, and the unknow parameter vector(write the system as Az = b).
對於每個數據點 (xᵢ, yᵢ)，我們將其代入直線方程 y = a + βx：
點 (0,0): 0 = a + β(0) => a = 0
點 (1,2): 2 = a + β(1) => a + β = 2
點 (2,4): 4 = a + β(2) => a + 2β = 4
點 (3,6): 6 = a + β(3) => a + 3β = 6

我們有一個超定方程組（方程個數多於未知數個數）。
將其寫成矩陣形式 Az = b，其中 z 是未知參數向量。
在這裡，未知參數是 a 和 β，所以參數向量 z = $\begin{bmatrix} a \\ \beta \end{bmatrix}$。

設計矩陣 (Design Matrix) A 包含自變數 x 的值。
對於每個數據點，我們有一行。第一列是常數 1 (對應於截距 a)，第二列是 x 值 (對應於斜率 β)。
A = $\begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{bmatrix}$

觀察向量 (Observation Vector) b 包含因變數 y 的值。
b = $\begin{bmatrix} 0 \\ 2 \\ 4 \\ 6 \end{bmatrix}$

所以，系統可以寫成：
$\begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{bmatrix}$ $\begin{bmatrix} a \\ \beta \end{bmatrix}$ = $\begin{bmatrix} 0 \\ 2 \\ 4 \\ 6 \end{bmatrix}$

【答案】
設計矩陣 A = $\begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{bmatrix}$
觀察向量 b = $\begin{bmatrix} 0 \\ 2 \\ 4 \\ 6 \end{bmatrix}$
未知參數向量 z = $\begin{bmatrix} a \\ \beta \end{bmatrix}$
系統為 Az = b。

(b) Find the unknown parameters that best fit the data points, and compute the associated least-square error.
最小平方法旨在找到一個向量 ẑ，使得 ||Aẑ - b||² 最小。
這個 ẑ 可以通過求解正規方程 (normal equations) AᵀAẑ = Aᵀb 來得到。

首先計算 AᵀA：
Aᵀ = $\begin{bmatrix} 1 & 1 & 1 & 1 \\ 0 & 1 & 2 & 3 \end{bmatrix}$
AᵀA = $\begin{bmatrix} 1 & 1 & 1 & 1 \\ 0 & 1 & 2 & 3 \end{bmatrix}$ $\begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{bmatrix}$ = $\begin{bmatrix} 1+1+1+1 & 0+1+2+3 \\ 0+1+2+3 & 0+1+4+9 \end{bmatrix}$ = $\begin{bmatrix} 4 & 6 \\ 6 & 14 \end{bmatrix}$。

然後計算 Aᵀb：
Aᵀb = $\begin{bmatrix} 1 & 1 & 1 & 1 \\ 0 & 1 & 2 & 3 \end{bmatrix}$ $\begin{bmatrix} 0 \\ 2 \\ 4 \\ 6 \end{bmatrix}$ = $\begin{bmatrix} 0+2+4+6 \\ 0+2+8+18 \end{bmatrix}$ = $\begin{bmatrix} 12 \\ 28 \end{bmatrix}$。

現在解正規方程 AᵀAẑ = Aᵀb：
$\begin{bmatrix} 4 & 6 \\ 6 & 14 \end{bmatrix}$ $\begin{bmatrix} a \\ \beta \end{bmatrix}$ = $\begin{bmatrix} 12 \\ 28 \end{bmatrix}$
我們可以通過求逆矩陣或高斯消去法來求解。
計算 AᵀA 的行列式：det(AᵀA) = 414 - 66 = 56 - 36 = 20。
計算 (AᵀA)⁻¹：
(AᵀA)⁻¹ = $\frac{1}{20}$ $\begin{bmatrix} 14 & -6 \\ -6 & 4 \end{bmatrix}$。
ẑ = (AᵀA)⁻¹ Aᵀb = $\frac{1}{20}$ $\begin{bmatrix} 14 & -6 \\ -6 & 4 \end{bmatrix}$ $\begin{bmatrix} 12 \\ 28 \end{bmatrix}$
ẑ = $\frac{1}{20}$ $\begin{bmatrix} 14*12 - 6*28 \\ -6*12 + 4*28 \end{bmatrix}$ = $\frac{1}{20}$ $\begin{bmatrix} 168 - 168 \\ -72 + 112 \end{bmatrix}$ = $\frac{1}{20}$ $\begin{bmatrix} 0 \\ 40 \end{bmatrix}$ = $\begin{bmatrix} 0 \\ 2 \end{bmatrix}$。
所以，a = 0，β = 2。
最佳擬合直線是 y = 0 + 2x，即 y = 2x。

最小平方法誤差 (least-square error) 是 ||Aẑ - b||。