113 年 國立成功大學測量及空間資訊學系碩士班在職生《線性代數》

📄 試題原卷 免費註冊後即可對照原始考卷 PDF免費註冊

第 1 題15 分

One of the eigenvalues of the matrix A=

(423−11−3249)\begin{pmatrix} 4 & 2 & 3 \\ -1 & 1 & -3 \\ 2 & 4 & 9 \end{pmatrix}

is 3. Find a basis for its corresponding eigenspace.

登入後即可作答並保存紀錄。

這一題的完整詳解

本題考查特徵向量的求解。已知一個特徵值,我們需要找到對應的特徵向量所構成的子空間(特徵空間)的一個基底。

核心概念:若 λ\lambda 為矩陣 AA 的一個特徵值,則對應的特徵向量 vv 滿足 Av=λvAv = \lambda v。這可以改寫為 (A−λI)v=0(A - \lambda I)v = 0。因此,特徵向量是齊次方程組 (A−λI)v=0(A - \lambda I)v = 0 的非零解,這些解的集合(加上零向量)構成一個向量空間,稱為對應於特徵值 λ\lambda 的特徵空間。

解題步驟:

  1. 計算矩陣 A−λIA - \lambda I。
  2. 求解齊次方程組 (A−λI)v=0(A - \lambda I)v = 0。
  3. 找到該方程組的解空間的一個基底,即為特徵空間的基底。

已知矩陣 A=(423−11−3249)A = \begin{pmatrix} 4 & 2 & 3 \\ -1 & 1 & -3 \\ 2 & 4 & 9 \end{pmatrix},且其中一個特徵值為 λ=3\lambda = 3。

  1. 計算 A−λIA - \lambda I:

    A−3I=(423−11−3249)−3(100010001)=(4−323−11−3−3249−3)=(123−1−2−3246)A - 3I = \begin{pmatrix} 4 & 2 & 3 \\ -1 & 1 & -3 \\ 2 & 4 & 9 \end{pmatrix} - 3 \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix} = \begin{pmatrix} 4-3 & 2 & 3 \\ -1 & 1-3 & -3 \\ 2 & 4 & 9-3 \end{pmatrix} = \begin{pmatrix} 1 & 2 & 3 \\ -1 & -2 & -3 \\ 2 & 4 & 6 \end{pmatrix}
  2. 求解齊次方程組 (A−3I)v=0(A - 3I)v = 0,其中 v=(xyz)v = \begin{pmatrix} x \\ y \\ z \end{pmatrix}。

    (123−1−2−3246)(xyz)=(000)\begin{pmatrix} 1 & 2 & 3 \\ -1 & -2 & -3 \\ 2 & 4 & 6 \end{pmatrix} \begin{pmatrix} x \\ y \\ z \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \\ 0 \end{pmatrix}
🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 2 題15 分

Find a singular value decomposition of the matrix A =

(1−2−212−2)\begin{pmatrix} 1 & -2 \\ -2 & 1 \\ 2 & -2 \end{pmatrix}

. (15%)

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

本題考查實數矩陣的奇異值分解(Singular Value Decomposition, SVD)。
若矩陣 A∈Rm×nA \in \mathbb{R}^{m \times n},則其奇異值分解形式為:

A=UΣVTA = U \Sigma V^T

其中各矩陣滿足:

  1. V=(v1v2⋯vn)∈Rn×nV = \begin{pmatrix} v_1 & v_2 & \cdots & v_n \end{pmatrix} \in \mathbb{R}^{n \times n} 為正交矩陣(Orthogonal matrix),其各行向量 viv_i 為 ATAA^TA 的單純正交特徵向量(Right singular vectors)。
  2. Σ∈Rm×n\Sigma \in \mathbb{R}^{m \times n} 為主對角線上依序由大到小排列非負奇異值 σi=λi\sigma_i = \sqrt{\lambda_i} 的矩形對角矩陣(σ1≥σ2≥⋯≥0\sigma_1 \ge \sigma_2 \ge \cdots \ge 0)。
  3. U=(u1u2⋯um)∈Rm×mU = \begin{pmatrix} u_1 & u_2 & \cdots & u_m \end{pmatrix} \in \mathbb{R}^{m \times m} 為正交矩陣,其前 rr 個行向量(Left singular vectors)由下列公式確定:
ui=1σiAvi(i=1,…,r)u_i = \frac{1}{\sigma_i} A v_i \quad (i = 1, \dots, r)

其餘行向量 {ur+1,…,um}\{u_{r+1}, \dots, u_m\} 則取為滿足與前 rr 個向量彼此正交且長度為 1 之單位向量(即形成 Rm\mathbb{R}^m 的一組標準正交基底,屬於 Null⁡(AT)\operatorname{Null}(A^T) 的正交規範基底)。


解題方法

給定矩陣:

A=(1−2−212−2)∈R3×2A = \begin{pmatrix} 1 & -2 \\ -2 & 1 \\ 2 & -2 \end{pmatrix} \in \mathbb{R}^{3 \times 2}

其奇異值分解大小為:U∈R3×3U \in \mathbb{R}^{3 \times 3}、Σ∈R3×2\Sigma \in \mathbb{R}^{3 \times 2}、V∈R2×2V \in \mathbb{R}^{2 \times 2}。

步驟一:求 ATAA^T A 及其特徵值與特徵向量

計算對稱矩陣 ATAA^T A:

ATA=(1−22−21−2)(1−2−212−2)=(1+4+4−2−2−4−2−2−44+1+4)=(9−8−89)A^T A = \begin{pmatrix} 1 & -2 & 2 \\ -2 & 1 & -2 \end{pmatrix} \begin{pmatrix} 1 & -2 \\ -2 & 1 \\ 2 & -2 \end{pmatrix} = \begin{pmatrix} 1+4+4 & -2-2-4 \\ -2-2-4 & 4+1+4 \end{pmatrix} = \begin{pmatrix} 9 & -8 \\ -8 & 9 \end{pmatrix}

解其特徵方程式 det⁡(ATA−λI)=0\det(A^TA - \lambda I) = 0:

det⁡(9−λ−8−89−λ)=(9−λ)2−64=0\det\begin{pmatrix} 9-\lambda & -8 \\ -8 & 9-\lambda \end{pmatrix} = (9-\lambda)^2 - 64 = 0 (9−λ−8)(9−λ+8)=(1−λ)(17−λ)=0(9-\lambda-8)(9-\lambda+8) = (1-\lambda)(17-\lambda) = 0

求得特徵值:

λ1=17,λ2=1\lambda_1 = 17, \quad \lambda_2 = 1

步驟二:求奇異值及矩陣 Σ\Sigma

取特徵值的正平方根得奇異值:

σ1=17,σ2=1=1\sigma_1 = \sqrt{17}, \quad \sigma_2 = \sqrt{1} = 1

構造 3×23 \times 2 矩陣 Σ\Sigma:

Σ=(σ100σ200)=(1700100)\Sigma = \begin{pmatrix} \sigma_1 & 0 \\ 0 & \sigma_2 \\ 0 & 0 \end{pmatrix} = \begin{pmatrix} \sqrt{17} & 0 \\ 0 & 1 \\ 0 & 0 \end{pmatrix}

步驟三:求正交矩陣 VV(右奇異向量)

  1. 對應 λ1=17\lambda_1 = 17:
(ATA−17I)v1=(−8−8−8−8)(x1x2)=(00)  ⟹  x1+x2=0(A^TA - 17I)v_1 = \begin{pmatrix} -8 & -8 \\ -8 & -8 \end{pmatrix}\begin{pmatrix} x_1 \\ x_2 \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \end{pmatrix} \implies x_1 + x_2 = 0

取單位化特徵向量:

v1=12(1−1)v_1 = \frac{1}{\sqrt{2}}\begin{pmatrix} 1 \\ -1 \end{pmatrix}
  1. 對應 λ2=1\lambda_2 = 1:
(ATA−I)v2=(8−8−88)(x1x2)=(00)  ⟹  x1−x2=0(A^TA - I)v_2 = \begin{pmatrix} 8 & -8 \\ -8 & 8 \end{pmatrix}\begin{pmatrix} x_1 \\ x_2 \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \end{pmatrix} \implies x_1 - x_2 = 0

取單位化特徵向量:

v2=12(11)v_2 = \frac{1}{\sqrt{2}}\begin{pmatrix} 1 \\ 1 \end{pmatrix}

故正交矩陣 VV 為:

V=(v1v2)=12(11−11)V = \begin{pmatrix} v_1 & v_2 \end{pmatrix} = \frac{1}{\sqrt{2}} \begin{pmatrix} 1 & 1 \\ -1 & 1 \end{pmatrix}

其轉置矩陣為:

VT=12(1−111)V^T = \frac{1}{\sqrt{2}} \begin{pmatrix} 1 & -1 \\ 1 & 1 \end{pmatrix}

步驟四:求正交矩陣 UU(左奇異向量)

利用 ui=1σiAviu_i = \frac{1}{\sigma_i}Av_i 計算前兩個行向量:

  1. 計算 u1u_1:
Av1=(1−2−212−2)[12(1−1)]=12(3−34)A v_1 = \begin{pmatrix} 1 & -2 \\ -2 & 1 \\ 2 & -2 \end{pmatrix} \left[ \frac{1}{\sqrt{2}} \begin{pmatrix} 1 \\ -1 \end{pmatrix} \right] = \frac{1}{\sqrt{2}} \begin{pmatrix} 3 \\ -3 \\ 4 \end{pmatrix} u1=1σ1Av1=117⋅12(3−34)=134(3−34)u_1 = \frac{1}{\sigma_1} A v_1 = \frac{1}{\sqrt{17}} \cdot \frac{1}{\sqrt{2}} \begin{pmatrix} 3 \\ -3 \\ 4 \end{pmatrix} = \frac{1}{\sqrt{34}} \begin{pmatrix} 3 \\ -3 \\ 4 \end{pmatrix}
🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 3 題15 分

Given a linear transformation T, where

T(209)=(571),T(1−23)=(131415),T(100)=(123)T\begin{pmatrix} 2 \\ 0 \\ 9 \end{pmatrix} = \begin{pmatrix} 5 \\ 7 \\ 1 \end{pmatrix}, \quad T\begin{pmatrix} 1 \\ -2 \\ 3 \end{pmatrix} = \begin{pmatrix} 13 \\ 14 \\ 15 \end{pmatrix}, \quad T\begin{pmatrix} 1 \\ 0 \\ 0 \end{pmatrix} = \begin{pmatrix} 1 \\ 2 \\ 3 \end{pmatrix}

(a) Find the standard transformation matrix A for T.
(b) Find a basis for the Nul A and the nullity (dimension of Nul A).
(c) Find a basis for the Col A and rank (dimension of Col A).

登入後即可作答並保存紀錄。

這一題的完整詳解

本題考查線性轉換與矩陣表示,以及核空間 (Null Space) 和行空間 (Column Space) 的概念。

核心概念:

  1. 線性轉換 T:Rn→RmT: \mathbb{R}^n \to \mathbb{R}^m 的標準矩陣 AA 是一個 m×nm \times n 矩陣,其第 jj 個行向量是 T(ej)T(e_j),其中 eje_j 是標準基底向量。
  2. 對於任意向量 x∈Rnx \in \mathbb{R}^n,有 T(x)=AxT(x) = Ax。
  3. 核空間 (Null Space) Nul(A)Nul(A) 是方程組 Ax=0Ax=0 的解空間。其維度稱為零度 (nullity)。
  4. 行空間 (Column Space) Col(A)Col(A) 是矩陣 AA 的列向量所生成的空間。其維度稱為秩 (rank)。
  5. 秩-零度定理 (Rank-Nullity Theorem):對於一個 m×nm \times n 矩陣 AA,rank(A)+nullity(A)=n\text{rank}(A) + \text{nullity}(A) = n。

給定線性轉換 TT 在三個向量上的取值:
v1=(209)v_1 = \begin{pmatrix} 2 \\ 0 \\ 9 \end{pmatrix}, T(v1)=(571)T(v_1) = \begin{pmatrix} 5 \\ 7 \\ 1 \end{pmatrix}
v2=(1−23)v_2 = \begin{pmatrix} 1 \\ -2 \\ 3 \end{pmatrix}, T(v2)=(131415)T(v_2) = \begin{pmatrix} 13 \\ 14 \\ 15 \end{pmatrix}
v3=(100)v_3 = \begin{pmatrix} 1 \\ 0 \\ 0 \end{pmatrix}, T(v3)=(123)T(v_3) = \begin{pmatrix} 1 \\ 2 \\ 3 \end{pmatrix}

(a) 尋找標準轉換矩陣 AA。
標準轉換矩陣 AA 的列向量是 T(e1),T(e2),T(e3)T(e_1), T(e_2), T(e_3)。我們需要找到 T(e1),T(e2),T(e3)T(e_1), T(e_2), T(e_3)。
由於 TT 是線性轉換,我們可以利用給定的信息來表示標準基底向量 e1,e2,e3e_1, e_2, e_3 作為 v1,v2,v3v_1, v_2, v_3 的線性組合。
然而,這裡給定的 v1,v2,v3v_1, v_2, v_3 並不一定是標準基底。所以,我們不能直接假設 T(v1)=Av1T(v_1) = Av_1。
我們需要先找到 T(e1),T(e2),T(e3)T(e_1), T(e_2), T(e_3)。
首先,檢查 v1,v2,v3v_1, v_2, v_3 是否線性獨立。
構成矩陣 V=(2110−20930)V = \begin{pmatrix} 2 & 1 & 1 \\ 0 & -2 & 0 \\ 9 & 3 & 0 \end{pmatrix}。
計算行列式:det⁡(V)=2((−2)(0)−0(3))−1(0(0)−0(9))+1(0(3)−(−2)(9))=2(0)−0+1(0+18)=18≠0\det(V) = 2((-2)(0) - 0(3)) - 1(0(0) - 0(9)) + 1(0(3) - (-2)(9)) = 2(0) - 0 + 1(0 + 18) = 18 \neq 0。
因此,v1,v2,v3v_1, v_2, v_3 是線性獨立的,它們構成 R3\mathbb{R}^3 的一個基底。

我們可以用 v1,v2,v3v_1, v_2, v_3 作為基底來表示任意向量 x∈R3x \in \mathbb{R}^3。
令 x=c1v1+c2v2+c3v3x = c_1 v_1 + c_2 v_2 + c_3 v_3。
則 T(x)=T(c1v1+c2v2+c3v3)=c1T(v1)+c2T(v2)+c3T(v3)T(x) = T(c_1 v_1 + c_2 v_2 + c_3 v_3) = c_1 T(v_1) + c_2 T(v_2) + c_3 T(v_3)。

我們需要找到 T(e1),T(e2),T(e3)T(e_1), T(e_2), T(e_3)。
先找到 e1,e2,e3e_1, e_2, e_3 在基底 {v1,v2,v3}\{v_1, v_2, v_3\} 下的坐標。
即解方程組 c1v1+c2v2+c3v3=ejc_1 v_1 + c_2 v_2 + c_3 v_3 = e_j (j=1,2,3j=1,2,3)。
這相當於解 V(c1c2c3)=ejV \begin{pmatrix} c_1 \\ c_2 \\ c_3 \end{pmatrix} = e_j。
或者,我們可以先求出 V−1V^{-1}。

V=(2110−20930)V = \begin{pmatrix} 2 & 1 & 1 \\ 0 & -2 & 0 \\ 9 & 3 & 0 \end{pmatrix}

使用伴隨矩陣法求逆矩陣:
代數餘子式矩陣:
C11=(−2)(0)−0(3)=0C_{11} = (-2)(0) - 0(3) = 0
C12=−(0(0)−0(9))=0C_{12} = -(0(0) - 0(9)) = 0
C13=(−2)(3)−0(9)=−6C_{13} = (-2)(3) - 0(9) = -6
C21=−(1(0)−1(3))=3C_{21} = -(1(0) - 1(3)) = 3
C22=2(0)−1(9)=−9C_{22} = 2(0) - 1(9) = -9
C23=−(2(3)−1(9))=−(6−9)=3C_{23} = -(2(3) - 1(9)) = -(6-9) = 3
C31=(−2)(0)−(−2)(1)=2C_{31} = (-2)(0) - (-2)(1) = 2
C32=−(2(0)−0(1))=0C_{32} = -(2(0) - 0(1)) = 0
C33=2(−2)−1(0)=−4C_{33} = 2(-2) - 1(0) = -4
伴隨矩陣 adj(V)=(0320−90−63−4)T=(00−63−9320−4)\text{adj}(V) = \begin{pmatrix} 0 & 3 & 2 \\ 0 & -9 & 0 \\ -6 & 3 & -4 \end{pmatrix}^T = \begin{pmatrix} 0 & 0 & -6 \\ 3 & -9 & 3 \\ 2 & 0 & -4 \end{pmatrix}。
det⁡(V)=18\det(V) = 18。

V−1=118(00−63−9320−4)=(00−1/31/6−1/21/61/90−2/9)V^{-1} = \frac{1}{18} \begin{pmatrix} 0 & 0 & -6 \\ 3 & -9 & 3 \\ 2 & 0 & -4 \end{pmatrix} = \begin{pmatrix} 0 & 0 & -1/3 \\ 1/6 & -1/2 & 1/6 \\ 1/9 & 0 & -2/9 \end{pmatrix}

現在我們可以找到 e1,e2,e3e_1, e_2, e_3 在 v1,v2,v3v_1, v_2, v_3 基底下的坐標。
e1=(100)e_1 = \begin{pmatrix} 1 \\ 0 \\ 0 \end{pmatrix}:
(c1c2c3)=V−1e1=(01/61/9)\begin{pmatrix} c_1 \\ c_2 \\ c_3 \end{pmatrix} = V^{-1} e_1 = \begin{pmatrix} 0 \\ 1/6 \\ 1/9 \end{pmatrix}。
所以 e1=16v2+19v3e_1 = \frac{1}{6} v_2 + \frac{1}{9} v_3。(注意:這裡的 c1,c2,c3c_1, c_2, c_3 是 v1,v2,v3v_1, v_2, v_3 的係數)
T(e1)=T(16v2+19v3)=16T(v2)+19T(v3)T(e_1) = T(\frac{1}{6} v_2 + \frac{1}{9} v_3) = \frac{1}{6} T(v_2) + \frac{1}{9} T(v_3)
T(e1)=16(131415)+19(123)=(13/614/615/6)+(1/92/93/9)=(26/1828/1830/18)+(2/184/186/18)=(28/1832/1836/18)=(14/916/92)T(e_1) = \frac{1}{6} \begin{pmatrix} 13 \\ 14 \\ 15 \end{pmatrix} + \frac{1}{9} \begin{pmatrix} 1 \\ 2 \\ 3 \end{pmatrix} = \begin{pmatrix} 13/6 \\ 14/6 \\ 15/6 \end{pmatrix} + \begin{pmatrix} 1/9 \\ 2/9 \\ 3/9 \end{pmatrix} = \begin{pmatrix} 26/18 \\ 28/18 \\ 30/18 \end{pmatrix} + \begin{pmatrix} 2/18 \\ 4/18 \\ 6/18 \end{pmatrix} = \begin{pmatrix} 28/18 \\ 32/18 \\ 36/18 \end{pmatrix} = \begin{pmatrix} 14/9 \\ 16/9 \\ 2 \end{pmatrix}。

e2=(010)e_2 = \begin{pmatrix} 0 \\ 1 \\ 0 \end{pmatrix}:
(c1c2c3)=V−1e2=(0−1/20)\begin{pmatrix} c_1 \\ c_2 \\ c_3 \end{pmatrix} = V^{-1} e_2 = \begin{pmatrix} 0 \\ -1/2 \\ 0 \end{pmatrix}。
所以 e2=−12v2e_2 = -\frac{1}{2} v_2。
T(e2)=T(−12v2)=−12T(v2)=−12(131415)=(−13/2−7−15/2)T(e_2) = T(-\frac{1}{2} v_2) = -\frac{1}{2} T(v_2) = -\frac{1}{2} \begin{pmatrix} 13 \\ 14 \\ 15 \end{pmatrix} = \begin{pmatrix} -13/2 \\ -7 \\ -15/2 \end{pmatrix}。

e3=(001)e_3 = \begin{pmatrix} 0 \\ 0 \\ 1 \end{pmatrix}:
(c1c2c3)=V−1e3=(−1/31/6−2/9)\begin{pmatrix} c_1 \\ c_2 \\ c_3 \end{pmatrix} = V^{-1} e_3 = \begin{pmatrix} -1/3 \\ 1/6 \\ -2/9 \end{pmatrix}。

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 4 題20 分

Linear transformation in homogenous coordinate (20%)

(a) Find the transformation matrices in homogenous coordinate for the following transformations (i) and (ii).

(i) 🖼️【此處有附圖,請對照原卷】
The image point (1,1) is transformed to (4,1). The point (1,0) is transformed to (1,0).

(ii) T(x)=x+(21)T(x) = x + \begin{pmatrix} 2 \\ 1 \end{pmatrix}

(b) Show that if the transformation T(x)=x+tT(x) = x + t, where x,t∈R2x, t \in \mathbb{R}^2 is a linear transformation?

🖼️ 本題含圖表,以下為原卷對應頁面:
原卷第 2 頁原卷第 3 頁

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

二維向量 x=(x,y)T\mathbf{x}=(x,y)^T 的齊次座標寫成

x~=(xy1).\widetilde{\mathbf{x}}= \begin{pmatrix} x\\y\\1 \end{pmatrix}.

二維線性變換 AxA\mathbf{x} 的齊次座標矩陣為

HA=(ab0cd0001).H_A= \begin{pmatrix} a&b&0\\ c&d&0\\ 0&0&1 \end{pmatrix}.

其中 AA 的兩個欄向量分別是 A(1,0)TA(1,0)^T 與 A(0,1)TA(0,1)^T 的結果。平移則須將平移量放在第三欄。


(a)(i) 水平剪切變換

設二維線性變換矩陣為 AA。題目給出

A(10)=(10),A(11)=(41).A \begin{pmatrix} 1\\0 \end{pmatrix} = \begin{pmatrix} 1\\0 \end{pmatrix}, \qquad A \begin{pmatrix} 1\\1 \end{pmatrix} = \begin{pmatrix} 4\\1 \end{pmatrix}.

由線性性,

(11)=(10)+(01),\begin{pmatrix} 1\\1 \end{pmatrix} = \begin{pmatrix} 1\\0 \end{pmatrix} + \begin{pmatrix} 0\\1 \end{pmatrix},

因此

A(01)=(41)−(10)=(31).A \begin{pmatrix} 0\\1 \end{pmatrix} = \begin{pmatrix} 4\\1 \end{pmatrix} - \begin{pmatrix} 1\\0 \end{pmatrix} = \begin{pmatrix} 3\\1 \end{pmatrix}.

所以 AA 的兩個欄向量為

A=(1301).A= \begin{pmatrix} 1&3\\ 0&1 \end{pmatrix}.

加入齊次座標後,

H(i)=(130010001).\boxed{ H_{(i)}= \begin{pmatrix} 1&3&0\\ 0&1&0\\ 0&0&1 \end{pmatrix} }.

驗算:

H(i)(111)=(411),H(i)(101)=(101).H_{(i)} \begin{pmatrix} 1\\1\\1 \end{pmatrix} = \begin{pmatrix} 4\\1\\1 \end{pmatrix}, \qquad H_{(i)} \begin{pmatrix} 1\\0\\1 \end{pmatrix} = \begin{pmatrix} 1\\0\\1 \end{pmatrix}.

(a)(ii) 平移變換

題目給出

T(x)=x+(21).T(\mathbf{x})=\mathbf{x}+ \begin{pmatrix} 2\\1 \end{pmatrix}.

令 x=(x,y)T\mathbf{x}=(x,y)^T,則

T(x,y)=(x+2y+1).T(x,y)= \begin{pmatrix} x+2\\y+1 \end{pmatrix}.

其齊次座標表示為

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 5 題20 分

Least-squares linear equation system (20%)

a). Given a least-squares linear system Ax = b. What is the geometric meaning of its solution x^=(ATA)−1ATb\hat{x} = (A^T A)^{-1} A^T b?

b). For an ill-conditioned least-squares linear system. What is the difference between the solvers of QR decomposition, singular value decomposition, and (ATA)−1ATb(A^T A)^{-1} A^T b?

登入後即可作答並保存紀錄。

這一題的完整詳解

本題考查最小平方法 (Least Squares) 的概念及其幾何意義,以及不同求解方法在處理病態 (ill-conditioned) 系統時的差異。

核心概念:

  1. 最小平方法:對於方程組 Ax=bAx=b 無精確解時,我們尋找一個向量 x^\hat{x} 使得 ∥Ax−b∥2\|Ax - b\|^2 最小。這個 x^\hat{x} 稱為最小平方法解。
  2. 正規方程 (Normal Equations):最小平方法解 x^\hat{x} 滿足正規方程 ATAx^=ATbA^T A \hat{x} = A^T b。
  3. 幾何意義:最小平方法解 x^\hat{x} 使得 Ax^A\hat{x} 是向量 bb 在矩陣 AA 的列空間 Col(A)Col(A) 上的正交投影。即 Ax^=projCol(A)bA\hat{x} = \text{proj}_{Col(A)} b。
  4. 求解方法:
    • 正規方程法:x^=(ATA)−1ATb\hat{x} = (A^T A)^{-1} A^T b。
    • QR 分解法:將 A=QRA = QR,則 Rx^=QTbR\hat{x} = Q^T b。
    • 奇異值分解 (SVD) 法:A=UΣVTA = U\Sigma V^T,則 x^=VΣ+UTb\hat{x} = V \Sigma^+ U^T b,其中 Σ+\Sigma^+ 是 Σ\Sigma 的偽逆。
  5. 病態矩陣 (Ill-conditioned Matrix):矩陣的條件數 (condition number) 很大,對輸入數據的微小變化非常敏感,導致數值計算不穩定。

(a) Ax=bAx=b 的最小平方法解 x^=(ATA)−1ATb\hat{x} = (A^T A)^{-1} A^T b 的幾何意義。

幾何意義:
方程組 Ax=bAx=b 的最小平方法解 x^\hat{x} 是指,向量 Ax^A\hat{x} 是向量 bb 在矩陣 AA 的列空間 Col(A)Col(A) 上的正交投影。
換句話說,x^\hat{x} 是使得 Ax^A\hat{x} 最接近 bb 的向量。這個「最接近」是指 ∥Ax^−b∥\|A\hat{x} - b\| 最小。
向量 Ax^A\hat{x} 是 Col(A)Col(A) 中的一個向量,而 b−Ax^b - A\hat{x} 是垂直於 Col(A)Col(A) 的。
因此,Ax^A\hat{x} 是 bb 在 Col(A)Col(A) 上的正交投影。

數學推導:
我們尋找 x^\hat{x} 使得 ∥Ax−b∥2\|Ax - b\|^2 最小。
令 f(x^)=∥Ax−b∥2=(Ax−b)T(Ax−b)=xTATAx−2xTATb+bTbf(\hat{x}) = \|Ax - b\|^2 = (Ax - b)^T (Ax - b) = x^T A^T A x - 2x^T A^T b + b^T b。
對 x^\hat{x} 求導並令其為零:
∂f∂x=2ATAx−2ATb=0\frac{\partial f}{\partial x} = 2 A^T A x - 2 A^T b = 0
ATAx=ATbA^T A x = A^T b
如果 ATAA^T A 可逆,則 x=(ATA)−1ATbx = (A^T A)^{-1} A^T b。
此時 Ax^A\hat{x} 是 bb 在 Col(A)Col(A) 上的投影。
證明 b−Ax^b - A\hat{x} 垂直於 Col(A)Col(A):
AT(b−Ax^)=ATb−ATAx^A^T (b - A\hat{x}) = A^T b - A^T A \hat{x}。
由於 ATAx^=ATbA^T A \hat{x} = A^T b,所以 AT(b−Ax^)=0A^T (b - A\hat{x}) = 0。
這意味著向量 b−Ax^b - A\hat{x} 與 AA 的每一列都正交。因此,它與 Col(A)Col(A) 中的任何向量都正交。

總結:x^=(ATA)−1ATb\hat{x} = (A^T A)^{-1} A^T b 的幾何意義是,它是一個向量,當乘以矩陣 AA 時,得到向量 bb 在 Col(A)Col(A) 上的正交投影 Ax^A\hat{x}。

(b) 對於病態的最小平方法系統,QR 分解、SVD 和 (ATA)−1ATb(A^T A)^{-1} A^T b 這三種求解方法的差異。

病態系統意味著 ATAA^T A 的條件數很大,這會導致數值計算的不穩定性。

  1. 正規方程法 (ATA)−1ATb(A^T A)^{-1} A^T b:
    • 問題: 當 AA 是病態的,特別是當 AA 的列向量接近線性相關時,ATAA^T A 的條件數會顯著增大(約為 AA 的條件數的平方)。這使得 (ATA)−1(A^T A)^{-1} 的計算非常不穩定,容易引入嚴重的捨入誤差。
    • 優點: conceptually simple, directly solves the normal equations.
    • 缺點: Numerically unstable for ill-conditioned problems.
🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 6 題15 分

Let T:R3→R3T: \mathbb{R}^3 \to \mathbb{R}^3 be the linear transformation defined by

T(X)=(x1−x3,−2x1+3x2−x3,3x1−3x2)T(X) = (x_1-x_3, -2x_1 + 3x_2 - x_3, 3x_1 - 3x_2)

(a) Find the standard matrix A for the linear operator T.
(b) Find the LU-decomposition of matrix A, where L is a lower triangular matrix and U is an upper triangular matrix.
(c) What is the main purpose of LU matrix decomposition?

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

本題考查三個重點:

  1. 線性轉換的標準矩陣:矩陣的第 jj 欄為 T(ej)T(e_j),其中
    e1=(1,0,0)T,e2=(0,1,0)T,e3=(0,0,1)T.e_1=(1,0,0)^T,\quad e_2=(0,1,0)^T,\quad e_3=(0,0,1)^T.

  2. LULU 分解:將矩陣 AA 寫成
    A=LU,A=LU,
    其中 LL 為下三角矩陣,UU 為上三角矩陣。通常以高斯消去法取得 UU,並將消去倍率記錄在 LL 中。

  3. LULU 分解的用途:有效率地解線性方程組,尤其適合同一個係數矩陣搭配多個右側向量的情況。

解題方法

(a)求線性算子 TT 的標準矩陣

已知

T(x1,x2,x3)=(x1−x3, −2x1+3x2−x3, 3x1−3x2).T(x_1,x_2,x_3) = (x_1-x_3,\,-2x_1+3x_2-x_3,\,3x_1-3x_2).

分別計算標準基底的像:

T(e1)=T(1,0,0)=(1,−2,3),T(e_1)=T(1,0,0)=(1,-2,3), T(e2)=T(0,1,0)=(0,3,−3),T(e_2)=T(0,1,0)=(0,3,-3), T(e3)=T(0,0,1)=(−1,−1,0).T(e_3)=T(0,0,1)=(-1,-1,0).

因此標準矩陣的三個欄向量依序為 T(e1),T(e2),T(e3)T(e_1),T(e_2),T(e_3),故

A=(10−1−23−13−30).A= \begin{pmatrix} 1&0&-1\\ -2&3&-1\\ 3&-3&0 \end{pmatrix}.

也可直接由

(x1−x3−2x1+3x2−x33x1−3x2)=(10−1−23−13−30)(x1x2x3)\begin{pmatrix} x_1-x_3\\ -2x_1+3x_2-x_3\\ 3x_1-3x_2 \end{pmatrix} = \begin{pmatrix} 1&0&-1\\ -2&3&-1\\ 3&-3&0 \end{pmatrix} \begin{pmatrix} x_1\\x_2\\x_3 \end{pmatrix}

驗證。

(b)求 LULU 分解

從矩陣 AA 開始進行高斯消去:

A=(10−1−23−13−30).A= \begin{pmatrix} 1&0&-1\\ -2&3&-1\\ 3&-3&0 \end{pmatrix}.

第一欄的消去倍率為

m21=−21=−2,m31=31=3.m_{21}=\frac{-2}{1}=-2,\qquad m_{31}=\frac{3}{1}=3.

對第二列及第三列消去第一欄:

R2←R2−(−2)R1=R2+2R1,R_2\leftarrow R_2-(-2)R_1=R_2+2R_1,

得到

R2=(0,3,−3).R_2=(0,3,-3). R3←R3−3R1,R_3\leftarrow R_3-3R_1,

得到

R3=(0,−3,3).R_3=(0,-3,3).

此時矩陣變為

(10−103−30−33).\begin{pmatrix} 1&0&-1\\ 0&3&-3\\ 0&-3&3 \end{pmatrix}.

第二欄的消去倍率為

m32=−33=−1.m_{32}=\frac{-3}{3}=-1.

因此

R3←R3−(−1)R2=R3+R2,R_3\leftarrow R_3-(-1)R_2=R_3+R_2,
🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

其他考古題

113 年成功大學的其他科目