114 年 國立成功大學電腦與通信工程研究所丁組《人工智慧概論》

這題考驗對開發穩健人工智慧系統時常見挑戰的理解。穩健的 AI 系統應該在各種情況下都能表現良好且可靠。

選項 (a)、(b)、(c) 都是開發 AI 系統時普遍存在且難以克服的挑戰：
(a) 資料偏差與公平性問題：訓練資料中的偏差可能導致 AI 模型產生不公平或歧視性的結果。
(b) 可解釋性與可解釋性：許多複雜的 AI 模型（如深度學習模型）是「黑盒子」，難以理解其決策過程，這在需要高度信任和問責的領域（如醫療、金融）是個大問題。

這題考驗對圖神經網路 (GNN) 中聚合函數 (aggregation function) 作用的理解。GNN 的核心思想是讓圖中的節點能夠透過訊息傳遞 (message passing) 來學習其表示 (representation)。

在 GNN 的訊息傳遞階段，每個節點會從其鄰居節點收集資訊。聚合函數的任務就是將來自不同鄰居節點的資訊進行整合，產生一個代表鄰居資訊的單一向量。這個整合後的向量隨後會與節點自身的特徵結合，用於更新節點的表示。

選項分析：
(a) 歸一化節點特徵 (normalize the node features)：雖然歸一化可能在 GNN 中作為預處理或在某些層中進行，但這不是聚合函數的主要角色

這題考驗對卷積神經網路 (CNN) 中不同層級功能及其在特徵提取和降維中的作用的理解。CNN 在影像處理任務中非常常見，其結構包含多種層級。

在典型的 CNN 架構中，卷積層 (Convolutional Layer) 負責提取影像中的局部特徵（如邊緣、紋理），而池化層 (Pooling Layer) 則主要用於降低影像的空間維度（降維），同時保留最重要的特徵資訊，並增加模型的對抗雜訊能力。

選項分析：
(a) 全連接層 (Fully Connected Layer)：通常在 CNN 的較深層，用於對提取到的特徵進行分類，但不直接用於降維或提取圖像的局部特徵。

這題考驗對不同降維技術的理解，以及它們在保留資料變異性方面的適用性。題目要求將 10 維資料降到 2 維，並「盡可能保留變異性 (preserving as much variance as possible)」。

主成分分析 (PCA) 是一種線性降維技術，其核心目標就是找到能夠最大化資料變異性 (variance) 的投影方向。它尋找新的正交軸（主成分），使得資料在這些軸上的投影能夠捕捉到最多的變異。因此，PCA 非常適合用於在降維的同時保留最多的資料變異性。

選項分析：
(a) 主成分分析 (Principal Component Analysis, PCA)：如上所述，PCA 的目標就是最大化保留變異性，因此是此問題最適合的技術。

這題考驗對機器學習中正則化 (regularization) 的基本目的的理解。正則化是為了提高模型的泛化能力 (generalization ability)，即模型在未見過的資料上的表現。

正則化技術通過在模型的損失函數中添加一個懲罰項來實現，這個懲罰項與模型參數的大小有關。這樣做有助於約束模型的複雜度，防止模型過度擬合訓練資料。

選項分析：
(a) 增加訓練速度 (To increase the training speed)：正則化通常會增加計算複雜度，因為損失函數中加入了額外的項，所以不太可能加快訓練速度。
(b) 防止過擬合 (To prevent overfitting)：這是正則化的主要目的。

這題考驗對邏輯迴歸模型優化目標和常用演算法的理解。

首先，題目給出的成本函數 $J(\theta)$ 是針對單一資料點的交叉熵損失 (cross-entropy loss)，也稱為負對數似然 (negative log-likelihood)。在機器學習中，我們通常的目標是最小化損失函數或成本函數，因為損失函數衡量的是模型的預測誤差。最小化 $J(\theta)$ 就意味著使模型的預測機率 $h_\theta(x)$ 盡可能接近真實標籤 $y$。

因此，優化過程的目標是最小化 $J(\theta)$。

其次，對於邏輯迴歸這種模型，其參數 $\theta$ 的學習是通過找到使成本函數最小化的值。最常用來實現這一目標的演算法是梯度下降 (Gradient Descent) 及其變種。梯度下降通過迭代地沿著損失函數的負梯度方向更新參數，逐步逼近最小值。

這題考驗對深度神經網路中常見的激活函數 (activation function) 及其在緩解梯度消失 (vanishing gradient) 問題方面的作用的理解。

梯度消失問題發生在深層神經網路中，當梯度在反向傳播時變得非常小，導致靠近輸入層的神經元的權重更新非常緩慢，模型難以學習。

選項分析：
(a) Sigmoid：Sigmoid 函數（例如 $\sigma(x) = 1/(1 + e^{-x})$）的輸出範圍是 (0, 1)。其導數在輸入值遠大於 0 或遠小於 0 時非常接近於 0，這容易導致梯度消失。
(b) Tanh (雙曲正切函數)：Tanh 函數（例如 $\tanh(x) = (e^x - e^{-x})/(e^x + e^{-x})$）的輸出範圍是 (-1, 1)。

這題考驗對無監督學習 (unsupervised learning) 主要目標的理解。

無監督學習的特點是它處理的訓練資料沒有對應的標籤或目標變數。因此，它的目標不是去預測一個已知的目標，也不是將資料分到預先定義好的類別。

選項分析：
(a) 預測目標變數 (To predict a target variable)：這是監督式學習（如分類和迴歸）的主要目標。

這題考驗對強化學習 (reinforcement learning) 中 Q-learning 演算法的理解。

Q-learning 是一種離線 (off-policy) 的強化學習演算法，它的核心目標是學習一個動作價值函數 (action-value function)，通常表示為 $Q(s, a)$。這個函數估計了在狀態 $s$ 下執行動作 $a$ 後，能獲得的總體預期折扣回報 (expected discounted future reward)。

選項分析：
(a) 狀態的價值 (The value of a state)：狀態價值函數 $V(s)$ 估計在狀態 $s$ 下，遵循某個策略所能獲得的總預期折扣回報。Q-learning 直接學習的是動作價值，雖然可以從 Q-value 推導出 V-value，但 $V(s)$ 並非 Q-learning 直接估計的目標。
(b) 最優策略 (The optimal policy)：最優策略 $\pi^*(s)$ 是指在每個狀態下選擇能最大化預期回報的動作。

這題考驗對支援向量機 (SVM) 的訓練演算法以及其決策邊界特徵的理解。

SVM 的目標是找到一個最佳的超平面（決策邊界），該超平面能夠將不同類別的資料點分開，並且使兩類資料點之間的最窄距離（稱為「間隔」，margin）最大化。

選項分析：
(a) 梯度下降；線性 (Gradient Descent; Linear)：梯度下降常用於許多機器學習模型的訓練，包括某些 SVM 的實現，但 SVM 的核心優勢和決策邊界的關鍵特徵並非僅僅是「線性」。此外，標準的梯度下降在處理 SVM 的二次規劃問題時可能效率不高。
(b) K-means 聚類；圓形 (K-means clustering; Circular)：K-means 是一種無監督聚類演算法，與 SVM 的監督學習目標和決策邊界無關。SVM 的決策邊界不一定是圓形的。