108 年 國立政治大學資訊科學系碩士班《機率》

此題主要測試對 C 語言中隨機數生成函數 rand() 和 srand() 的理解，以及其在機率統計中的應用，特別是均勻分布和二元分布。

核心觀念：

1. srand(time(NULL)) 的作用：初始化隨機數生成器，確保每次執行程式時能產生不同的隨機數序列。
2. rand() 函數：生成偽隨機整數，範圍通常在 0 到 RAND_MAX 之間。
3. RAND_MAX：rand() 函數所能生成的最大值。
4. 均勻分布：rand() / (double)RAND_MAX 的結果近似於在 $[0, 1]$ 上的均勻分布。
5. 二元分布 (Bernoulli Distribution)：crossover 函數的輸出，當隨機數小於或等於給定機率 x 時為 1，否則為 0。
6. 大數法則 (Law of Large Numbers)：當重複試驗的次數足夠大時，樣本平均值會趨近於理論期望值。

解題步驟：

(a) 第 13 行的輸出

第 13 行 printf("%6.4f\n", sum / (double)repeats); 印出的是 sum / (double)repeats 的值。
在 main 函數中，sum 是從第 11 行的 for 迴圈累加而來的。迴圈從 i = 0 執行到 i < repeats (即 repeats 次)，每次疊代都將 (double)rand() / (double)RAND_MAX 的值加到 sum 中。
rand() / (double)RAND_MAX 模擬了一個在 $[0, 1]$ 區間上的均勻分布隨機變數。
根據大數法則，當 repeats (即 1000000) 很大時，sum / (double)repeats 的值會近似於這個均勻分布的期望值。
對於一個在 $[0, 1]$ 上的均勻分布，其期望值為 $(0+1)/2 = 0.5$。
因此，第 13 行預期印出一個接近 0.5 的值，格式化為小數點後 4 位。

【答案】接近 0.5000。這是因為 rand() / (double)RAND_MAX 產生的是一個近似於 $[0, 1]$ 上的均勻分布隨機變數，根據大數法則，大量隨機數的平均值會趨近於該分布的期望值，即 $0.5$。

(b) 第 18 行的輸出

第 18 行 printf("%6.4f\n", sum / (double)repeats); 印出的是另一個 sum / (double)repeats 的值。
在第 15-17 行，sum 被重新初始化為 0，然後進入一個 for 迴圈，重複 repeats 次。
每次疊代，sum 被加上 crossover(0.6) 的返回值。
crossover(0.6) 函數的邏輯是：
if ((double)rand() / (double)RAND_MAX <= 0.6)
return 1;
else
return 0;
這表示 crossover(0.6) 模擬了一個伯努利試驗，成功（返回 1）的機率是 $P(\text{rand()} / \text{RAND\_MAX} \le 0.6) = 0.6$，失敗（返回 0）的機率是 $1 - 0.6 = 0.4$。
因此，sum 變數實際上是在計算 repeats 次伯努利試驗中，返回 1 的總次數。
sum / (double)repeats 就是這 repeats 次試驗中，得到 1 的比例。
根據大數法則，當 repeats 很大時，這個比例會趨近於伯努利試驗成功的理論機率。
在這裡，成功的機率是 0.6。
因此，第 18 行預期印出一個接近 0.6 的值，格式化為小數點後 4 位。

【答案】接近 0.6000。這是因為 crossover(0.6) 函數模擬了一個機率為 0.6 的伯努利試驗。根據大數法則，大量重複試驗的平均結果（在此為得到 1 的比例）會趨近於其理論機率。

(c) 第 13 行輸出的資料是否會每次都一樣？

rand() 函數生成的是偽隨機數。雖然 srand(time(NULL)) 確保了每次程式執行時的隨機數序列是不同的，但在單次程式執行過程中，rand() 每次調用都會產生一個不同的、但遵循特定分佈（在這裡是近似均勻分布）的數值。
因此，迴圈中的 sum 變數每次疊代累加的值都會不同，導致 sum / (double)repeats 的最終值在多次執行程式時也會不同。
這些值會圍繞著理論期望值 0.5 波動。由於 repeats 是 1000000，根據大數法則，波動的範圍會比較小，但仍然存在。

【答案】不會。雖然 sum / (double)repeats 的值會趨近於 0.5，但由於 rand() 每次調用產生的都是不同的隨機數，累加後的 `sum

此題主要探討在機器學習的評估中，如何使用信賴區間 (Confidence Interval, CI) 來比較不同模型的性能，特別是當樣本數不同時。

核心觀念：

1. 信賴區間 (Confidence Interval, CI)：提供一個參數（例如分類器的正確率）可能落在哪個範圍內的一個區間估計，並伴隨一個信心水準 (confidence level)。
2. 點估計 (Point Estimate)：單一數值估計參數的值，例如樣本正確率。
3. 大數法則 (Law of Large Numbers)：當樣本數足夠大時，樣本平均值趨近於母體期望值。
4. 中央極限定理 (Central Limit Theorem)：當樣本數足夠大時，樣本平均值的分布近似於常態分布，即使母體分布不是常態。
5. 信賴區間的構成要素：點估計、標準誤 (Standard Error, SE)、信心水準 (通常對應 z 值或 t 值)。
6. 樣本數對信賴區間的影響：樣本數越大，標準誤越小，信賴區間越窄，估計越精確。
7. 變異數 (Variance) 或標準差 (Standard Deviation)：衡量數據離散程度的指標，影響標準誤的大小。

解題步驟：

(a) Confidence Interval 的定義和應用意義

定義：
信賴區間 (Confidence Interval, CI) 是一個給定信心水準 (confidence level) 下，用來估計母體參數（如平均值、比例、變異數等）可能落入的數值範圍。例如，一個 95% 的信賴區間表示，如果我們重複抽樣並計算信賴區間很多次，其中約有 95% 的區間會包含真實的母體參數。

應用意義：

1. 量化不確定性：點估計（如樣本平均值或樣本比例）只能提供一個單一的估計值，但無法告訴我們這個估計值有多可靠。信賴區間則能提供一個範圍，反映了估計值的不確定性。
2. 比較不同群體/模型：當我們需要比較兩個或多個群體（例如不同分類器的性能）時，可以直接比較它們的信賴區間。如果信賴區間重疊程度很小，我們可以認為它們之間存在顯著差異；如果重疊很多，則可能沒有顯著差異。
3. 輔助決策：在科學研究、工程應用、市場調查等領域，信賴區間可以幫助決策者了解估計結果的精確度，並做出更明智的判斷。例如，在醫學上，信賴區間可以幫助評估某種治療方法的有效範圍。
4. 統計推論：信賴區間是統計推論的重要工具，它將樣本的資訊推廣到母體。

【答案】信賴區間是一個給定信心水準下，用來估計母體參數可能落入的數值範圍。其應用意義在於量化估計值的不確定性，並提供一個範圍來比較不同群體或模型的性能，輔助統計決策。

(b) 計算 Confidence Interval 時，相關變數和相關影響

計算信賴區間通常有以下公式形式（以比例為例）：
$\text{CI} = \text{Point Estimate} \pm \text{Margin of Error}$
$\text{Margin of Error} = Z_{\alpha/2} \times \text{Standard Error}$
其中：

• Point Estimate (點估計)：通常是樣本比例，計算方式為 正確案例數 / 總案例數。
  • 對某甲：$750 / 1000 = 0.75$
  • 對某乙：$7500 / 10000 = 0.75$
• Standard Error (標準誤, SE)：衡量樣本統計量（如樣本比例）變異性的指標。對於比例，其估計值為 $\sqrt{\frac{\hat{p}(1-\hat{p})}{n}}$，其中 $\hat{p}$ 是樣本比例，$n$ 是樣本數。
• $Z_{\alpha/2}$ (臨界值)：由信心水準決定的值。例如，對於 95% 的信心水準，$\alpha = 0.05$，$\alpha/2 = 0.025$，查表得到 $Z_{0.025} \approx 1.96$。
• Variance (變異數)：題目提到已知變異數。對於比例，理論變異數是 $p(1-p)$。在計算標準誤時，我們使用樣本比例 $\hat{p}$ 來估計母體比例 $p$，因此使用 $\hat{p}(1-\hat{p})$。如果題目明確給出母體變異數 $\sigma^2$（或其估計值），則標準誤的計算會用到它，例如對於平均數，標準誤是 $\sqrt{\sigma^2 / n}$。

相關變數與影響：

1. 樣本數 ($n$)：

   • 影響：樣本數是分母。樣本數越大，標準誤越小， margin of error 越小，信賴區間越窄，估計越精確。
   • 在此題：某乙的樣本數 (10000) 遠大於某甲 (1000)。這表示某乙的信賴區間預期會比某甲的窄，估計更精確。

2. 樣本比例 ($\hat{p}$)：

   • 影響：樣本比例影響標準誤的計算（$\hat{p}(1-\hat{p})$）。當 $\hat{p}$ 接近 0 或 1 時，$\hat{p}(1-\hat{p})$ 較小；當 $\hat{p}$ 接近 0.5 時，$\hat{p}(1-\hat{p})$ 最大。
   • 在此題：兩者樣本比例都是 0.75。所以 $\hat{p}(1-\hat{p})$ 的值相同。

3. 信心水準 (Confidence Level)：

   • 影響：決定了 $Z_{\alpha/2}$ 的值。信心水準越高（例如 99% vs 95%），$Z_{\alpha/2}$ 越大，margin of error 越大，信賴區間越寬。
   • 在此題：假設我們使用相同的信心水準（例如 95%）來比較兩者。

4. 變異數 (Variance) 或其估計值：

   • 影響：變異數（或標準差）直接影響標準誤。

此題主要測試對條件獨立性 (Conditional Independence, CI) 的理解，以及如何利用條件獨立性來簡化聯合機率分布的表示，特別是與貝氏網路 (Bayesian Network) 的結構相關。

核心觀念：

1. 條件獨立性 (Conditional Independence)：若 A 和 C 對於 B 是條件獨立的，記作 CI(A, C | B)，表示知道 B 的資訊後，A 和 C 之間不再有直接的關聯。數學上，這表示 $P(A, C | B) = P(A | B) P(C | B)$。
2. 聯合機率分布 (Joint Probability Distribution)：描述多個隨機變數同時取特定值的機率。
3. 鏈式法則 (Chain Rule)：將聯合機率分布分解為一系列條件機率的乘積。
4. 貝氏網路的結構：條件獨立性是定義貝氏網路結構的基礎，它決定了變數之間的邊（依賴關係）。

已知條件：

1. CI({X₃}, {X₁}, {X₂}) $\implies \Pr(X_3 | X_1, X_2) = \Pr(X_3 | X_1)$
2. CI({X₄}, {X₁, X₂}, {X₃}) $\implies \Pr(X_4 | X_1, X_2, X_3) = \Pr(X_4 | X_3)$
3. CI({X₄}, {X₁}, {X₂, X₃}) $\implies \Pr(X_4 | X_1, X_2, X_3) = \Pr(X_4 | X_1)$ (請注意：此條件與條件2有潛在衝突，在貝氏網路中，通常只保留最簡化的依賴。但我們依題目給定來推導。如果同時成立，則 $\Pr(X_4 | X_1, X_2, X_3) = \Pr(X_4 | X_1) = \Pr(X_4 | X_3)$。這意味著 $X_4$ 僅僅依賴於 $X_1$ 和 $X_3$ 的某種組合，或是 $X_1$ 和 $X_3$ 在某種意義上「等價」於 $X_4$ 的父節點。我們將依據題目給定的條件來證明。)
4. CI({X₃, X₄}, {X₁, X₂}, {X₅}) $\implies \Pr(X_5 | X_1, X_2, X_3, X_4) = \Pr(X_5 | X_1, X_2)$

證明目標：
$\Pr(x_1, x_2, x_3, x_4, x_5) = \Pr(x_1) \Pr(x_2|x_1) \Pr(x_3|x_1) \Pr(x_4|x_1) \Pr(x_5|x_1, x_2)$

解題步驟：

我們從聯合機率分布的鏈式法則開始，逐步利用給定的條件獨立性來簡化。
$\Pr(x_1, x_2, x_3, x_4, x_5) = \Pr(x_1) \Pr(x_2|x_1) \Pr(x_3|x_1, x_2) \Pr(x_4|x_1, x_2, x_3) \Pr(x_5|x_1, x_2, x_3, x_4)$

現在，我們逐項替換：

1. $\Pr(x_3|x_1, x_2)$：
   根據條件 1: CI({X₃}, {X₁}, {X₂}) $\implies \Pr(X_3 | X_1, X_2) = \Pr(X_3 | X_1)$。
   因此，我們將 $\Pr(x_3|x_1, x_2)$ 替換為 $\Pr(x_3|x_1)$。

   目前的式子變為：
   $\Pr(x_1, x_2, x_3, x_4, x_5) = \Pr(x_1) \Pr(x_2|x_1) \Pr(x_3|x_1) \Pr(x_4|x_1, x_2, x_3) \Pr(x_5|x_1, x_2, x_3, x_4)$

2. $\Pr(x_4|x_1, x_2, x_3)$：
   根據條件 2: CI({X₄}, {X₁, X₂}, {X₃}) $\implies \Pr(X_4 | X_1, X_2, X_3) = \Pr(X_4 | X_3)$。
   根據條件 3: CI({X₄}, {X₁}, {X₂, X₃}) $\implies \Pr(X_4 | X_1, X_2, X_3) = \Pr(X_4 | X_1)$。
   如果題目給定的條件是正確且一致的，則這意味著 $\Pr(X_4 | X_1, X_2, X_3)$ 可以被簡化為 $\Pr(X_4 | X_1)$ 或 $\Pr(X_4 | X_3)$。
   目標式子中要求的是 $\Pr(x_4|x_1)$。
   如果 CI({X₄}, {X₁}, {X₂, X₃}) 成立，則 $\Pr(X_4 | X_1, X_2, X_3) = \Pr(X_4 | X_1)$。
   我們在此使用條件 3 的結論來替換。

   目前的式子變為：
   $\Pr(x_1, x_2, x_3, x_4, x_5) = \Pr(x_1) \Pr(x_2|x_1) \Pr(x_3|x_1) \Pr(x_4|x_1) \Pr(x_5|x_1, x_2, x_3, x_4)$

3. $\Pr(x_5|x_1, x_2, x_3, x_4)$：

核心觀念

泊松隨機變數 $X$ 的機率質量函數為

$$\Pr(X=x)=\frac{e^{-\mu}\mu^x}{x!}, \qquad x=0,1,2,\ldots$$

其中 $\mu\ge 0$。

本題使用以下定義：

$$E[X]=\sum_{x=0}^{\infty}x\Pr(X=x)$$

以及

$$\operatorname{Var}(X)=E[X^2]-\bigl(E[X]\bigr)^2.$$

計算過程的關鍵是利用指數函數級數：

$$e^\mu=\sum_{k=0}^{\infty}\frac{\mu^k}{k!}.$$

---

解題方法

先求平均數，再利用二階階乘動差求變異數。因為泊松分布中的 $x!$ 可以和 $x$、$x(x-1)$ 約分，計算會直接化為 $e^\mu$ 的級數。

一、證明平均數為 $\mu$

依照期望值定義，

$$E[X] =\sum_{x=0}^{\infty}x\frac{e^{-\mu}\mu^x}{x!}.$$

當 $x=0$ 時，該項為 $0$，因此從 $x=1$ 開始：

$$E[X] =e^{-\mu}\sum_{x=1}^{\infty}x\frac{\mu^x}{x!}.$$

利用

$$\frac{x}{x!}=\frac{1}{(x-1)!},$$

得到

$$E[X] =e^{-\mu}\sum_{x=1}^{\infty}\frac{\mu^x}{(x-1)!}.$$

提出一個 $\mu$：

$$E[X] =\mu e^{-\mu}\sum_{x=1}^{\infty}\frac{\mu^{x-1}}{(x-1)!}.$$

令 $k=x-1$，則 $k=0,1,2,\ldots$，所以

$$E[X] =\mu e^{-\mu}\sum_{k=0}^{\infty}\frac{\mu^k}{k!}.$$

由於

$$\sum_{k=0}^{\infty}\frac{\mu^k}{k!}=e^\mu,$$

因此

$$E[X] =\mu e^{-\mu}e^\mu =\mu.$$

故泊松隨機變數的平均數為

$$\boxed{E[X]=\mu}.$$

---

二、求二階動差 $E[X^2]$

直接計算 $E[X^2]$ 也可以，但使用恆等式

$$X^2=X(X-1)+X$$

會更簡潔。因此先求 $E[X(X-1)]$。

依照期望值定義，

此題為貝氏定理 (Bayes' Theorem) 的應用，用來計算在獲得新的證據（檢測結果為陽性）後，更新對事件（是否罹患疾病 D）的機率判斷。

核心觀念：

1. 貝氏定理 (Bayes' Theorem)：用於更新事件發生的機率，當有新的證據出現時。公式為：
   $P(A|B) = \frac{P(B|A) P(A)}{P(B)}$
   其中 $P(B)$ 可以進一步展開為全機率公式：$P(B) = P(B|A)P(A) + P(B|A^c)P(A^c)$。
2. 條件機率 (Conditional Probability)：事件發生的機率，在另一個事件已經發生的前提下。
3. 全機率公式 (Law of Total Probability)：計算一個事件的總機率，通過考慮所有可能的互斥條件。

已知資訊：

• $P(D) = 0.2$ (罹患疾病 D 的先驗機率)
• $P(D^c) = 0.8$ (未罹患疾病 D 的先驗機率)
• $P(\text{Positive} | D) = 0.9$ (若罹患 D，檢測呈陽性的機率，即 Sensitivity 或 True Positive Rate)
• $P(\text{Negative} | D) = 0.1$ (若罹患 D，檢測呈陰性的機率，即 False Negative Rate)
• $P(\text{Positive} | D^c) = 0.3$ (若未罹患 D，檢測呈陽性的機率，即 False Positive Rate)
• $P(\text{Negative} | D^c) = 0.7$ (若未罹患 D，檢測呈陰性的機率，即 Specificity 或 True Negative Rate)

目標：
比較 $P(D | \text{Positive})$ 和 $P(D^c | \text{Positive})$，判斷哪個機率較高。

解題步驟：

我們需要計算後驗機率 (posterior probabilities) $P(D | \text{Positive})$ 和 $P(D^c | \text{Positive})$。

1. 計算 $P(\text{Positive})$ (檢測呈陽性的總機率)
使用全機率公式：
$P(\text{Positive}) = P(\text{Positive} | D) P(D) + P(\text{Positive} | D^c) P(D^c)$
$P(\text{Positive}) = (0.9)(0.2) + (0.3)(0.8)$
$P(\text{Positive}) = 0.18 + 0.24$
$P(\text{Positive}) = 0.42$

2. 計算 $P(D | \text{Positive})$ (已知檢測陽性，罹患 D 的機率)
使用貝氏定理：
$P(D | \text{Positive}) = \frac{P(\text{Positive} | D) P(D)}{P(\text{Positive})}$
$P(D | \text{Positive}) = \frac{(0.9)(0.2)}{0.42}$
$P(D | \text{Positive}) = \frac{0.18}{0.42}$
$P(D | \text{Positive}) = \frac{18}{42} = \frac{3}{7} \approx 0.4286$

3. 計算 $P(D^c | \text{Positive})$ (已知檢測陽性，未罹患 D 的機率)
使用貝氏定理：
$P(D^c | \text{Positive}) = \frac{P(\text{Positive} | D^c) P(D^c)}{P(\text{Positive})}$

核心觀念

本題考查累積分布函數與期望值的關係，以及隨機變數的隨機序。

對於非負隨機變數 $X$，其期望值可用尾端機率表示為

$$\mathbb{E}[X] =\int_0^\infty P(X>t)\,dt.$$

若累積分布函數為 $F$，則

$$P(X>t)=1-F(t),$$

因此

$$\mathbb{E}_F[X] =\int_0^\infty \bigl(1-F(t)\bigr)\,dt.$$

同理，

$$\mathbb{E}_G[X] =\int_0^\infty \bigl(1-G(t)\bigr)\,dt.$$

題目給定對所有 $x$ 都有

$$F(x)\geq G(x).$$

這代表採用分布 $F$ 時，累積機率較早增加，隨機變數較傾向取較小的值；採用分布 $G$ 時，$X$ 具有較大的右尾，因此期望值較大。

解題方法

由 $F(t)\geq G(t)$，兩邊同時取 $1$ 並反向不等式，可得

$$1-F(t)\leq 1-G(t).$$

將此不等式對 $t\in[0,\infty)$ 積分：

$$\int_0^\infty \bigl(1-F(t)\bigr)\,dt \leq \int_0^\infty \bigl(1-G(t)\bigr)\,dt.$$

利用非負隨機變數的尾端積分公式：

$$\mathbb{E}_F[X]\leq \mathbb{E}_G[X].$$

因此，使用分布 $G$ 所得到的評價分數期望值不小於使用分布 $F$ 的期望值。若在某些區間上嚴格滿足 $F(x)>G(x)$，且該區間具有正長度，則通常有

$$\mathbb{E}_F[X]<\mathbb{E}_G[X].$$

選項分析

選擇分布 $F$