108 年 國立政治大學金融學系碩士班財務工程組《統計學B》

此題主要考驗隨機變數的機率密度函數性質、期望值與變異數的計算。

(a) 1. 根據機率密度函數的定義，函數 $f(x)$ 必須滿足 $\int_{-\infty}^{\infty} f(x) dx = 1$。
對於給定的 $f(x)$，我們有：
$\int_{-\infty}^{\infty} f(x) dx = \int_{0}^{3} k(9-x^2) dx = k \int_{0}^{3} (9-x^2) dx$
$= k \left[ 9x - \frac{x^3}{3} \right]_{0}^{3} = k \left( (9 \cdot 3 - \frac{3^3}{3}) - (9 \cdot 0 - \frac{0^3}{3}) \right)$
$= k \left( 27 - \frac{27}{3} \right) = k (27 - 9) = 18k$
為了使 $f(x)$ 成為一個合法的機率密度函數，我們必須有 $18k = 1$，所以 $k = \frac{1}{18}$。

2. 期望值 $E(X)$ 的計算公式為 $E(X) = \int_{-\infty}^{\infty} x f(x) dx$。
   $E(X) = \int_{0}^{3} x \cdot \frac{1}{18}(9-x^2) dx = \frac{1}{18} \int_{0}^{3} (9x-x^3) dx$
   $= \frac{1}{18} \left[ \frac{9x^2}{2} - \frac{x^4}{4} \right]_{0}^{3} = \frac{1}{18} \left( (\frac{9 \cdot 3^2}{2} - \frac{3^4}{4}) - (0-0) \right)$
   $= \frac{1}{18} \left( \frac{81}{2} - \frac{81}{4} \right) = \frac{1}{18} \left( \frac{162-81}{4} \right) = \frac{1}{18} \left( \frac{81}{4} \right) = \frac{81}{72} = \frac{9}{8}$

3. 變異數 $\text{Var}(X)$ 的計算公式為 $\text{Var}(X) = E(X^2) - (E(X))^2$。
   首先，我們需要計算 $E(X^2)$：
   $E(X^2) = \int_{-\infty}^{\infty} x^2 f(x) dx = \int_{0}^{3} x^2 \cdot \frac{1}{18}(9-x^2) dx = \frac{1}{18} \int_{0}^{3} (9x^2-x^4) dx$
   $= \frac{1}{18} \left[ \frac{9x^3}{3} - \frac{x^5}{5} \right]_{0}^{3} = \frac{1}{18} \left[ 3x^3 - \frac{x^5}{5} \right]_{0}^{3}$

此題考驗隨機變數的獨立性、聯合機率密度函數、邊際機率密度函數、變數轉換以及條件機率密度函數的計算。X 與 Y 皆為參數為 $\lambda=1$ 的指數分佈，即 $X, Y \sim \text{Exponential}(1)$。

(a) 由於 X 和 Y 是獨立的隨機變數，它們的聯合機率密度函數是它們各自邊際機率密度函數的乘積。
$f_X(x) = e^{-x} \mathbb{1}_{\{x \ge 0\}}$
$f_Y(y) = e^{-y} \mathbb{1}_{\{y \ge 0\}}$
聯合密度函數 $f_{X,Y}(x,y)$ 為：
$f_{X,Y}(x,y) = f_X(x) f_Y(y) = e^{-x} \mathbb{1}_{\{x \ge 0\}} \cdot e^{-y} \mathbb{1}_{\{y \ge 0\}} = e^{-(x+y)} \mathbb{1}_{\{x \ge 0, y \ge 0\}}$

(b) 我們要找 $(X, T)$ 的聯合密度函數，其中 $T = X+Y$。這是一個變數轉換問題。
我們有原始變數 $(X, Y)$，轉換到新變數 $(X, T)$。
令 $U = X$，$V = T = X+Y$。
反向轉換為 $X = U$，$Y = V-X = V-U$。
雅可比行列式 (Jacobian) 的絕對值為：
$J = \det \begin{pmatrix} \frac{\partial x}{\partial u} & \frac{\partial x}{\partial v} \\ \frac{\partial y}{\partial u} & \frac{\partial y}{\partial v} \end{pmatrix} = \det \begin{pmatrix} \frac{\partial U}{\partial U} & \frac{\partial U}{\partial V} \\ \frac{\partial (V-U)}{\partial U} & \frac{\partial (V-U)}{\partial V} \end{pmatrix} = \det \begin{pmatrix} 1 & 0 \\ -1 & 1 \end{pmatrix} = |1 \cdot 1 - 0 \cdot (-1)| = |1| = 1$
新的聯合密度函數 $f_{X,T}(u,v)$ 為：
$f_{X,T}(u,v) = f_{X,Y}(x(u,v), y(u,v)) |J|$
$f_{X,T}(u,v) = e^{-(u + (v-u))} \mathbb{1}_{\{u \ge 0, v-u \ge 0\}} \cdot 1 = e^{-v} \mathbb{1}_{\{u \ge 0, v \ge u\}}$
將變數名稱改回 $(x, t)$，即 $(X, T)$：
$f_{X,T}(x,t) = e^{-t} \mathbb{1}_{\{x \ge 0, t \ge x\}}$
這個區域表示 $t \ge 0$ 且 $0 \le x \le t$。

(c) T 的邊際密度函數 $f_T(t)$ 可以通過對聯合密度函數 $f_{X,T}(x,t)$ 對 X 積分得到。
$f_T(t) = \int_{-\infty}^{\infty} f_{X,T}(x,t) dx$
根據 $f_{X,T}(x,t)$ 的定義，積分範圍是 $0 \le x \le t$。

此題考驗貝氏推論，包含後驗分佈的推導以及最大後驗估計量 (Maximum A Posteriori, MAP) 的計算。
我們已知：

1. 觀測值 $X$ 服從常態分佈，其平均數為 $\mu$ (未知)，變異數為 $\sigma^2 = 1$。即 $X | \mu \sim N(\mu, 1)$。
2. 先驗分佈為標準常態分佈，即 $\mu \sim N(0, 1)$。
3. 我們觀測到 $X = x$。

我們要推導 $\mu$ 在觀測到 $X=x$ 後的後驗分佈，並找出 MAP 估計量。

貝氏定理的聯合機率密度函數為：
$f(x, \mu) = f(x|\mu) f(\mu)$

首先，寫出各別的機率密度函數：
$f(x|\mu) = \frac{1}{\sqrt{2\pi \sigma^2}} e^{-\frac{1}{2\sigma^2}(x-\mu)^2} = \frac{1}{\sqrt{2\pi}} e^{-\frac{1}{2}(x-\mu)^2}$ (因為 $\sigma^2 = 1$)
$f(\mu) = \frac{1}{\sqrt{2\pi \cdot 1}} e^{-\frac{1}{2 \cdot 1}(\mu-0)^2} = \frac{1}{\sqrt{2\pi}} e^{-\frac{1}{2}\mu^2}$ (因為先驗是標準常態，平均數為 0，變異數為 1)

聯合密度函數 $f(x, \mu)$ 對於給定的 $x$ (視為常數) 和變數 $\mu$ 為：
$f(x, \mu) \propto f(x|\mu) f(\mu) \propto e^{-\frac{1}{2}(x-\mu)^2} \cdot e^{-\frac{1}{2}\mu^2}$

我們關心的是後驗分佈 $f(\mu|x)$，根據貝氏定理，$f(\mu|x) = \frac{f(x|\mu)f(\mu)}{f(x)}$。由於 $f(x)$ 對於 $\mu$ 來說是常數，我們只需要關注 $f(x|\mu)f(\mu)$ 的形式，並將其配方成常態分佈的形式。
$f(\mu|x) \propto e^{-\frac{1}{2}(x-\mu)^2} e^{-\frac{1}{2}\mu^2}$
$\propto \exp\left(-\frac{1}{2}[(x-\mu)^2 + \mu^2]\right)$
展開指數項的內容：
$(x-\mu)^2 + \mu^2 = x^2 - 2x\mu + \mu^2 + \mu^2 = x^2 - 2x\mu + 2\mu^2$
我們希望將此形式配方成常態分佈的指數形式：$-\frac{1}{2}[(\mu - \text{mean})^2 / \text{variance}]$。
$2\mu^2 - 2x\mu + x^2 = 2\left(\mu^2 - x\mu\right) + x^2$

核心觀念

本題考查：

• 由獨立樣本的聯合密度函數建立概似函數；
• 將概似函數取對數，得到對數概似函數；
• 以微分與二階導數求最大概似估計量；
• 注意 Pareto 分配的支持集限制：必須滿足 $x_i\ge m$。

假設 $x_1,\dots,x_n$ 相互獨立，且參數限制為 $\gamma>0$、$m>0$。

---

(a) 概似函數與對數概似函數

單一觀察值 $x_i$ 的機率密度為

$$f(x_i\mid \gamma,m) = \frac{\gamma m^\gamma}{x_i^{\gamma+1}} I(x_i\ge m),$$

其中 $I(x_i\ge m)$ 為指示函數：

$$I(x_i\ge m) = \begin{cases} 1, & x_i\ge m,\\ 0, & x_i<m. \end{cases}$$

由於樣本相互獨立，聯合密度等於各觀察值密度的乘積，因此概似函數為

$$L(\gamma,m\mid x_1,\dots,x_n) = \prod_{i=1}^{n} \frac{\gamma m^\gamma}{x_i^{\gamma+1}} I(x_i\ge m).$$

整理得

$$L(\gamma,m\mid x_1,\dots,x_n) = \gamma^n m^{n\gamma} \left(\prod_{i=1}^{n}x_i^{-(\gamma+1)}\right) I\left(m\le \min_{1\le i\le n}x_i\right).$$

令

$$x_{(1)}=\min\{x_1,\dots,x_n\},$$

則概似函數可寫成

$$L(\gamma,m\mid x_1,\dots,x_n) = \begin{cases} \displaystyle \gamma^n m^{n\gamma} \prod_{i=1}^{n}x_i^{-(\gamma+1)}, & 0<m\le x_{(1)},\\[2ex] 0, & m>x_{(1)}. \end{cases}$$

取對數後，當 $0<m\le x_{(1)}$ 時，

$$\ell(\gamma,m) = \log L(\gamma,m\mid x_1,\dots,x_n).$$

因此

$$\ell(\gamma,m) = n\log\gamma+n\gamma\log m -(\gamma+1)\sum_{i=1}^{n}\log x_i.$$

也可整理為

$$\ell(\gamma,m) = n\log\gamma +n\gamma\log m -\gamma\sum_{i=1}^{n}\log x_i -\sum_{i=1}^{n}\log x_i.$$

若 $m>x_{(1)}$，概似函數為 $0$，其對數概似函數為 $-\infty$。

---

(b) 固定 $m$ 時，$\gamma$ 的最大概似估計量

固定 $m$，考慮對數概似函數

$$\ell(\gamma) = n\log\gamma+n\gamma\log m -(\gamma+1)\sum_{i=1}^{n}\log x_i.$$

對 $\gamma$ 微分：

$$\frac{\partial\ell}{\partial\gamma} = \frac{n}{\gamma} +n\log m -\sum_{i=1}^{n}\log x_i.$$

令一階導數等於 $0$：

$$\frac{n}{\gamma} +n\log m -\sum_{i=1}^{n}\log x_i =0.$$

移項可得

$$\frac{n}{\gamma} = \sum_{i=1}^{n}\log x_i-n\log m.$$

利用

$$\sum_{i=1}^{n}\log x_i-n\log m = \sum_{i=1}^{n}\log\left(\frac{x_i}{m}\right),$$

得到