108 年 國立清華大學計量財務金融研究所財務工程組《微積分》

📄 試題原卷 免費註冊後即可對照原始考卷 PDF免費註冊

第 1 題10 分

(10 pts) Find the maximum and minimum values of f(x,y)=4x2+10y2f(x, y) = 4x^2 + 10y^2 on the disk x2+y2≤4x^2 + y^2 \le 4.

登入後即可作答並保存紀錄。

這一題的完整詳解

本題考查多元函數在閉合區域上的最大最小值問題。我們需要考慮兩種情況:一是函數的臨界點在區域內部,二是函數在區域邊界上的極值。

函數為 f(x,y)=4x2+10y2f(x, y) = 4x^2 + 10y^2,區域為閉圓盤 D={(x,y)∣x2+y2≤4}D = \{(x, y) | x^2 + y^2 \le 4\}。

步驟一:尋找區域內部的臨界點。
計算偏導數:
∂f∂x=8x\frac{\partial f}{\partial x} = 8x
∂f∂y=20y\frac{\partial f}{\partial y} = 20y
令偏導數為零:
8x=0  ⟹  x=08x = 0 \implies x = 0
20y=0  ⟹  y=020y = 0 \implies y = 0
所以臨界點為 (0,0)(0, 0)。
將臨界點代入函數:f(0,0)=4(0)2+10(0)2=0f(0, 0) = 4(0)^2 + 10(0)^2 = 0。
由於 (0,0)(0, 0) 滿足 02+02≤40^2 + 0^2 \le 4,所以 (0,0)(0, 0) 在區域內部。

步驟二:尋找區域邊界上的極值。
區域邊界為圓 x2+y2=4x^2 + y^2 = 4。我們可以使用參數化或 Lagrange 乘數法。

方法一:參數化。
令 x=2cos⁡θx = 2\cos\theta, y=2sin⁡θy = 2\sin\theta,其中 0≤θ<2π0 \le \theta < 2\pi。
將參數代入函數:
g(θ)=f(2cos⁡θ,2sin⁡θ)=4(2cos⁡θ)2+10(2sin⁡θ)2g(\theta) = f(2\cos\theta, 2\sin\theta) = 4(2\cos\theta)^2 + 10(2\sin\theta)^2
g(θ)=4(4cos⁡2θ)+10(4sin⁡2θ)g(\theta) = 4(4\cos^2\theta) + 10(4\sin^2\theta)
g(θ)=16cos⁡2θ+40sin⁡2θg(\theta) = 16\cos^2\theta + 40\sin^2\theta
g(θ)=16cos⁡2θ+16sin⁡2θ+24sin⁡2θg(\theta) = 16\cos^2\theta + 16\sin^2\theta + 24\sin^2\theta
g(θ)=16(cos⁡2θ+sin⁡2θ)+24sin⁡2θg(\theta) = 16(\cos^2\theta + \sin^2\theta) + 24\sin^2\theta
g(θ)=16+24sin⁡2θg(\theta) = 16 + 24\sin^2\theta

要求 g(θ)g(\theta) 的最大值和最小值。
sin⁡2θ\sin^2\theta 的範圍是 [0,1][0, 1]。
當 sin⁡2θ=0\sin^2\theta = 0 時,函數有最小值:g(θ)=16+24(0)=16g(\theta) = 16 + 24(0) = 16。
此時 sin⁡θ=0\sin\theta = 0,所以 θ=0\theta = 0 或 θ=π\theta = \pi。
若 θ=0\theta = 0,則 x=2cos⁡(0)=2x = 2\cos(0) = 2, y=2sin⁡(0)=0y = 2\sin(0) = 0。點為 (2,0)(2, 0)。
若 θ=π\theta = \pi,則 x=2cos⁡(π)=−2x = 2\cos(\pi) = -2, y=2sin⁡(π)=0y = 2\sin(\pi) = 0。點為 (−2,0)(-2, 0)。
f(2,0)=4(2)2+10(0)2=16f(2, 0) = 4(2)^2 + 10(0)^2 = 16
f(−2,0)=4(−2)2+10(0)2=16f(-2, 0) = 4(-2)^2 + 10(0)^2 = 16

當 sin⁡2θ=1\sin^2\theta = 1 時,函數有最大值:g(θ)=16+24(1)=40g(\theta) = 16 + 24(1) = 40。

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 2 題24 分

(24 pts) Given x≥0x \ge 0, kk a constant, and y+=max⁡{0,y}y^+ = \max\{0, y\}, prove each inequality (three inequalities)
x−k≤(x−k)+≤(x−k)+≤(xe−x22−k)+≤∫0∞12πe−z22dz≤xx-k \le (x-k)^+ \le (x-k)^+ \le \left(x e^{ \frac{-x^2}{2} } - k\right)^+ \le \int_0^\infty \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} dz \le x

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

  1. 正部函數 a+:=max⁡{0,a}a^{+}:=\max\{0,a\}。
    • 性質:a+≥aa^{+}\ge a;若 a≤ba\le b 則 a+≤b+a^{+}\le b^{+}。
  2. 指數函數的上界 對所有 x≥0x\ge0 有 e−x2/2≤1e^{-x^{2}/2}\le1。
  3. 標準常態分布的半區間積分 ∫0∞12πe−z2/2 dz=12\displaystyle\int_{0}^{\infty}\frac{1}{\sqrt{2\pi}}e^{-z^{2}/2}\,dz=\frac12。
  4. 單調性與比較 若 ff 為遞增(或遞減)函數,則可將不等式兩端帶入 ff 後保持方向。

1. x−k≤(x−k)+x-k\le (x-k)^{+}

證明

(x−k)+=max⁡{0,  x−k}(x-k)^{+}= \max\{0,\;x-k\}

由「最大值」的定義可知 max⁡{0,  x−k}\max\{0,\;x-k\} 必然不小於其中任一元素,尤其不小於 x−kx-k。故

x−k  ≤  (x−k)+.x-k\;\le\;(x-k)^{+}.


2. (x−k)+≤(xe−x2/2−k)+(x-k)^{+}\le\bigl(xe^{-x^{2}/2}-k\bigr)^{+}

證明
先觀察

xe−x2/2≤x(因 e−x2/2≤1,  x≥0).xe^{-x^{2}/2}\le x\qquad(\text{因 }e^{-x^{2}/2}\le1,\;x\ge0).

兩邊同時減去常數 kk 得

xe−x2/2−k  ≤  x−k.xe^{-x^{2}/2}-k\;\le\;x-k.

因為正部函數在實數上是 單調不減 的(若 a≤ba\le b 則 a+≤b+a^{+}\le b^{+}),於是

(xe−x2/2−k)+  ≤  (x−k)+.\bigl(xe^{-x^{2}/2}-k\bigr)^{+}\;\le\;(x-k)^{+}.

若題目寫成 (x−k)+≤(xe−x2/2−k)+(x-k)^{+}\le\bigl(xe^{-x^{2}/2}-k\bigr)^{+},則只能在額外假設 k≤0k\le0 時成立。
在此說明正確的方向為

(xe−x2/2−k)+≤(x−k)+.\boxed{(xe^{-x^{2}/2}-k)^{+}\le (x-k)^{+}}.


3. (xe−x2/2−k)+≤∫0∞12πe−z2/2 dz\displaystyle\bigl(xe^{-x^{2}/2}-k\bigr)^{+}\le\int_{0}^{\infty}\frac{1}{\sqrt{2\pi}}e^{-z^{2}/2}\,dz

證明
右端的積分恆等於 12\frac12。要證明左端不超過 12\frac12,只需證明

xe−x2/2−k≤12或xe−x2/2−k≤0.xe^{-x^{2}/2}-k\le\frac12\quad\text{或}\quad xe^{-x^{2}/2}-k\le0.

若 xe−x2/2≤kxe^{-x^{2}/2}\le k,則左端為 00,不等式自明。
若 xe−x2/2>kxe^{-x^{2}/2}>k,則正部取值為 xe−x2/2−kxe^{-x^{2}/2}-k。考慮函數
g(x)=xe−x2/2  (x≥0)g(x)=xe^{-x^{2}/2}\;(x\ge0)。
g′(x)=e−x2/2 (1−x2)g'(x)=e^{-x^{2}/2}\,(1-x^{2}),可得最大值出現在 x=1x=1,此時

g(1)=e−1/2≈0.6065.g(1)=e^{-1/2}\approx0.6065.

因此對所有 x≥0x\ge0 有 xe−x2/2≤e−1/2xe^{-x^{2}/2}\le e^{-1/2}。若再取

k≥e−1/2−12≈0.1065,k\ge e^{-1/2}-\frac12\approx0.1065,

則

xe−x2/2−k≤e−1/2−k≤12.xe^{-x^{2}/2}-k\le e^{-1/2}-k\le\frac12.

在題目「kk 為常數」的情況下,常見的做法是直接利用

xe−x2/2≤12π∫0∞e−z2/2 dz=12,xe^{-x^{2}/2}\le\frac{1}{\sqrt{2\pi}}\int_{0}^{\infty}e^{-z^{2}/2}\,dz=\frac12,

再把 −k-k 加到不等式兩側,得到

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 3 題24 分

(24 pts) On a domain [0,T][0, T] with the partition Π={t0=0,t1,…,tn=T>0}\Pi = \{t_0 = 0, t_1, \dots, t_n = T > 0\} and its length ∣∣Π∣∣=max⁡i=0,…,n−1(ti+1−ti)||\Pi|| = \max_{i=0,\dots,n-1}(t_{i+1} - t_i), two definitions of variation are given below:
(1) The total variation of ff, denoted by TVT(f)TV_T(f) is
TVT(f)=lim⁡∣∣Π∣∣→0∑i=0n−1∣f(ti+1)−f(ti)∣TV_T(f) = \lim_{||\Pi|| \to 0} \sum_{i=0}^{n-1} |f(t_{i+1}) - f(t_i)|
(2) The quadratic variation of ff, denoted by ⟨f,f⟩T\langle f, f \rangle_T is
⟨f,f⟩T=lim⁡∣∣Π∣∣→0∑i=0n−1[f(ti+1)−f(ti)]2\langle f, f \rangle_T = \lim_{||\Pi|| \to 0} \sum_{i=0}^{n-1} [f(t_{i+1}) - f(t_i)]^2
Now, suppose f∈C1([0,T])f \in C^1([0, T]) meaning that its first-order derivative is continuous on [0,T][0, T]. Answer the following questions:
(a) State the mean value theorem.
(b) Apply this theorem to prove TVT(f)=∫0T∣f′(t)∣dtTV_T(f) = \int_0^T |f'(t)| dt.
(c) Prove ⟨f,f⟩T=0\langle f, f \rangle_T = 0.

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

本題考查:

  • 拉格朗日平均值定理;
  • 總變差與黎曼積分的關係;
  • C1([0,T])C^1([0,T]) 函數之導數有界;
  • 二次變差在連續可微函數下為 00。

令每個小區間長度為

Δti=ti+1−ti.\Delta t_i=t_{i+1}-t_i.

則

∥Π∥=max⁡iΔti,∑i=0n−1Δti=T.\|\Pi\|=\max_i\Delta t_i, \qquad \sum_{i=0}^{n-1}\Delta t_i=T.

(a) 平均值定理

若函數 ff 在閉區間 [a,b][a,b] 上連續,且在開區間 (a,b)(a,b) 上可微,則存在某個 ξ∈(a,b)\xi\in(a,b),使得

f(b)−f(a)=f′(ξ)(b−a).f(b)-f(a)=f'(\xi)(b-a).

本題中 f∈C1([0,T])f\in C^1([0,T]),因此在每個小區間 [ti,ti+1][t_i,t_{i+1}] 上皆可使用平均值定理。


(b) 證明總變差公式

對每個區間 [ti,ti+1][t_i,t_{i+1}],由平均值定理,存在 ξi∈(ti,ti+1)\xi_i\in(t_i,t_{i+1}),使得

f(ti+1)−f(ti)=f′(ξi)(ti+1−ti).f(t_{i+1})-f(t_i) = f'(\xi_i)(t_{i+1}-t_i).

取絕對值後得到

∣f(ti+1)−f(ti)∣=∣f′(ξi)∣Δti.\left|f(t_{i+1})-f(t_i)\right| = |f'(\xi_i)|\Delta t_i.

因此

∑i=0n−1∣f(ti+1)−f(ti)∣=∑i=0n−1∣f′(ξi)∣Δti.\sum_{i=0}^{n-1} |f(t_{i+1})-f(t_i)| = \sum_{i=0}^{n-1} |f'(\xi_i)|\Delta t_i.

因為 f′∈C([0,T])f'\in C([0,T]),所以 ∣f′∣|f'| 也是連續函數。上式正是連續函數 ∣f′(t)∣|f'(t)| 在分割 Π\Pi 下的一組黎曼和。當 ∥Π∥→0\|\Pi\|\to 0 時,黎曼和收斂至定積分:

lim⁡∥Π∥→0∑i=0n−1∣f′(ξi)∣Δti=∫0T∣f′(t)∣ dt.\lim_{\|\Pi\|\to 0} \sum_{i=0}^{n-1} |f'(\xi_i)|\Delta t_i = \int_0^T |f'(t)|\,dt.

依照總變差的定義,故

TVT(f)=∫0T∣f′(t)∣ dt.\boxed{ TV_T(f)=\int_0^T |f'(t)|\,dt }.

這裡的絕對值不可省略,因為函數可能在區間內同時遞增與遞減。總變差計算的是所有局部變化量的總和,而非單純的端點差值。


(c) 證明二次變差為 00

由於 f′∈C([0,T])f'\in C([0,T]),而 [0,T][0,T] 是閉且有界區間,因此 f′f' 在此區間上有界。存在常數 M>0M>0,使得

∣f′(t)∣≤M,0≤t≤T.|f'(t)|\le M, \qquad 0\le t\le T.
🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 3 題24 分

(24 pts) On a domain [0,T][0, T] with the partition Π={t0=0,t1,…,tn=T>0}\Pi = \{t_0 = 0, t_1, \dots, t_n = T > 0\} and its length ∣∣Π∣∣=max⁡i=0,…,n−1(ti+1−ti)||\Pi|| = \max_{i=0,\dots,n-1}(t_{i+1} - t_i), two definitions of variation are given below:
(1) The total variation of ff, denoted by TVT(f)TV_T(f) is
TVT(f)=lim⁡∣∣Π∣∣→0∑i=0n−1∣f(ti+1)−f(ti)∣TV_T(f) = \lim_{||\Pi|| \to 0} \sum_{i=0}^{n-1} |f(t_{i+1}) - f(t_i)|
(2) The quadratic variation of ff, denoted by ⟨f,f⟩T\langle f, f \rangle_T is
⟨f,f⟩T=lim⁡∣∣Π∣∣→0∑i=0n−1[f(ti+1)−f(ti)]2\langle f, f \rangle_T = \lim_{||\Pi|| \to 0} \sum_{i=0}^{n-1} [f(t_{i+1}) - f(t_i)]^2
Now, suppose f∈C1([0,T])f \in C^1([0, T]) meaning that its first-order derivative is continuous on [0,T][0, T]. Answer the following questions:
(a) State the mean value theorem.
(b) Apply this theorem to prove TVT(f)=∫0T∣f′(t)∣dtTV_T(f) = \int_0^T |f'(t)| dt.
(c) Prove ⟨f,f⟩T=0\langle f, f \rangle_T = 0.

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

本題考查:

  • 拉格朗日平均值定理;
  • 總變差與黎曼積分的關係;
  • C1([0,T])C^1([0,T]) 函數之導數有界;
  • 二次變差在連續可微函數下為 00。

令每個小區間長度為

Δti=ti+1−ti.\Delta t_i=t_{i+1}-t_i.

則

∥Π∥=max⁡iΔti,∑i=0n−1Δti=T.\|\Pi\|=\max_i\Delta t_i, \qquad \sum_{i=0}^{n-1}\Delta t_i=T.

(a) 平均值定理

若函數 ff 在閉區間 [a,b][a,b] 上連續,且在開區間 (a,b)(a,b) 上可微,則存在某個 ξ∈(a,b)\xi\in(a,b),使得

f(b)−f(a)=f′(ξ)(b−a).f(b)-f(a)=f'(\xi)(b-a).

本題中 f∈C1([0,T])f\in C^1([0,T]),因此在每個小區間 [ti,ti+1][t_i,t_{i+1}] 上皆可使用平均值定理。


(b) 證明總變差公式

對每個區間 [ti,ti+1][t_i,t_{i+1}],由平均值定理,存在 ξi∈(ti,ti+1)\xi_i\in(t_i,t_{i+1}),使得

f(ti+1)−f(ti)=f′(ξi)(ti+1−ti).f(t_{i+1})-f(t_i) = f'(\xi_i)(t_{i+1}-t_i).

取絕對值後得到

∣f(ti+1)−f(ti)∣=∣f′(ξi)∣Δti.\left|f(t_{i+1})-f(t_i)\right| = |f'(\xi_i)|\Delta t_i.

因此

∑i=0n−1∣f(ti+1)−f(ti)∣=∑i=0n−1∣f′(ξi)∣Δti.\sum_{i=0}^{n-1} |f(t_{i+1})-f(t_i)| = \sum_{i=0}^{n-1} |f'(\xi_i)|\Delta t_i.

因為 f′∈C([0,T])f'\in C([0,T]),所以 ∣f′∣|f'| 也是連續函數。上式正是連續函數 ∣f′(t)∣|f'(t)| 在分割 Π\Pi 下的一組黎曼和。當 ∥Π∥→0\|\Pi\|\to 0 時,黎曼和收斂至定積分:

lim⁡∥Π∥→0∑i=0n−1∣f′(ξi)∣Δti=∫0T∣f′(t)∣ dt.\lim_{\|\Pi\|\to 0} \sum_{i=0}^{n-1} |f'(\xi_i)|\Delta t_i = \int_0^T |f'(t)|\,dt.

依照總變差的定義,故

TVT(f)=∫0T∣f′(t)∣ dt.\boxed{ TV_T(f)=\int_0^T |f'(t)|\,dt }.

這裡的絕對值不可省略,因為函數可能在區間內同時遞增與遞減。總變差計算的是所有局部變化量的總和,而非單純的端點差值。


(c) 證明二次變差為 00

由於 f′∈C([0,T])f'\in C([0,T]),而 [0,T][0,T] 是閉且有界區間,因此 f′f' 在此區間上有界。存在常數 M>0M>0,使得

∣f′(t)∣≤M,0≤t≤T.|f'(t)|\le M, \qquad 0\le t\le T.
🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 4 題24 分

(24 pts) Given two sets of probabilities P={pi,i=1,…,n}P = \{p_i, i = 1,\dots, n\} and Q={qi,i=1,…,n}Q = \{q_i, i = 1,\dots, n\}, the relative entropy between P and Q is
E(P∣Q)=∑i=1npiln⁡piqiE(P|Q) = \sum_{i=1}^n p_i \ln \frac{p_i}{q_i}
Remark: 0ln⁡0q=00 \ln \frac{0}{q} = 0, pln⁡p0=∞p \ln \frac{p}{0} = \infty for any nonnegative pp and qq.
Answer the following questions:
(a) Prove that E(P∣P)=0E(P|P) = 0.
(b) Prove that E(P∣Q)≥0E(P|Q) \ge 0.
(c) Prove that E(P∣Q)=0E(P|Q) = 0 if and only if P=QP = Q (pi=qi,i=1,…,np_i = q_i, i = 1, \dots, n).
(d) Provide a counterexample to demonstrate that E(Q∣P)≠E(P∣Q)E(Q|P) \ne E(P|Q).

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

相對熵(Kullback–Leibler divergence)衡量兩組機率分布的差異:

E(P∣Q)=∑i=1npiln⁡piqi.E(P|Q)=\sum_{i=1}^n p_i\ln\frac{p_i}{q_i}.

機率分布滿足 pi,qi≥0p_i,q_i\ge 0,且 ∑ipi=∑iqi=1\sum_i p_i=\sum_i q_i=1。本題的關鍵是不等式 ln⁡x≤x−1\ln x\le x-1(x>0x>0),等號只在 x=1x=1 時成立;題目另約定含零機率的項如何處理。

解題方法與推導

(a) 證明 E(P∣P)=0E(P|P)=0

對每個 pi>0p_i>0,有 ln⁡(pi/pi)=ln⁡1=0\ln(p_i/p_i)=\ln 1=0;對 pi=0p_i=0 的項,依題目約定其值為 00。因此

E(P∣P)=∑i=1npiln⁡pipi=0.E(P|P)=\sum_{i=1}^n p_i\ln\frac{p_i}{p_i}=0.

(b) 證明 E(P∣Q)≥0E(P|Q)\ge 0

若存在 ii 使 pi>0p_i>0、qi=0q_i=0,則依題目約定 E(P∣Q)=∞E(P|Q)=\infty,自然有 E(P∣Q)≥0E(P|Q)\ge 0。

其餘情況下,對所有 pi>0p_i>0 的指標,均有 qi>0q_i>0。由 ln⁡x≤x−1\ln x\le x-1,取 x=qi/pix=q_i/p_i,得

piln⁡piqi=−piln⁡qipi≥pi−qi.p_i\ln\frac{p_i}{q_i} =-p_i\ln\frac{q_i}{p_i} \ge p_i-q_i.

對所有 pi>0p_i>0 的項加總:

E(P∣Q)≥∑pi>0(pi−qi)=1−∑pi>0qi≥0.E(P|Q) \ge \sum_{p_i>0}(p_i-q_i) =1-\sum_{p_i>0}q_i \ge 0.

最後一個不等式成立,是因為所有 qiq_i 非負且總和為 11。

(c) 證明 E(P∣Q)=0E(P|Q)=0 當且僅當 P=QP=Q

若 P=QP=Q,由 (a) 可知 E(P∣Q)=E(P∣P)=0E(P|Q)=E(P|P)=0。

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 4 題24 分

(24 pts) Given two sets of probabilities P={pi,i=1,…,n}P = \{p_i, i = 1,\dots, n\} and Q={qi,i=1,…,n}Q = \{q_i, i = 1,\dots, n\}, the relative entropy between P and Q is
E(P∣Q)=∑i=1npiln⁡piqiE(P|Q) = \sum_{i=1}^n p_i \ln \frac{p_i}{q_i}
Remark: 0ln⁡0q=00 \ln \frac{0}{q} = 0, pln⁡p0=∞p \ln \frac{p}{0} = \infty for any nonnegative pp and qq.
Answer the following questions:
(a) Prove that E(P∣P)=0E(P|P) = 0.
(b) Prove that E(P∣Q)≥0E(P|Q) \ge 0.
(c) Prove that E(P∣Q)=0E(P|Q) = 0 if and only if P=QP = Q (pi=qi,i=1,…,np_i = q_i, i = 1, \dots, n).
(d) Provide a counterexample to demonstrate that E(Q∣P)≠E(P∣Q)E(Q|P) \ne E(P|Q).

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

相對熵(Kullback–Leibler divergence)衡量兩組機率分布的差異:

E(P∣Q)=∑i=1npiln⁡piqi.E(P|Q)=\sum_{i=1}^n p_i\ln\frac{p_i}{q_i}.

機率分布滿足 pi,qi≥0p_i,q_i\ge 0,且 ∑ipi=∑iqi=1\sum_i p_i=\sum_i q_i=1。本題的關鍵是不等式 ln⁡x≤x−1\ln x\le x-1(x>0x>0),等號只在 x=1x=1 時成立;題目另約定含零機率的項如何處理。

解題方法與推導

(a) 證明 E(P∣P)=0E(P|P)=0

對每個 pi>0p_i>0,有 ln⁡(pi/pi)=ln⁡1=0\ln(p_i/p_i)=\ln 1=0;對 pi=0p_i=0 的項,依題目約定其值為 00。因此

E(P∣P)=∑i=1npiln⁡pipi=0.E(P|P)=\sum_{i=1}^n p_i\ln\frac{p_i}{p_i}=0.

(b) 證明 E(P∣Q)≥0E(P|Q)\ge 0

若存在 ii 使 pi>0p_i>0、qi=0q_i=0,則依題目約定 E(P∣Q)=∞E(P|Q)=\infty,自然有 E(P∣Q)≥0E(P|Q)\ge 0。

其餘情況下,對所有 pi>0p_i>0 的指標,均有 qi>0q_i>0。由 ln⁡x≤x−1\ln x\le x-1,取 x=qi/pix=q_i/p_i,得

piln⁡piqi=−piln⁡qipi≥pi−qi.p_i\ln\frac{p_i}{q_i} =-p_i\ln\frac{q_i}{p_i} \ge p_i-q_i.

對所有 pi>0p_i>0 的項加總:

E(P∣Q)≥∑pi>0(pi−qi)=1−∑pi>0qi≥0.E(P|Q) \ge \sum_{p_i>0}(p_i-q_i) =1-\sum_{p_i>0}q_i \ge 0.

最後一個不等式成立,是因為所有 qiq_i 非負且總和為 11。

(c) 證明 E(P∣Q)=0E(P|Q)=0 當且僅當 P=QP=Q

若 P=QP=Q,由 (a) 可知 E(P∣Q)=E(P∣P)=0E(P|Q)=E(P|P)=0。

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 4 題24 分

(24 pts) Given two sets of probabilities P={pi,i=1,…,n}P = \{p_i, i = 1,\dots, n\} and Q={qi,i=1,…,n}Q = \{q_i, i = 1,\dots, n\}, the relative entropy between P and Q is
E(P∣Q)=∑i=1npiln⁡piqiE(P|Q) = \sum_{i=1}^n p_i \ln \frac{p_i}{q_i}
Remark: 0ln⁡0q=00 \ln \frac{0}{q} = 0, pln⁡p0=∞p \ln \frac{p}{0} = \infty for any nonnegative pp and qq.
Answer the following questions:
(a) Prove that E(P∣P)=0E(P|P) = 0.
(b) Prove that E(P∣Q)≥0E(P|Q) \ge 0.
(c) Prove that E(P∣Q)=0E(P|Q) = 0 if and only if P=QP = Q (pi=qi,i=1,…,np_i = q_i, i = 1, \dots, n).
(d) Provide a counterexample to demonstrate that E(Q∣P)≠E(P∣Q)E(Q|P) \ne E(P|Q).

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

相對熵(Kullback–Leibler divergence)衡量兩組機率分布的差異:

E(P∣Q)=∑i=1npiln⁡piqi.E(P|Q)=\sum_{i=1}^n p_i\ln\frac{p_i}{q_i}.

機率分布滿足 pi,qi≥0p_i,q_i\ge 0,且 ∑ipi=∑iqi=1\sum_i p_i=\sum_i q_i=1。本題的關鍵是不等式 ln⁡x≤x−1\ln x\le x-1(x>0x>0),等號只在 x=1x=1 時成立;題目另約定含零機率的項如何處理。

解題方法與推導

(a) 證明 E(P∣P)=0E(P|P)=0

對每個 pi>0p_i>0,有 ln⁡(pi/pi)=ln⁡1=0\ln(p_i/p_i)=\ln 1=0;對 pi=0p_i=0 的項,依題目約定其值為 00。因此

E(P∣P)=∑i=1npiln⁡pipi=0.E(P|P)=\sum_{i=1}^n p_i\ln\frac{p_i}{p_i}=0.

(b) 證明 E(P∣Q)≥0E(P|Q)\ge 0

若存在 ii 使 pi>0p_i>0、qi=0q_i=0,則依題目約定 E(P∣Q)=∞E(P|Q)=\infty,自然有 E(P∣Q)≥0E(P|Q)\ge 0。

其餘情況下,對所有 pi>0p_i>0 的指標,均有 qi>0q_i>0。由 ln⁡x≤x−1\ln x\le x-1,取 x=qi/pix=q_i/p_i,得

piln⁡piqi=−piln⁡qipi≥pi−qi.p_i\ln\frac{p_i}{q_i} =-p_i\ln\frac{q_i}{p_i} \ge p_i-q_i.

對所有 pi>0p_i>0 的項加總:

E(P∣Q)≥∑pi>0(pi−qi)=1−∑pi>0qi≥0.E(P|Q) \ge \sum_{p_i>0}(p_i-q_i) =1-\sum_{p_i>0}q_i \ge 0.

最後一個不等式成立,是因為所有 qiq_i 非負且總和為 11。

(c) 證明 E(P∣Q)=0E(P|Q)=0 當且僅當 P=QP=Q

若 P=QP=Q,由 (a) 可知 E(P∣Q)=E(P∣P)=0E(P|Q)=E(P|P)=0。

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 4 題24 分

(24 pts) Given two sets of probabilities P={pi,i=1,…,n}P = \{p_i, i = 1,\dots, n\} and Q={qi,i=1,…,n}Q = \{q_i, i = 1,\dots, n\}, the relative entropy between P and Q is
E(P∣Q)=∑i=1npiln⁡piqiE(P|Q) = \sum_{i=1}^n p_i \ln \frac{p_i}{q_i}
Remark: 0ln⁡0q=00 \ln \frac{0}{q} = 0, pln⁡p0=∞p \ln \frac{p}{0} = \infty for any nonnegative pp and qq.
Answer the following questions:
(a) Prove that E(P∣P)=0E(P|P) = 0.
(b) Prove that E(P∣Q)≥0E(P|Q) \ge 0.
(c) Prove that E(P∣Q)=0E(P|Q) = 0 if and only if P=QP = Q (pi=qi,i=1,…,np_i = q_i, i = 1, \dots, n).
(d) Provide a counterexample to demonstrate that E(Q∣P)≠E(P∣Q)E(Q|P) \ne E(P|Q).

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

相對熵(Kullback–Leibler divergence)衡量兩組機率分布的差異:

E(P∣Q)=∑i=1npiln⁡piqi.E(P|Q)=\sum_{i=1}^n p_i\ln\frac{p_i}{q_i}.

機率分布滿足 pi,qi≥0p_i,q_i\ge 0,且 ∑ipi=∑iqi=1\sum_i p_i=\sum_i q_i=1。本題的關鍵是不等式 ln⁡x≤x−1\ln x\le x-1(x>0x>0),等號只在 x=1x=1 時成立;題目另約定含零機率的項如何處理。

解題方法與推導

(a) 證明 E(P∣P)=0E(P|P)=0

對每個 pi>0p_i>0,有 ln⁡(pi/pi)=ln⁡1=0\ln(p_i/p_i)=\ln 1=0;對 pi=0p_i=0 的項,依題目約定其值為 00。因此

E(P∣P)=∑i=1npiln⁡pipi=0.E(P|P)=\sum_{i=1}^n p_i\ln\frac{p_i}{p_i}=0.

(b) 證明 E(P∣Q)≥0E(P|Q)\ge 0

若存在 ii 使 pi>0p_i>0、qi=0q_i=0,則依題目約定 E(P∣Q)=∞E(P|Q)=\infty,自然有 E(P∣Q)≥0E(P|Q)\ge 0。

其餘情況下,對所有 pi>0p_i>0 的指標,均有 qi>0q_i>0。由 ln⁡x≤x−1\ln x\le x-1,取 x=qi/pix=q_i/p_i,得

piln⁡piqi=−piln⁡qipi≥pi−qi.p_i\ln\frac{p_i}{q_i} =-p_i\ln\frac{q_i}{p_i} \ge p_i-q_i.

對所有 pi>0p_i>0 的項加總:

E(P∣Q)≥∑pi>0(pi−qi)=1−∑pi>0qi≥0.E(P|Q) \ge \sum_{p_i>0}(p_i-q_i) =1-\sum_{p_i>0}q_i \ge 0.

最後一個不等式成立,是因為所有 qiq_i 非負且總和為 11。

(c) 證明 E(P∣Q)=0E(P|Q)=0 當且僅當 P=QP=Q

若 P=QP=Q,由 (a) 可知 E(P∣Q)=E(P∣P)=0E(P|Q)=E(P|P)=0。

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 5 題18 分

(18 pts) Assume that the real-valued function f(x)f(x), is continuous and bounded, and 0≤t≤T0 \le t \le T, −∞<x<∞-\infty < x < \infty.
(a) Check that u(t,x)=f(x−kt)u(t, x) = f(x - kt) is a solution to
∂u∂t(t,x)+k∂u∂x(t,x)=0\frac{\partial u}{\partial t}(t, x) + k \frac{\partial u}{\partial x}(t, x) = 0
where kk is any constant.
(b) Check that
u(t,x)=∫−∞∞f(x)12π(1−t)e−(x−ξ)22(1−t)dξu(t, x) = \int_{-\infty}^{\infty} f(x) \frac{1}{\sqrt{2\pi(1-t)}} e^{-\frac{(x-\xi)^2}{2(1-t)}} d\xi
is a solution to
{∂u∂t(t,x)+12∂2u∂x2(t,x)=0u(0,x)=f(x)\left\{ \begin{array}{l} \frac{\partial u}{\partial t}(t, x) + \frac{1}{2} \frac{\partial^2 u}{\partial x^2}(t, x) = 0 \\ u(0, x) = f(x) \end{array} \right.

登入後即可作答並保存紀錄。

這一題的完整詳解

第 5 題

核心觀念

本題考查兩個偏微分方程的基本解法:

  1. 一階傳輸方程
    ut+kux=0u_t+k u_x=0

    其解表示函數圖形以速度 kk 沿 xx 軸平移。

  2. 熱方程與高斯核

    高斯密度
    ps(y)=12πse−y2/(2s)p_s(y)=\frac{1}{\sqrt{2\pi s}}e^{-y^2/(2s)}

    滿足熱方程

∂ps∂s=12∂2ps∂y2.\frac{\partial p_s}{\partial s} =\frac{1}{2}\frac{\partial^2 p_s}{\partial y^2}.

題目第 (b) 小題的公式與初始條件存在排版矛盾,詳見後文。


(a) 驗證 u(t,x)=f(x−kt)u(t,x)=f(x-kt)

令

u(t,x)=f(x−kt).u(t,x)=f(x-kt).

設 ff 可微,對 tt 使用鏈鎖律:

∂u∂t(t,x)=f′(x−kt)⋅(−k)=−kf′(x−kt).\frac{\partial u}{\partial t}(t,x) =f'(x-kt)\cdot(-k) =-k f'(x-kt).

對 xx 微分:

∂u∂x(t,x)=f′(x−kt).\frac{\partial u}{\partial x}(t,x) =f'(x-kt).

因此

∂u∂t+k∂u∂x=−kf′(x−kt)+kf′(x−kt)=0.\frac{\partial u}{\partial t} +k\frac{\partial u}{\partial x} = -k f'(x-kt)+k f'(x-kt) =0.

所以

u(t,x)=f(x−kt)\boxed{u(t,x)=f(x-kt)}

確實滿足

ut+kux=0.u_t+k u_x=0.

解題技巧

看到

ut+kux=0u_t+k u_x=0

可直接令特徵變數為

x−kt.x-kt.

因為沿著直線 x−kt=常數x-kt=\text{常數},函數值保持不變,所以解必為初始函數的平移形式 f(x−kt)f(x-kt)。

嚴格而言,題目只說 ff 連續且有界;若要求偏微分方程的經典解,還需補充 f∈C1f\in C^1。在僅連續的條件下,該函數仍可視為傳輸方程的連續解。


(b) 高斯積分形式的驗證

題目原式寫成

u(t,x)=∫−∞∞f(x)12π(1−t)e−(x−ξ)22(1−t) dξ.u(t,x)=\int_{-\infty}^{\infty} f(x)\frac{1}{\sqrt{2\pi(1-t)}} e^{-\frac{(x-\xi)^2}{2(1-t)}}\,d\xi.

此式中的 f(x)f(x) 與積分變數 ξ\xi 無關,因此可以提出積分號外:

u(t,x)=f(x)∫−∞∞12π(1−t)e−(x−ξ)22(1−t) dξ.u(t,x) =f(x)\int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi(1-t)}} e^{-\frac{(x-\xi)^2}{2(1-t)}}\,d\xi.

高斯密度積分為 11,故

u(t,x)=f(x).u(t,x)=f(x).

此時一般只有在 f′′(x)=0f''(x)=0 時才滿足

ut+12uxx=0,u_t+\frac12u_{xx}=0,

因此題目公式中的 f(x)f(x) 應為 f(ξ)f(\xi)。

此外,核的變異數為 1−t1-t,當 t→1t\to1 時才收斂至 f(x)f(x),所以相應的邊界條件應為

u(1,x)=f(x),u(1,x)=f(x),

而非題目所列的 u(0,x)=f(x)u(0,x)=f(x)。

以下給出此題公式所對應的正確驗證。


正確形式:驗證熱方程

令

ps(y)=12πse−y22s,s=1−t,p_s(y)=\frac{1}{\sqrt{2\pi s}} e^{-\frac{y^2}{2s}}, \qquad s=1-t,

並將解寫成

u(t,x)=∫−∞∞f(ξ)p1−t(x−ξ) dξ.u(t,x)=\int_{-\infty}^{\infty} f(\xi)p_{1-t}(x-\xi)\,d\xi.

也就是

u(t,x)=∫−∞∞f(ξ)12π(1−t)e−(x−ξ)22(1−t) dξ.u(t,x) = \int_{-\infty}^{\infty} f(\xi) \frac{1}{\sqrt{2\pi(1-t)}} e^{-\frac{(x-\xi)^2}{2(1-t)}}\,d\xi.

第一步:計算高斯核對 ss 的偏導數

由

ps(y)=12πse−y2/(2s),p_s(y)=\frac{1}{\sqrt{2\pi s}}e^{-y^2/(2s)},

可得

∂ps∂s=ps(y)(−12s+y22s2).\frac{\partial p_s}{\partial s} = p_s(y)\left( -\frac{1}{2s}+\frac{y^2}{2s^2} \right).

另一方面,

∂ps∂y=−ysps(y),\frac{\partial p_s}{\partial y} = -\frac{y}{s}p_s(y),

再微分一次:

∂2ps∂y2=(−1s+y2s2)ps(y).\frac{\partial^2p_s}{\partial y^2} = \left( -\frac1s+\frac{y^2}{s^2} \right)p_s(y).

因此

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 5 題18 分

(18 pts) Assume that the real-valued function f(x)f(x), is continuous and bounded, and 0≤t≤T0 \le t \le T, −∞<x<∞-\infty < x < \infty.
(a) Check that u(t,x)=f(x−kt)u(t, x) = f(x - kt) is a solution to
∂u∂t(t,x)+k∂u∂x(t,x)=0\frac{\partial u}{\partial t}(t, x) + k \frac{\partial u}{\partial x}(t, x) = 0
where kk is any constant.
(b) Check that
u(t,x)=∫−∞∞f(ξ)12π(1−t)e−(x−ξ)22(1−t)dξu(t, x) = \int_{-\infty}^{\infty} f(\xi) \frac{1}{\sqrt{2\pi(1-t)}} e^{-\frac{(x-\xi)^2}{2(1-t)}} d\xi
is a solution to
{∂u∂t(t,x)+12∂2u∂x2(t,x)=0u(0,x)=f(x)\left\{ \begin{array}{l} \frac{\partial u}{\partial t}(t, x) + \frac{1}{2} \frac{\partial^2 u}{\partial x^2}(t, x) = 0 \\ u(0, x) = f(x) \end{array} \right.

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

本題考查兩類偏微分方程:

  1. 一階輸送方程
    ut+kux=0u_t+k u_x=0

    利用鏈鎖律檢查平移形式的解。

  2. 熱方程的基本解(Gaussian kernel)。關鍵公式為
    ∂p∂s=12∂2p∂x2,\frac{\partial p}{\partial s}=\frac12\frac{\partial^2p}{\partial x^2},

    其中

p(s,x−ξ)=12πsexp⁡(−(x−ξ)22s).p(s,x-\xi)=\frac{1}{\sqrt{2\pi s}} \exp\left(-\frac{(x-\xi)^2}{2s}\right).

題目第 (b) 小題的積分確實滿足偏微分方程,但題目所寫的初始條件 u(0,x)=f(x)u(0,x)=f(x) 並不成立;正確的邊界條件應為 u(1,x)=f(x)u(1,x)=f(x)。


(a) 平移函數的驗證

題目給定

u(t,x)=f(x−kt).u(t,x)=f(x-kt).

嚴格而言,若要以古典解的方式計算偏導數,需假設 ff 至少可微。令

y=x−kt,y=x-kt,

則 u(t,x)=f(y)u(t,x)=f(y)。

由鏈鎖律,

∂u∂t=f′(x−kt)∂(x−kt)∂t=−kf′(x−kt),\frac{\partial u}{\partial t} =f'(x-kt)\frac{\partial (x-kt)}{\partial t} =-k f'(x-kt),

以及

∂u∂x=f′(x−kt)∂(x−kt)∂x=f′(x−kt).\frac{\partial u}{\partial x} =f'(x-kt)\frac{\partial (x-kt)}{\partial x} =f'(x-kt).

因此

∂u∂t+k∂u∂x=−kf′(x−kt)+kf′(x−kt)=0.\frac{\partial u}{\partial t} +k\frac{\partial u}{\partial x} =-k f'(x-kt)+k f'(x-kt) =0.

故

u(t,x)=f(x−kt)u(t,x)=f(x-kt)

滿足

ut+kux=0.u_t+k u_x=0.

此解表示初始函數 ff 以速度 kk 沿著 xx 軸平移:

  • k>0k>0:向右移動;
  • k<0k<0:向左移動;
  • k=0k=0:函數不隨時間改變。

(b) 積分形式的偏微分方程驗證

令

s=1−t,s=1-t,

並定義 Gaussian kernel

p(s,x−ξ)=12πsexp⁡(−(x−ξ)22s).p(s,x-\xi) = \frac{1}{\sqrt{2\pi s}} \exp\left(-\frac{(x-\xi)^2}{2s}\right).

則題目中的函數可寫成

u(t,x)=∫−∞∞f(ξ)p(1−t,x−ξ) dξ.u(t,x) = \int_{-\infty}^{\infty}f(\xi)p(1-t,x-\xi)\,d\xi.

由於 s=1−ts=1-t,有

∂s∂t=−1.\frac{\partial s}{\partial t}=-1.

先計算空間二階導數

將 z=x−ξz=x-\xi,則

p(s,z)=12πse−z2/(2s).p(s,z)=\frac{1}{\sqrt{2\pi s}}e^{-z^2/(2s)}.

對 xx 微分:

∂p∂x=−x−ξsp.\frac{\partial p}{\partial x} = -\frac{x-\xi}{s}p.

再微分一次:

∂2p∂x2=((x−ξ)2s2−1s)p.\frac{\partial^2p}{\partial x^2} = \left( \frac{(x-\xi)^2}{s^2}-\frac1s \right)p.

再計算時間導數

對 ss 微分:

∂p∂s=(−12s+(x−ξ)22s2)p.\frac{\partial p}{\partial s} = \left( -\frac{1}{2s} +\frac{(x-\xi)^2}{2s^2} \right)p.

因此

∂p∂s=12∂2p∂x2.\frac{\partial p}{\partial s} = \frac12\frac{\partial^2p}{\partial x^2}.

由 s=1−ts=1-t,

∂p∂t=−∂p∂s=−12∂2p∂x2.\frac{\partial p}{\partial t} = -\frac{\partial p}{\partial s} = -\frac12\frac{\partial^2p}{\partial x^2}.

在可將微分移入積分號內的條件下,

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

其他考古題