111 年 國立中山大學電機工程學系碩士班戊組《通訊理論》
第 1 題
- (10%) Please explain the following concepts as detail as possible:
(a) (2%) Describe the conditions for a random process to be wide-sense stationary (WSS).
(b) (2%) What is an Ergodic process?
(c) (2%) Describe the Wiener-Khinchin Theorem.
(d) (2%) What is an Additive White Gaussian Noise?
(e) (2%) What is a Gaussian Process?
登入後即可作答並保存紀錄。
本題主要在考察通訊理論中關於隨機過程(Random Process)的基本概念,包括平穩性、遍歷性、雜訊特性以及高斯過程的定義。
核心觀念: 隨機過程的統計特性描述。
(a) 寬窄意義下之平穩性 (Wide-Sense Stationary, WSS) 的條件:
一個隨機過程 被稱為寬窄意義下之平穩(WSS),需要滿足以下兩個條件:
- 均值為常數: 隨機過程的均值不隨時間變化,即 對所有 皆為常數。
- 自相關函數僅依賴於時間差: 隨機過程的二階統計量,即自相關函數 ,僅僅是時間差 的函數,即 。
物理意義: WSS 過程的統計特性在時間上是穩定的,其平均值和與時間差相關的「記憶」程度不變。
(b) 遍歷性 (Ergodic Process):
一個隨機過程被稱為遍歷性(Ergodic)的,是指該過程的所有統計平均(例如均值、自相關函數、概率分佈等)都可以透過對單一實現(sample function)進行時間平均來獲得。換句話說,時間平均等於統計平均。
若一個隨機過程是遍歷性的,則它也必然是寬窄意義下平穩的 (WSS)。但反之則不然,WSS 的過程不一定是遍歷的。
數學表示:
- 時間平均均值:
- 時間平均自相關函數:
物理意義: 遍歷性過程的長期行為(時間平均)能夠代表其整體統計特性,這使得我們能從單一觀測記錄中推斷出整個系統的統計行為。
(c) 維納-辛欽定理 (Wiener-Khinchin Theorem):
維納-辛欽定理是描述一個平穩隨機過程(Stationary Random Process)的自相關函數與其功率頻譜密度(Power Spectral Density, PSD)之間關係的關鍵定理。
它指出,一個寬窄意義下平穩(WSS)的隨機過程 ,其自相關函數 和功率頻譜密度 互為傅立葉轉換對(Fourier Transform Pair)。
即:
物理意義: 這個定理將時間域的統計特性(自相關函數,描述了信號在不同時間點的相關性)與頻率域的統計特性(功率譜密度,描述了信號在不同頻率上的功率分佈)聯繫起來。
第 2 題12 分
- (12%) Find the Fourier transform of . (Hint: The answer is a piecewise function which consists of five intervals.)
登入後即可作答並保存紀錄。
核心觀念
本題考查以下傅立葉轉換性質:
- 標準化 sinc 函數的傅立葉轉換對偶關係:
- 時域相乘對應頻域摺積:
因此
的傅立葉轉換為三個矩形脈衝的摺積。
以下採用通訊理論常見定義:
以及
解題方法
由基本傅立葉轉換對:
令
則
先計算兩個矩形函數的摺積:
這是一個三角形函數,記為 :
因此
由於 僅在 時非零,
由 的分段形式,必須依照 所在區間計算。
分段計算
區間一:
此時積分範圍完全位於 的支撐範圍之外,因此
區間二:
由於 為偶函數,只需計算 的情形,再以 表示。
當 時,積分範圍落在 的右側:
計算得
因此在第二及第四區間皆有
第 3 題15 分
- (15%) The characteristic function of a random variable X is defined as the statistical average
(a) (10%) Find the characteristic function of a Gaussian random variable.
(b) (5%) Show that the variable Y, which is defined as the sum of N independent and identically
distributed (i.i.d.) Gaussian random variables Xi, i = 1,2,..., N, is a Gaussian random variable.
登入後即可作答並保存紀錄。
本題考察隨機變數的特性函數(Characteristic Function, CF)的定義與計算,並要求證明高斯隨機變數的總和仍為高斯隨機變數。
核心觀念: 特性函數的定義、計算,以及特性函數與隨機變數和的關係。
(a) 高斯隨機變數的特性函數:
假設一個隨機變數 服從高斯分佈,其概率密度函數(PDF)為:
其中 是均值, 是方差。
特性函數的定義為:
將高斯 PDF 代入:
為了計算這個積分,我們進行變數替換。令 ,則 ,。
此積分 是標準高斯分佈(均值為 0,方差為 )的 PDF 與 的期望值。
我們知道,一個均值為 0,方差為 的高斯隨機變數 的特性函數為 。
因此,積分的結果是 。
所以,高斯隨機變數 的特性函數為:
物理意義: 特性函數提供了隨機變數概率分佈的另一種表示方式,它在許多數學推導中比 PDF 更方便,尤其是在處理隨機變數的和時。
(b) N 個獨立同分佈高斯隨機變數之和的特性:
設 是 N 個獨立且同分佈 (i.i.d.) 的高斯隨機變數,且每個 服從均值為 、方差為 的高斯分佈。
第 4 題10 分
- (10%) An AM signal is considered in the following systems:
(a) (5%) If is used as the input to a square-law detector which has a transfer characteristic
defined as , where and are constants, denotes the input,
and denotes the output. Find the conditions for which the message signal can be
recovered from .
(b) (5%) Let denote the recovered signal in (a). Suppose that we use an ideal sampling with a
sampling interval of to sample and obtain the sampled signal , please find the
Fourier transform of .
登入後即可作答並保存紀錄。
本題探討標準調幅 (AM) 訊號經過平方律檢波器 (Square-Law Detector) 後,如何在特定條件下恢復原始訊息訊號 ,並進一步分析取樣訊號的傅立葉轉換。
核心觀念: 標準調幅訊號的結構、平方律檢波器的輸出、低通濾波器的作用,以及訊號取樣的傅立葉轉換。
(a) 從平方律檢波器恢復訊息訊號 的條件:
輸入訊號 。
平方律檢波器的輸出 為:
展開 :
利用 :
將 和 代回 :
我們希望從 中恢復訊息訊號 。這通常需要透過一個低通濾波器 (Low-Pass Filter, LPF) 來濾除高頻成分。
觀察 中的項:
- :這是載波頻率 的成分。
- :這是與 相關的 頻率成分。
- :這是 DC 成分以及與 和 相關的低頻成分。
- :這是 的高頻成分。
如果我們使用一個截止頻率略高於 的最高頻率 ,但遠低於 的低通濾波器,則可以濾除 和 的成分。
LPF 輸出的訊號 將主要包含 DC 和與 相關的低頻成分:
我們希望恢復的訊息訊號是 。觀察 ,它包含 和 的項。
為了只得到 ,我們需要濾除 和 DC 成分 (1)。
這通常需要一個額外的處理步驟,例如,如果 的平均值為零,則 DC 成分為 。
如果我們能將 DC 成分和 的項移除,我們就可以得到與 成比例的訊號。
更精確地說,如果我們希望恢復 ,則 應該只包含 的項。
從 中提取 的條件:
為了能從 中恢復 ,我們需要一個額外的處理步驟,例如,一個非線性處理或一個後續的濾波器。
然而,標準的 AM 接收機通常會使用一個相干解調或包絡檢波器。這個平方律檢波器加上低通濾波器,在某些條件下可以恢復 。
恢復 的條件:
- 低通濾波器的截止頻率: 濾波器的截止頻率必須足夠低,以濾除 和 的載波相關成分,但必須足夠高,以允許 的所有頻率成分通過。也就是說,如果 是 的最大頻率,則 (濾除 附近的成分) 且 。通常假設 。
- 移除 和 DC 成分: 檢波輸出 包含 、 和 DC 項。要單獨恢復 ,需要進一步處理。
- 如果 是低頻訊號,且 選擇適當,使得 的影響可以被忽略(例如,如果 很小,或者 的幅度很小)。
- 或者,如果我們能移除 DC 成分 和 的項。
- 最常見的恢復方法是,假設 是一個低頻訊號,且 的幅度足夠小,使得 的影響可以被忽略。
- 或者,若 的平均值為零,則 DC 成分為零(當 ,這是不可能的,除非 或 )。
- 實際上,要直接從 恢復 ,通常需要 的項消失,或者可以被濾除。這通常發生在 的平均值為零,且我們只關心 的項。
第 5 題15 分
- (15%) Please answer the following questions.
(a) (5%) For a quaternary communication system, the possible transmitted signals are
Assume , , , and the noise PSD .
Please calculate the error probability .
(b) (5%) If changes to , in order to maintain the same obtained in (a), please calculate the required amplitude value .
(c) (5%) Please show the orthonormal basis functions for the signal constellation .
登入後即可作答並保存紀錄。
核心觀念
本題考查四元相位鍵移(QPSK)訊號的能量、加性白高斯雜訊下的錯誤率,以及訊號空間的正交歸一基底。
採用標準雙邊雜訊功率頻譜密度慣例:
因此題目給定 ,對應
每個訊號的能量為 。題目提供的錯誤率公式為
其中 是標準常態分布右尾機率。
解題方法
(a) 計算錯誤率
訊號角頻率為 ,在 內共振盪 個週期,因此正弦與餘弦在此區間的平方積分皆為 。四個相位訊號的能量相同:
代入 、:
故
帶入錯誤率公式:
由 ,得到
所以錯誤率約為 。
(b) 維持相同錯誤率所需的振幅
雜訊功率頻譜密度不變,且錯誤率公式隨 決定,因此要維持相同的 ,必須維持相同的 ,也就是維持相同的訊號能量。
原本 、;新條件 。由 :
第 6 題20 分
- (20%) The definition of entropy is the expected value of the self information:
Let variables X, Y have the joint probability
Please find the following quantities:
(a) (4%) and
(b) (4%) and
(c) (6%) Calculate and describe the physical meaning of .
(d) (6%) Calculate and describe the physical meaning of .
登入後即可作答並保存紀錄。
本題考察資訊理論中的熵(Entropy)、條件熵(Conditional Entropy)和互資訊(Mutual Information)等基本概念,並要求計算與解釋它們的物理意義。
核心觀念: 資訊熵、條件機率、邊緣機率、條件熵、互資訊。
給定聯合機率分佈矩陣:
其中 有兩個取值 , 也有兩個取值 。
(a) 計算條件機率 和 :
條件機率的定義為 。
首先,我們需要計算邊緣機率(Marginal Probabilities)。
驗證:。
驗證:。
現在計算條件機率 :
驗證:。
驗證:。
所以, 可以表示為:
,
,
現在計算條件機率 :
驗證:。
驗證:。
所以, 可以表示為:
,
,
(b) 計算熵 和 :
熵的定義為 。
計算 :
, 。
bits。
計算 :
, 。
由於 且 ,所以 。
bits。
(c) 計算條件熵 並描述其物理意義:
條件熵的定義為 。
其中 。
我們先計算 和 。
, 。
第 7 題18 分
- (18%) Consider the encoder for a binary (3,1,2) convolutional code shown in Fig. 1.
There are one input message , two registers and three outputs , and .
🖼️【此處有附圖,請對照原卷】
Figure 1: passes through the two registers in series; the adder for takes , the output of the first register and the output of the second register; is the output of the second register; the adder for takes and the output of the second register.
(a) (3%) Find the codeword corresponding to the information sequence .
(b) (5%) Draw the state diagram of this encoder.
(c) (10%) Please use Viterbi algorithm to decode the received sequence (110 010 111 100 101 001), assuming that a binary symmetric channel with a crossover probability is considered.
登入後即可作答並保存紀錄。
核心觀念
這題考卷積碼的編碼器輸出、狀態轉移,以及以 Viterbi 演算法做最大概似解碼。
令兩個暫存器的內容依序為 ,其中 是第一個暫存器、 是第二個暫存器。依圖中的連接方式,輸出為
輸入一個位元 後,狀態轉移為
以下假設編碼器從全零狀態 開始;第 (c) 小題未指定終止狀態,因此取累積路徑距離最小的終止狀態。
解題方法
(a) 求編碼序列
由初始狀態 開始,逐位代入輸出公式。每組輸出依序排列為 。
| 輸入 | 輸入前狀態 | 輸出 |
|---|---|---|
| 1 | 00 | 101 |
| 1 | 10 | 001 |
| 1 | 11 | 110 |
| 0 | 11 | 011 |
| 1 | 01 | 010 |
| 0 | 10 | 100 |
| 0 | 01 | 111 |
因此,對 ,編碼結果為
(b) 狀態圖
狀態圖的每條分支標示為「輸入/輸出」。由狀態 輸入 時,輸出由 算出,下一狀態為 。
| 目前狀態 | 輸入 0:下一狀態/輸出 | 輸入 1:下一狀態/輸出 |
|---|---|---|
| 00 | ||
| 01 | ||
| 10 | ||
| 11 |