北邮 课件\下册讲稿(杨鸿文)\LN5-200703027.pdf

北邮 课件\下册讲稿(杨鸿文)\LN5-200703027.pdf
04104-106通信原理II第五讲


March 27, 2007


1 信道容量
对于信道X → Y ，如果转移概率P (Y |X )给定，这个信道就已经给定。我们关
心的是，通过这个信道最多可以传送多少信息。
发送X ，接收方观察到Y 。接收方依据Y 去猜测X ，所能猜出的程度是互信
息I (X ; Y ) = H (X ) H (X |Y ) = H (Y ) H (Y |X )。因此，给定信道时，接收端
所能获得的信息将不会超过I (X ; Y )。如果信道是理想的，I (X ; Y ) = H (X )，
收端依据Y 可以完全猜出X 是什么；如果信道不理想，则I (X ; Y ) < H (X )，表
明由于信道引入了一些不确定性，使得我们观察到Y 后，不能完全说出X 是什
么，但能猜出一些东西来（比如说出一个范围）。例如BPSK信道，发送1万个
二进制符号，总共有210000 种不同的可能性，如果信道的互信息是I (X ; Y ) =
0.5bits/symbol， 那 么 观 察 到1万 个Y 后 获 得 的 信 息 量 是5000bit。 每1bit信 息
能使我们排除一半的可能性。5000bit的信息将使我们能够把全部210000 种发
送序列(X1 , X2 , , X10000 )的可能结果划分成25000 个小范围，然后排除其中
的25000 1个小范围，指出发送序列具体在哪一个小范围内，但不能进一步
说出是这个小范围内的具体哪一个。假如发送的时候并不是210000 种可能结
果都有机会发，而是挑出其中的M = 25000 个。所有发送向量必然是这M 个
中的一个。收端知道这M 个可能的发送向量都是些什么，只是不知道每次发