信息論基礎與應用簡(jiǎn)介，目錄書(shū)摘

本書(shū)在借鑒了國內外眾多的信息論優(yōu)秀教材和參考資料之后編寫(xiě)了《信息論基礎》。教材以香農的三個(gè)編碼定理為中心，重點(diǎn)講述了相關(guān)的基本概念、基本原理和基本方法。教材只是講述經(jīng)典信息論的內容，沒(méi)有涉及過(guò)多的分支。

李梅，2003年至今在中國地質(zhì)大學(xué)（北京）工作，主要從事信號與信息處理的教學(xué)和科研工作，主講課程包括《信息理論與編碼》、《虛擬儀器技術(shù)》、《現代數字信號處理》。

緒論………………………………………………………………………………………………… 1
0．1  信息的概念 …………………………………………………………………………… 1
0．2  信息論的研究對象、目的和內容 …………………………………………………… 2
擴展閱讀：信息論的形成和發(fā)展…………………………………………………………… 5
擴展閱讀：量子通信與量子信息論………………………………………………………… 6

第1章  信息的度量 …………………………………………………………………………… 8
1．1  自信息和互信息 ……………………………………………………………………… 8
1．1．1  自信息 …………………………………………………………………………… 8
1．1．2  互信息 ………………………………………………………………………… 10
1．2  平均自信息…………………………………………………………………………… 11
1．2．1  平均自信息（信息熵）的概念 …………………………………………………… 11
1．2．2  熵函數的性質(zhì) …………………………………………………………………… 12
1．2．3  聯(lián)合熵與條件熵 ………………………………………………………………… 15
1．3  平均互信息…………………………………………………………………………… 19
1．3．1  平均互信息的概念 ……………………………………………………………… 19
1．3．2  平均互信息的性質(zhì) ……………………………………………………………… 20
1．3．3  數據處理定理 …………………………………………………………………… 24
1．3．4  相對熵（KL散度） ……………………………………………………………… 25
擴展閱讀：凸函數及詹森不等式 ………………………………………………………… 26
擴展閱讀：信息增益與決策樹(shù) …………………………………………………………… 27
動(dòng)手實(shí)踐：圖像的熵和平均互信息 ……………………………………………………… 29
習題1 ……………………………………………………………………………………… 29

第2章  信源及信源熵 ………………………………………………………………………… 34
2．1  信源的分類(lèi)及其數學(xué)模型…………………………………………………………… 34
2．2  離散單符號信源……………………………………………………………………… 35
2．3  離散多符號信源……………………………………………………………………… 36
2．3．1  離散平穩無(wú)記憶信源 …………………………………………………………… 36
2．3．2  離散平穩有記憶信源 …………………………………………………………… 38
2．3．3  馬爾可夫信源 …………………………………………………………………… 40
2．3．4  信源的相關(guān)性和剩余度 ………………………………………………………… 44
2．4  連續信源……………………………………………………………………………… 46
2．4．1  連續信源的最大熵 ……………………………………………………………… 50
2．4．2  連續信源的熵功率 ……………………………………………………………… 51
擴展閱讀：隨機過(guò)程 ……………………………………………………………………… 52
擴展閱讀：隱馬爾可夫模型與賭場(chǎng)風(fēng)云 ………………………………………………… 56
習題2 ……………………………………………………………………………………… 58

第3章  信道及其信道容量 …………………………………………………………………… 63
3．1  信道的分類(lèi)…………………………………………………………………………… 63
3．2  離散單符號信道……………………………………………………………………… 64
3．2．1  離散單符號信道的數學(xué)模型 ……………………………………………………… 64
3．2．2  信道容量的概念 ………………………………………………………………… 66
3．2．3  幾種特殊信道的信道容量………………………………………………………… 68
3．2．4  離散對稱(chēng)信道的信道容量………………………………………………………… 69
3．2．5  一般離散信道的信道容量………………………………………………………… 73
3．2．6  信道容量定理 …………………………………………………………………… 77
3．2．7  信道容量的迭代算法* …………………………………………………………… 80
3．3  離散多符號信道及其信道容量……………………………………………………… 83
3．4  組合信道及其信道容量……………………………………………………………… 86
3．4．1  獨立并聯(lián)信道 …………………………………………………………………… 87
3．4．2  級聯(lián)信道………………………………………………………………………… 87
3．5  連續信道及其信道容量……………………………………………………………… 88
3．5．1  連續隨機變量的互信息 ………………………………………………………… 88
3．5．2  加性高斯信道的信道容量………………………………………………………… 90
3．5．3  多維高斯加性信道的信道容量 …………………………………………………… 91
3．6  波形信道的信道容量………………………………………………………………… 92
擴展閱讀：信道容量定理引理 …………………………………………………………… 93
動(dòng)手實(shí)踐：信道容量的迭代算法 ………………………………………………………… 94
習題3 ……………………………………………………………………………………… 95

第4章  無(wú)失真信源編碼 ……………………………………………………………………… 99
4．1  信源編碼概述………………………………………………………………………… 99
4．1．1  編碼器 ………………………………………………………………………… 99
4．1．2  碼的分類(lèi) ……………………………………………………………………… 101
4．2  定長(cháng)碼及定長(cháng)信源編碼定理 ……………………………………………………… 103
4．3  變長(cháng)碼及變長(cháng)信源編碼定理 ……………………………………………………… 106
4．3．1  Kraft不等式和McMillan不等式 ………………………………………………… 107
4．3．2  唯一可譯碼的判別準則 ………………………………………………………… 108
4．3．3  緊致碼平均碼長(cháng)界限定理 ……………………………………………………… 109
4．3．4  無(wú)失真變長(cháng)信源編碼定理（香農第一定理） …………………………………… 111
4．4  變長(cháng)碼的編碼方法 ………………………………………………………………… 115
4．4．1  香農編碼 ……………………………………………………………………… 115
4．4．2  香農-費諾-埃利斯編碼 ……………………………………………………… 116
4．4．3  二元霍夫曼碼 ………………………………………………………………… 116
4．4．4  r元霍夫曼碼 …………………………………………………………………… 119
4．4．5  費諾碼 ………………………………………………………………………… 120
4．5  實(shí)用的無(wú)失真信源編碼方法 ……………………………………………………… 122
4．5．1  游程編碼 ……………………………………………………………………… 122
4．5．2  算術(shù)編碼 ……………………………………………………………………… 124
4．5．3  LZW編碼 ……………………………………………………………………… 126
擴展閱讀：漸進(jìn)等分割性和典型序列…………………………………………………… 129
習題4 ……………………………………………………………………………………… 132

第5章  有噪信道編碼 ……………………………………………………………………… 136
5．1  信道編碼的相關(guān)概念 ……………………………………………………………… 136
5．1．1  錯誤概率和譯碼規則 …………………………………………………………… 137
5．1．2  錯誤概率與編碼方法 …………………………………………………………… 142
5．2  有噪信道編碼定理 ………………………………………………………………… 148
5．3  糾錯編碼 …………………………………………………………………………… 150
5．3．1  糾錯編碼分類(lèi) ………………………………………………………………… 150
5．3．2  糾錯編碼的基本概念 …………………………………………………………… 152
5．3．3  線(xiàn)性分組碼 …………………………………………………………………… 153
5．3．4  幾種重要的線(xiàn)性分組碼 ………………………………………………………… 163
5．3．5  卷積碼* ……………………………………………………………………… 168
5．3．6  TCM碼、級聯(lián)碼、Turbo碼和LDPC碼 ………………………………………… 171
動(dòng)手實(shí)踐5．1：Hamming(7，4)編譯碼器 ……………………………………………… 172
動(dòng)手實(shí)踐5．2：通信系統仿真 …………………………………………………………… 172
習題5 ……………………………………………………………………………………… 173

第6章  限失真信源編碼 …………………………………………………………………… 178
6．1  失真測度 …………………………………………………………………………… 178
6．1．1  失真函數 ……………………………………………………………………… 179
6．1．2  平均失真 ……………………………………………………………………… 181
6．2  信息率失真函數 …………………………………………………………………… 182
6．2．1  D失真許可信道………………………………………………………………… 182
6．2．2  信息率失真函數的定義 ………………………………………………………… 182
6．2．3  信息率失真函數R(D)的性質(zhì)…………………………………………………… 183
6．3  限失真信源編碼定理 ……………………………………………………………… 188
6．4  信息率失真函數的計算* ………………………………………………………… 188
6．4．1  應用參量表示式計算R(D)……………………………………………………… 189
6．4．2  率失真函數的迭代算法 ………………………………………………………… 195
6．5  常用的限失真信源編碼方法 ……………………………………………………… 197
6．5．1  量化編碼 ……………………………………………………………………… 198
6．5．2  預測編碼 ……………………………………………………………………… 199
6．5．3  變換編碼 ……………………………………………………………………… 201
動(dòng)手實(shí)踐：圖像的離散余弦變換………………………………………………………… 203
習題6 ……………………………………………………………………………………… 203

第7章  信息論的應用 ……………………………………………………………………… 206
7．1  最大熵譜估計 ……………………………………………………………………… 206
7．2  基于信息論的信息融合技術(shù) ……………………………………………………… 207
7．2．1  聚類(lèi)分析法 …………………………………………………………………… 208
7．2．2  神經(jīng)網(wǎng)絡(luò )法 …………………………………………………………………… 210
7．2．3  熵法 …………………………………………………………………………… 211
7．3  壓縮感知與信息論 ………………………………………………………………… 211

附錄 A  信息論學(xué)習要點(diǎn)……………………………………………………………………… 214
附錄 B  習題參考答案………………………………………………………………………… 223
參考文獻………………………………………………………………………………………… 224