例にもとづく情報理論入門

１　確率論の基礎
　　１．集合
　　２．試行、試行列と事象
　　３．確率と確率空間
　　４．確率変数と確率分布
　　５．平均と分散
　　６．条件付き確率
　　７．確率変数の独立性
　　８．大数の法則
　　９．マルコフ過程
　　演習問題

２　情報源符号化
　　１．情報源のモデルと情報源符号化問題
　　２．情報源符号
　　３．瞬時符号
　　４．クラフトの不等式による瞬時符号の幾何学的特徴付け
　　５．符号空間
　　６．一意的に復号可能な符号
　　７．平均符号長とエントロピー
　　８．情報源符号化定理
　　演習問題

３　いろいろな情報源符号
　　１．ハフマン符号
　　２．コンパクト符号
　　３．マルコフ情報源
　　４．遷移図
　　５．エルゴード的マルコフ情報源
　　６．マルコフ情報源に対する情報源符号化
　　７．ランレングス符号
　　８．情報源符号化とアルゴリズム
　　９．ZL符号
　　演習問題

４　情報量とエントロピー
　　１．情報量
　　２．情報量の従う方程式
　　３．系列の複雑さとプログラムの長さ
　　４．エントロピーの関数としての性質
　　５．条件付きエントロピー
　　６．相互情報量
　　演習問題

５　通信路符号化の限界
　　１．通信のモデル
　　２．通信路容量
　　３．最尤復号化
　　４．2元対称通信路
　　５．2元対称通信路の通信路容量
　　６．2元対称通信路に対する最尤復号化
　　７．平均誤り率
　　８．通信路符号化
　　９．ハミング距離
　１０．通信路符号化定理
　１１．通信路符号化定理の証明のための補題
　　演習問題

６　符号理論
　　１．パリティチェック
　　２．剰余演算
　　３．パリティチェック符号
　　４．長方形符号
　　５．三角形符号
　　６．ハミング符号
　　７．生成行列とパリティチェック行列
　　８．組織符号
　　９．符号の最小距離
　１０．ベクトルと多項式
　１１．原始多項式と拡大体
　１２．ハミング符号と符号生成多項式
　　演習問題

付録：アナログ情報からディジタル情報へ