情報理論１

授業テーマ	情報理論について入門的に概説する．
授業のねらい・到達目標	自己情報量・エントロピー・定常情報源などの基本事項を学んだ後，情報源符号化の方法について学ぶ．情報源符号化定理を理解した後，シャノン符号、ファノ符号、ハフマン符号のアルゴリズムを理解する．
授業の方法	担当教官による講義．

授業計画
1	序論として情報のモデル化・情報量・情報の発生・情報の表現・情報の伝送、およびこれらのモデル化について概説する．
2	情報量とエントロピー
3	エントロピーの性質、条件付エントロピーおよび結合エントロピーについて紹介する
4	各種エントロピーの性質、関係について学ぶ．時間があれば演習問題を行う．
5	情報源、特に、無記憶情報源、マルコフ情報源について学ぶ．
6	マルコフ情報源の続き．
7	随伴情報源、情報源のエントロピーについて学ぶ．時間があれば演習問題を行う．
8	情報源符号化
9	瞬時復号可能符号の条件、クラフトの不等式について学ぶ．
10	マクミランの不等式、平均符号長について学ぶ．
11	符号化の効率と冗長度、コンパクト符号について学ぶ．
12	情報源符号化定理、情報源符号化法の例としてシャノン符号、ファノ符号、ハフマン符号について学ぶ．時間があれば演習問題を行う．
13	理解度の確認
14	総括と補足
15	講義内容のまとめ

その他
教科書	稲井寛『はじめての情報理論』森北出版 2011年
成績評価の方法及び基準	授業内テスト(100%)
オフィスアワー	毎週月曜日の昼休み
備考	授業中の私語は厳禁である．繰り返しの注意にも関わらず私語を止めない者は、他の受講生に対する迷惑行為として退室させる．