文理学部シラバスTOP > 文理学部 > 情報科学科（情報システム解析学科） > 情報理論１
日本大学ロゴ

情報理論１

このページを印刷する

令和元年度以前入学者 情報理論１
教員名 古市茂
単位数    2 学年    3 開講区分 文理学部
（他学部生相互履修可）
科目群 情報科学科
学期 前期 履修区分 選択必修
授業の形態 オンデマンド型の遠隔授業（全15回分の講義動画）
授業概要 情報理論について入門的に概説する．
授業のねらい・到達目標 自己情報量・エントロピー・定常情報源などの基本事項を理解でき，情報源符号化の方法について理解できるようになる．
情報源符号化定理を理解した後，シャノン符号、ファノ符号、ハフマン符号のアルゴリズムを理解できるようになる．

この科目は文理学部(学士(理学))のディプロマポリシーDP6及びカリキュラムポリシーCP9に対応している。
授業の方法 担当教官による講義．5月11日以降に全15回分の講義動画を公開予定です．
文字通りオンデマンドで，8月1日までに15回分の講義動画を順に視聴しながら，各自がノートに講義内容を写しながら理解に努めてください．
レポート課題を課しますので，各自が指示に従って，レポートを作成の上，指示された方法で，8月10日までに提出すること．
授業動画の公開方法や課題の提出方法などについては，Blackboardで指示する．
授業計画
1 序論として情報のモデル化・情報量・情報の発生・情報の表現・情報の伝送、およびこれらのモデル化について概説する．
【事前学習】教科書1章を読んでおくこと （2時間）
【事後学習】教科書1章の内容を理解しておくこと （2時間）
2 自己情報量と平均情報量について解説する。
【事前学習】教科書2章を読んでおくこと （2時間）
【事後学習】教科書2章の内容を理解しておくこと。2章の演習問題を解いておく。 （2時間）
3 エントロピー関数を紹介し，エントロピーの数学的性質を証明する。
【事前学習】教科書3.1節～3.2節を読んでおくこと。 （2時間）
【事後学習】教科書3.1節～3.2節の内容を理解しておくこと。 （2時間）
4 条件付エントロピーおよび結合エントロピーについて紹介する。
【事前学習】教科書3.3節を読んでおくこと。 （2時間）
【事後学習】教科書3.3節の内容を理解しておくこと。 （2時間）
5 各種エントロピーの性質、関係について学ぶ。
相互情報量について学ぶ。
【事前学習】教科書3.4節～3.5節を読んでおくこと。3章の演習問題を解いてくる。 （2時間）
【事後学習】教科書3.4節～3.5節の内容を理解しておくこと。3章の演習問題をもう一度各自解いておく。 （2時間）
6 情報源、特に、無記憶情報源、マルコフ情報源について学ぶ．
随伴情報源、情報源のエントロピーについて学ぶ．
【事前学習】教科書4.1節～4.5節を読んでおくこと。 （2時間）
【事後学習】教科書4.1節～4.5節の内容を理解しておくこと。 （2時間）
7 マルコフ連鎖，マルコフ情報源モデル，シャノン線図について学ぶ。
【事前学習】教科書4.6節～4.8節を読んでおくこと。 （2時間）
【事後学習】教科書4.6節～4.8節の内容を理解しておくこと。 （2時間）
8 正規マルコフ情報源，エルゴードマルコフ情報源について学ぶ。
教科書4章の演習問題を解説する。
【事前学習】教科書4.9節～4.10節を読んでおくこと。教科書4章の演習問題を解いてくる。 （2時間）
【事後学習】教科書4.9節～4.10節の内容を理解しておくこと。4章の演習問題をもう一度各自解いておく。 （2時間）
9 情報源符号化について学ぶ。
瞬時復号可能符号の条件について学ぶ．
【事前学習】教科書5.1節～5.3節を読んでおくこと （2時間）
【事後学習】教科書5.1節～5.3節の内容を理解しておくこと。 （2時間）
10 クラフトの不等式について学ぶ。
5章の演習問題を解説する。
【事前学習】教科書5.4節～5.5節を読んでおくこと （2時間）
【事後学習】教科書5.4節～5.5節の内容を理解しておくこと。 （2時間）
11 マクミランの不等式、平均符号長について学ぶ。
情報源符号化定理を証明する。5章の演習問題を解説する。
【事前学習】教科書5.6節～5.8節を読んでおくこと （2時間）
【事後学習】教科書5.6節～5.8節の内容を理解しておくこと。5章の演習問題をもう一度各自解いておく。 （2時間）
12 シャノン符号およびファノ符号のアルゴリズムについて学ぶ。
【事前学習】教科書6.1節を読んでおくこと。 （2時間）
【事後学習】教科書6.1節の内容を理解しておくこと。 （2時間）
13 ハフマン符号のアルゴリズムについて学ぶ。
各種符号に関する演習問題を解説する。
【事前学習】教科書6.2節を読んでおくこと。教科書6章の演習問題を解いてくる。 （2時間）
【事後学習】教科書6.2節の内容を理解しておくこと。特に演習問題をもう一度各自解いておく。 （2時間）
14 LZ77符号化：復号化アルゴリズムについて学ぶ
【事前学習】参考書①の第6章を読んでおくこと．参考書②の第8章を読んでおくこと．可能な範囲でユニバーサル符号について調べておくこと． （2時間）
【事後学習】各自の西暦の生年月日の数字を並べたものを3進数にしてLZ77符号化でバイナリ系列に符号化せよ （2時間）
15 LZ78符号化：復号化アルゴリズムについて学ぶ
【事前学習】参考書①の第7章を読んでおくこと．可能な範囲でユニバーサル符号について調べておくこと． （2時間）
【事後学習】各自の西暦の生年月日の数字を並べたものを3進数にしてLZ78符号化でバイナリ系列に符号化せよ （2時間）
その他
教科書 平田　廣則 『情報理論のエッセンス』 オーム社 2014年
参考書 植松友彦 『文書データ圧縮アルゴリズム入門』 CQ出版 1994年 第1版
平澤茂一 『情報理論入門』 培風館 2000年 第1版
参考書は入手が困難であると思われるので，可能な範囲でWebサイトなどで学習内容について調べておくこと．
成績評価の方法及び基準 レポート:提出されたレポートの内容によって評価する．(40%)、授業参画度:各回の授業毎に提出されたリアクションペーパーで評価する（1回4点×15回=60点）(60%)
【レポート】
・出題された課題を指示された形式、指示された方法で、期限までに提出すること
・レポートは，与えられた課題の実施状況及びその出来によって評価する。
・他者と全く同一のレポートが発見された場合は両者とも0点にする．
【リアクションペーパー】
・各回の授業毎に講義動画に対するリアクションペーパーを提出すること
・リアクションペーパーに書くべき内容については，適宜，blackboardにて指示する．

【備考】
もしも，新型ウィルスの影響が好転し，筆記試験を公平・公正：安全な状態で行えるようになった場合は筆記試験(100%)で評価する．
その場合，原則として再試験は行いません．
オフィスアワー 質問についてはblackboardの掲示板などを通してお願いします．
備考 以下は対面授業の時の注意事項である．

・授業中の私語は厳禁です．繰り返しの注意にも関わらず私語を止めない場合は，他の受講生に対する迷惑行為とみなし，退室を命じることがあります．

・本講義科目において，授業中にノートパソコンを使用することは一切ありません。授業中に，ノートパソコンやタブレット，スマートフォンを操作することは原則認めません。（急用の連絡がスマートフォンに来た時などは，遠慮なく退室して用を済ませてください。）講師の板書をノートパソコンを用いてlatexで取るという場合は認めますので，申し出てください。それ以外の理由で，このような機器を授業中に机の上に置くことを禁じます。使用の有無にかかわらず（例えば他の授業科目の課題などを行っている場合）大幅に減点します。

・前回の授業内容を復習して，理解が不十分な箇所が無いようにしておくこと．また，教科書の次回の授業範囲分を確認して，必要な予備知識に不足があれば補っておくこと．

・点数が悪いからどうにかして下さいと後から申し出る学生が時々いますが、再試験は行いません。そのような申し出をするなら、試験前にわからないところを質問しに来てください。このような申し出は、非常に見苦しいし，聞くに堪えません。

・インフルエンザ罹患などの病気・怪我や忌引き，電車遅延の理由のある場合は、それを示す書類を提示してください。こちらで判断の上、追試験を行う場合があります。原則的にこれら以外の理由での追試験は認めません。

↑このページのトップ