文理学部シラバスTOP > 文理学部 > 情報科学科（情報システム解析学科） > 情報理論２
日本大学ロゴ

情報理論２

このページを印刷する

令和2年度以降入学者 情報理論２
令和元年度以前入学者 情報理論２
教員名 古市茂
単位数    2 学年    3 開講区分 文理学部
（他学部生相互履修可）
科目群 情報科学科
学期 後期 履修区分 選択必修
授業の形態 オンデマンド型の遠隔授業（全15回分の講義動画）

Blackboard ID:水曜4限→20213039
授業概要 情報理論について入門的に概説する．
授業のねらい・到達目標 微分エントロピー・信頼性関数を用いた通信路符号化定理の証明および通信路逆定理の証明・線形符号および巡回符号の原理について理解する

この科目は文理学部(学士(理学))のディプロマポリシーDP6及びカリキュラムポリシーCP9に対応している。

なお，新カリキュラム（令和2年度以降入学者対象）では，この科目は文理学部（学士(理学)）のディプロマポリシー DP3-5及びカリキュラムポリシー CP3-5に対応している。

・仮説に基づく課題や問題を提示し，客観的な情報を基に，論理的・批判的に考察できる。(A-3-3)
・問題を分析し，複数の解決策を提示した上で，問題を解決することができる。(A-4-3)
・責任と役割を担い，新しい問題に取り組む意識を持ち，そのために必要な情報科学の知識・情報を収集することができる。(A-5-3)
授業の方法 授業の形式：【講義】
担当教官による講義．授業開始日以降に全15回分の講義動画を公開予定です．
文字通りオンデマンドで，
授業終了日までに全15回分の講義動画を順に視聴しながら，各自がノートに講義内容を写しながら理解に努めてください．
レポート課題を課しますので，各自が指示に従って，レポートを作成の上，指示された方法で，指示される期日までに提出すること．

授業動画の公開方法や課題の提出方法などについては，Blackboardで指示する．
履修条件 「情報理論１」を履修していること．
「情報理論１」の単位を修得していることが望ましい．
授業計画
1 微分エントロピーとその例，相対エントロピーの非負性について学ぶ.
平均に拘束条件を課したエントロピー最大化原理について学ぶ． それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書5.3節を読んでおくこと。 （2時間）
【事後学習】教科書5.3節の内容を理解しておくこと。 （2時間）
2 分散まに拘束条件を課したエントロピー最大化原理について学ぶ．
クラメール・ラオの不等式について学ぶ． それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書5.3節を読んでおくこと。 （2時間）
【事後学習】教科書5.3節の内容を理解しておくこと。 （2時間）
3 通信路行列と事前確率に対して相互情報量を定義する．
２元対称通信路, ２元消失通信路, Z型チャネルの通信路容量を導出することを学ぶ. それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書6.1節を読んでおくこと。 （2時間）
【事後学習】教科書6.1節の内容を理解しておくこと。 （2時間）
4 通信路符号写像・復号写像，誤り確率を定義し，インディケーター関数を導入し平均誤り確率の見積もりを開始する. それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書6.2節を読んでおくこと。 （2時間）
【事後学習】教科書6.2節の内容を理解しておくこと。 （2時間）
5 Gallagerの上界を導出する． それを理解できるようになる。(A-3,4,5)
【事前学習】教科書6.2節を読んでおくこと。 （2時間）
【事後学習】教科書6.2節の内容を理解しておくこと。 （2時間）
6 補助関数の性質（単調増加性まで）を学習する. それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書6.2節を読んでおくこと。 （2時間）
【事後学習】教科書6.2節の内容を理解しておくこと。 （2時間）
7 補助関数の凹性を証明する．通信路符号化定理を導出する． それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書6.2節を読んでおくこと。 （2時間）
【事後学習】教科書6.2節の内容を理解しておくこと。 （2時間）
8 誤り確率の下界を導出する. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書6.3節を読んでおくこと。 （2時間）
【事後学習】教科書6.3節の内容を理解しておくこと。 （2時間）
9 通信路符号化強逆定理を導出する. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書6.3節を読んでおくこと。 （2時間）
【事後学習】教科書6.3節の内容を理解しておくこと。 （2時間）
10 ２元対称通信路の信頼性関数を導出する． それを理解できるようになる。(A-3,4,5)
【事前学習】教科書6.3節を読んでおくこと。 （2時間）
【事後学習】教科書6.3節の内容を理解しておくこと。 （2時間）
11 誤り訂正や検出の仕組みについて簡単な例を用いて学習する. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書7.1節を読んでおくこと。 （2時間）
【事後学習】教科書7.1節の内容を理解しておくこと。 （2時間）
12 シンドロームベクトルについて学ぶ。
ハミング距離について学ぶ． それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書7.1節を読んでおくこと。 （2時間）
【事後学習】教科書7.1節の内容を理解しておくこと。 （2時間）
13 線形符号の基本的な事柄について学ぶ それを理解できるようになる。(A-3,4,5)
【事前学習】教科書7.2節を読んでおくこと。 （2時間）
【事後学習】教科書7.2節の内容を理解しておくこと。 （2時間）
14 巡回符号の基本的な事柄について学ぶ. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書7.3節を読んでおくこと。 （2時間）
【事後学習】教科書7.3節の内容を理解しておくこと。 （2時間）
15 巡回符号（特に組織符号）の行列表現について学ぶ. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書7.3節を読んでおくこと。 （2時間）
【事後学習】教科書7.3節の内容を理解しておくこと。 （2時間）
その他
教科書 古市 茂 『情報理論: エントロピーと符号化定理』 日本評論社 2021年 第1版
参考書 使用しない
成績評価の方法及び基準 レポート:提出されたレポートの内容によって評価する．(100%)
【レポート】
・課題レポートは，半期授業を通して１回です．
・出題された課題を指示された形式、指示された方法で、期限までに提出すること
・レポートは，与えられた課題の実施状況及びその出来によって評価する．
・他者と同一のレポートが発見された場合は両者とも0点にする．

【備考】
もしも，新型ウィルスの影響が好転し，筆記試験を公平・公正：安全な状態で行えるようになった場合は筆記試験(100%)で評価する．
その場合，原則として再試験は行いません．
オフィスアワー 質問についてはblackboardから電子メールなどを通してお願いします．
備考 下記は対面授業時における注意事項である．

・授業中の私語は厳禁です．繰り返しの注意にも関わらず私語を止めない場合は，他の受講生に対する迷惑行為とみなし，退室を命じることがあります．

・本講義科目において，授業中にノートパソコンを使用することは一切ありません。授業中に，ノートパソコンやタブレット，スマートフォンを操作することは原則認めません。（急用の連絡がスマートフォンに来た時などは，遠慮なく退室して用を済ませてください。）講師の板書をノートパソコンを用いてlatexで取るという場合は認めますので，申し出てください。それ以外の理由で，このような機器を授業中に机の上に置くことを禁じます。使用の有無にかかわらず（例えば他の授業科目の課題などを行っている場合）大幅に減点します。

・前回の授業内容を復習して，理解が不十分な箇所が無いようにしておくこと．また，教科書の次回の授業範囲分を確認して，必要な予備知識に不足があれば補っておくこと．

・点数が悪いからどうにかして下さいと後から申し出る学生が時々いますが、再試験は行いません。そのような申し出をするなら、試験前にわからないところを質問しに来てください。このような申し出は、非常に見苦しいし，聞くに堪えません。

・インフルエンザ罹患などの病気・怪我や忌引き，電車遅延の理由のある場合は、それを示す書類を提示してください。こちらで判断の上、追試験を行う場合があります。原則的にこれら以外の理由での追試験は認めません。

↑このページのトップ