文理学部シラバスTOP > 文理学部 > 情報科学科 > 情報理論２
日本大学ロゴ

情報理論２

このページを印刷する

令和２年度以降入学者 情報理論２
令和元年度以前入学者 情報理論２
教員名 古市茂
単位数    2 学年    3 開講区分 文理学部
科目群 情報科学科
学期 後期 履修区分 選択必修
授業の形態 対面授業（一部オンデマンドによる動画授業，オンデマンドの授業回はBbにて指示する．）

Blackboard ID:水曜3限→20224420
授業概要 情報理論について入門的に概説する．
授業のねらい・到達目標 微分エントロピー・信頼性関数を用いた通信路符号化定理の証明および通信路逆定理の証明・線形符号および巡回符号の原理について理解する

この科目は文理学部(学士(理学))のディプロマポリシーDP6及びカリキュラムポリシーCP9に対応している。

なお，新カリキュラム（令和2年度以降入学者対象）では，この科目は文理学部（学士(理学)）のディプロマポリシー DP3-5及びカリキュラムポリシー CP3-5に対応している。

・仮説に基づく課題や問題を提示し，客観的な情報を基に，論理的・批判的に考察できる。(A-3-3)
・問題を分析し，複数の解決策を提示した上で，問題を解決することができる。(A-4-3)
・責任と役割を担い，新しい問題に取り組む意識を持ち，そのために必要な情報科学の知識・情報を収集することができる。(A-5-3)
授業の方法 主に対面による授業（講義）．一部オンデマンドのみによる動画授業があり，オンデマンドの授業回はBbにて指示する．

対面に参加できない学生は，該当回のオンデマンド動画を視聴すること．
なお，対面参加不参加の条件は学部ガイドラインの方針に従う．
履修条件 「情報理論１」を履修していること．
「情報理論１」の単位を修得していることが望ましい．
授業計画
1 通信路行列と事前確率に対して相互情報量を定義する．
２元対称通信路, ２元消失通信路, Z型チャネルの通信路容量を導出することを学ぶ. それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書6.1節を読んでおくこと。 （2時間）
【事後学習】教科書6.1節の内容を理解しておくこと。 （2時間）
2 通信路符号写像・復号写像，誤り確率を定義し，インディケーター関数を導入し平均誤り確率の見積もりを開始する. それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書6.2節を読んでおくこと。 （2時間）
【事後学習】教科書6.2節の内容を理解しておくこと。 （2時間）
3 Gallagerの上界を導出する． それを理解できるようになる。(A-3,4,5)
【事前学習】教科書6.2節を読んでおくこと。 （2時間）
【事後学習】教科書6.2節の内容を理解しておくこと。 （2時間）
4 補助関数の性質（単調増加性まで）を学習する. それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書6.2節を読んでおくこと。 （2時間）
【事後学習】教科書6.2節の内容を理解しておくこと。 （2時間）
5 補助関数の凹性を証明する．通信路符号化定理を導出する． それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書6.2節を読んでおくこと。 （2時間）
【事後学習】教科書6.2節の内容を理解しておくこと。 （2時間）
6 誤り確率の下界を導出する. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書6.3節を読んでおくこと。 （2時間）
【事後学習】教科書6.3節の内容を理解しておくこと。 （2時間）
7 通信路符号化強逆定理を導出する. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書6.3節を読んでおくこと。 （2時間）
【事後学習】教科書6.3節の内容を理解しておくこと。 （2時間）
8 誤り訂正や検出の仕組みについて簡単な例を用いて学習する. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書7.1節を読んでおくこと。 （2時間）
【事後学習】教科書7.1節の内容を理解しておくこと。 （2時間）
9 シンドロームベクトルについて学ぶ。
ハミング距離について学ぶ． それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書7.1節を読んでおくこと。 （2時間）
【事後学習】教科書7.1節の内容を理解しておくこと。 （2時間）
10 線形符号の基本的な事柄について学ぶ それを理解できるようになる。(A-3,4,5)
【事前学習】教科書7.2節を読んでおくこと。 （2時間）
【事後学習】教科書7.2節の内容を理解しておくこと。 （2時間）
11 巡回符号の基本的な事柄について学ぶ. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書7.3節を読んでおくこと。 （2時間）
【事後学習】教科書7.3節の内容を理解しておくこと。 （2時間）
12 巡回符号（特に組織符号）の行列表現について学ぶ. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書7.3節を読んでおくこと。 （2時間）
【事後学習】教科書7.3節の内容を理解しておくこと。 （2時間）
13 これまでの内容に関する授業内試験。
２元対称通信路の信頼性関数を導出する． それを理解できるようになる。(A-3,4,5)
【事前学習】教科書6.3節の例6.9を読んでおくこと。 （2時間）
【事後学習】教科書6.3節の例6.9の内容を理解しておくこと。 （2時間）
14 微分エントロピーとその例，相対エントロピーの非負性について学ぶ.
平均に拘束条件を課したエントロピー最大化原理について学ぶ． それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書5.3節を読んでおくこと。 （2時間）
【事後学習】教科書5.3節の内容を理解しておくこと。 （2時間）
15 分散まに拘束条件を課したエントロピー最大化原理について学ぶ．
クラメール・ラオの不等式について学ぶ． それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書5.3節を読んでおくこと。 （2時間）
【事後学習】教科書5.3節の内容を理解しておくこと。 （2時間）
その他
教科書 古市 茂 『情報理論: エントロピーと符号化定理』 日本評論社 2021年 第1版
参考書 なし
成績評価の方法及び基準 授業内テスト:筆記試験の結果により評価する（対面試験）(100%)
学部指定の条件を満たしたうえで対面試験を受験できなかった者については，追試験により成績を評価する．
オフィスアワー 質問についてはblackboardから電子メールなどを通してお願いします．
備考 ・授業中の私語は厳禁です．繰り返しの注意にも関わらず私語を止めない場合は，他の受講生に対する迷惑行為とみなし，退室を命じることがあります．

・本講義科目において，授業中にノートパソコンを使用することは一切ありません。授業中に，ノートパソコンやタブレット，スマートフォンを操作することは原則認めません。（急用の連絡がスマートフォンに来た時などは，遠慮なく退室して用を済ませてください。）講師の板書をノートパソコンを用いてlatexで取る，あるいは電子ペンでタブレットなどに取るという場合は認めますので，申し出てください。それ以外の理由で，このような機器を授業中に机の上に置くことを禁じます。使用の有無にかかわらず（例えば他の授業科目の課題などを行っている場合）大幅に減点します。

・前回の授業内容を復習して，理解が不十分な箇所が無いようにしておくこと．また，教科書の次回の授業範囲分を確認して，必要な予備知識に不足があれば補っておくこと．

・点数が悪いからどうにかして下さいと後から申し出る学生が時々いますが、再試験は行いません。そのような申し出をするなら、試験前にわからないところを質問しに来てください。このような申し出は、非常に見苦しいし，聞くに堪えません。

・個別に電子メールなどで出題傾向などを尋ねることは止めてください。試験内容について、公平性の観点から特定の個人への情報を開示しません。そのような行為は試験制度を歪める元凶となりますので，そのような電子メールへの回答は一切致しません。授業に出席し，真面目に聴講していれば，重要な個所はある程度分かるはずです。

・新型コロナウィルス・インフルエンザ罹患などの病気・怪我や忌引き，電車遅延の理由のある場合は、試験日よりも前に連絡したうえで，それを示す書類を提示してください。こちらで判断の上、追試験を行う場合があります。原則的にこれら以外の理由での追試験は認めません。（例えば，試験翌日とかに，コロナ陽性でしたと主張されても追試は認められません。）

・もしも追試験を行うことになった場合，当然，本試験とは異なる問題です．また，追試験の日まで試験勉強期間が延びることから，本試験より難易度は高くなります．

↑このページのトップ