文理学部シラバスTOP > 文理学部 > 情報科学科 > 情報理論２
日本大学ロゴ

情報理論２

このページを印刷する

令和２年度以降入学者 情報理論２
教員名 古市茂
単位数    2 学年 3･4 開講区分 文理学部
（他学部生相互履修可）
科目群 情報科学科
学期 後期 履修区分 選択必修
授業形態 対面授業（一部遠隔授業）
授業の形態 講義形式（一部オンデマンドによる動画授業）
Canvas LMSコースID・コース名称 Q073241744　2024情報理論２（古市茂・後・水3）
授業概要 情報理論について入門的に概説する．情報理論について入門的に概説する．情報理論は1948年にC.E.Shannonによって発表された2つの論文を基にして今日まで発展してきた情報科学における理論的分野である．理論的分野とは言え，情報圧縮技術や誤り訂正符号など情報化社会における技術的応用も多く行われている．
この授業では，相対エントロピーや相互情報量の性質を学び，相互情報量の入力分布による最大値である通信路容量をいくつかの具体的な通信路に対して計算する．また，誤り訂正符号の仕組みについて学ぶため，符号理論の基礎として線形符号・巡回符号について講義する．
授業のねらい・到達目標 2つの情報源について定まる条件付エントロピーさらに相互情報量・通信路容量について学ぶ．
さらにより一般的な相対エントロピーについて学ぶ。連続系の話題として微分エントロピーについて学ぶ。
具体的な通信路として2元対称通信路・2元消失通信路・Z型通信路に対して通信路容量を求める。
最後に，時間を掛けて線形符号および巡回符号の原理について理解する。

この科目は文理学部（学士(理学)）のディプロマポリシー DP3-5及びカリキュラムポリシー CP3-5に対応している。

・仮説に基づく課題や問題を提示し，客観的な情報を基に，論理的・批判的に考察できる。(A-3-3)
・問題を分析し，複数の解決策を提示した上で，問題を解決することができる。(A-4-3)
・責任と役割を担い，新しい問題に取り組む意識を持ち，そのために必要な情報科学の知識・情報を収集することができる。(A-5-3)
授業の形式 講義
授業の方法 定理や補題、命題などの証明をもれなく解説する．
ほとんどの例や問いについても計算を含め詳細に解説する．

授業内試験の講評をCanvas LMSにおいて行う．
個別の質問があった場合に，全ての学生にとって聞く価値のある内容と判断した場合はCanvas LMSまたは授業内で紹介する．

対面授業に参加できない時の代替方法：各回ビデオオンデマンドで対応する．
履修条件 「情報理論１」を履修していること．
「情報理論１」の単位を修得していることが望ましい．
授業計画
1 ２つの情報源に対して条件付エントロピーおよび相互情報量を定義する．具体例を通してそれらの意味について理解する。連鎖則・劣加法性などの基本的な性質について学ぶ。 それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書5.1節を読んでおくこと。 （2時間）
【事後学習】教科書5.1節の内容を理解しておくこと。 （2時間）
【授業形態】対面授業
2 相対エントロピーについて定義して，その基本的な性質について学ぶ。また、対数和不等式を証明する。それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書5.2節を読んでおくこと。 （2時間）
【事後学習】教科書5.2節の内容を理解しておくこと。 （2時間）
【授業形態】対面授業
3 2重確率遷移行列に対して，相対エントロピーの単調性を用いて，エントロピーの増大原理（熱力学の第二法則）を導く。相対エントロピーを用いた相互情報量の再定義，クロスエントロピーの簡単な例を学ぶ。それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書5.2節を読んでおくこと。 （2時間）
【事後学習】教科書5.2節の内容を理解しておくこと。 （2時間）
【授業形態】対面授業
4 連続系のエントロピーである微分エントロピーを定義し，一様分布と正規分布に対して計算する。平均に拘束条件を課したエントロピー最大化原理について学ぶ． 分散まに拘束条件を課したエントロピー最大化原理について学ぶ．それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書5.3節を読んでおくこと。 （2時間）
【事後学習】教科書5.3節の内容を理解しておくこと。 （2時間）
【授業形態】対面授業
5 通信路行列を事前確率による相互情報量の再定義，通信路容量の定義を行う。具体的な例として2元対称通信路と2元消失通信路に対して通信路容量を導出する。それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書6.1節を読んでおくこと。 （2時間）
【事後学習】教科書6.1節の内容を理解しておくこと。 （2時間）
【授業形態】対面授業
6 Z型チャネルに対して通信路容量を導出する。それを理解できるようになる。(A-3,4,5)
【事前学習】教科書6.1節を読んでおくこと。 （2時間）
【事後学習】教科書6.1節の内容を理解しておくこと。 （2時間）
【授業形態】対面授業
7 誤り訂正や検出の仕組みについて, ISBNなどの簡単な例を用いて学習する. シンドロームベクトルについて学ぶ。
それを理解できるようになる。(A-3,4,5)
【事前学習】教科書7.1節を読んでおくこと。 （2時間）
【事後学習】教科書7.1節の内容を理解しておくこと。 （2時間）
【授業形態】対面授業
8 ハミング距離について学ぶ．符号の誤り訂正・検出能力の条件について学ぶ。それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書7.1節を読んでおくこと。 （2時間）
【事後学習】教科書7.1節の内容を理解しておくこと。 （2時間）
【授業形態】対面授業
9 線形符号の基本的な事柄について学ぶ。情報・検査関連行列を用いた生成行列や検査行列の定義，いくつかの例を通して線形符号に対する誤り訂正について学ぶ。 それを理解できるようになる。(A-3,4,5)
【事前学習】教科書7.2節を読んでおくこと。 （2時間）
【事後学習】教科書7.2節の内容を理解しておくこと。 （2時間）
【授業形態】対面授業
10 多項式を利用した巡回符号について学ぶ。多項式が符号多項式であるための必要十分条件を示す。それを理解できるようになる。(A-3,4,5)
【事前学習】教科書7.2節を読んでおくこと。 （2時間）
【事後学習】教科書7.2節の内容を理解しておくこと。 （2時間）
【授業形態】対面授業
11 巡回符号の基本的な事柄について学ぶ. 生成多項式の性質を学ぶ。シンドローム多項式を用いた誤り検出法について学ぶ。それを理解できるようになる。(A-3,4,5)
【事前学習】教科書7.3節を読んでおくこと。 （2時間）
【事後学習】教科書7.3節の内容を理解しておくこと。 （2時間）
【授業形態】対面授業
12 巡回符号（組織符号および非組織符号）の行列表現について学ぶ. 具体的な例題・問題を通して理解を深める。それを理解できるようになる。(A-3,4,5)
【事前学習】教科書7.3節を読んでおくこと。 （2時間）
【事後学習】教科書7.3節の内容を理解しておくこと。 （2時間）
【授業形態】対面授業
13 これまでの内容に関する授業内試験と振り返りを行う。通信路符号化定理のサマリーを行う。すなわち，6.2節と6.3節の定理の紹介を証明せずに行う。
【事前学習】教科書5章，6.1節，7章を読んでおくこと。6.2節と6.3節の定理を読んでおくこと（証明は不要） （2時間）
【事後学習】試験問題を持ち帰り教科書およびこれまでの授業ノートをもとにもう一度解答を作成しておくこと。6.2節と6.3節の定理の内容を理解しておくこと（証明は不要） （2時間）
【授業形態】対面授業
14 相対エントロピーの下界(Pinskerの不等式)について学ぶ。またエントロピーの差の上界について導出しエントロピーの連続性を連続性を確認する。 それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書5.2節を読んでおくこと。 （2時間）
【事後学習】教科書5.2節の内容を理解しておくこと。 （2時間）
【授業形態】オンデマンド型授業
15 クラメール・ラオの不等式について学ぶ．また有名な重責分の計算を確認する。それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書5.3節を読んでおくこと。 （2時間）
【事後学習】教科書5.3節の内容を理解しておくこと。 （2時間）
【授業形態】オンデマンド型授業
その他
教科書 古市 茂 『情報理論: エントロピーと符号化定理』 日本評論社 2021年 第1版
参考書 使用しない
成績評価の方法及び基準 授業内テスト:筆記試験の結果により評価する（対面試験）(100%)
学部指定の条件を満たしたうえで対面試験を受験できなかった者については，追試験により成績を評価する．
オフィスアワー 質問については電子メールなどを通してお願いします．
備考 ・授業中の私語は厳禁です．繰り返しの注意にも関わらず私語を止めない場合は，他の受講生に対する迷惑行為とみなし，退室を命じることがあります．

・本講義科目において，授業中にノートパソコンを使用することは一切ありません。授業中に，ノートパソコンやタブレット，スマートフォンを操作することは原則認めません。（急用の連絡がスマートフォンに来た時などは，遠慮なく退室して用を済ませてください。）講師の板書をノートパソコンを用いてlatexで取る，あるいは電子ペンでタブレットなどに取るという場合は認めます。それ以外の理由で，このような機器を授業中に机の上に置くことを禁じます。使用の有無にかかわらず（例えば他の授業科目の課題などを行っている場合）大幅に減点します。

・前回の授業内容を復習して，理解が不十分な箇所が無いようにしておくこと．また，教科書の次回の授業範囲分を確認して，必要な予備知識に不足があれば補っておくこと．

・点数が悪いからどうにかして下さいと後から申し出る学生が時々いますが、再試験は行いません。そのような申し出をするなら、試験前にわからないところを質問しに来てください。このような申し出は、非常に見苦しいし，聞くに堪えません。

・個別に電子メールなどで出題傾向などを尋ねることは止めてください。試験内容について、公平性の観点から特定の個人への情報を開示しません。そのような行為は試験制度を歪める元凶となりますので，そのような電子メールへの回答は一切致しません。授業に出席し，真面目に聴講していれば，重要な個所はある程度分かるはずです。

・新型コロナウィルス・インフルエンザ罹患などの病気・怪我や忌引き，電車遅延の理由のある場合は、試験日よりも前に連絡したうえで，それを示す書類を提示してください。こちらで判断の上、追試験を行う場合があります。原則的にこれら以外の理由での追試験は認めません。（例えば，試験翌日とかに，コロナ陽性でしたと主張されても追試は認められません。）

・もしも追試験を行うことになった場合，当然，本試験とは異なる問題です．また，追試験の日まで試験勉強期間が延びることから，本試験より難易度は高くなります．なお，追試験の追試験は行いませんので体調管理を怠らないよう気を付けてください．

↑このページのトップ