検索したい科目／教員名／キーワードを入力し「検索開始｣ボタンをクリックしてください。
※教員名では姓と名の間に１文字スペースを入れずに、検索してください。
情報理論１
| 令和２年度以降入学者 | 情報理論１ | ||||
|---|---|---|---|---|---|
| 令和元年度以前入学者 | 情報理論１ | ||||
| 教員名 | 古市茂 | ||||
| 単位数 | 2 | 学年 | 3 | 開講区分 | 文理学部 |
| 科目群 | 情報科学科 | ||||
| 学期 | 前期 | 履修区分 | 選択必修 | ||
| 授業の形態 | 対面授業 Blackboard ID:水曜3限→20221449 |
|---|---|
| 授業概要 | 情報理論について入門的に概説する． |
| 授業のねらい・到達目標 | 自己情報量・エントロピーなどの基本事項を理解でき，情報源符号化の方法について理解できるようになる． 情報源符号化定理を理解した後，シャノン符号、ファノ符号、ハフマン符号のアルゴリズムを理解できるようになる． さらに相対エントロピーおよび相互情報量について学ぶ． この科目は文理学部(学士(理学))のディプロマポリシーDP6及びカリキュラムポリシーCP9に対応している。 なお，新カリキュラム（令和2年度以降入学者対象）では，この科目は文理学部（学士(理学)）のディプロマポリシー DP3-5及びカリキュラムポリシー CP3-5に対応している。 ・仮説に基づく課題や問題を提示し，客観的な情報を基に，論理的・批判的に考察できる。(A-3-3) ・問題を分析し，複数の解決策を提示した上で，問題を解決することができる。(A-4-3) ・責任と役割を担い，新しい問題に取り組む意識を持ち，そのために必要な情報科学の知識・情報を収集することができる。(A-5-3) |
| 授業の方法 | 各回対面による授業（講義） 対面に参加できない学生は，該当回のオンデマンド動画を視聴すること． なお，対面参加不参加の条件は学部ガイドラインの方針に従う． |
| 授業計画 | |
|---|---|
| 1 |
自己情報量について学ぶ. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書の3.1節を読んでおくこと （2時間） 【事後学習】教科書の3.1節の内容を理解しておくこと （2時間） |
| 2 |
確率繊維行列およびエントロピーの性質について学ぶ. それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書の3.1節を読んでおくこと （2時間） 【事後学習】教科書の3.1節の内容を理解しておくこと （2時間） |
| 3 |
エントロピーの公理系について学ぶ. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書の3.2節を読んでおくこと （2時間） 【事後学習】教科書の3.2節の内容を理解しておくこと （2時間） |
| 4 |
エントロピーの一意性定理の証明を学ぶ. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書の3.2節を読んでおくこと （2時間） 【事後学習】教科書の3.2節の内容を理解しておくこと （2時間） |
| 5 |
エントロピー関数の特徴付けおよびShannonエントロピーと統計力学的エントロピーの関係について学ぶ. それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書の3.2節を読んでおくこと （2時間） 【事後学習】教科書の3.2節の内容を理解しておくこと （2時間） |
| 6 |
一意復号可能符号・瞬時復号可能符号について学ぶ． それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書の4.1節を読んでおくこと （2時間） 【事後学習】教科書の4.1節の内容を理解しておくこと （2時間） |
| 7 |
Shannon符号およびFano符号について学ぶ. それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書の4.2節を読んでおくこと （2時間） 【事後学習】教科書の4.2節の内容を理解しておくこと （2時間） |
| 8 |
情報源符号化定理およびHuffman符号について学ぶ. それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書の4.2節を読んでおくこと （2時間） 【事後学習】教科書の4.2節の内容を理解しておくこと （2時間） |
| 9 |
Huffman符号の最適性の証明について学ぶ. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書の4.3節を読んでおくこと （2時間） 【事後学習】教科書の4.3節の内容を理解しておくこと （2時間） |
| 10 |
LZ77符号化について学ぶ. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書の4.4節を読んでおくこと （2時間） 【事後学習】教科書の4.4節の内容を理解しておくこと （2時間） |
| 11 |
LZ78符号化について学ぶ. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書の4.4節を読んでおくこと （2時間） 【事後学習】教科書の4.4節の内容を理解しておくこと （2時間） |
| 12 |
相互情報量の定義，エントロピーとの関係式について学ぶ. それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書5.1節を読んでおくこと。 （2時間） 【事後学習】教科書5.1節の内容を理解しておくこと。 （2時間） |
| 13 |
相対エントロピーの基本的な性質について学ぶ. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書5.2節を読んでおくこと。 （2時間） 【事後学習】教科書5.2節の内容を理解しておくこと。 （2時間） |
| 14 |
相互情報量の再定義，クロスエントロピー，２重確率繊維行列について学ぶ. それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書5.2節を読んでおくこと。 （2時間） 【事後学習】教科書5.2節の内容を理解しておくこと。 （2時間） |
| 15 |
相対エントロピーの下界(Pinskerの不等式)，Shannonエントロピーの上界に関して学ぶ. それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書5.2節を読んでおくこと。 （2時間） 【事後学習】教科書5.2節の内容を理解しておくこと。 （2時間） |
| その他 | |
|---|---|
| 教科書 | 古市 茂 『情報理論: エントロピーと符号化定理』 日本評論社 2021年 第1版 |
| 参考書 | なし |
| 成績評価の方法及び基準 | 試験(100%) 学部指定の条件を満たしたうえで対面試験を受験できなかった者については，追試験により成績を評価する． |
| オフィスアワー | 質問についてはblackboardから電子メールなどを通してお願いします． |
| 備考 | ・授業中の私語は厳禁です．繰り返しの注意にも関わらず私語を止めない場合は，他の受講生に対する迷惑行為とみなし，退室を命じることがあります． ・本講義科目において，授業中にノートパソコンを使用することは一切ありません。授業中に，ノートパソコンやタブレット，スマートフォンを操作することは原則認めません。（急用の連絡がスマートフォンに来た時などは，遠慮なく退室して用を済ませてください。）講師の板書をノートパソコンを用いてlatexで取る，あるいは電子ペンでタブレットなどに取るという場合は認めますので，申し出てください。それ以外の理由で，このような機器を授業中に机の上に置くことを禁じます。使用の有無にかかわらず（例えば他の授業科目の課題などを行っている場合）大幅に減点します。 ・前回の授業内容を復習して，理解が不十分な箇所が無いようにしておくこと．また，教科書の次回の授業範囲分を確認して，必要な予備知識に不足があれば補っておくこと． ・点数が悪いからどうにかして下さいと後から申し出る学生が時々いますが、再試験は行いません。そのような申し出をするなら、試験前にわからないところを質問しに来てください。このような申し出は、非常に見苦しいし，聞くに堪えません。 ・個別に電子メールなどで出題傾向などを尋ねることは止めてください。試験内容について、公平性の観点から特定の個人への情報を開示しません。そのような行為は試験制度を歪める元凶となりますので，そのような電子メールへの回答は一切致しません。授業に出席し，真面目に聴講していれば，重要な個所はある程度分かるはずです。 ・新型コロナウィルス・インフルエンザ罹患などの病気・怪我や忌引き，電車遅延の理由のある場合は、試験日よりも前に連絡したうえで，それを示す書類を提示してください。こちらで判断の上、追試験を行う場合があります。原則的にこれら以外の理由での追試験は認めません。（例えば，試験翌日とかに，コロナ陽性でしたと主張されても追試は認められません。） ・もしも追試験を行うことになった場合，当然，本試験とは異なる問題です．また，追試験の日まで試験勉強期間が延びることから，本試験より難易度は高くなります． |