検索したい科目／教員名／キーワードを入力し「検索開始｣ボタンをクリックしてください。
※教員名では姓と名の間に１文字スペースを入れずに、検索してください。
情報理論１
| 令和2年度以降入学者 | 情報理論１ | ||||
|---|---|---|---|---|---|
| 令和元年度以前入学者 | 情報理論１ | ||||
| 教員名 | 古市茂 | ||||
| 単位数 | 2 | 学年 | 3 | 開講区分 |
文理学部
（他学部生相互履修可） |
| 科目群 | 情報科学科 | ||||
| 学期 | 前期 | 履修区分 | 選択必修 | ||
| 授業の形態 | オンデマンド型の遠隔授業（全15回分の講義動画） Blackboard ID:水曜4限→20213038 |
|---|---|
| 授業概要 | 情報理論について入門的に概説する． |
| 授業のねらい・到達目標 | 自己情報量・エントロピーなどの基本事項を理解でき，情報源符号化の方法について理解できるようになる． 情報源符号化定理を理解した後，シャノン符号、ファノ符号、ハフマン符号のアルゴリズムを理解できるようになる． さらに相対エントロピーおよび相互情報量について学ぶ． この科目は文理学部(学士(理学))のディプロマポリシーDP6及びカリキュラムポリシーCP9に対応している。 なお，新カリキュラム（令和2年度以降入学者対象）では，この科目は文理学部（学士(理学)）のディプロマポリシー DP3-5及びカリキュラムポリシー CP3-5に対応している。 ・仮説に基づく課題や問題を提示し，客観的な情報を基に，論理的・批判的に考察できる。(A-3-3) ・問題を分析し，複数の解決策を提示した上で，問題を解決することができる。(A-4-3) ・責任と役割を担い，新しい問題に取り組む意識を持ち，そのために必要な情報科学の知識・情報を収集することができる。(A-5-3) |
| 授業の方法 | 授業の形式：【講義】 担当教官による講義． 文字通りオンデマンドで，15回分の講義動画を順に視聴しながら，各自がノートに講義内容を写しながら理解に努めてください． レポート課題を課しますので，各自が指示に従って，レポートを作成の上，指示された方法で，期限までに提出すること． 授業動画の公開方法や課題の提出方法などについては，Blackboardで指示する． |
| 授業計画 | |
|---|---|
| 1 |
自己情報量について学ぶ. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書の3.1節を読んでおくこと （2時間） 【事後学習】教科書の3.1節の内容を理解しておくこと （2時間） |
| 2 |
確率繊維行列およびエントロピーの性質について学ぶ. それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書の3.1節を読んでおくこと （2時間） 【事後学習】教科書の3.1節の内容を理解しておくこと （2時間） |
| 3 |
エントロピーの公理系について学ぶ. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書の3.2節を読んでおくこと （2時間） 【事後学習】教科書の3.2節の内容を理解しておくこと （2時間） |
| 4 |
エントロピーの一意性定理の証明を学ぶ. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書の3.2節を読んでおくこと （2時間） 【事後学習】教科書の3.2節の内容を理解しておくこと （2時間） |
| 5 |
エントロピー関数の特徴付けおよびShannonエントロピーと統計力学的エントロピーの関係について学ぶ. それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書の3.2節を読んでおくこと （2時間） 【事後学習】教科書の3.2節の内容を理解しておくこと （2時間） |
| 6 |
一意復号可能符号・瞬時復号可能符号について学ぶ． それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書の4.1節を読んでおくこと （2時間） 【事後学習】教科書の4.1節の内容を理解しておくこと （2時間） |
| 7 |
Shannon符号およびFano符号について学ぶ. それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書の4.2節を読んでおくこと （2時間） 【事後学習】教科書の4.2節の内容を理解しておくこと （2時間） |
| 8 |
情報源符号化定理およびHuffman符号について学ぶ. それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書の4.2節を読んでおくこと （2時間） 【事後学習】教科書の4.2節の内容を理解しておくこと （2時間） |
| 9 |
Huffman符号の最適性の証明について学ぶ. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書の4.3節を読んでおくこと （2時間） 【事後学習】教科書の4.3節の内容を理解しておくこと （2時間） |
| 10 |
LZ77符号化について学ぶ. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書の4.4節を読んでおくこと （2時間） 【事後学習】教科書の4.4節の内容を理解しておくこと （2時間） |
| 11 |
LZ78符号化について学ぶ. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書の4.4節を読んでおくこと （2時間） 【事後学習】教科書の4.4節の内容を理解しておくこと （2時間） |
| 12 |
相互情報量の定義，エントロピーとの関係式について学ぶ. それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書5.1節を読んでおくこと。 （2時間） 【事後学習】教科書5.1節の内容を理解しておくこと。 （2時間） |
| 13 |
相対エントロピーの基本的な性質について学ぶ. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書5.2節を読んでおくこと。 （2時間） 【事後学習】教科書5.2節の内容を理解しておくこと。 （2時間） |
| 14 |
相互情報量の再定義，クロスエントロピー，２重確率繊維行列について学ぶ. それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書5.2節を読んでおくこと。 （2時間） 【事後学習】教科書5.2節の内容を理解しておくこと。 （2時間） |
| 15 |
相対エントロピーの下界(Pinskerの不等式)，Shannonエントロピーの上界に関して学ぶ. それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書5.2節を読んでおくこと。 （2時間） 【事後学習】教科書5.2節の内容を理解しておくこと。 （2時間） |
| その他 | |
|---|---|
| 教科書 | 古市 茂 『情報理論: エントロピーと符号化定理』 日本評論社 2021年 第1版 |
| 参考書 | 参考書は入手が困難であると思われるので，可能な範囲でWebサイトなどで学習内容について調べておくこと． |
| 成績評価の方法及び基準 | レポート:提出されたレポートの内容によって評価する．(100%) 【レポート】 ・課題レポートは，半期授業を通して１回です． ・出題された課題を指示された形式、指示された方法で、期限までに提出すること ・レポートは，与えられた課題の実施状況及びその出来によって評価する． ・レポート課題は個人で解答するものです．複数人で集まって解答したり答えを教えあったりする行為は不正行為です． ・他者と同一内容の答案（誤答）が１カ所でも発見された場合は両者とも0点と判断することがある． 【備考】 もしも，新型ウィルスの影響が好転し，筆記試験を公平・公正：安全な状態で行えるようになった場合は筆記試験(100%)で評価する． その場合，原則として再試験は行いません． |
| オフィスアワー | 質問についてはblackboardから電子メールなどを通してお願いします． |
| 備考 | 以下は対面授業の時の注意事項である． ・授業中の私語は厳禁です．繰り返しの注意にも関わらず私語を止めない場合は，他の受講生に対する迷惑行為とみなし，退室を命じることがあります． ・本講義科目において，授業中にノートパソコンを使用することは一切ありません。授業中に，ノートパソコンやタブレット，スマートフォンを操作することは原則認めません。（急用の連絡がスマートフォンに来た時などは，遠慮なく退室して用を済ませてください。）講師の板書をノートパソコンを用いてlatexで取るという場合は認めますので，申し出てください。それ以外の理由で，このような機器を授業中に机の上に置くことを禁じます。使用の有無にかかわらず（例えば他の授業科目の課題などを行っている場合）大幅に減点します。 ・前回の授業内容を復習して，理解が不十分な箇所が無いようにしておくこと．また，教科書の次回の授業範囲分を確認して，必要な予備知識に不足があれば補っておくこと． ・点数が悪いからどうにかして下さいと後から申し出る学生が時々いますが、再試験は行いません。そのような申し出をするなら、試験前にわからないところを質問しに来てください。このような申し出は、非常に見苦しいし，聞くに堪えません。 ・インフルエンザ罹患などの病気・怪我や忌引き，電車遅延の理由のある場合は、それを示す書類を提示してください。こちらで判断の上、追試験を行う場合があります。原則的にこれら以外の理由での追試験は認めません。 |