文理学部シラバスTOP > 文理学部 > 情報科学科 > 情報理論１
日本大学ロゴ

情報理論１

このページを印刷する

令和２年度以降入学者 情報理論１
教員名 古市茂
単位数    2 学年 3･4 開講区分 文理学部
（他学部生相互履修可）
科目群 情報科学科
学期 前期 履修区分 選択必修
授業形態 対面授業（一部遠隔授業）
Canvas LMSコースID・コース名称 Q072241743　2024情報理論１（古市茂・前・水3）
授業概要 情報理論について入門的に概説する．情報理論は1948年にC.E.Shannonによって発表された2つの論文を基にして今日まで発展してきた情報科学における理論的分野である．理論的分野とは言え，情報圧縮技術や誤り訂正符号など情報化社会における技術的応用も多く行われている．
この授業では，情報の数量化が如何にして行われたのか，情報圧縮技術の基になる定理の証明，さらには簡単ではあるが具体的な圧縮アルゴリズムについて学習する．
授業のねらい・到達目標 自己情報量・エントロピーなどの基本事項を理解でき，情報源符号化の方法について理解できるようになる．
情報源符号化定理を理解した後，シャノン符号、ファノ符号、ハフマン符号のアルゴリズム，ユニバーサル符号（LZ77およびLZ78）を理解できるようになる．またエントロピーの一意性定理やハフマン符号の最適性の厳密な証明についても学ぶのでそれらも理解できるようになる．


この科目は文理学部（学士(理学)）のディプロマポリシー DP3-5及びカリキュラムポリシー CP3-5に対応している。

・仮説に基づく課題や問題を提示し，客観的な情報を基に，論理的・批判的に考察できる。(A-3-3)
・問題を分析し，複数の解決策を提示した上で，問題を解決することができる。(A-4-3)
・責任と役割を担い，新しい問題に取り組む意識を持ち，そのために必要な情報科学の知識・情報を収集することができる。(A-5-3)
授業の形式 講義
授業の方法 定理や補題、命題などの証明をもれなく解説する．
ほとんどの例や問いについても計算を含め詳細に解説する．

授業内試験の講評をBbにおいて行う．
個別の質問があった場合に，全ての学生にとって聞く価値のある内容と判断した場合はBbまたは授業内で紹介する．

対面授業に参加できない時の代替方法：各回ビデオオンデマンドで対応する．
授業計画
1 数分のガイダンスの後，情報理論を学ぶ意義について，簡単な情報源符号化の例と共に紹介する。それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書の1.1節を読んでおくこと （2時間）
【事後学習】教科書の1.1節の内容を理解しておくこと （2時間）
【授業形態】対面授業
2 情報の数量化として等確率の場合の自己情報量の特徴付けについて学ぶ. それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書の3.1節を読んでおくこと （2時間）
【事後学習】教科書の3.1節の内容を理解しておくこと （2時間）
【授業形態】対面授業
3 一般の自己情報量の特徴付けおよび確率遷移行列について学ぶ. それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書の3.1節を読んでおくこと （2時間）
【事後学習】教科書の3.1節の内容を理解しておくこと （2時間）
【授業形態】対面授業
4 エントロピーの性質について学ぶ．それを理解できるようになる。(A-3,4,5)
【事前学習】教科書の3.2節を読んでおくこと （2時間）
【事後学習】教科書の3.2節の内容を理解しておくこと （2時間）
【授業形態】対面授業
5 エントロピーの公理系について学ぶ. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書の3.2節を読んでおくこと （2時間）
【事後学習】教科書の3.2節の内容を理解しておくこと （2時間）
【授業形態】対面授業
6 エントロピーの一意性定理の証明を学ぶ. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書の3.2節を読んでおくこと （2時間）
【事後学習】教科書の3.2節の内容を理解しておくこと （2時間）
【授業形態】対面授業
7 一意復号可能符号・瞬時復号可能符号について学ぶ． それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書の4.1節を読んでおくこと （2時間）
【事後学習】教科書の4.1節の内容を理解しておくこと （2時間）
【授業形態】対面授業
8 Shannon符号およびFano符号について学ぶ. それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書の4.2節を読んでおくこと （2時間）
【事後学習】教科書の4.2節の内容を理解しておくこと （2時間）
【授業形態】オンデマンド型授業
9 情報源符号化定理およびHuffman符号について学ぶ. それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書の4.2節を読んでおくこと （2時間）
【事後学習】教科書の4.2節の内容を理解しておくこと （2時間）
【授業形態】オンデマンド型授業
10 Huffman符号の最適性の証明について学ぶ. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書の4.3節を読んでおくこと （2時間）
【事後学習】教科書の4.3節の内容を理解しておくこと （2時間）
【授業形態】オンデマンド型授業
11 LZ77符号化について学ぶ. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書の4.4節を読んでおくこと （2時間）
【事後学習】教科書の4.4節の内容を理解しておくこと （2時間）
【授業形態】対面授業
12 LZ78符号化について学ぶ. それを理解できるようになる。(A-3,4,5)
【事前学習】教科書の4.4節を読んでおくこと （2時間）
【事後学習】教科書の4.4節の内容を理解しておくこと （2時間）
【授業形態】対面授業
13 これまで学習した内容に関する筆記試験と振り返りを行う。熱力学の復習について学ぶ。それを理解できるようになる。(A-3,4,5)
【事前学習】教科書3章および4章を復習しておくように。教科書の1.2節を読んでおくこと （2時間）
【事後学習】試験問題用紙を持ち帰り教科書・授業ノートをみながら再度，解答を作成しておくように。教科書の1.2節の内容を理解しておくこと （2時間）
【授業形態】対面授業
14 微分積分の復習について学ぶ。それを理解できるようになる。(A-3,4,5)
【事前学習】教科書の1.2節を読んでおくこと （2時間）
【事後学習】教科書の1.2節の内容を理解しておくこと （2時間）
【授業形態】オンデマンド型授業
15 エントロピー関数の特徴付けおよびShannonエントロピーと統計力学的エントロピーの関係について学ぶ. それらを理解できるようになる。(A-3,4,5)
【事前学習】教科書の3.2節を読んでおくこと （2時間）
【事後学習】教科書の3.2節の内容を理解しておくこと （2時間）
【授業形態】オンデマンド型授業
その他
教科書 古市 茂 『情報理論: エントロピーと符号化定理』 日本評論社 2021年 第1版
参考書 使用しない
成績評価の方法及び基準 授業内テスト:13回目の授業時に筆記試験を行いその結果で成績を評価します．(100%)
学部指定の条件を満たしたうえで対面試験を受験できなかった者については，追試験により成績を評価する．
オフィスアワー 質問については電子メールなどを通してお願いします．
備考 ・授業中の私語は厳禁です．繰り返しの注意にも関わらず私語を止めない場合は，他の受講生に対する迷惑行為とみなし，退室を命じることがあります．

・本講義科目において，授業中にノートパソコンを使用することは一切ありません。授業中に，ノートパソコンやタブレット，スマートフォンを操作することは原則認めません。（急用の連絡がスマートフォンに来た時などは，遠慮なく退室して用を済ませてください。）講師の板書をノートパソコンを用いてlatexで取る，あるいは電子ペンでタブレットなどに取るという場合は認めますので，申し出てください。それ以外の理由で，このような機器を授業中に机の上に置くことを禁じます。使用の有無にかかわらず（例えば他の授業科目の課題などを行っている場合）大幅に減点します。

・前回の授業内容を復習して，理解が不十分な箇所が無いようにしておくこと．また，教科書の次回の授業範囲分を確認して，必要な予備知識に不足があれば補っておくこと．

・点数が悪いからどうにかして下さいと後から申し出る学生が時々いますが、再試験は行いません。そのような申し出をするなら、試験前にわからないところを質問しに来てください。このような申し出は、非常に見苦しいし，聞くに堪えません。

・個別に電子メールなどで出題傾向などを尋ねることは止めてください。試験内容について、公平性の観点から特定の個人への情報を開示しません。そのような行為は試験制度を歪める元凶となりますので，そのような電子メールへの回答は一切致しません。授業に出席し，真面目に聴講していれば，重要な個所はある程度分かるはずです。

・新型コロナウィルス・インフルエンザ罹患などの病気・怪我や忌引き，電車遅延の理由のある場合は、試験日よりも前に連絡したうえで，それを示す書類を提示してください。こちらで判断の上、追試験を行う場合があります。原則的にこれら以外の理由での追試験は認めません。（例えば，試験翌日とかに，コロナ陽性でしたと主張されても追試は認められません。）

・もしも追試験を行うことになった場合，当然，本試験とは異なる問題です．また，追試験の日まで試験勉強期間が延びることから，本試験より難易度は高くなります．なお，追試験の追試験は行いませんので体調管理を怠らないよう気を付けてください．

↑このページのトップ