文理学部シラバスTOP > 文理学部 > 情報科学科（情報システム解析学科） > 情報科学研究１
日本大学ロゴ

情報科学研究１

このページを印刷する

令和元年度以前入学者 情報科学研究１
平成28年度以前入学者 情報科学研究１
教員名 古市茂
単位数    4 学年    4 開講区分 文理学部
科目群 情報科学科
学期 前期 履修区分 必修
授業の形態 同時双方向型授業（Zoomによるライブ中継）

Blackboard ID:月曜4・5限→20213053
授業概要 情報理論の基礎と応用
授業のねらい・到達目標 ３年次の輪講で学んだ，情報理論入門を基礎としてより詳細な情報理論について理解する．

この科目は文理学部(学士(理学))のディプロマポリシーDP6及びカリキュラムポリシーCP9に対応している。

なお，新カリキュラム（令和2年度以降入学者対象）では，この科目は文理学部(理学)のディプロマポリシー DP1-8及びカリキュラムポリシー CP1-8に対応している。
・経験や学修から得られた豊かな情報科学の知識と教養に基づいて，自己の高い倫理観を倫理的な課題に適切に適用することができる。(A-1-4)
・世界諸国の歴史や政治，経済，文化，価値観，信条などの背景を理解し，国際社会が直面している問題を情報科学を用いて解決する方法を提案することができる。(A-2-4)
・仮説に基づく課題や問題を提示し，客観的な情報に基づく論理的・批判的な考察を通じて，課題に対し，具体的かつ論理整合的な見解を示すとともに，その限界を認識することができる。(A-3-4)
・創造力と独自性をもって問題解決の方法と手順を立案し，独力または他者と協働して問題を解決することができる。(A-4-4)
・責任と役割を担い，難易度が高い新しい問題に取り組む意識を持ち，そのために必要な情報科学の知識・情報を収集することができる。(A-5-4)
・さまざまな人々とのコミニュケーションを通じて他者との信頼関係を確立し，ときに強い影響を与えることができる。(A-6-4)
・集団の活動において，より良い成果を上げるために，他者と協働し，作業を行うとともに，指導者として他者の力を引き出し，その活躍を支援することができる。(A-7-4)
・学修状況の自己分析に基づく評価を，今後の学修に活かすことができる。(A-8-4)
授業の方法 授業の形式：【ゼミ】
参加者のプレゼンテーション（輪講）を基本とし発表者以外の学生も質疑に加わって学習内容のより深い理解につなげる．
履修条件 学科内規に定められた条件を満たすこと．
授業計画
1 授業の進め方，輪講の順番，取り扱う内容の入門的な紹介を行う．
情報理論を学ぶ意義について紹介する
【事前学習】教科書の1.1節を読んでおくこと （4時間）
【事後学習】教科書の1.1節の内容を理解しておくこと （4時間）
2 高校の熱力学および微積分の復習を行う．熱力学的エントロピーについて学ぶ。それらを理解できるようになる。(A-1,2,3,4,5,6,7,8)
【事前学習】教科書の1.2節および2.1節を読んでおくこと （4時間）
【事後学習】教科書の1.2節および2.1節の内容を理解しておくこと （4時間）
3 熱力学的エントロピーの加法性とある不等式について学ぶ. 統計学的エントロピーについて学ぶ.それらを理解できるようになる。(A-1,2,3,4,5,6,7,8)
【事前学習】教科書の2.1節および2.2節を読んでおくこと （4時間）
【事後学習】教科書の2.1節および2.2節の内容を理解しておくこと （4時間）
4 スターリングの公式を導くうえで必要な不等式について学ぶ. 統計学的エントロピーに関して例題を通して理解を深める. それらを理解できるようになる。(A-1,2,3,4,5,6,7,8)
【事前学習】教科書の2.2節を読んでおくこと （4時間）
【事後学習】教科書の2.2節の内容を理解しておくこと （4時間）
5 自己情報量について学ぶ. 確率繊維行列およびエントロピーの性質について学ぶ.それらを理解できるようになる。(A-1,2,3,4,5,6,7,8)
【事前学習】教科書の3.1節を読んでおくこと （4時間）
【事後学習】教科書の3.1節の内容を理解しておくこと （4時間）
6 エントロピーの公理系について学ぶ. エントロピーの一意性定理の証明を学ぶ。それらを理解できるようになる。(A-1,2,3,4,5,6,7,8)
【事前学習】教科書の3.2節を読んでおくこと （4時間）
【事後学習】教科書の3.2節の内容を理解しておくこと （4時間）
7 エントロピー関数の特徴付けおよびShannonエントロピーと統計力学的エントロピーの関係について学ぶ. それらを理解できるようになる。(A-1,2,3,4,5,6,7,8)
【事前学習】教科書の3.2節を読んでおくこと （4時間）
【事後学習】教科書の3.2節の内容を理解しておくこと （4時間）
8 一意復号可能符号・瞬時復号可能符号について学ぶ．Shannon符号およびFano符号について学ぶ。それらを理解できるようになる。(A-1,2,3,4,5,6,7,8)
【事前学習】教科書の4.1節および4.2節を読んでおくこと （4時間）
【事後学習】教科書の4.1節および4.2節の内容を理解しておくこと （4時間）
9 情報源符号化定理およびHuffman符号について学ぶ.それらを理解できるようになる。(A-1,2,3,4,5,6,7,8)
【事前学習】教科書の4.2節を読んでおくこと （4時間）
【事後学習】教科書の4.2節の内容を理解しておくこと （4時間）
10 Huffman符号の最適性の証明について学ぶ。それらを理解できるようになる。(A-1,2,3,4,5,6,7,8)
【事前学習】教科書の4.3節を読んでおくこと （4時間）
【事後学習】教科書の4.3節の内容を理解しておくこと （4時間）
11 ユニバーサル符号化について学ぶ。それらを理解できるようになる。(A-1,2,3,4,5,6,7,8)
【事前学習】教科書の4.4節を読んでおくこと （4時間）
【事後学習】教科書の4.4節の内容を理解しておくこと （4時間）
12 相互情報量の定義，エントロピーとの関係式について学ぶ．相対エントロピーの基本的な性質について学ぶ．それらを理解できるようになる。(A-1,2,3,4,5,6,7,8)
【事前学習】教科書の5.1節および5.2節を読んでおくこと。 （4時間）
【事後学習】教科書の5.1節および5.2節の内容を理解しておくこと （4時間）
13 相互情報量の再定義，クロスエントロピー，２重確率繊維行列について学ぶ．相対エントロピーの下界(Pinskerの不等式)，Shannonエントロピーの上界に関して学ぶ。それらを理解できるようになる。(A-1,2,3,4,5,6,7,8)
【事前学習】教科書の5.2節を読んでおくこと （4時間）
【事後学習】教科書の5.2節の内容を理解しておくこと （4時間）
14 微分エントロピーとその例，相対エントロピーの非負性について学ぶ.
エントロピー最大化原理について学ぶ.クラメール・ラオの不等式について学ぶ．それらを理解できるようになる。それらを理解できるようになる。(A-1,2,3,4,5,6,7,8)
【事前学習】教科書の5.3節を読んでおくこと （4時間）
【事後学習】教科書の5.3節の内容を理解しておくこと （4時間）
15 通信路行列と事前確率に対して相互情報量を定義する．
２元対称通信路, ２元消失通信路, Z型チャネルの通信路容量を導出することを学ぶ.
通信路符号写像・復号写像，誤り確率を定義し，インディケーター関数を導入し平均誤り確率の見積もりを開始する.それらを理解できるようになる。(A-1,2,3,4,5,6,7,8)
【事前学習】教科書の6.1節を読んでおくこと。 （4時間）
【事後学習】教科書の6.1節の内容を理解しておくこと。 （4時間）
その他
教科書 古市 茂 『情報理論: エントロピーと符号化定理』 日本評論社 2021年 第1版
参考書 使用しない
成績評価の方法及び基準 レポート:授業内容に関する課題に取り組みレポートを提出してもらい評価する.(40%)、授業参画度:毎回の授業での発表内容・方法・結果(60%)
オフィスアワー 質問についてはblackboardから電子メールを通してお願いします．
備考 ・輪講担当箇所は当日に決まるので，全員が，該当箇所を予習してくること．
・就職活動や病気・ケガなどで欠席する場合は可能な限り全履修生にわかるような形で早めに連絡すること．

↑このページのトップ