マルチメディア情報処理

科目名	マルチメディア情報処理
教員名	北原鉄朗,伊藤貴之
単位数	2	学年	3	開講区分	文理学部
科目群	情報科学科
学期	前期	履修区分	選択必修

授業概要	マルチメディア技術のうち、音と画像（CG含む）をコンピュータ上で処理する方法について学ぶ
授業のねらい・到達目標	今日のコンピューティングにおいて、音や画像などのいわゆるマルチメディアコンテンツは不可欠である。コンピュータは0と1の組み合わせ（つまり整数列）しか扱えないことから、音や画像なども何らかの方法で整数列に変換された上で、様々な処理がなされている。本科目では、「マルチメディア表現」で学習した音や画像のコンピュータ上の表現方法を前提とし、音声認識や画像認識を含む様々な処理について学び、当該分野の専門的な議論を理解できることを目標とするこの科目は文理学部(学士(理学))のディプロマポリシーDP6及びカリキュラムポリシーCP9に対応しています。
授業の方法	座学とコンピュータ実習を織り交ぜて進行する。単にマルチメディア技術を理解し、プログラムが書けるだけでなく、論理的文章表現力を身につけてもらうために、2回ほどレポート課題を課す。2名の教員によるオムニバス形式の講義である。本授業の事前・事後学習は，各２時間の学習を目安とする。

授業計画
1	「マルチメディア表現」の復習（北原）【事前学習】「マルチメディア表現」で学んだ内容を復習しておくこと【事後学習】「マルチメディア表現」で学んだ内容のうち、理解度が低いと感じた箇所を重点的に復習し、次回の小テストに対応できるようにしておくこと
2	音の時間表現と周波数表現（北原）【事前学習】「マルチメディア表現」で学んだフーリエ変換について、あらかじめ復習しておくこと【事後学習】音の時間表現と周波数表現について復習し、次回の小テストに対応できるようにしておくこと
3	基本周波数の抽出（北原）【事前学習】前回の「音の時間表現と周波数表現」について、あらかじめ復習しておくこと【事後学習】基本周波数の抽出について復習し、次回の小テストに対応できるようにしておくこと
4	母音の認識(1) （基礎編）（北原）【事前学習】「マルチメディア表現」で学んだ「音声信号の表現」の他、「データ科学1」で学んだ「最近傍法」について、あらかじめ復習しておくこと【事後学習】授業内に完成しなかった場合はプログラムを作成し、理解を深めておくこと。また、次回の小テストに対応できるようにしておくこと
5	5. 母音の認識(2) （実践編）（北原）【事前学習】前回の「母音の認識(1) （基礎編）」を復習し、母音認識の基本的な考え方を理解しておくこと【事後学習】授業内に完成しなかった場合はプログラムを作成し、理解を深めておくこと。また、次回の小テストに対応できるようにしておくこと
6	音の認識に関する演習（北原）【事前学習】第2〜第5回で学んだ内容について演習を行うので、あらかじめ復習しておくこと【事後学習】この演習に関連するレポート課題を課すので、演習を終わらせ、レポートを執筆して期日までに提出すること
7	画像の加工(1)（濃淡変換・空間フィルタ）（伊藤）【事前学習】濃淡変換、空間フィルタについて参考書などであらかじめ自分なりに調べておくこと【事後学習】濃淡変換、空間フィルタについて復習し、次回の小テストに対応できるようにしておくこと
8	画像の加工(2) （幾何変換・合成）（伊藤）【事前学習】幾何変換・合成について参考書などであらかじめ自分なりに調べておくこと【事後学習】幾何変換・合成について復習し、次回の小テストに対応できるようにしておくこと
9	画像の認識（顔画像認識・特徴点抽出・機械学習の基礎知識）（伊藤）【事前学習】顔画像認識、特徴点抽出について参考書などであらかじめ自分なりに調べておくこと【事後学習】顔画像認識、特徴点抽出について復習し、次回の小テストに対応できるようにしておくこと
10	画像の加工に関する演習（伊藤）【事前学習】第7〜8回で学んだ内容について演習を行うので、あらかじめ復習しておくこと【事後学習】この演習に関連するレポート課題を課すので、演習を終わらせ、レポートを執筆して期日までに提出すること
11	CGの先進技術(1) （3次元形状モデリング）（伊藤）【事前学習】3次元形状モデリングについて参考書などであらかじめ自分なりに調べておくこと【事後学習】3次元形状モデリングについて復習し、次回の小テストに対応できるようにしておくこと
12	CGの先進技術(2) （大域的な光反射計算）（伊藤）【事前学習】大域的な光反射計算について参考書などであらかじめ自分なりに調べておくこと【事後学習】大域的な光反射計算について復習し、次回の小テストに対応できるようにしておくこと
13	マルチメディア応用システム（バーチャルリアリティ、ユビキタスシステムなど）（伊藤）【事前学習】バーチャルリアリティ、ユビキタスシステムについてインターネットなどであらかじめ自分なりに調べておくこと【事後学習】バーチャルリアリティ、ユビキタスシステムについて復習し、次回の小テストに対応できるようにしておくこと
14	マルチメディアと社会（制作現場の仕組み、ビジネスモデル、社会問題など）（伊藤）【事前学習】マルチメディアと社会のあり方について、インターネットなどで自分なりに調べてみること【事後学習】マルチメディアと社会のあり方について、より深く調べ、自分なりの考えを持つこと
15	試験と解説により授業内容の理解を深める（北原）【事前学習】第1〜14回で学んだ内容について十分に理解度を高めておくこと【事後学習】解けなかった問題についてよく復習しておくこと
16	【事前学習】【事後学習】
17	【事前学習】【事後学習】
18	【事前学習】【事後学習】
19	【事前学習】【事後学習】
20	【事前学習】【事後学習】
21	【事前学習】【事後学習】
22	【事前学習】【事後学習】
23	【事前学習】【事後学習】
24	【事前学習】【事後学習】
25	【事前学習】【事後学習】
26	【事前学習】【事後学習】
27	【事前学習】【事後学習】
28	【事前学習】【事後学習】
29	【事前学習】【事後学習】
30	【事前学習】【事後学習】

その他
教科書	なし
参考書	初回授業時に指示する
成績評価の方法及び基準	試験(40%)、レポート(40%)、授業参画度(20%) 授業参画度は、授業内に実施する小テストや授業内演習の提出物をもとに評価する。また、レポート課題は2回課す予定である。
オフィスアワー	北原：研究室にて対応。詳細は初回授業時に告知する。伊藤：質問はメールにて受け付ける。メールアドレスおよびメール送信時の注意事項は授業内で告知する。

授業計画
1	「マルチメディア表現」の復習（北原）【事前学習】「マルチメディア表現」で学んだ内容を復習しておくこと【事後学習】「マルチメディア表現」で学んだ内容のうち、理解度が低いと感じた箇所を重点的に復習し、次回の小テストに対応できるようにしておくこと
2	音の時間表現と周波数表現（北原）【事前学習】「マルチメディア表現」で学んだフーリエ変換について、あらかじめ復習しておくこと【事後学習】音の時間表現と周波数表現について復習し、次回の小テストに対応できるようにしておくこと
3	基本周波数の抽出（北原）【事前学習】前回の「音の時間表現と周波数表現」について、あらかじめ復習しておくこと【事後学習】基本周波数の抽出について復習し、次回の小テストに対応できるようにしておくこと
4	母音の認識(1) （基礎編）（北原）【事前学習】「マルチメディア表現」で学んだ「音声信号の表現」の他、「データ科学1」で学んだ「最近傍法」について、あらかじめ復習しておくこと【事後学習】授業内に完成しなかった場合はプログラムを作成し、理解を深めておくこと。また、次回の小テストに対応できるようにしておくこと
5	5. 母音の認識(2) （実践編）（北原）【事前学習】前回の「母音の認識(1) （基礎編）」を復習し、母音認識の基本的な考え方を理解しておくこと【事後学習】授業内に完成しなかった場合はプログラムを作成し、理解を深めておくこと。また、次回の小テストに対応できるようにしておくこと
6	音の認識に関する演習（北原）【事前学習】第2〜第5回で学んだ内容について演習を行うので、あらかじめ復習しておくこと【事後学習】この演習に関連するレポート課題を課すので、演習を終わらせ、レポートを執筆して期日までに提出すること
7	画像の加工(1)（濃淡変換・空間フィルタ）（伊藤）【事前学習】濃淡変換、空間フィルタについて参考書などであらかじめ自分なりに調べておくこと【事後学習】濃淡変換、空間フィルタについて復習し、次回の小テストに対応できるようにしておくこと
8	画像の加工(2) （幾何変換・合成）（伊藤）【事前学習】幾何変換・合成について参考書などであらかじめ自分なりに調べておくこと【事後学習】幾何変換・合成について復習し、次回の小テストに対応できるようにしておくこと
9	画像の認識（顔画像認識・特徴点抽出・機械学習の基礎知識）（伊藤）【事前学習】顔画像認識、特徴点抽出について参考書などであらかじめ自分なりに調べておくこと【事後学習】顔画像認識、特徴点抽出について復習し、次回の小テストに対応できるようにしておくこと
10	画像の加工に関する演習（伊藤）【事前学習】第7〜8回で学んだ内容について演習を行うので、あらかじめ復習しておくこと【事後学習】この演習に関連するレポート課題を課すので、演習を終わらせ、レポートを執筆して期日までに提出すること
11	CGの先進技術(1) （3次元形状モデリング）（伊藤）【事前学習】3次元形状モデリングについて参考書などであらかじめ自分なりに調べておくこと【事後学習】3次元形状モデリングについて復習し、次回の小テストに対応できるようにしておくこと
12	CGの先進技術(2) （大域的な光反射計算）（伊藤）【事前学習】大域的な光反射計算について参考書などであらかじめ自分なりに調べておくこと【事後学習】大域的な光反射計算について復習し、次回の小テストに対応できるようにしておくこと
13	マルチメディア応用システム（バーチャルリアリティ、ユビキタスシステムなど）（伊藤）【事前学習】バーチャルリアリティ、ユビキタスシステムについてインターネットなどであらかじめ自分なりに調べておくこと【事後学習】バーチャルリアリティ、ユビキタスシステムについて復習し、次回の小テストに対応できるようにしておくこと
14	マルチメディアと社会（制作現場の仕組み、ビジネスモデル、社会問題など）（伊藤）【事前学習】マルチメディアと社会のあり方について、インターネットなどで自分なりに調べてみること【事後学習】マルチメディアと社会のあり方について、より深く調べ、自分なりの考えを持つこと
15	試験と解説により授業内容の理解を深める（北原）【事前学習】第1〜14回で学んだ内容について十分に理解度を高めておくこと【事後学習】解けなかった問題についてよく復習しておくこと
16	【事前学習】【事後学習】
17	【事前学習】【事後学習】
18	【事前学習】【事後学習】
19	【事前学習】【事後学習】
20	【事前学習】【事後学習】
21	【事前学習】【事後学習】
22	【事前学習】【事後学習】
23	【事前学習】【事後学習】
24	【事前学習】【事後学習】
25	【事前学習】【事後学習】
26	【事前学習】【事後学習】
27	【事前学習】【事後学習】
28	【事前学習】【事後学習】
29	【事前学習】【事後学習】
30	【事前学習】【事後学習】