○情報理論（Information Theory）[4C29]

＜授業のねらい及び具体的な達成目標＞

科学の目による情報のとらえ方を学ぶ。コンピュータ技術やネットワーク技術の欠かせない昨今，情報処理・情報伝送は日常茶飯事である。情報をどうとらえ，情報の発生・伝送をどう考えればよいかなど，諸君と共に考える。情報量を定量化できる基礎力が身につくことを目標とする。

＜授業計画及び準備学習＞

1． [イントロダクション]身の回りで使われている具体的な情報理論の成果について紹介する。
　　　準備学習：教科書第１章の前半辺りまで予習しておくこと。
2． 確率に関する基礎事項を復習する。
　　　準備学習：高校の確率のところを復習または予習しておくこと。
3． 統計に関する基礎事項を復習する。
　　　準備学習：高校の統計に関すると思われるところを復習または予習しておくこと。
4． [情報量の定量化]情報量を測るにはどのような方法を採るのかについての導入部分を学ぶ。
　　　準備学習：教科書の1.4〜1.6まで予習しておくこと。
5． [確率論の基礎１]結合確率、条件付確率について学ぶ。
　　　準備学習：教科書の2.1，2.2を予習しておくこと。
6． [確率論の基礎２]ベイズの定理について学ぶ。
　　　準備学習：教科書や参考書、またはネット等から可能な範囲で下調べしておくこと。
7． [情報源と通信路]情報源のモデル化、マルコフ過程について学ぶ。
　　　準備学習：教科書の2.3，2.4を予習しておくこと。
8． [情報源の種類と特徴]マルコフ過程の続き。
　　　準備学習：教科書の3章の平易に読める範囲を予習しておくこと。
9． [エントロピー１]エントロピーの考え方と計算法について学ぶ。
　　　準備学習：教科書の4.1〜4.3を予習しておくこと。
10．[エントロピー２]エントロピーの計算法の続きと自然現象におけるエントロピーについて。
　　　準備学習：教科書の4.4〜4.5を予習しておくこと。
11．[エントロピー３]2次および高次エントロピー。
　　　準備学習：教科書の5.1〜5.3を予習しておくこと。
12．[相互情報量１]条件付きエントロピー。
　　　準備学習：教科書の6.1〜6.2を予習しておくこと。
13．[相互情報量２]通信容量等への応用、様々なエントロピー。
　　　準備学習：教科書の6.3〜６章の終りを予習しておくこと。
14．講義全体の内容をまとめて要点を再確認する。
　　　準備学習：前回までのノートを見直してくる。
15．学習成果の確認(試験)
　　　準備学習：前回までの総復習を行う。

＜成績評価方法及び水準＞

原則として定期試験で評価し、６０点以上の者に単位を認める。ただし、６０点に満たない者であっても、４週に１回程度行う小問題演習の解答内容が十分であると認められた場合には合格とすることもある。

＜教科書＞

「情報理論入門」野村由司彦著、コロナ社

＜参考書＞

「ディジタル情報理論」塩野充著、オーム社

＜オフィスアワー＞

木曜日、11:00〜12:00、これ以外でもその都度個別にメールで約束の上、対応可とする。
Ｅ−ｍａｉｌ：ct83063@ns.kogakuin.ac.jp

このページの著作権は学校法人工学院大学が有しています。 Copyright(c)2010 Kogakuin University. All Rights Reserved.