○情報理論（Information Theory）[4H20]

＜授業のねらい＞

科学の目による情報のとらえ方を学ぶ。コンピュータ技術やネットワーク技術の欠かせない昨今，情報処理・情報伝送は日常茶飯事である。情報をどうとらえ，情報の発生・伝送をどう考えればよいかなど，諸君と共に考える。

＜受講にあたっての前提条件＞

確率論、統計学、を受講・習得していることが望ましい。少なくともそれらの基礎力は持ち合わせていること。

＜具体的な到達目標＞

情報源の特徴が描け、情報量を定量化できる基礎力が身につくことを目標とする。 具体的には、エントロピーと呼ばれる数値が計算できること。情報源の特徴を示すマルコフ過程に基づく状態遷移図が描けて、それに基づくエントロピーが計算できること。通信モデルにおけるエントロピーが計算できること。

＜授業計画及び準備学習＞

1． [イントロダクション]身の回りで使われている具体的な情報理論の成果について紹介する。
　　例えば、エントロピー圧縮など、身近な例を紹介して、役立っていること解説する。
　　　準備学習：教科書第１章の前半辺りまで予習しておくこと。
2． 確率に関する基礎事項を復習する。
　　　情報理論では、条件付き確率、結合確率など各種の確率定義やベイズの理論などが必要となる。それらを解説する。
　　　準備学習：確率論の基礎事項を復習しておくこと。
3． 統計に関する基礎事項を復習する。
　　　情報理論では、期待値の計算などいくつか重要項目がある。それらを解説する。
　　　準備学習：統計学の基礎事項を復習しておくこと。
4． [情報量の定量化]情報量を測るにはどのような方法を採るのかについての導入部分を学ぶ。
　　　事象の発生確率を使った自己情報量の定義式、それに至るまでの考え方を解説する。
　　　準備学習：教科書の1.4〜1.6まで予習しておくこと。
5． [確率論の基礎１]結合確率、条件付確率について学ぶ。
　　　予定２で学習した確率の内容と情報量について解説する。
　　　準備学習：教科書の2.1，2.2を予習しておくこと。
6． [確率論の基礎２]ベイズの定理について学ぶ。
　　　事後確率と事前確率の関係は情報理論においても重要となっている。これについて解説する。
　　　準備学習：教科書や参考書、またはウェブ等から可能な範囲で下調べしておくこと。
7． [情報源と通信路]情報源のモデル化、マルコフ過程について学ぶ。
　　　事象の発生がそれまでの事象によって左右されるとした考え方の定量表現を学び、マルコフ過程について解説する。
　　　準備学習：教科書の2.3，2.4を予習しておくこと。
8． [情報源の種類と特徴]マルコフ過程の続き。
　　　前回の学習をさらに進めて、やや複雑な事象の発生経過に対しても適応する。
　　　準備学習：教科書の3章の平易に読める範囲を予習しておくこと。
9． [エントロピー１]エントロピーの考え方と計算法について学ぶ。
　　　自己情報量からエントロピーに発展させ実際の応用に近づける。
　　　準備学習：教科書の4.1〜4.3を予習しておくこと。
10．[エントロピー２]エントロピーの計算法の続きと自然現象におけるエントロピーについて。
　　　エントロピーの応用計算例を紹介する。エントロピーの定義は化学物理の中にも登場する。それらとの関係も解説する
　　　準備学習：教科書の4.4〜4.5を予習しておくこと。
11．[エントロピー３]2次および高次エントロピー。
　　　連続した一連の情報源記号の発生を考えたとき、エントロピーはどうなるのか解説する。
　　　準備学習：教科書の5.1〜5.3を予習しておくこと。
12．[相互情報量１]条件付きエントロピー。
　　　複数の情報源が相互に関係し合う場合のエントロピーを考える。
　　　準備学習：教科書の6.1〜6.2を予習しておくこと。
13．[相互情報量２]通信容量等への応用、様々なエントロピー。
　　　通信におけるエントロピー、その他の応用に関して解説する。
　　　準備学習：教科書の6.3〜６章の終りを予習しておくこと。
14．学習内容の振り返り
　　　準備学習：これまでの総復習をしておくこと。

＜成績評価方法＞

授業にきちんと出席し、講義を聴いていることが成績評価の前提。
期末試験の結果をA+からFの６段階に評価し、D以上の者を合格とする。

＜教科書＞

「情報理論入門」野村由司彦著、コロナ社

＜参考書＞

「ディジタル情報理論」塩野充著、オーム社

＜オフィスアワー＞

木曜日、10:00〜11:00 研究室(A-1578)