△情報理論（Information Theory）[2G30]

＜学位授与の方針＞

○	1. 基礎知識の習得
◎	2. 専門分野知識の習得
○	3. 汎用的問題解決技能
	4. 道徳的態度と社会性

＜授業のねらい＞

科学の目による情報のとらえ方を学ぶ。コンピュータ技術やネットワーク技術の欠かせない昨今，情報処理・情報伝送は日常茶飯事である。情報をどうとらえ，情報の発生・伝送をどう考えればよいかなど，諸君と共に考える。

＜受講にあたっての前提条件＞

確率論、統計学、を習得していることが望ましいが、特に条件は課さない。

＜具体的な到達目標＞

情報量を定量化できる基礎力が身につくことを目標とする。 具体的には、(1)エントロピーと呼ばれる数値が計算できること。(2)マルコフ過程に基づく状態遷移図が描けること。(3)通信モデルにおけるエントロピーが計算できること。
また、符号化法の基礎力が身につくことを目標とする。具体的には、(1)ハフマンの符号化法などの高効率符号化法の基礎的応用ができること。(2)巡回符号やリードソロモンなどの誤り訂正符号化法の原理を理解し、簡単な実例が説明できることを到達目標とする。

＜授業計画及び準備学習＞

1． [イントロダクション]身の回りで使われている具体的な情報理論の成果について紹介する。
　　例えば、エントロピー圧縮など、身近な例を紹介して、役立っていること解説する。
　　　準備学習：自らもそのような実例を探して授業で答えられるようにすること。
2． [情報量の定量化]情報量を測るにはどのような方法を採るのかについての導入部分を学ぶ。
　　　事象の発生確率を使った自己情報量の定義式、それに至るまでの考え方を解説する。
　　　準備学習：確率論の基礎を復習しておくこと。
3． [確率論の基礎１]結合確率、条件付確率について学び、更に情報量との関係について学ぶ。
　　　準備学習：上記の確率について予習しておくこと。
4． [確率論の基礎２]ベイズの定理について学ぶ。
　　　事後確率と事前確率の関係は情報理論においても重要となっている。これについて解説する。
　　　準備学習：ベイズの定理について、参考書またはウェブ等から可能な範囲で下調べしておくこと。
5． [情報源と通信路]情報源のモデル化、マルコフ過程について学ぶ。
　　　事象の発生がそれまでの事象によって左右されるとした考え方のマルコフ過程について解説する。
　　　準備学習：マルコフ過程について、参考書またはウェブ等から可能な範囲で下調べしておくこと。
6． [エントロピー]エントロピーの考え方と計算法について学ぶ。
　　　自己情報量からエントロピーに発展させ実際の応用に近づける。
　　　準備学習：エントロピーとは自己情報量の期待値であるが、これは何を意味するか予習してくること。
7． [エントロピーと相互情報量]高次エントロピーと条件付きエントロピー。
　　　連続した一連の情報源記号の発生を考えたとき、エントロピーはどうなるのか解説する。
　　　また、複数の情報源が相互に関係し合う場合のエントロピーについても解説する。　
　　　準備学習：マルコフ過程におけるエントロピーについて、可能な範囲で予習してくること。
8． 符号の条件とその判断方法。（符号の木とクラフトの不等式）
　　　符号化の良否、評価を与える、符号の木とクラフトの不等式などを解説する。
　　　準備学習：事前の教材(PDFファイル）のその項目を予習してくること。　　　
9． シャノンの第１基本定理とハフマンの符号化法
　　　高効率符号化のハフマンの方法を解説する。
　　　準備学習：事前の教材(キューポートPDFファイル）のその項目を予習してくること。
10． シャノンの第２基本定理（雑音がある場合の符号化）
　　　ハミングの符号化法を例にして誤り訂正符号化法の考え方を解説する。
　　　準備学習：事前の教材からその項目を予習してくること。
11． 巡回符号化法―符号の生成方法と誤り訂正方法―
　　　実用的な誤り訂正符号化法の一つの上記方法を解説する。
　　　準備学習：事前の教材からその項目を予習してくること。
12． リードソロモンなど現代符号化法の基礎となるガロア体について
　　　有限個の元による四則演算であるガロア体を解説する。
　　　準備学習：事前の教材からその項目を予習してくること。
13． 拡張ガロア体による巡回符号とリードソロモン符号の原理
　　　拡張ガロア体について解説し、これによって巡回符号方式がどのように発展するかを学ぶ。
　　　準備学習：事前の教材からその項目を予習してくること。
14． 学習内容の振り返り
　　　準備学習：これまでの総復習を行うこと。

＜成績評価方法＞

授業にきちんと出席し、講義を聴いていることが成績評価の前提。
期末試験の結果をA+からFの６段階に評価し、D以上の者を合格とする。

＜教科書＞

「情報・符号理論」神谷幸宏、川島幸之助著、オーム社

＜参考書＞

「ディジタル情報理論」塩野充著、オーム社

＜オフィスアワー＞

火曜日2限，八王子 2号館，02-605 (数理音響学研究室)