△情報理論（Information Theory）[2G27]

＜学位授与の方針＞

○	1. 基礎知識の習得
◎	2. 専門分野知識の習得
○	3. 汎用的問題解決技能
	4. 道徳的態度と社会性

＜授業のねらい＞

情報の理論に関する基礎を身に着けることを目的とする。

＜受講にあたっての前提条件＞

２年次前期までの数学系科目（微分・積分，確率・統計，線形代数，集合論など）を理解していることを前提とする。

＜具体的な到達目標＞

情報量を定量化できる基礎力が身につくことを目標とする。 具体的には、(1)エントロピーと呼ばれる数値が計算できること。(2)マルコフ過程に基づく状態遷移図が描けること。(3)通信モデルにおけるエントロピーが計算できること。
また、符号化法の基礎力が身につくことを目標とする。具体的には、(1)ハフマンの符号化法などの高効率符号化法の基礎的応用ができること。(2)ハミング符号や巡回符号などの誤り訂正符号化法の原理を理解し、簡単な実例が説明できることを到達目標とする。

＜授業計画及び準備学習＞

授業計画は，下記の通りである。
準備学習は，KuPortの電子教材にある講義資料を見て予習し，演習課題を解くことである。
各回の準備学習の欄には，講義資料による予習以外で準備すべき内容を記載する。

1． [情報量とエントロピー]　情報量，エントロピーの定義や計算の仕方を学ぶ。
　　準備学習：確率・統計，対数計算などについて理解を深めておくこと。
2． [マルコフ過程，状態遷移確率] マルコフ過程の定義やその表現方法について学ぶ。
　　準備学習：条件付き確率の意味や表現，行列計算について慣れておくこと。
3． [エルゴード性，正規マルコフ情報源] マルコフ情報源の分類と，定常状態の計算方法などについて学ぶ。
　　準備学習：行列の対角化・行列のN乗の算出方法について復習すること。
4． [情報源の符号化，クラフトの不等式]　情報源の符号化，符号の木，クラフトの不等式などについて学ぶ。
　　準備学習：対数関数の微分や，増減表，グラフの描画方法について復習すること。
5． [中間試験１(情報源の基礎)]　情報源の基礎に関する総復習(演習)と中間試験１を実施する。
　　準備学習：１回〜３回目の内容を復習し，演習問題を資料なしで解けるようにすること。
6． [シャノンの情報源符号化定理]　シャノンの補助定理，符号長の下限，情報源符号化定理について学ぶ。
　　準備学習：エントロピー関数や，クラフトの不等式の理解を深めておくこと。
7． [情報源の拡大，ハフマン符号]　情報源の拡大方法，平均符号長の計算，ハフマン符号化について学ぶ。
　　準備学習：さまざまな符号について実際にハフマン符号を生成し，そのやり方に慣れておくこと。
8． [事後情報量とあいまい度]　通信路のモデル，事後情報量，あいまい度などについて学ぶ。
　　準備学習：同時確率，条件付き確率，ベイズの定理などについて復習しておくこと。
9． [中間試験２(情報源の符号化)]　情報源の符号化に関する総復習(演習)と中間試験２を実施する。
　　準備学習：４〜７回目の内容を復習し，演習問題を資料なしで解けるようにすること。
10．[相互情報量，通信路容量]　相互情報量，通信路容量などについて学ぶ。
　　準備学習：情報源のエントロピーと通信路のあいまい度が計算できるように復習すること。
11．[シャノンの通信路符号化定理，ハミング符号]　通信路符号化定理とハミング符号について学ぶ。
　　準備学習：誤り訂正の原理とハミング符号の符号化と訂正方法について慣れておくこと。
12．[ガロア体，巡回冗長検査（ＣＲＣ）]
　　準備学習：集合論（群の性質）や整数論について復習しておくこと。
13．[中間試験３(通信路の符号化)]　通信路の符号化に関する総復習(演習)と中間試験３を実施する。
　　準備学習：８回〜１２回目の内容を復習し，演習問題を資料なしで解けるようにすること。
14． 学習内容の振り返り
　　　準備学習：これまでの総復習を行うこと。

＜成績評価方法＞

授業にきちんと出席し、講義を聴いていることが成績評価の前提。
期末試験の結果をA+からFの６段階に評価し、D以上の者を合格とする。

＜教科書＞

「情報・符号理論」神谷幸宏、川島幸之助著、オーム社

＜参考書＞

「情報理論」甘利俊一，ちくま学芸文庫
「ディジタル情報理論」塩野充著、オーム社

＜オフィスアワー＞

火曜日2限，八王子 2号館，02-605 (数理音響学研究室)