情報理論（Information Theory）[5C10]

＜授業のねらい＞

現在の情報通信ネットワークの世界は情報理論の上に成り立っていると言っても過言ではない。本講義では、情報量の概念、情報源の性質、及び通信容量などシャノンの情報通信理論に基づく理論体系について学ぶ。情報理論についての基礎的な知識を把握することを目的とする。

＜受講にあたっての前提条件＞

初等的な確率論知識が必要である。

＜具体的な到達目標＞

１．各種エントロピーと情報量が計算できる。
２．情報源の性質ついて理解できる。
３．通信容量の概念について理解できる。
４．情報理論の学習を通して、論理的思考を身につける。

＜授業計画及び準備学習＞

1. 情報理論とは　
- 情報とは、シャノンによる通信系のモデル、情報量の概念、自己情報量(第１回)
2. 情報量とエントロピー
- エントロピー、相互情報量、条件付自己情報量　(第2回)
- 結合エントロピー、条件付きエントロピー、平均相互情報量　(第3回)
3. 離散的情報源
- マルコフの鎖、シャノン線図(第4回)
- 高次の推移確率、マルコフの鎖の状態の分類、エルゴード性と定常分布 (第5回)
- マルコフ過程、マルコフ情報源のエントロピー (第6回)
- エルゴード情報源の発生する文字列、情報源の冗長度と相対エントロピー (第7回)
4. 連続情報源とエントロピー
- 連続情報源のエントロピー、最大エントロピーを持つ分布 (第8回)
- 結合エントロピーおよび条件付エントロピー、平均相互情報量 (第9回)
- 変数変換による連続情報源のエントロピーの変化 (第10回)
5. 通信路及び通信容量
- 通信路および通信容量の概念、離散的通信路の通信容量 (第11回)
- 標本化定理、雑音のある連続通信回路の通信容量、シャノンの第1、第2基本定理(第12回)
6. 信号理論、不規則信号論(第13回)

復習1　(第14回)
復習2　(第15回)

＜成績評価方法及び水準＞

出席、レポート、試験の結果を総合的に評価する。

＜教科書＞

「情報理論」(第2版), 南敏著,　産業図書, 1993

＜参考書＞

- 「情報理論講義」, 小林欣吾,森田啓義共著,培風館, 2008
- 「情報理論」, 今井秀樹著, 昭晃堂, 1984

＜オフィスアワー＞

火曜日　16:30-18:00

＜学生へのメッセージ＞

本講義を受講した後、後期の「符号理論」を受講することが望ましい。