情報理論（Information Theory）[5H11]

＜授業のねらい＞

現在の情報通信ネットワークの世界は情報理論の上に成り立っていると言っても過言ではない。本講義では、情報量の概念、情報源の性質、及び通信容量などシャノンの情報通信理論に基づく理論体系について学ぶ。情報理論についての基礎的な知識を把握することを目的とする。

＜受講にあたっての前提条件＞

初等的な確率論知識が必要である。

＜具体的な到達目標＞

１．各種エントロピーと情報量が計算できる。
２．情報源の性質ついて理解できる。
３．通信容量の概念について理解できる。
４．情報理論の学習を通して、論理的思考を身につける。

＜授業計画及び準備学習＞

1. 情報理論とは　

第１回　情報とは、シャノンによる通信系のモデル、情報量の概念、自己情報量
準備学習：教科書1〜2.2を熟読し、確率論知識を復習する。
2. 情報量とエントロピー
第２回　エントロピー、相互情報量、条件付自己情報量
準備学習：教科書2.3〜2.5を熟読し、例題を解く。

第３回　結合エントロピー、条件付きエントロピー、平均相互情報量
準備学習：教科書2.6〜2.9を熟読し、例題を解く。
3. 離散的情報源
第４回　マルコフの鎖、シャノン線図
準備学習：教科書3.1〜3.2を熟読し、例題を解く。

第５回　高次の推移確率、マルコフの鎖の状態の分類、エルゴード性と定常分布
準備学習：教科書3.3〜3.5を熟読し、例題を解く。

第６回　マルコフ過程、マルコフ情報源のエントロピー
準備学習：教科書3.6〜3.7を熟読し、例題を解く。

第７回　エルゴード情報源の発生する文字列、情報源の冗長度と相対エントロピー
準備学習：教科書3.8〜3.9を熟読し、例題を解く。
4. 連続情報源とエントロピー
第８回　連続情報源のエントロピー、最大エントロピーを持つ分布
準備学習：教科書4.1〜4.2を熟読し、例題を解く。

第９回　結合エントロピーおよび条件付エントロピー、平均相互情報量
準備学習：教科書4.3〜4.4を熟読し、例題を解く。

第10回　変数変換による連続情報源のエントロピーの変化
準備学習：教科書4.5を熟読し、例題を解く。
5. 通信路及び通信容量
第11回　通信路および通信容量の概念、離散的通信路の通信容量
準備学習：教科書5.1〜5.3を熟読し、例題を解く。

第12回　標本化定理、雑音のある連続通信回路の通信容量、シャノンの第1、第2基本定理
準備学習：教科書5.4〜5.7を熟読し、例題を解く。
6. 信号理論
第13回 信号理論、符号理論

第14回 学習内容の振り返り

＜成績評価方法＞

出席、レポート、試験の結果を総合的に評価する。

＜教科書＞

「情報理論」(第2版), 南敏著,　産業図書, 1993

＜参考書＞

- 「情報理論講義」, 小林欣吾,森田啓義共著,培風館, 2008
- 「情報理論」, 今井秀樹著, 昭晃堂, 1984

＜オフィスアワー＞

火曜日　15:35 - 17:20 新宿キャンパス A-2275

＜学生へのメッセージ＞

本講義を受講した後、後期の「符号理論」を受講することが望ましい。