情報理論（Information Theory）[4C20]

＜授業のねらい及び具体的な達成目標＞

科学・工学を支える基本概念の一つである情報について体系的に講義し，情報を取り扱う場合に必要とされる基礎理論を修得させることを目的とする。本講義を受講した後，「符号理論」を受講することが望ましい。適宜演習を行う。

＜授業計画及び準備学習＞

第１週 情報理論の概要，シャノンによる通信系のモデル，情報量の概念と情報の量的表示，演習問題。
第２週 エントロピー，相互情報量，条件付自己情報量，演習問題。
第３週 結合エントロピー，条件付きエントロピー，平均相互情報量，演習問題。
第４週 離散的情報源，マルコフの鎖，シャノン線図，演習問題。
第５週 高次の推移確率，マルコフの鎖の状態の分類，エルゴード性と定常分布，演習問題。
第６週 マルコフ過程，マルコフ情報源のエントロピー，演習問題。
第７週 エルゴード情報源のエントロピー，情報源の冗長度と相対エントロピー，演習問題。
第８週 連続情報源のエントロピー，最大エントロピーを持つ分布，演習問題。
第９週 結合エントロピーおよび条件付エントロピー，平均相互情報量，演習問題。
第10週 変数変換による連続情報源のエントロピーの変化，演習問題。
第11週 通信路および通信容量の概念，雑音のない場合とある場合の離散的通信路の通信容量，演習問題。
第12週 標本化定理，雑音のある連続通信回路の通信容量，シャノンの第1および第2基本定理。
第13週 信号理論，不規則信号論，ウィナーの定理，演習問題。
第14週 復習1
第15週 復習2

＜成績評価方法及び水準＞

定期試験の結果とリポートにより評価。また、試験は一切持ち込みは禁止とする。

＜教科書＞

「情報理論」南敏著(産業図書)

＜オフィスアワー＞

火曜日　１６：３０〜１８：００

＜学生へのメッセージ＞

授業中の私語は他の学生への迷惑になるばかりではなく授業効率を著しく低下させる。厳に謹んでもらいたい。また、予習・復習を欠かすと単位の取得はかなり困難になる。

このページの著作権は学校法人工学院大学が有しています。 Copyright(c)2012 Kogakuin University. All Rights Reserved.