情報理論（Information Theory）[2H35]

＜学位授与の方針＞

○	1. 基礎知識の習得
◎	2. 専門分野知識の習得
○	3. 汎用的問題解決技能
	4. 道徳的態度と社会性

＜授業のねらい＞

現代は，コンピュータやネットワークを通じて，様々な情報から成る「データ」がやり取りされています．このため，コンピュータの取り扱う「データ」を構成する情報の本質を知ることは重要です．そこで，この講義を通じて，その本質を把握する手段と方法を学ぶことができます．つまり，データの送受信側を担うコンピュータが取り扱う「データ」を構成する情報というものをどう考えて，どう取り扱うのかということをテーマとする講義です．この講義では，「データ」に関する情報の表現形式から始まり，情報の発生，変換や加工，伝送に関わる技術とその背景となる理論について会得することを目標とします．

＜受講にあたっての前提条件＞

本科目を履修するに当たり，線形代数1, 2, 3, 4，確率統計学を履修し合格しておくことが望ましいです．また，代数学を同時に履修すれば有意義です．

＜具体的な到達目標＞

1.情報理論に関係するデータに関係する確率や統計の計算ができること．
2.情報，情報源の意味を理解した上で，データを構成する情報の大きさが計算できること．
3.情報源符号化の意味を理解した上で，基本的な符号化のアルゴリズムとその効果を説明できること．
4.与えられたデータを発生する情報源に対して，結合エントロピー，条件付きエントロピー，相互情報量が計算できること．
5.データが伝送される通信路モデルの意味を理解し，与えられた通信路モデルに関する通信路容量，データ伝送の信頼性についての評価尺度となる復号誤り率が計算できること．
6.データ伝送における通信路符号化の意味を理解した上で，与えられた符号の符号化及び復号化のアルゴリズムに従って符号が扱えること．

＜授業計画及び準備学習＞

情報理論は，高速・高信頼なデータ伝送，大容量なデータ蓄積技術を実現するための重要な基礎理論です．まず本講義では，データを構成する情報の表現から始まり，情報理論に関係する確率や統計を学びます．そして，データを構成する情報やデータを生成する情報源の意味を理解した上で，データを構成する情報の大きさが定量的に計算できることを把握します．その上で，さらにデータ伝送やデータ蓄積に関する技術の具体的な実現方法や理論的な限界を紹介します．また，必要に応じて，情報理論の実用例に関する紹介も行います．以下，具体的な講義内容を示します．

1．情報理論とは[背景・イントロダクション・データの表現]
情報理論とはどのような学問で，どのような歴史的背景があるのか，身の回りで使われている具体的な情報理論の成果などについて紹介します．その上で，コンピュータでの取り扱う2進数を用いた情報の表現（ビットなど），アルファベットと符号化アルゴリズム，シャノンが考えた通信系のモデルを学びます．

2．確率・統計の基礎事項
情報理論では，条件付き確率，結合確率，期待値など各種の確率・統計の定義やベイズの理論などが必要となります．これらの事項を学びながら，確率論や統計学に関する基礎事項を復習します．

3.情報量の定量化(1)
データを構成する情報の持つ情報量を測るには，どのような方法があるのかということを紹介します．ここでは，定量化の必要性，情報量，情報量の性質，確率と情報量の関係に関することを学びます．

4.情報量の定量化(2)
エントロピーの考え方と計算法について紹介します．ここでは，自己情報量からエントロピーを導くと共に，連続した一連の情報源記号の発生を考えたデータが与えられる時に，エントロピーはどうなるのかを解説します．また，エントロピーの定義は化学物理の中にも登場するので，それらとの関係も解説します．ここでは，エントロピー，相互情報量，2次および高次エントロピー，物理学におけるエントロピーに関することを学びます．

5.情報源と通信路(1)
データを生成する情報源のモデル化とマルコフ過程について紹介します．ここでは，事象の発生が，それまでに発生した事象によって左右されるという考え方の定量表現を基に，マルコフ過程について解説します．ここでは，マルコフ情報源，正規マルコフ情報源，遷移確率，遷移確率行列に関することを学びます．

6.情報源と通信路(2)
やや複雑な事象の発生経過に対しても適応するマルコフ過程について紹介します．ここでは，高次マルコフ過程，エルゴードマルコフ過程，マルコフ情報源のエントロピーについて学びます．

7.情報源の符号化アルゴリズム(1)
データを構成する情報源記号と具体的な符号例を示し，符号化アルゴリズムの要件を考えます．ここでは，符号の分類，符号の木，クラフトの定理，平均符号長について学びます．

8.情報源の符号化アルゴリズム(2)
符号化アルゴリズムの良否，評価を与える方法について紹介します．ここでは，シャノンの第一定理，シャノン−ファノ符号化法，ハフマン符号化法について学びます．

9. 通信路の数学モデル
データ伝送に対するシャノンの通信路モデルについて紹介します．通信路行列，誤りとエントロピー，曖昧度，散布度について学びます．

10.通信路と相互情報量
通信路を通して伝送されるデータの情報量に関することを紹介します．ここでは，通信路の伝送能力を示す通信速度，通信路容量などについて学びます．

11.通信路符号化(1)
雑音がある通信路を伝送されるデータに対する符号化アルゴリズムの定理として知られるシャノンの第2基本定理を通して，誤りのある系の通信路容量，復号法について学びます．

12.通信路符号化(2)
通信路符号化アルゴリズムの基礎となる概念について紹介します．ここでは，符号化効率，ハミング距離，パリティ検査法，誤り検出/訂正の原理について学びます．

13.線形符号化法
具体的な誤り訂正符号化アルゴリズムとして，ハミング符号化法について紹介します．ここでは，ハミング符号の生成方法と誤り訂正方法を中心に学びます．次に，実用的な誤り訂正符号化アルゴリズムの一つとして，巡回符号化法について紹介します．ここでは，巡回符号の生成方法と誤り訂正方法を中心に学びます．

14.学習成果の確認
全体のまとめと重要事項の再確認をします．

＜成績評価方法＞

授業期間内の確認テストと課題による平常点，及び期末定期試験による両者の評価をします．共に，100点満点中，60点以上の評価をされた場合にのみ，D以上の評価を以って合格とします．他の履修条件は，学生便覧に記載されている各種規定に従います．

＜教科書＞

『情報理論』・内匠逸・オーム社

＜参考書＞

『情報理論』・今井秀樹・オーム社（もしくは昭晃堂）
『はじめての情報理論』・小嶋徹也・近代科学社
『情報理論の基礎』・横尾英俊・共立出版
『情報理論』・三木成彦，吉川英機・コロナ社
など，各自で使いやすいものを利用して下さい．

＜オフィスアワー＞

火曜日13:00-13:30 新宿校舎22階A-2274室，もしくは電子メールによる連絡でも良いです．連絡用の電子メールは講義開始後に通知します．
簡単な質問は，講義後に教室で受け付けます．

＜学生へのメッセージ＞

皆さんが，日常において利用しているスマートフォン，ブロードバンドインターネット，地上デジタルテレビなどの情報通信システムが誕生したのも情報理論のおかげとも言えます．興味のある人は受講して下さい．