情報処理基礎論 a 第2回データの種類 / アルゴリズムとプログラミング「情報理論」 (講義ノート)

情報を物理学における統計力学とからめて議論した分野がある。

情報理論 Information Theory

Shannon の「通信の数学的理論」により始まった。情報の通信とは、ある地点での情報を別の地点で再現することであると提唱した。 50 ページほどの論文である。概念を導入しながらなので、そこそこ読みやすい。

ブラックホールの物理でも情報エントロピーを議論する。

オートマトン automaton

「自動化人形」、同じように入力された情報について、出力の情報が関数により異なる仕組みのこと。このとき、関数は状態の違いで変化するため、出力の情報が異なってくる。

命題

記号論理学、数学で使う。誰が読んでも意味が明瞭であるような、端的な文章のこと。

符号理論 Coding Theory

情報を符号化して通信するときの効率性、信頼性の評価をする理論のこと。

形式言語

記号を導入し、それらを規則化する。規則化された記号の集合のこと。

計算量

プログラムの実行開始から終了までのアルゴリズムの性能比較により判断される。小さいアルゴリズムのほうが優れている。

情報処理基礎論 a 第2回 データの種類 / アルゴリズムとプログラミング 「情報理論 」 (講義ノート)