エントロピー

エントロピーといえばボルツマンを思い浮かべます．天才ボルツマン（オーストリアの物理学者）の墓碑には，S=klogWと刻まれているそうです．Sはエントロピー，Wはとり得る微視的な”状態数”，kはボルツマン定数です．
対数をとると，log(A･B)=logA+logBのように，積が和になりますので，加算量であるエントロピーと，微視的な”状態数”という積で増加する量とを結び付けるには，対数の登場となるわけです．
熱力学のエントロピーのクラウジウス（1865年）による定義は，系の温度をTとし，可逆過程で熱量δQが系に流入すると，dS=δQ/Tだけ系のエントロピーが増加するというものです．
系の内部エネルギーやエントロピーは状態量です．状態量ならば，系の２つの状態間で，変化経路にかかわりなく，状態量の差が一意に確定します．従って，系のある状態から出発し一回りして戻る経路積分をすると積分値はゼロです．状態量として系の内部エネルギーを例にとると，∲dE=0．このような性質のdEを全微分といいます．
熱や仕事の流入がないとき内部エネルギーは保存（熱力学の第一法則）されます．
閉じた系の内部で何か変化が起きても，その系のエントロピーは増大することはあっても減少することはなく，可逆変化の時のみエントロピーは不変（熱力学の第２法則）です．
系の微視的状態の数はW＝N!/(n_1)!(n_2)!･･･(ｎ_m)!通りで，ここで，P_iを状態n_iをとる確率（n_i＝P_iN，Pi=1）とし，
スターリングの公式を用いlogWを近似すると logW=-(P_i)Nlog(P_i) が得られます．

情報エントロピーの定義もこれと同じ形になります．エントロピーを微視的な状態数の表現と解釈すれば，エントロピーが大きいと可能な状態数が多く，エントロピーが小さいとは予想がしやすいということです．