Source

tkf.bitbucket.org / thermo-chaos-ja / canonical-distributions.html

Full commit


<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
  "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">

<html xmlns="http://www.w3.org/1999/xhtml">
  <head>
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
    
    <title>カノニカル分布 &mdash; カオスの熱力学 (勉強中)</title>
    <link rel="stylesheet" href="_static/default.css" type="text/css" />
    <link rel="stylesheet" href="_static/pygments.css" type="text/css" />
    <script type="text/javascript">
      var DOCUMENTATION_OPTIONS = {
        URL_ROOT:    '',
        VERSION:     '0',
        COLLAPSE_INDEX: false,
        FILE_SUFFIX: '.html',
        HAS_SOURCE:  true
      };
    </script>
    <script type="text/javascript" src="_static/jquery.js"></script>
    <script type="text/javascript" src="_static/underscore.js"></script>
    <script type="text/javascript" src="_static/doctools.js"></script>
    <link rel="top" title="カオスの熱力学 (勉強中)" href="index.html" />
    <link rel="next" title="Rényi エントロピー" href="dynamical-renyi-entropies.html" />
    <link rel="prev" title="カオスの熱力学 (勉強中)" href="index.html" />
 
<script type="text/javascript">
  var _gaq = _gaq || [];
  _gaq.push(['_setAccount', 'UA-22829655-1']);
  _gaq.push(['_trackPageview']);
</script>

  </head>
  <body>
    <div class="related">
      <h3>Navigation</h3>
      <ul>
        <li class="right" style="margin-right: 10px">
          <a href="genindex.html" title="General Index"
             accesskey="I">index</a></li>
        <li class="right" >
          <a href="dynamical-renyi-entropies.html" title="Rényi エントロピー"
             accesskey="N">next</a> |</li>
        <li class="right" >
          <a href="index.html" title="カオスの熱力学 (勉強中)"
             accesskey="P">previous</a> |</li>
        <li><a href="index.html">カオスの熱力学 (勉強中)</a> &raquo;</li> 
      </ul>
    </div>  

    <div class="document">
      <div class="documentwrapper">
        <div class="bodywrapper">
          <div class="body">
            

  <div class="section" id="id1">
<h1>カノニカル分布<a class="headerlink" href="#id1" title="Permalink to this headline"></a></h1>
<div class="section" id="index-0">
<span id="id2"></span><h2>エントロピー最大の原理<a class="headerlink" href="#index-0" title="Permalink to this headline"></a></h2>
<p>次のような問題を考える. <img class="math" src="_images/math/eff43e84f8a3bcf7b6965f0a3248bc4d3a9d0cd4.png" alt="R"/> 個(巨大な数)の状態をとりうる系があっ
て,その状態 <img class="math" src="_images/math/ba353d737fef8d0724b0abfa4bebaaa36764bffa.png" alt="i = 1,2,...,R"/> ひとつひとつにある量 <img class="math" src="_images/math/50496bd204bbf34e209ecabe0729f4937fe69a1d.png" alt="M_i"/> (例:
エネルギー) が割り当てられている. つまり,状態 <img class="math" src="_images/math/34857b3ba74ce5cd8607f3ebd23e9015908ada71.png" alt="i"/> があたえら
れたらその量 <img class="math" src="_images/math/50496bd204bbf34e209ecabe0729f4937fe69a1d.png" alt="M_i"/> が計算出来る (我々は計算方法を知っている).
しかし,この系が状態 <img class="math" src="_images/math/34857b3ba74ce5cd8607f3ebd23e9015908ada71.png" alt="i"/> をとる確率 <img class="math" src="_images/math/245a5501248a6ea24f520f76d4140cedf08e1674.png" alt="p_i"/> は未知.
ここで,量 <img class="math" src="_images/math/50496bd204bbf34e209ecabe0729f4937fe69a1d.png" alt="M_i"/> の平均値 <img class="math" src="_images/math/9d85db713bd78f3bfd7a6b48ec25e3a20750d546.png" alt="M = \sum_{i=1}^R p_i M_i"/>与えられた時,どんな確率分布 <img class="math" src="_images/math/245a5501248a6ea24f520f76d4140cedf08e1674.png" alt="p_i"/> を考えるべきか?</p>
<p>ここでこの問題をもう少し一般化し,いくつかの量に対して平均値が与えられ
ているとする.これらの量を添字 <img class="math" src="_images/math/fa35d9fc104207e09a712110ac81612c5b279a6c.png" alt="\sigma"/> でラベルづけする.これらの
量の平均値は</p>
<div class="math" id="equation-m_mean">
<p><span class="eqno">(1)</span><img src="_images/math/915af2f48c34567bcb89c97ece3ae08208381448.png" alt="M^\sigma = \sum_{i=1}^R p_i M^\sigma_i" /></p>
</div><p>と書くことができる.</p>
<p><img class="math" src="_images/math/245a5501248a6ea24f520f76d4140cedf08e1674.png" alt="p_i"/> は確率なので,以下の正規化条件を満たさなければならない.</p>
<div class="math" id="equation-p_normalized">
<p><span class="eqno">(2)</span><img src="_images/math/9c24f2b3d1dc4dad557a99f5bc30ccaa57f1d36c.png" alt="\sum_{i=1}^R p_i = 1" /></p>
</div><p><a href="#equation-m_mean">(1)</a><a href="#equation-p_normalized">(2)</a> を満たす確率分布 <img class="math" src="_images/math/245a5501248a6ea24f520f76d4140cedf08e1674.png" alt="p_i"/>色々と考えることが出きる.ここで考えたい分布はこれらの条件以外の正当性
の無い条件に依らない分布である.そこで,この確率分布のシャノン情報量</p>
<div class="math">
<p><img src="_images/math/b45d5e5b5083d9992dcf9ecbee596f36bf9827b0.png" alt="I(p) = \sum_i p_i \ln p_i" /></p>
</div><p>を最小化する分布を考える.シャノン情報量の符号を反転させた量は
シャノンエントロピー <img class="math" src="_images/math/7a975e56c38c83a69280af925d4a2d965490155d.png" alt="S = - I"/> であるので,シャノン情報量の
最小化はシャノンエントロピーの最大化にあたる.この,シャノン
エントロピーを最大化する条件は <strong>エントロピー最大の原理</strong> と呼ばれる.</p>
<p>エントロピー最大の条件を変分の形で書くと <img class="math" src="_images/math/bcb72381dca7f54d6abbabbc7d0fd069729afd18.png" alt="\delta I(p) = 0"/> となる.
他の条件 <a href="#equation-m_mean">(1)</a><a href="#equation-p_normalized">(2)</a> もあわせて <img class="math" src="_images/math/245a5501248a6ea24f520f76d4140cedf08e1674.png" alt="p_i"/>変分で書き表すと以下の条件を得る.</p>
<div class="math">
<p><img src="_images/math/adb8d20d28510bc75ac7b26f9b73d2c6624da9f5.png" alt="\delta I(p) = \sum_i (1 + \ln p_i) \delta p_i &amp;= 0 \\
\sum_{i=1}^R M^\sigma_i \delta p_i &amp;= 0 \\
\sum_{i=1}^R \delta p_i &amp;= 0" /></p>
</div><p>これら三式より,</p>
<div class="math">
<p><img src="_images/math/57099eea5611b08d658ecaece4a3c398baee8ecf.png" alt="\sum_i (1 + \ln p_i) \delta p_i
&amp;= \underbrace{ \sum_i  \delta p_i }_{= 0}
   + \sum_i (\ln p_i) \delta p_i \\
&amp;= \sum_i (\ln p_i) \delta p_i \\
&amp;= \sum_i (\ln p_i) \delta p_i
   - \Psi \underbrace{\sum_i \delta p_i}_{=0}
   + \sum_\sigma \beta_\sigma
     \underbrace{\sum_i M^\sigma_i \delta p_i}_{=0} \\
&amp;= \sum_i ( \ln p_i - \Psi + \beta_\sigma M^\sigma_i) \delta p_i" /></p>
</div><p>を得る.ここで, <img class="math" src="_images/math/866f0204648be9ca6b10e14dd72295295dd53a79.png" alt="\Psi"/><img class="math" src="_images/math/db10461e19deb3397ded519f95748e450a62a1b3.png" alt="\beta_\sigma"/> は任意の定数である.
また,最後の式では <img class="math" src="_images/math/dcdcb1eff0da5793de4a2ff8c2fc1f5a9d358a89.png" alt="\sum_\sigma \beta_\sigma M^\sigma_i"/><img class="math" src="_images/math/90e552c14b939b8271e8cc10becd818fb4ba9931.png" alt="\sum_\sigma"/> を省略して書いた.以下,ギリシャ文字の
上付き添字と下付き添字が出てきたときにはこの添字に関して和をとる
こととする <a class="footnote-reference" href="#id4" id="id3">[1]</a></p>
<p>値が 0 の項を引いたり足したりしているので意味の無い計算に見えるが,
最後の式には <img class="math" src="_images/math/245a5501248a6ea24f520f76d4140cedf08e1674.png" alt="p_i"/> の制約条件である式 <a href="#equation-m_mean">(1)</a><a href="#equation-p_normalized">(2)</a> と同じ数だけ未知の定数 <img class="math" src="_images/math/866f0204648be9ca6b10e14dd72295295dd53a79.png" alt="\Psi"/><img class="math" src="_images/math/db10461e19deb3397ded519f95748e450a62a1b3.png" alt="\beta_\sigma"/> が含まれることに注意しよう.つまり,最後の式
では <img class="math" src="_images/math/1d1e43d46a28c7f9d79812e5e79f7b5e1436cd87.png" alt="\delta p_i"/> は制限されてないので,括弧の中身はすべての
<img class="math" src="_images/math/34857b3ba74ce5cd8607f3ebd23e9015908ada71.png" alt="i"/> に対して 0 でなければならない.よって,</p>
<div class="math">
<p><img src="_images/math/af798f25c9530145387b58453e80b4e12512f230.png" alt="\ln p_i - \Psi + \beta_\sigma M^\sigma_i = 0." /></p>
</div><span class="target" id="generalized-canonical-distribution"></span><p id="index-1">この式の解 <img class="math" src="_images/math/e86919caff4a26af2c8867c56bcd9134bfd241ac.png" alt="P_i"/></p>
<div class="math">
<p><img src="_images/math/264171c3d94d933915fea76aad3a08a9c06d0a1b.png" alt="P_i = \exp( \Psi - \beta_\sigma M^\sigma_i )" /></p>
</div><p>である.この分布は <strong>一般化カノニカル分布</strong> (<strong>generalized canonical
distribution</strong>), <strong>一般化正準分布</strong> , または <strong>Gibbs 分布</strong>
(<strong>Gibbs distribution</strong>) と呼ばれる. <img class="math" src="_images/math/866f0204648be9ca6b10e14dd72295295dd53a79.png" alt="\Psi"/><strong>一般化自由エネルギー</strong> (<strong>generalized free energy</strong>),
<img class="math" src="_images/math/db10461e19deb3397ded519f95748e450a62a1b3.png" alt="\beta_\sigma"/><strong>示強量</strong> (<strong>intensity</strong>),
<img class="math" src="_images/math/275eaa5bf20f4e5cc477550b9d75bcae2666fb09.png" alt="M^\sigma"/><strong>示量量</strong> (<strong>extensity</strong>) とそれぞれ呼ばれる.</p>
<p>正規化条件より,</p>
<div class="math">
<p><img src="_images/math/e2e815606b5ce154e5aed104b3a9379e6ec6a48b.png" alt="1 = \sum_i P_i = \exp(\Psi) \sum_i \exp( - \beta_\sigma M^\sigma_i )

\therefore \Psi = - \ln \sum_i \exp( - \beta_\sigma M^\sigma_i )" /></p>
</div><p><img class="math" src="_images/math/30d938049e2d8bdbff5c53527041fc1dac96cb49.png" alt="\ln"/> の中身</p>
<div class="math">
<p><img src="_images/math/68f904d2302336596f14e443161545b689093a68.png" alt="Z = \sum_i \exp( - \beta_\sigma M^\sigma_i )" /></p>
</div><p><strong>分配関数</strong> (<strong>partition function</strong>) と呼ばれる.
<img class="math" src="_images/math/866f0204648be9ca6b10e14dd72295295dd53a79.png" alt="\Psi"/><img class="math" src="_images/math/e86919caff4a26af2c8867c56bcd9134bfd241ac.png" alt="P_i"/><img class="math" src="_images/math/3ead47fb9fb4a4c273feee398f72ff2a09702b84.png" alt="Z"/> を用いて</p>
<div class="math">
<p><img src="_images/math/612485a26998ad515f3bf7dc90af84ee713e18e6.png" alt="\Psi = - \ln Z" /></p>
</div><div class="math">
<p><img src="_images/math/12ef1643a890e416013ca1f8de62a797a4aade8f.png" alt="P_i = \frac{\exp( - \beta_\sigma M^\sigma_i )}{Z}" /></p>
</div><p>と書ける.</p>
<p>エントロピーを計算すると,</p>
<div class="math">
<p><img src="_images/math/8d3276aa231cdc09a9d7f42c6120a0bcb6db3b98.png" alt="S = - I(P)
&amp;= - \sum_i P_i \ln P_i \\
&amp;= - \sum_i P_i ( \Psi - \beta_\sigma M^\sigma_i ) \\
&amp;= - \Psi + \beta_\sigma M^\sigma" /></p>
</div><p>となる.</p>
<table class="docutils footnote" frame="void" id="id4" rules="none">
<colgroup><col class="label" /><col /></colgroup>
<tbody valign="top">
<tr><td class="label"><a class="fn-backref" href="#id3">[1]</a></td><td>アインシュタインの縮約記法と呼ばれる.</td></tr>
</tbody>
</table>
</div>
<div class="section" id="principle-of-minimum-free-energy">
<span id="index-2"></span><span id="id5"></span><h2>自由エネルギー最小の原理<a class="headerlink" href="#principle-of-minimum-free-energy" title="Permalink to this headline"></a></h2>
<p>エントロピー最大の原理は示量量 <img class="math" src="_images/math/275eaa5bf20f4e5cc477550b9d75bcae2666fb09.png" alt="M^\sigma"/> が与えられた場合に
最も仮定の少ない分布を導く方法であった.では,示強量 <img class="math" src="_images/math/db10461e19deb3397ded519f95748e450a62a1b3.png" alt="\beta_\sigma"/>
が与えられた場合の対応する原理はなんであろうか.実は,その原理は
<strong>自由エネルギー最小の原理</strong> (<img class="math" src="_images/math/039ba1d5e01168542a8a606b2ecde73db4208383.png" alt="\delta \Psi = 0"/>) であることを
以下で導く.</p>
<div class="math" id="equation-delta_s">
<p><span class="eqno">(3)</span><img src="_images/math/cffe58bc7b718f2d81eea5a1c51da0c66b667b39.png" alt="\delta S = 0" /></p>
</div><div class="math" id="equation-delta_m">
<p><span class="eqno">(4)</span><img src="_images/math/553fe336a95b7e74d151e31684ed0bbc4dcbdb36.png" alt="\delta M^\sigma = 0" /></p>
</div><p>これらの式は,与えられた (固定された) 示強量 <img class="math" src="_images/math/db10461e19deb3397ded519f95748e450a62a1b3.png" alt="\beta_\sigma"/>
を用いて以下のように書ける <a class="footnote-reference" href="#id7" id="id6">[2]</a></p>
<div class="math" id="equation-delta_s_beta_m">
<p><span class="eqno">(5)</span><img src="_images/math/f99cbd7b53e2cd6111e192416bc413a2ef96bd1f.png" alt="\delta (S - \beta_\sigma M^\sigma) = 0" /></p>
</div><p>確かに,これは自由エネルギー</p>
<div class="math">
<p><img src="_images/math/155ff6ee13c423aa1e2506c117b2bfc6669d3f95.png" alt="\Psi[p] = S - \beta_\sigma M^\sigma
= \sum_{i=1}^R (p_i \beta_\sigma M^\sigma_i + p_i \ln p_i)" /></p>
</div><p>を最小化する条件 <img class="math" src="_images/math/039ba1d5e01168542a8a606b2ecde73db4208383.png" alt="\delta \Psi = 0"/> である.</p>
<table class="docutils footnote" frame="void" id="id7" rules="none">
<colgroup><col class="label" /><col /></colgroup>
<tbody valign="top">
<tr><td class="label"><a class="fn-backref" href="#id6">[2]</a></td><td><a href="#equation-delta_s">(3)</a><a href="#equation-delta_m">(4)</a> から 式 <a href="#equation-delta_s_beta_m">(5)</a>
は導けても逆は無理だが,問題無いか?
問題ない. 式 <a href="#equation-delta_s">(3)</a><a href="#equation-delta_m">(4)</a><img class="math" src="_images/math/275eaa5bf20f4e5cc477550b9d75bcae2666fb09.png" alt="M^\sigma"/>
が与えられた時にカノニカル分布を得る条件であり,
<a href="#equation-delta_s_beta_m">(5)</a><img class="math" src="_images/math/db10461e19deb3397ded519f95748e450a62a1b3.png" alt="\beta_\sigma"/>
が与えられた時にカノニカル分布を得る条件である.
問題設定が違うので,当然同値ではなくて良い.</td></tr>
</tbody>
</table>
</div>
</div>


<h1>Comments</h1>
<div id="disqus_thread"></div>
<script type="text/javascript">
    var disqus_shortname = 'tkfdocs'; // required
    // highly recommended additional parameters
    var disqus_identifier = 'カオスの熱力学 (勉強中)/canonical-distributions';
    // var disqus_url = 'http://example.com/permalink-to-page.html';

    /* * * DON'T EDIT BELOW THIS LINE * * */
    (function() {
        var dsq = document.createElement('script'); dsq.type = 'text/javascript'; dsq.async = true;
        dsq.src = 'http://' + disqus_shortname + '.disqus.com/embed.js';
        (document.getElementsByTagName('head')[0] || document.getElementsByTagName('body')[0]).appendChild(dsq);
    })();
</script>
<noscript>Please enable JavaScript to view the <a href="http://disqus.com/?ref_noscript">comments powered by Disqus.</a></noscript>
<a href="http://disqus.com" class="dsq-brlink">blog comments powered by <span class="logo-disqus">Disqus</span></a>

          </div>
        </div>
      </div>
      <div class="sphinxsidebar">
        <div class="sphinxsidebarwrapper">
  <h3><a href="index.html">Table Of Contents</a></h3>
  <ul>
<li><a class="reference internal" href="#">カノニカル分布</a><ul>
<li><a class="reference internal" href="#index-0">エントロピー最大の原理</a></li>
<li><a class="reference internal" href="#principle-of-minimum-free-energy">自由エネルギー最小の原理</a></li>
</ul>
</li>
</ul>

<h3><a href="#disqus_thread">Add New Comment ✎</a></h3>
<ul><li>
    <a class="reference internal" href="#disqus_thread">
      Go to the bottom!
    </a>
</li></ul>
  <h4>Previous topic</h4>
  <p class="topless"><a href="index.html"
                        title="previous chapter">カオスの熱力学 (勉強中)</a></p>
  <h4>Next topic</h4>
  <p class="topless"><a href="dynamical-renyi-entropies.html"
                        title="next chapter">Rényi エントロピー</a></p>
  <h3>This Page</h3>
  <ul class="this-page-menu">
    <li><a href="_sources/canonical-distributions.txt"
           rel="nofollow">Show Source</a></li>
  </ul>
<div id="searchbox" style="display: none">
  <h3>Quick search</h3>
    <form class="search" action="search.html" method="get">
      <input type="text" name="q" size="18" />
      <input type="submit" value="Go" />
      <input type="hidden" name="check_keywords" value="yes" />
      <input type="hidden" name="area" value="default" />
    </form>
    <p class="searchtip" style="font-size: 90%">
    Enter search terms or a module, class or function name.
    </p>
</div>
<script type="text/javascript">$('#searchbox').show(0);</script>
        </div>
      </div>
      <div class="clearer"></div>
    </div>
    <div class="related">
      <h3>Navigation</h3>
      <ul>
        <li class="right" style="margin-right: 10px">
          <a href="genindex.html" title="General Index"
             >index</a></li>
        <li class="right" >
          <a href="dynamical-renyi-entropies.html" title="Rényi エントロピー"
             >next</a> |</li>
        <li class="right" >
          <a href="index.html" title="カオスの熱力学 (勉強中)"
             >previous</a> |</li>
        <li><a href="index.html">カオスの熱力学 (勉強中)</a> &raquo;</li> 
      </ul>
    </div>

    <div class="footer">
        &copy; Copyright 2011, Takafumi Arakaki.
      Created using <a href="http://sphinx.pocoo.org/">Sphinx</a> 1.0.7.
    </div>
<div class="footer">This page uses <a href="http://analytics.google.com/">
Google Analytics</a> to collect statistics. You can disable it by blocking
the JavaScript coming from www.google-analytics.com.
<script type="text/javascript">
  (function() {
    var ga = document.createElement('script');
    ga.src = ('https:' == document.location.protocol ?
              'https://ssl' : 'http://www') + '.google-analytics.com/ga.js';
    ga.setAttribute('async', 'true');
    document.documentElement.firstChild.appendChild(ga);
  })();
</script>
</div>

  </body>
</html>