Source

tkf.bitbucket.org / thermo-chaos-ja / dynamical-renyi-entropies.html

Full commit


<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
  "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">

<html xmlns="http://www.w3.org/1999/xhtml">
  <head>
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
    
    <title>Rényi エントロピー &mdash; カオスの熱力学 (勉強中)</title>
    <link rel="stylesheet" href="_static/default.css" type="text/css" />
    <link rel="stylesheet" href="_static/pygments.css" type="text/css" />
    <script type="text/javascript">
      var DOCUMENTATION_OPTIONS = {
        URL_ROOT:    '',
        VERSION:     '0',
        COLLAPSE_INDEX: false,
        FILE_SUFFIX: '.html',
        HAS_SOURCE:  true
      };
    </script>
    <script type="text/javascript" src="_static/jquery.js"></script>
    <script type="text/javascript" src="_static/underscore.js"></script>
    <script type="text/javascript" src="_static/doctools.js"></script>
    <link rel="top" title="カオスの熱力学 (勉強中)" href="index.html" />
    <link rel="next" title="位相圧力" href="topological-pressure.html" />
    <link rel="prev" title="カノニカル分布" href="canonical-distributions.html" />
 
<script type="text/javascript">
  var _gaq = _gaq || [];
  _gaq.push(['_setAccount', 'UA-22829655-1']);
  _gaq.push(['_trackPageview']);
</script>

  </head>
  <body>
    <div class="related">
      <h3>Navigation</h3>
      <ul>
        <li class="right" style="margin-right: 10px">
          <a href="genindex.html" title="General Index"
             accesskey="I">index</a></li>
        <li class="right" >
          <a href="topological-pressure.html" title="位相圧力"
             accesskey="N">next</a> |</li>
        <li class="right" >
          <a href="canonical-distributions.html" title="カノニカル分布"
             accesskey="P">previous</a> |</li>
        <li><a href="index.html">カオスの熱力学 (勉強中)</a> &raquo;</li> 
      </ul>
    </div>  

    <div class="document">
      <div class="documentwrapper">
        <div class="bodywrapper">
          <div class="body">
            

  <div class="section" id="renyi">
<span id="index-0"></span><h1>Rényi エントロピー<a class="headerlink" href="#renyi" title="Permalink to this headline"></a></h1>
<span class="target" id="renyi-information"></span><div class="section" id="index-1">
<span id="id1"></span><h2>Rényi 情報量<a class="headerlink" href="#index-1" title="Permalink to this headline"></a></h2>
<p>確率分布 <img class="math" src="_images/math/245a5501248a6ea24f520f76d4140cedf08e1674.png" alt="p_i"/> に対して <strong>Rényi 情報量</strong> (<strong>Rényi information</strong>)
<img class="math" src="_images/math/5f739a9dc9860b067e782e30390a6c072e0b8ecd.png" alt="I_\beta"/> を次のように定義する:</p>
<div class="math">
<p><img src="_images/math/7628c8f802a8039c5d83e80d91616fad32e16f73.png" alt="I_\beta(p) := \frac{1}{\beta - 1} \ln \sum_{i=1}^r (p_i)^\beta." /></p>
</div><p>ここで <img class="math" src="_images/math/fdb63b9e51abe6bbb16acfb5d7b773ddbb5bf4a8.png" alt="\beta"/> は任意の実数をとるパラメタで, <img class="math" src="_images/math/b55ca7a0aa88ab7d58f4fc035317fdac39b17861.png" alt="r"/><img class="math" src="_images/math/245a5501248a6ea24f520f76d4140cedf08e1674.png" alt="p_i"/>
が零でない状態 <img class="math" src="_images/math/34857b3ba74ce5cd8607f3ebd23e9015908ada71.png" alt="i"/> の数である.
和は <img class="math" src="_images/math/245a5501248a6ea24f520f76d4140cedf08e1674.png" alt="p_i"/> が非零の場合についてのみとられている.
これは, <img class="math" src="_images/math/fdb63b9e51abe6bbb16acfb5d7b773ddbb5bf4a8.png" alt="\beta"/> がどんな実数をとっても良いようにである.</p>
<p>いくつかの <img class="math" src="_images/math/fdb63b9e51abe6bbb16acfb5d7b773ddbb5bf4a8.png" alt="\beta"/> の値について <img class="math" src="_images/math/5f739a9dc9860b067e782e30390a6c072e0b8ecd.png" alt="I_\beta"/> を計算してみよう.
<img class="math" src="_images/math/31406b02b23c202946d58416b6a9d01fa11d8d04.png" alt="\beta = 0"/> の場合は <img class="math" src="_images/math/01a7f0f377b42922c6d9fcde7f75d5724c145739.png" alt="I_0(p) = - \ln r"/> となる.
<img class="math" src="_images/math/ed74e1fe1af469dda3514568dd916dfe462d2575.png" alt="\beta = 1"/> の場合について計算するために, <img class="math" src="_images/math/7db2303a48178558fa295e72e4a24a77fb693816.png" alt="\epsilon = \beta -1"/>
とおけば,</p>
<div class="math">
<p><img src="_images/math/f98d5a2a29f8aa8d7e95192e05ed4eef69fb6660.png" alt="I_{\epsilon + 1}(p)
&amp;= \frac{1}{\epsilon} \ln \sum_{i=1}^r (p_i)^{(\epsilon + 1)} \\
&amp;= \frac{1}{\epsilon} \ln \sum_{i=1}^r \exp( (\epsilon + 1) (\ln p_i) ) \\
&amp;\xrightarrow{\epsilon \to 0}
   \left.
   \frac{\sum_{i=1}^r (\ln p_i) \exp( (\epsilon + 1) (\ln p_i) )}
        {\sum_{i=1}^r \exp( (\epsilon + 1) (\ln p_i) )}
   \right|_{\epsilon = 0} \\
&amp;= \frac{\sum_{i=1}^r p_i \ln p_i}{\sum_{i=1}^r p_i} \\
&amp;= \sum_{i=1}^r p_i \ln p_i = I(p)" /></p>
</div><p>を得る.つまり, <img class="math" src="_images/math/56479eaa59d517318f03d9f6fe7a80d32ed0586b.png" alt="I_1(p) = I(p)"/> であり,
Shannon 情報量 <img class="math" src="_images/math/dbe721c6c2fb15664b8d8a9420372e8e71ab65f9.png" alt="I(p)"/> は Rényi 情報量の特別なケースである.</p>
<span class="target" id="escort-distribution"></span></div>
<div class="section" id="index-2">
<span id="id2"></span><h2>エスコート分布<a class="headerlink" href="#index-2" title="Permalink to this headline"></a></h2>
<p>確率分布 <img class="math" src="_images/math/245a5501248a6ea24f520f76d4140cedf08e1674.png" alt="p_i"/> が与えられた時に,</p>
<div class="math">
<p><img src="_images/math/1230024b826d29cc923177c2d8cac89a1956fa99.png" alt="P_i = \frac{(p_i)^\beta}{\sum_j^r (p_j)^\beta}" /></p>
</div><p>で定義される確率分布は <strong>エスコート分布</strong> (<strong>escort distribution</strong>) と呼ばれる
(ただしここでは <img class="math" src="_images/math/4a7cc5463cc4c1cb2a4960084ec9f30c6909427a.png" alt="p_i \neq 0"/> とする).</p>
<p>エスコート分布は次のように書き直すことが出来る.</p>
<div class="math">
<p><img src="_images/math/369f520f00ce188c642d4e43d6edf473dc7e94eb.png" alt="P_i &amp;= \exp( \Psi - \beta b_i ) \\
b_i &amp;= - \ln p_i \\
\Psi(\beta) &amp;= - \ln Z(\beta) \\
Z(\beta) &amp;= \sum_{i=1}^r \exp(- \beta b_i) = \sum_{i=1}^r p_i^\beta" /></p>
</div><p>エスコート分布は <a class="reference internal" href="canonical-distributions.html#generalized-canonical-distribution"><em>カノニカル分布</em></a>
の形をしていることが分かる.ここで,
<img class="math" src="_images/math/94d9565abaadf04609a2e9941aa2d20b0a299b8a.png" alt="b_i"/> はビット量 (bit-number) <a class="footnote-reference" href="#id4" id="id3">[1]</a><img class="math" src="_images/math/866f0204648be9ca6b10e14dd72295295dd53a79.png" alt="\Psi"/> は自由エネルギー,
<img class="math" src="_images/math/a4dc995201ba2b08c3a766037a95e4405ff4e513.png" alt="Z(\beta)"/> は 分配関数である.</p>
<table class="docutils footnote" frame="void" id="id4" rules="none">
<colgroup><col class="label" /><col /></colgroup>
<tbody valign="top">
<tr><td class="label"><a class="fn-backref" href="#id3">[1]</a></td><td>bit-number の訳語は「ビット番号」だと量(示量量)を表していると
分かり辛いので「ビット量」とした.もっと良い訳語があれば知りたい.</td></tr>
</tbody>
</table>
<p><a class="reference internal" href="#renyi-information"><em>Rényi 情報量</em></a> <img class="math" src="_images/math/5f739a9dc9860b067e782e30390a6c072e0b8ecd.png" alt="I_\beta"/>,
自由エネルギー <img class="math" src="_images/math/9b9cb499e1f88e45986cf72cade65072906b5460.png" alt="\Psi(\beta)"/>,
分配関数 <img class="math" src="_images/math/a4dc995201ba2b08c3a766037a95e4405ff4e513.png" alt="Z(\beta)"/> には次の関係がある.</p>
<div class="math">
<p><img src="_images/math/8d220b44aed5ca6da860221b7840ae5f1871f12e.png" alt="I_\beta(p)
= \frac{1}{\beta - 1} \ln \sum_{i=1}^r p_i^\beta
= \frac{1}{\beta - 1} \ln Z(\beta)
= - \frac{1}{\beta - 1} \Psi(\beta)" /></p>
</div></div>
<div class="section" id="id5">
<h2>記号列<a class="headerlink" href="#id5" title="Permalink to this headline"></a></h2>
<span class="target" id="partition"></span><p id="index-3">相空間 <img class="math" src="_images/math/6a47ca0fe7cb276abc022af6ac88ddae1a9d6894.png" alt="X"/><img class="math" src="_images/math/eff43e84f8a3bcf7b6965f0a3248bc4d3a9d0cd4.png" alt="R"/> 個の <strong>セル</strong> (<strong>cell</strong>) <img class="math" src="_images/math/2744600189f7f1df31756f2022b2d5212ef1c767.png" alt="A_i"/></p>
<div class="math">
<p><img src="_images/math/78c5d6e23c835848fd8f118d4b2646d2df330c0b.png" alt="\{ A \} := {A_1, A_2, \cdots, A_R}" /></p>
</div><p>への <strong>分割</strong> (<strong>partition</strong>) を考える <a class="footnote-reference" href="#id7" id="id6">[2]</a>そして相空間 <img class="math" src="_images/math/6a47ca0fe7cb276abc022af6ac88ddae1a9d6894.png" alt="X"/> からの添字 <img class="math" src="_images/math/34857b3ba74ce5cd8607f3ebd23e9015908ada71.png" alt="i"/> への写像を</p>
<div class="math">
<p><img src="_images/math/e051e637f731db9f5afde391fef8042db113106c.png" alt="i(x) \defarrow x \in A_{i}" /></p>
</div><p>で定義する.</p>
<table class="docutils footnote" frame="void" id="id7" rules="none">
<colgroup><col class="label" /><col /></colgroup>
<tbody valign="top">
<tr><td class="label"><a class="fn-backref" href="#id6">[2]</a></td><td>分割 <img class="math" src="_images/math/2c0494066781aefc27f73139d01097500c99ee19.png" alt="\{ A \}"/> のセル同士は被らず,かつ相空間
を埋め尽くさなければならない.つまり,
<img class="math" src="_images/math/8c335fcdd2d32e4831b97fa30e095d237dbbae2f.png" alt="A_i \cap A_j = \emptyset"/> (<img class="math" src="_images/math/743293b410b7d3bdf6a048265134ab7aa60b38b0.png" alt="i \neq j"/>)
かつ <img class="math" src="_images/math/074429413afa0da234796cab1f713aecd9b8c5fd.png" alt="\bigcup_{i=1}^R A_i = X"/> である.</td></tr>
</tbody>
</table>
<p>また,初期値 <img class="math" src="_images/math/17f1249ad95b7682b8316ad21de8ce4ee9fdcf93.png" alt="x_0"/> から始まる長さ <img class="math" src="_images/math/fc97ef67268cd4e91bacdf12b8901d7036c9a056.png" alt="N"/> の記号列
<img class="math" src="_images/math/1546c16428ec848f965fe3bfa548af2969b561d2.png" alt="j(x_0, N)"/></p>
<div class="math">
<p><img src="_images/math/96bb70c5bb117ec467e9ce1bbdff560eafbdecd9.png" alt="j(x_0, N) := \left( i(f^n(x_0)) \right)_{n=0}^{N-1}
= (i(x_0), i(x_1), \cdots, i(x_{N-1}))" /></p>
</div><p>で定義する <a class="footnote-reference" href="#id9" id="id8">[3]</a></p>
<table class="docutils footnote" frame="void" id="id9" rules="none">
<colgroup><col class="label" /><col /></colgroup>
<tbody valign="top">
<tr><td class="label"><a class="fn-backref" href="#id8">[3]</a></td><td>つまり,記号列 <img class="math" src="_images/math/422e13d8b40a81f8162d80555dca81413f02a199.png" alt="j = (\iseq)"/><img class="math" src="_images/math/8d69bf812a1e7c510b94e921dd4b1c9175e6ff78.png" alt="f^n(x_0) = x_n \in A_{i_n}"/> を満たす.</td></tr>
</tbody>
</table>
<p id="index-4">記号列 <img class="math" src="_images/math/422e13d8b40a81f8162d80555dca81413f02a199.png" alt="j = (\iseq)"/> を生成する初期値 <img class="math" src="_images/math/17f1249ad95b7682b8316ad21de8ce4ee9fdcf93.png" alt="x_0"/> 全体の集合は
<img class="math" src="_images/math/fc97ef67268cd4e91bacdf12b8901d7036c9a056.png" alt="N"/>-<strong>シリンダー</strong> (<img class="math" src="_images/math/fc97ef67268cd4e91bacdf12b8901d7036c9a056.png" alt="N"/>-<strong>cylinder</strong>) と呼ばれ</p>
<div class="math">
<p><img src="_images/math/e7e796c4ec89392328e7439e03ed2a8d77eae065.png" alt="J_j = J(\iseq) := \{x_0 | j(x_0, N) = j \}" /></p>
</div><p>で定義される.</p>
<p>長さ <img class="math" src="_images/math/fc97ef67268cd4e91bacdf12b8901d7036c9a056.png" alt="N"/> の記号列 <img class="math" src="_images/math/8122aa89ea6e80784c6513d22787ad86e36ad0cc.png" alt="j"/> の確率は, <img class="math" src="_images/math/9e08c7be17cf465f90c1ad2e73253804d084b48b.png" alt="\pseq"/> または
<img class="math" src="_images/math/4288f242d567839fb36d5f32264dbbcee7e1133b.png" alt="p(\iseq)"/> と書かれ,次のように定義される <a class="footnote-reference" href="#id11" id="id10">[4]</a></p>
<div class="math">
<p><img src="_images/math/ae8ef026d5b2f0140f8d79b472b5edfac075cb3f.png" alt="\pseq = p(\iseq) := \int_{J(\iseq)} \D \mu(x)
= \int_{J(\iseq)} \D x \rho(x)" /></p>
</div><p>ここで, <img class="math" src="_images/math/2d8c833ed800824727cd7bd2fb9de1a12ad7e674.png" alt="\mu"/> は自然不変測度 (natural invariant measure) で
<img class="math" src="_images/math/0027034d8a10372a06deaf4f4084c01956587479.png" alt="\rho"/> は自然不変密度 (natural invariant density) である.</p>
<table class="docutils footnote" frame="void" id="id11" rules="none">
<colgroup><col class="label" /><col /></colgroup>
<tbody valign="top">
<tr><td class="label"><a class="fn-backref" href="#id10">[4]</a></td><td><p class="first">記号列の確率 <img class="math" src="_images/math/9e08c7be17cf465f90c1ad2e73253804d084b48b.png" alt="\pseq"/> は一般の測度 <img class="math" src="_images/math/fa35d9fc104207e09a712110ac81612c5b279a6c.png" alt="\sigma"/>
について定義することが出来る.つまり,</p>
<div class="last math">
<p><img src="_images/math/27cd6d87a88171602cd35aebe9f2f3e85e2e4b75.png" alt="\pseq := \int_{J(\iseq)} \D \sigma(x)." /></p>
</div></td></tr>
</tbody>
</table>
<span class="target" id="dynamical-renyi-entropy"></span></div>
<div class="section" id="index-5">
<span id="id12"></span><h2>ダイナミカル Rényi エントロピー<a class="headerlink" href="#index-5" title="Permalink to this headline"></a></h2>
<p>ここではまず, <a class="reference internal" href="#escort-distribution"><em>エスコート分布</em></a>,
分配関数,Rényi 情報量,そして Rényi エントロピー
を力学系の記号列の確率分布 <img class="math" src="_images/math/9e08c7be17cf465f90c1ad2e73253804d084b48b.png" alt="\pseq"/> に関して定義する.
すなわち,
ダイナミカルエスコート分布 <img class="math" src="_images/math/3f4bd5d3efbe2041065e5f18823c7cc307e52031.png" alt="\Pseq"/>ダイナミカル分配関数 <img class="math" src="_images/math/e7d674942536bd376f04272a995356a224f429b7.png" alt="\Zdyn_N"/>,
ダイナミカル Rényi 情報量 <img class="math" src="_images/math/5f739a9dc9860b067e782e30390a6c072e0b8ecd.png" alt="I_\beta"/> を以下のように定義する.</p>
<div class="math" id="equation-dynamical-escort-distribution">
<p><span class="eqno">(1)</span><img src="_images/math/82d89308ab00eecbcf9d6ae8a477a89891d5a2eb.png" alt="\Pseq = \frac{\pob{\pseq}}{\sum_{j'} \pob{\pseq[j']}}" /></p>
</div><div class="math" id="equation-dynamical-partition-function">
<p><span class="eqno">(2)</span><img src="_images/math/b0f127b98aafd08c88933ee763d0f714291f1f59.png" alt="\Zdyn_N = \sum_j \pob{\pseq}" /></p>
</div><div class="math" id="equation-dynamical-renyi-information">
<p><span class="eqno">(3)</span><img src="_images/math/8372594c7dd229cc6c5ebddc967ee68eee7cf6a7.png" alt="I_\beta = \oobmo \ln Z(\beta) = \ooomb \Psi(\beta)" /></p>
</div><p>ここで,負の Rényi 情報量</p>
<div class="math">
<p><img src="_images/math/6d091f98b1af6c40f6a1641ac54634b94d3932f6.png" alt="H_\beta = H_\beta(\mu, \{A\}, N) = - I_\beta = \ooomb \ln Z(\beta)" /></p>
</div><p><img class="math" src="_images/math/587deaa115238bac53970a4d6e0a68e303834080.png" alt="N \to \infty"/></p>
<div class="math">
<p><img src="_images/math/856f8319f345b3f6a04e7bfdfec2c25b8c76e4ae.png" alt="h_\beta (\mu, \{A\}) = \limooN H_\beta = \limooN \ooomb \ln \Zdyn" /></p>
</div><p>と書くことにする. <img class="math" src="_images/math/429f893d18f4a5828fa5a3fbc1efa39e90c1219d.png" alt="h_\beta (\mu, \{A\})"/> を全ての分割
<img class="math" src="_images/math/aebd6cfc1946ac3fe6ac7e9918eb44b18cdfc088.png" alt="\{A\}"/> についての上限 <img class="math" src="_images/math/fd65b1bd6eb9a0a5d2fa6a6d92e48ba96a998e29.png" alt="\sup_{\{A\}}"/> <a class="footnote-reference" href="#id14" id="id13">[5]</a> を とった値</p>
<div class="math" id="equation-dynamical-renyi-entropy">
<p><span class="eqno">(4)</span><img src="_images/math/3702c59331f18e605cc3e84a94f789cdd0a05aa9.png" alt="K(\beta) = \sup_{\{A\}} h_\beta (\mu, \{A\})" /></p>
</div><p><strong>ダイナミカル Rényi エントロピー</strong> (<strong>dynamical Rényi entropy</strong>)
あるいは単に
<strong>Rényi エントロピー</strong> (<strong>Rényi entropy</strong>)
と呼ぶ.</p>
<table class="docutils footnote" frame="void" id="id14" rules="none">
<colgroup><col class="label" /><col /></colgroup>
<tbody valign="top">
<tr><td class="label"><a class="fn-backref" href="#id13">[5]</a></td><td>上限 <img class="math" src="_images/math/fd65b1bd6eb9a0a5d2fa6a6d92e48ba96a998e29.png" alt="\sup_{\{A\}}"/> はセルについての上限 <img class="math" src="_images/math/fde2b414cde5248c17243824bbfbf1f0242acb69.png" alt="\sup_{A_i}"/>
<em>ではなく</em>, 分割 <img class="math" src="_images/math/aebd6cfc1946ac3fe6ac7e9918eb44b18cdfc088.png" alt="\{A\}"/> のとり方についての上限であることに
注意.</td></tr>
</tbody>
</table>
<p>分割 <img class="math" src="_images/math/aebd6cfc1946ac3fe6ac7e9918eb44b18cdfc088.png" alt="\{A\}"/> が生成的分割 <a class="footnote-reference" href="#id17" id="id15">[6]</a> の場合,これは
上限 <img class="math" src="_images/math/fd65b1bd6eb9a0a5d2fa6a6d92e48ba96a998e29.png" alt="\sup_{\{A\}}"/> を実現する分割であり <a class="footnote-reference" href="#id18" id="id16">[7]</a> ,その場合には
Rényi エントロピー は</p>
<div class="math" id="equation-dynamical-renyi-entropy-genep">
<p><span class="eqno">(5)</span><img src="_images/math/ce37471407826a6880d55fdc86ff31ff97e497bb.png" alt="K(\beta) = - \limooN I_\beta = \limooN \ooomb \ln \sum_j \pob{\pseq}" /></p>
</div><p>で与えられる.</p>
<table class="docutils footnote" frame="void" id="id17" rules="none">
<colgroup><col class="label" /><col /></colgroup>
<tbody valign="top">
<tr><td class="label"><a class="fn-backref" href="#id15">[6]</a></td><td>生成的分割とは,無限長の記号列 <img class="math" src="_images/math/21d7398286801c4f98dd31a6cb4f3c648505c921.png" alt="i_0, i_1, \cdots"/> から
初期値 <img class="math" src="_images/math/17f1249ad95b7682b8316ad21de8ce4ee9fdcf93.png" alt="x_0"/> が一意に決まる分割である.</td></tr>
</tbody>
</table>
<table class="docutils footnote" frame="void" id="id18" rules="none">
<colgroup><col class="label" /><col /></colgroup>
<tbody valign="top">
<tr><td class="label"><a class="fn-backref" href="#id16">[7]</a></td><td><p class="first">なぜ生成的分割が上限を与えるかについての納得出来る説明は
<a class="reference internal" href="refs.html#beck1993">[Beck1993]</a> には載っていなかった.</p>
<div class="admonition-todo last admonition " id="index-6">
<p class="first admonition-title">Todo</p>
<p class="last">生成的分割が Rényi エントロピー の上限を与えることに
ついての説明を加える</p>
</div>
</td></tr>
</tbody>
</table>
<div class="section" id="index-7">
<span id="id20"></span><h3>位相エントロピー <img class="math" src="_images/math/0ed6b150a900ba4db8f965d82ca9c250daf24f84.png" alt="K(0)"/><a class="headerlink" href="#index-7" title="Permalink to this headline"></a></h3>
<p><img class="math" src="_images/math/31406b02b23c202946d58416b6a9d01fa11d8d04.png" alt="\beta = 0"/> の場合の Rényi エントロピー は
<strong>位相エントロピー</strong> (<strong>topological entropy</strong>) と呼ばれる.
<a href="#equation-dynamical-renyi-entropy-genep">(5)</a><img class="math" src="_images/math/31406b02b23c202946d58416b6a9d01fa11d8d04.png" alt="\beta = 0"/> を代入すると</p>
<div class="math">
<p><img src="_images/math/a467b905d09568de81b7a6eea700299205819e9f.png" alt="K(0) = \limooN \ln \# \{j(N)\}" /></p>
</div><p>となる.ここで <img class="math" src="_images/math/23b80afb1e7ab7acd53c3efc5efbdf26019bc730.png" alt="\{j(N)\} := \{j | \pseq \neq 0 \}"/> は長さ
<img class="math" src="_images/math/fc97ef67268cd4e91bacdf12b8901d7036c9a056.png" alt="N"/> のとり得る記号列の集合を,
<img class="math" src="_images/math/af75f2c22cbe4f4502431784eea09b5df641c1a2.png" alt="\# \{j(N)\}"/> はその集合の要素の数を表している.
つまり,位相エントロピー <img class="math" src="_images/math/0ed6b150a900ba4db8f965d82ca9c250daf24f84.png" alt="K(0)"/> は記号列が <img class="math" src="_images/math/fc97ef67268cd4e91bacdf12b8901d7036c9a056.png" alt="N"/>
について増えていく割合を表している.</p>
</div>
<div class="section" id="kolmogorov-sinai">
<span id="index-8"></span><h3>Kolmogorov-Sinai エントロピー <img class="math" src="_images/math/0795a5a92dff58f2b7f321526aafc64629a619ec.png" alt="K(1)"/><a class="headerlink" href="#kolmogorov-sinai" title="Permalink to this headline"></a></h3>
<p><img class="math" src="_images/math/31406b02b23c202946d58416b6a9d01fa11d8d04.png" alt="\beta = 0"/> の場合の Rényi エントロピー は
<strong>Kolmogorov-Sinai エントロピー</strong> (<strong>Kolmogorov-Sinai entropy</strong>) あるいは
<strong>KS エントロピー</strong> (<strong>KS entropy</strong>) と呼ばれる.
Shannon 情報量 が <img class="math" src="_images/math/ed74e1fe1af469dda3514568dd916dfe462d2575.png" alt="\beta = 1"/> の場合の
<a class="reference internal" href="#renyi-information"><em>Rényi 情報量</em></a> であったことを思い出せば,
<img class="math" src="_images/math/ed74e1fe1af469dda3514568dd916dfe462d2575.png" alt="\beta = 1"/> を式 <a href="#equation-dynamical-renyi-entropy-genep">(5)</a> に代入すると</p>
<div class="math">
<p><img src="_images/math/a0fd408a961a544a45da11cb7c5bc2f84f7ef073.png" alt="K(1) = - \limooN I(\pseq[]) = \limooN \sum_j \pseq \ln \pseq" /></p>
</div><p>を得る. 以下では KS エントロピー を <img class="math" src="_images/math/8189a5b5a0917b8c93350827be4038af1839139d.png" alt="h"/> で表す.
生成的分割が分からない場合の Rényi エントロピー の定義式
<a href="#equation-dynamical-renyi-entropy">(4)</a> と同様に, KS エントロピー <img class="math" src="_images/math/8189a5b5a0917b8c93350827be4038af1839139d.png" alt="h"/></p>
<div class="math" id="equation-ks-entropy">
<p><span class="eqno">(6)</span><img src="_images/math/4df0317b0a0a4b46355ee8f9a2dd72d8b096d62a.png" alt="h := h(\mu) = \sup_{\{A\}} h (\mu, \{A\})
       = \sup_{\{A\}} \limooN \sum_j \pseq \ln \pseq" /></p>
</div><p>は定義される.ただし,</p>
<div class="math">
<p><img src="_images/math/f2c40350c6a372be861b41646b93835339fe3b7a.png" alt="h(\sigma) &amp;:= \sup_{\{A\}} h (\sigma, \{A\}) \\
h(\sigma, \{A\}) &amp;:= \limooN \sum_j \pseq \ln \pseq." /></p>
</div><p><img class="math" src="_images/math/330a17491c2cf53401da0d8c63d133025e3d4af9.png" alt="h(\sigma)"/> は一般の測度 <img class="math" src="_images/math/fa35d9fc104207e09a712110ac81612c5b279a6c.png" alt="\sigma"/> について定義された
KS エントロピー である.</p>
</div>
</div>
</div>


<h1>Comments</h1>
<div id="disqus_thread"></div>
<script type="text/javascript">
    var disqus_shortname = 'tkfdocs'; // required
    // highly recommended additional parameters
    var disqus_identifier = 'カオスの熱力学 (勉強中)/dynamical-renyi-entropies';
    // var disqus_url = 'http://example.com/permalink-to-page.html';

    /* * * DON'T EDIT BELOW THIS LINE * * */
    (function() {
        var dsq = document.createElement('script'); dsq.type = 'text/javascript'; dsq.async = true;
        dsq.src = 'http://' + disqus_shortname + '.disqus.com/embed.js';
        (document.getElementsByTagName('head')[0] || document.getElementsByTagName('body')[0]).appendChild(dsq);
    })();
</script>
<noscript>Please enable JavaScript to view the <a href="http://disqus.com/?ref_noscript">comments powered by Disqus.</a></noscript>
<a href="http://disqus.com" class="dsq-brlink">blog comments powered by <span class="logo-disqus">Disqus</span></a>

          </div>
        </div>
      </div>
      <div class="sphinxsidebar">
        <div class="sphinxsidebarwrapper">
  <h3><a href="index.html">Table Of Contents</a></h3>
  <ul>
<li><a class="reference internal" href="#">Rényi エントロピー</a><ul>
<li><a class="reference internal" href="#index-1">Rényi 情報量</a></li>
<li><a class="reference internal" href="#index-2">エスコート分布</a></li>
<li><a class="reference internal" href="#id5">記号列</a></li>
<li><a class="reference internal" href="#index-5">ダイナミカル Rényi エントロピー</a><ul>
<li><a class="reference internal" href="#index-7">位相エントロピー <img class="math" src="_images/math/0ed6b150a900ba4db8f965d82ca9c250daf24f84.png" alt="K(0)"/></a></li>
<li><a class="reference internal" href="#kolmogorov-sinai">Kolmogorov-Sinai エントロピー <img class="math" src="_images/math/0795a5a92dff58f2b7f321526aafc64629a619ec.png" alt="K(1)"/></a></li>
</ul>
</li>
</ul>
</li>
</ul>

<h3><a href="#disqus_thread">Add New Comment ✎</a></h3>
<ul><li>
    <a class="reference internal" href="#disqus_thread">
      Go to the bottom!
    </a>
</li></ul>
  <h4>Previous topic</h4>
  <p class="topless"><a href="canonical-distributions.html"
                        title="previous chapter">カノニカル分布</a></p>
  <h4>Next topic</h4>
  <p class="topless"><a href="topological-pressure.html"
                        title="next chapter">位相圧力</a></p>
  <h3>This Page</h3>
  <ul class="this-page-menu">
    <li><a href="_sources/dynamical-renyi-entropies.txt"
           rel="nofollow">Show Source</a></li>
  </ul>
<div id="searchbox" style="display: none">
  <h3>Quick search</h3>
    <form class="search" action="search.html" method="get">
      <input type="text" name="q" size="18" />
      <input type="submit" value="Go" />
      <input type="hidden" name="check_keywords" value="yes" />
      <input type="hidden" name="area" value="default" />
    </form>
    <p class="searchtip" style="font-size: 90%">
    Enter search terms or a module, class or function name.
    </p>
</div>
<script type="text/javascript">$('#searchbox').show(0);</script>
        </div>
      </div>
      <div class="clearer"></div>
    </div>
    <div class="related">
      <h3>Navigation</h3>
      <ul>
        <li class="right" style="margin-right: 10px">
          <a href="genindex.html" title="General Index"
             >index</a></li>
        <li class="right" >
          <a href="topological-pressure.html" title="位相圧力"
             >next</a> |</li>
        <li class="right" >
          <a href="canonical-distributions.html" title="カノニカル分布"
             >previous</a> |</li>
        <li><a href="index.html">カオスの熱力学 (勉強中)</a> &raquo;</li> 
      </ul>
    </div>

    <div class="footer">
        &copy; Copyright 2011, Takafumi Arakaki.
      Created using <a href="http://sphinx.pocoo.org/">Sphinx</a> 1.0.7.
    </div>
<div class="footer">This page uses <a href="http://analytics.google.com/">
Google Analytics</a> to collect statistics. You can disable it by blocking
the JavaScript coming from www.google-analytics.com.
<script type="text/javascript">
  (function() {
    var ga = document.createElement('script');
    ga.src = ('https:' == document.location.protocol ?
              'https://ssl' : 'http://www') + '.google-analytics.com/ga.js';
    ga.setAttribute('async', 'true');
    document.documentElement.firstChild.appendChild(ga);
  })();
</script>
</div>

  </body>
</html>