Source

tkf.bitbucket.org / thermo-chaos-ja / _sources / dynamical-renyi-entropies.txt

Full commit
.. index:: Rényi エントロピー, Rényi entropy

Rényi エントロピー
==================

.. _renyi-information:
.. index:: Rényi 情報量, Rényi information

Rényi 情報量
------------

確率分布 :math:`p_i` に対して **Rényi 情報量** (**Rényi information**)
:math:`I_\beta` を次のように定義する:

.. math:: I_\beta(p) := \frac{1}{\beta - 1} \ln \sum_{i=1}^r (p_i)^\beta.

ここで :math:`\beta` は任意の実数をとるパラメタで, :math:`r` は :math:`p_i`
が零でない状態 :math:`i` の数である.
和は :math:`p_i` が非零の場合についてのみとられている.
これは, :math:`\beta` がどんな実数をとっても良いようにである.

いくつかの :math:`\beta` の値について :math:`I_\beta` を計算してみよう.
:math:`\beta = 0` の場合は :math:`I_0(p) = - \ln r` となる.
:math:`\beta = 1` の場合について計算するために, :math:`\epsilon = \beta -1`
とおけば,

.. math::

   I_{\epsilon + 1}(p)
   &= \frac{1}{\epsilon} \ln \sum_{i=1}^r (p_i)^{(\epsilon + 1)} \\
   &= \frac{1}{\epsilon} \ln \sum_{i=1}^r \exp( (\epsilon + 1) (\ln p_i) ) \\
   &\xrightarrow{\epsilon \to 0}
      \left.
      \frac{\sum_{i=1}^r (\ln p_i) \exp( (\epsilon + 1) (\ln p_i) )}
           {\sum_{i=1}^r \exp( (\epsilon + 1) (\ln p_i) )}
      \right|_{\epsilon = 0} \\
   &= \frac{\sum_{i=1}^r p_i \ln p_i}{\sum_{i=1}^r p_i} \\
   &= \sum_{i=1}^r p_i \ln p_i = I(p)

を得る.つまり, :math:`I_1(p) = I(p)` であり,
Shannon 情報量 :math:`I(p)` は Rényi 情報量の特別なケースである.


.. _escort-distribution:

.. index:: エスコート分布, escort distribution

エスコート分布
--------------

確率分布 :math:`p_i` が与えられた時に,

.. math:: P_i = \frac{(p_i)^\beta}{\sum_j^r (p_j)^\beta}

で定義される確率分布は **エスコート分布** (**escort distribution**) と呼ばれる
(ただしここでは :math:`p_i \neq 0` とする).

エスコート分布は次のように書き直すことが出来る.

.. math::

   P_i &= \exp( \Psi - \beta b_i ) \\
   b_i &= - \ln p_i \\
   \Psi(\beta) &= - \ln Z(\beta) \\
   Z(\beta) &= \sum_{i=1}^r \exp(- \beta b_i) = \sum_{i=1}^r p_i^\beta

エスコート分布は :ref:`カノニカル分布 <generalized-canonical-distribution>`
の形をしていることが分かる.ここで,
:math:`b_i` はビット量 (bit-number) [#]_ ,
:math:`\Psi` は自由エネルギー,
:math:`Z(\beta)` は 分配関数である.

.. [#] bit-number の訳語は「ビット番号」だと量(示量量)を表していると
       分かり辛いので「ビット量」とした.もっと良い訳語があれば知りたい.

:ref:`Rényi 情報量 <renyi-information>` :math:`I_\beta`,
自由エネルギー :math:`\Psi(\beta)`,
分配関数 :math:`Z(\beta)` には次の関係がある.

.. math::

   I_\beta(p)
   = \frac{1}{\beta - 1} \ln \sum_{i=1}^r p_i^\beta
   = \frac{1}{\beta - 1} \ln Z(\beta)
   = - \frac{1}{\beta - 1} \Psi(\beta)



記号列
------

.. _partition:
.. index:: 分割, partition, セル, cell

相空間 :math:`X` の :math:`R` 個の **セル** (**cell**) :math:`A_i`

.. math:: \{ A \} := {A_1, A_2, \cdots, A_R}

への **分割** (**partition**) を考える [#]_ .
そして相空間 :math:`X` からの添字 :math:`i` への写像を

.. math:: i(x) \defarrow x \in A_{i}

で定義する.

.. [#] 分割 :math:`\{ A \}` のセル同士は被らず,かつ相空間
       を埋め尽くさなければならない.つまり,
       :math:`A_i \cap A_j = \emptyset` (:math:`i \neq j`)
       かつ :math:`\bigcup_{i=1}^R A_i = X` である.

また,初期値 :math:`x_0` から始まる長さ :math:`N` の記号列
:math:`j(x_0, N)` を

.. math:: j(x_0, N) := \left( i(f^n(x_0)) \right)_{n=0}^{N-1}
          = (i(x_0), i(x_1), \cdots, i(x_{N-1}))

で定義する [#]_ .

.. [#] つまり,記号列 :math:`j = (\iseq)` は
       :math:`f^n(x_0) = x_n \in A_{i_n}` を満たす.

.. index:: N-シリンダー, N-cylinder

記号列 :math:`j = (\iseq)` を生成する初期値 :math:`x_0` 全体の集合は
:math:`N`-**シリンダー** (:math:`N`-**cylinder**) と呼ばれ

.. math:: J_j = J(\iseq) := \{x_0 | j(x_0, N) = j \}

で定義される.

長さ :math:`N` の記号列 :math:`j` の確率は, :math:`\pseq` または
:math:`p(\iseq)` と書かれ,次のように定義される [#]_ .

.. math:: \pseq = p(\iseq) := \int_{J(\iseq)} \D \mu(x)
          = \int_{J(\iseq)} \D x \rho(x)

ここで, :math:`\mu` は自然不変測度 (natural invariant measure) で
:math:`\rho` は自然不変密度 (natural invariant density) である.

.. [#] 記号列の確率 :math:`\pseq` は一般の測度 :math:`\sigma`
       について定義することが出来る.つまり,

       .. math:: \pseq := \int_{J(\iseq)} \D \sigma(x).


.. _dynamical-renyi-entropy:
.. index:: ダイナミカル Rényi エントロピー, dynamical Rényi entropy

ダイナミカル Rényi エントロピー
-------------------------------

ここではまず, :ref:`エスコート分布 <escort-distribution>`,
分配関数,Rényi 情報量,そして Rényi エントロピー
を力学系の記号列の確率分布 :math:`\pseq` に関して定義する.
すなわち,
ダイナミカルエスコート分布 :math:`\Pseq` ,
ダイナミカル分配関数 :math:`\Zdyn_N`,
ダイナミカル Rényi 情報量 :math:`I_\beta` を以下のように定義する.

.. math:: \Pseq = \frac{\pob{\pseq}}{\sum_{j'} \pob{\pseq[j']}}
   :label: dynamical-escort-distribution
.. math:: \Zdyn_N = \sum_j \pob{\pseq}
   :label: dynamical-partition-function
.. math:: I_\beta = \oobmo \ln Z(\beta) = \ooomb \Psi(\beta)
   :label: dynamical-renyi-information

ここで,負の Rényi 情報量

.. math:: H_\beta = H_\beta(\mu, \{A\}, N) = - I_\beta = \ooomb \ln Z(\beta)

の :math:`N \to \infty` を

.. math:: h_\beta (\mu, \{A\}) = \limooN H_\beta = \limooN \ooomb \ln \Zdyn

と書くことにする. :math:`h_\beta (\mu, \{A\})` を全ての分割
:math:`\{A\}` についての上限 :math:`\sup_{\{A\}}` [#]_ を とった値

.. math:: K(\beta) = \sup_{\{A\}} h_\beta (\mu, \{A\})
   :label: dynamical-renyi-entropy

を **ダイナミカル Rényi エントロピー** (**dynamical Rényi entropy**)
あるいは単に
**Rényi エントロピー** (**Rényi entropy**)
と呼ぶ.

.. [#] 上限 :math:`\sup_{\{A\}}` はセルについての上限 :math:`\sup_{A_i}`
       *ではなく*, 分割 :math:`\{A\}` のとり方についての上限であることに
       注意.

分割 :math:`\{A\}` が生成的分割 [#]_ の場合,これは
上限 :math:`\sup_{\{A\}}` を実現する分割であり [#]_ ,その場合には
Rényi エントロピー は

.. math:: K(\beta) = - \limooN I_\beta = \limooN \ooomb \ln \sum_j \pob{\pseq}
   :label: dynamical-renyi-entropy-genep

で与えられる.

.. [#] 生成的分割とは,無限長の記号列 :math:`i_0, i_1, \cdots` から
       初期値 :math:`x_0` が一意に決まる分割である.
.. [#] 生成的分割が上限を与えるかについての証明は [Beck1993]_
       には載っていなかった.

       .. todo:: 生成的分割が Rényi エントロピー の上限を与えることに
                 ついての説明を加える



.. index:: 位相エントロピー, topological entropy

位相エントロピー :math:`K(0)`
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

:math:`\beta = 0` の場合の Rényi エントロピー は
**位相エントロピー** (**topological entropy**) と呼ばれる.
式 :eq:`dynamical-renyi-entropy-genep` に :math:`\beta = 0` を代入すると

.. math:: K(0) = \limooN \ln \# \{j(N)\}

となる.ここで :math:`\{j(N)\} := \{j | \pseq \neq 0 \}` は長さ
:math:`N` のとり得る記号列の集合を,
:math:`\# \{j(N)\}` はその集合の要素の数を表している.
つまり,位相エントロピー :math:`K(0)` は記号列が :math:`N`
について増えていく割合を表している.



.. index:: KS エントロピー, KS entropy,
           Kolmogorov-Sinai エントロピー, Kolmogorov-Sinai entropy

Kolmogorov-Sinai エントロピー :math:`K(1)`
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

:math:`\beta = 0` の場合の Rényi エントロピー は
**Kolmogorov-Sinai エントロピー** (**Kolmogorov-Sinai entropy**) あるいは
**KS エントロピー** (**KS entropy**) と呼ばれる.
Shannon 情報量 が :math:`\beta = 1` の場合の
:ref:`Rényi 情報量 <renyi-information>` であったことを思い出せば,
:math:`\beta = 1` を式 :eq:`dynamical-renyi-entropy-genep` に代入すると

.. math:: K(1) = - \limooN I(\pseq[]) = \limooN \sum_j \pseq \ln \pseq

を得る. 以下では KS エントロピー を :math:`h` で表す.
生成的分割が分からない場合の Rényi エントロピー の定義式
:eq:`dynamical-renyi-entropy` と同様に, KS エントロピー :math:`h` は

.. math:: h := h(\mu) = \sup_{\{A\}} h (\mu, \{A\})
          = \sup_{\{A\}} \limooN \sum_j \pseq \ln \pseq
   :label: ks-entropy

は定義される.ただし,

.. math::

   h(\sigma) &:= \sup_{\{A\}} h (\sigma, \{A\}) \\
   h(\sigma, \{A\}) &:= \limooN \sum_j \pseq \ln \pseq.

:math:`h(\sigma)` は一般の測度 :math:`\sigma` について定義された
KS エントロピー である.