Kullbackova nerovnost

Kullbackova nerovnost je v teorii informace a statistice spodní mez Kullbackovy–Leiblerovy divergence vyjádřená pomocí poměrové funkce teorie velkých odchylek. Pokud P a Q jsou rozdělení pravděpodobnosti na reálné ose taková, že P je absolutně spojitá funkce vzhledem ke Q (píšeme P<<Q) a jejich první momenty existují, pak

$D_{KL}(P\|Q)\geq \Psi _{Q}^{*}(\mu '_{1}(P)),$

kde $\Psi _{Q}^{*}$ je poměrová funkce, tj. konvexní transformace kumulantové vytvořující funkce rozdělení $Q$, a $\mu '_{1}(P)$ je první moment rozdělení $P.$

Důsledkem Kullbackovy nerovnosti je Cramérova–Raova mez.

Důkaz

Nechť P a Q jsou rozdělení pravděpodobnosti (míry) na reálné ose, jejichž první momenty existují, a P<<Q.

Uvažujme přirozenou rodinu exponenciálních rozdělení rozdělení Q danou vztahem

$Q_{\theta }(A)={\frac {\int _{A}e^{\theta x}Q(dx)}{\int _{-\infty }^{\infty }e^{\theta x}Q(dx)}}={\frac {1}{M_{Q}(\theta )}}\int _{A}e^{\theta x}Q(dx)$

pro každou měřitelnou množinu A, kde $M_{Q}$ je momentová vytvořující funkce rozdělení Q. Přitom Q₀=Q. Pak

$D_{KL}(P\|Q)=D_{KL}(P\|Q_{\theta })+\int _{\mathrm {supp} P}\left(\log {\frac {\mathrm {d} Q_{\theta }}{\mathrm {d} Q}}\right)\mathrm {d} P.$

Gibbsova nerovnost říká, že $D_{KL}(P\|Q_{\theta })\geq 0$, z čehož plyne

$D_{KL}(P\|Q)\geq \int _{\mathrm {supp} P}\left(\log {\frac {\mathrm {d} Q_{\theta }}{\mathrm {d} Q}}\right)\mathrm {d} P=\int _{\mathrm {supp} P}\left(\log {\frac {e^{\theta x}}{M_{Q}(\theta )}}\right)P(dx)$

Zjednodušením pravé strany dostáváme pro každé reálné θ, pro něž $M_{Q}(\theta )<\infty :$

$D_{KL}(P\|Q)\geq \mu '_{1}(P)\theta -\Psi _{Q}(\theta ),$

kde $\mu '_{1}(P)$ je první moment neboli střední hodnota rozdělení P, a $\Psi _{Q}=\log M_{Q}$ se nazývá kumulantová vytvořující funkce. Použitím suprema uzavřeme proces konvexní transformace a dostaneme vzorec pro poměrovou funkci:

$D_{KL}(P\|Q)\geq \sup _{\theta }\left\{\mu '_{1}(P)\theta -\Psi _{Q}(\theta )\right\}=\Psi _{Q}^{*}(\mu '_{1}(P)).$

Důsledek: Cramérova–Raova mez

Podrobnější informace naleznete v článku Cramérova–Raova mez.

Použití Kullbackovy nerovnosti

Nechť X_θ je rodina rozdělení pravděpodobnosti na reálné ose indexované reálným parametrem θ vyhovující určitým podmínkám regularity. Pak

$\lim _{h\rightarrow 0}{\frac {D_{KL}(X_{\theta +h}\|X_{\theta })}{h^{2}}}\geq \lim _{h\rightarrow 0}{\frac {\Psi _{\theta }^{*}(\mu _{\theta +h})}{h^{2}}},$

kde $\Psi _{\theta }^{*}$ je konvexní transformace kumulantové vytvořující funkce rozdělení $X_{\theta }$ a $\mu _{\theta +h}$ je prvním momentem $X_{\theta +h}.$

Levá strana

Postupnými úpravami levé strany dostáváme:

${\begin{aligned}\lim _{h\to 0}{\frac {D_{KL}(X_{\theta +h}\|X_{\theta })}{h^{2}}}&=\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\log \left({\frac {\mathrm {d} X_{\theta +h}}{\mathrm {d} X_{\theta }}}\right)\mathrm {d} X_{\theta +h}\\&=\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\log \left(1-\left(1-{\frac {\mathrm {d} X_{\theta +h}}{\mathrm {d} X_{\theta }}}\right)\right)\mathrm {d} X_{\theta +h}{\text{... funkci }}\log(1-t){\text{ vyjádříme Taylorovým rozvojem }}\\&=\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\left[\left(1-{\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)+{\frac {1}{2}}\left(1-{\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)^{2}+o\left(\left(1-{\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)^{2}\right)\right]\mathrm {d} X_{\theta +h}\\&=\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\left[{\frac {1}{2}}\left(1-{\frac {\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)^{2}\right]\mathrm {d} X_{\theta +h}\\&=\lim _{h\to 0}{\frac {1}{h^{2}}}\int _{-\infty }^{\infty }\left[{\frac {1}{2}}\left({\frac {\mathrm {d} X_{\theta +h}-\mathrm {d} X_{\theta }}{\mathrm {d} X_{\theta +h}}}\right)^{2}\right]\mathrm {d} X_{\theta +h}\\&={\frac {1}{2}}{\mathcal {I}}_{X}(\theta )\end{aligned}}$

což je polovina Fisherovy informace parametru θ.

Pravá strana

Pravou stranu nerovnosti lze upravit takto:

$\lim _{h\rightarrow 0}{\frac {\Psi _{\theta }^{*}(\mu _{\theta +h})}{h^{2}}}=\lim _{h\rightarrow 0}{\frac {1}{h^{2}}}{\sup _{t}\{\mu _{\theta +h}t-\Psi _{\theta }(t)\}}.$

Tohoto suprema je dosaženo pro t=τ, kde první derivace kumulantové vytvořující funkce je $\Psi '_{\theta }(\tau )=\mu _{\theta +h},$ přičemž $\Psi '_{\theta }(0)=\mu _{\theta },$, takže

$\Psi ''_{\theta }(0)={\frac {d\mu _{\theta }}{d\theta }}\lim _{h\rightarrow 0}{\frac {h}{\tau }}.$

Navíc

$\lim _{h\rightarrow 0}{\frac {\Psi _{\theta }^{*}(\mu _{\theta +h})}{h^{2}}}={\frac {1}{2\Psi ''_{\theta }(0)}}\left({\frac {d\mu _{\theta }}{d\theta }}\right)^{2}={\frac {1}{2\mathrm {Var} (X_{\theta })}}\left({\frac {d\mu _{\theta }}{d\theta }}\right)^{2}.$

Dosazení do původní nerovnosti

Máme:

${\frac {1}{2}}{\mathcal {I}}_{X}(\theta )\geq {\frac {1}{2\mathrm {Var} (X_{\theta })}}\left({\frac {d\mu _{\theta }}{d\theta }}\right)^{2},$

což lze upravit na

$\mathrm {Var} (X_{\theta })\geq {\frac {(d\mu _{\theta }/d\theta )^{2}}{{\mathcal {I}}_{X}(\theta )}}.$

Odkazy

Reference

V tomto článku byl použit překlad textu z článku Kullback's inequality na anglické Wikipedii.

Související články

• Kullbackova–Leiblerova divergence
• Cramérova–Raova mez
• Fisherova informace
• Teorie velkých odchylek
• Konvexní transformace
• Poměrová funkce
• Momentová vytvořující funkce