Kullbackova nerovnost je v teorii informace a statistice spodní mez Kullbackovy–Leiblerovy divergence vyjádřená pomocí poměrové funkce teorie velkých odchylek[1]. Pokud P a Q jsou rozdělení pravděpodobnosti na reálné ose taková, že P je absolutně spojitá funkce vzhledem ke Q (píšeme P<<Q) a jejich první momenty existují, pak
kde je poměrová funkce, tj. konvexní transformace kumulantové vytvořující funkce rozdělení , a je první moment rozdělení
Důsledkem Kullbackovy nerovnosti je Cramérova–Raova mez.
Nechť P a Q jsou rozdělení pravděpodobnosti (míry) na reálné ose, jejichž první momenty existují, a P<<Q.
Uvažujme přirozenou rodinu exponenciálních rozdělení rozdělení Q danou vztahem
pro každou měřitelnou množinu A, kde je momentová vytvořující funkce rozdělení Q. Přitom Q0=Q. Pak
Gibbsova nerovnost říká, že , z čehož plyne
Zjednodušením pravé strany dostáváme pro každé reálné θ, pro něž
kde je první moment neboli střední hodnota rozdělení P, a se nazývá kumulantová vytvořující funkce. Použitím suprema uzavřeme proces konvexní transformace a dostaneme vzorec pro poměrovou funkci:
Nechť Xθ je rodina rozdělení pravděpodobnosti na reálné ose indexované reálným parametrem θ vyhovující určitým podmínkám regularity. Pak
kde je konvexní transformace kumulantové vytvořující funkce rozdělení a je prvním momentem
Postupnými úpravami levé strany dostáváme:
což je polovina Fisherovy informace parametru θ.
Pravou stranu nerovnosti lze upravit takto:
Tohoto suprema je dosaženo pro t=τ, kde první derivace kumulantové vytvořující funkce je přičemž , takže
Navíc
Máme:
což lze upravit na
V tomto článku byl použit překlad textu z článku Kullback's inequality na anglické Wikipedii.
- ↑ FUCHS, Aimé; LETTA, Giorgio. L'inégalité de Kullback. Application à la théorie de l'estimation. Svazek 4. Strasbourg: [s.n.], 1970. (Séminaire de probabilités). Dostupné online.