Podmíněná entropie

Z Wikipedie, otevřené encyklopedie
Vennův diagram ukazující aditivní a subtraktivní vztahy různých informačních měr přiřazených ke korelovaným proměnným a . Plocha pokrytá některou z kružnic je sdružená entropie . Kružnice vlevo (červená a fialová) je entropie , přičemž červená je podmíněná entropie . Kružnice vpravo (modrá a fialová) je , přičemž modrá je . Fialová je vzájemná informace .

Podmíněná entropie (anglicky conditional entropy) v teorii informace kvantifikuje množství informace potřebné pro popsání výsledku náhodného pokusu , pokud je známá hodnota jiné náhodné proměnné . Měří se stejně jako informační entropie v bitech (kterým se v této souvislosti také říká „shannons“), někdy v „přirozených jednotkách“ (natech) nebo v desítkových číslicích (nazývaný „dits“, „bans“ nebo „hartleys“). Jednotka měření závisí na základu logaritmu použitého pro výpočet entropie.

Entropii podmíněnou zapisujeme , kde je velké řecké písmeno Éta.

Definice[editovat | editovat zdroj]

Podmíněná entropie , je-li dáno , je definována jako

 

 

 

 

(1)

kde a označuje nosič náhodných proměnných a .

Poznámka: při výpočtech se neurčité výrazy a pro pevné považují za rovné nule, protože a .[1]

Intuitivní vysvětlení definice: Podle definice platí, že kde přiřazuje dvojici informační obsah , je-li dáno , což je množství informace potřebné pro popsání události , je-li dáno . Podle zákona velkýich čísel, je aritmetický průměr velkého počtu nezávislých realizací .

Motivace[editovat | editovat zdroj]

Nechť je entropie diskrétní náhodné proměnné podmíněná tím, že diskrétní náhodná proměnná nabývá hodnotu . Označme nosiče funkcí a a . Nechť pravděpodobnostní funkci . Nepodmíněná entropie se spočítá jako , tj.

kde je informační obsah toho, že výsledek má hodnotu . Entropie podmíněná tím, že nabývá hodnotu , je definována podobně podmíněné očekávání:

Pamatujte, že je výsledek průměrování přes všechny možné hodnoty , kterých může nabývat . Také pokud se výše uvedený součet bere přes vzorek , očekávaná hodnota je známa v nějakém oboru jako ekvivokace (anglicky equivocation).[2]

Jsou-li dány diskrétní náhodné proměnné s obrazem a s obrazem , podmíněná entropie , je-li dáno se definuje jako vážený součet pro každou možnou hodnotu , s použitím jako váhy:[3]:s.15


Vlastnosti[editovat | editovat zdroj]

Nulová podmíněná entropie[editovat | editovat zdroj]

právě tehdy, když hodnota je úplně určena hodnotou .

Podmíněná entropie of nezávislý náhodné proměnné[editovat | editovat zdroj]

Naopak právě tehdy, když a jsou nezávislé náhodné proměnné.

Řetízkové pravidlo[editovat | editovat zdroj]

Předpokládejme, že kombinovaný systém určený dvěma náhodnými proměnnými a sdruženou entropii , tj. potřebujeme průměrně bitů informace pro popsání jeho přesného stavu. Pokud nejdříve zjistíme hodnotu , získali jsme bitů informace. Pokud je známé, potřebujeme pouze bitů pro popsání stavu celého systému. Tato hodnota se přesně rovná , kterou dává řetízkové pravidlo podmíněné entropie:

[3]:s.17

řetízkové pravidlo vyplývá z výše uvedené definice podmíněné entropie:

Řetízkové pravidlo platí obecně pro více náhodné proměnné:

[3]:s.22

Tento vztah se podobá řetízkovému pravidlu z teorie pravděpodobnosti, ale místo násobení využívá sčítání.

Bayesovo pravidlo[editovat | editovat zdroj]

Bayesovo pravidlo pro podmíněnou entropii říká

Důkaz: a . Symetrie má za následek . Odečtením obou rovnic dostaneme Bayesovo pravidlo.

Pokud je podmíněně nezávislé na , je-li dáno máme:

Další vlastnosti[editovat | editovat zdroj]

Pro jakékoli a :

kde je vzájemná informace mezi a .

Pro nezávislé a :

a

Přestože určitá podmíněná entropie může být menší i větší než pro dané náhodné variace , nemůže nikdy přesáhnout .

Podmíněná diferenciální entropie[editovat | editovat zdroj]

Definice[editovat | editovat zdroj]

Výše uvedená definice platí pro diskrétní náhodné proměnné. Spojitá verze diskrétní podmíněné entropie se nazývá podmíněná diferenciální (nebo spojitá) entropie. Nechť a jsou spojité náhodné proměnné se sdruženou hustotou pravděpodobnosti . Diferenciální podmíněná entropie se definuje takto[3]:s.249

 

 

 

 

(2)

Vlastnosti[editovat | editovat zdroj]

Oproti podmíněné entropii pro diskrétní náhodné proměnné může být podmíněná diferenciální entropie záporná.

Stejně jako v diskrétním případě platí řetízkové pravidlo pro diferenciální entropii:

[3]:s.253

Toto pravidlo však neplatí, pokud se příslušné diferenciální entropie neexistují nebo jsou nekonečné.

Sdružené diferenciální entropie se také používají v definici vzájemné informace mezi spojitými náhodnými proměnnými:

, přičemž rovnost nastává právě tehdy, když a jsou nezávislé.[3]:s.253

Vztah k chybě odhad[editovat | editovat zdroj]

Podmíněné diferenciální entropie dává spodní mez očekávané druhé mocniny chyby odhadu. Pro jakoukoli náhodnou proměnnou , pozorování a odhad platí:[3]:s.255

Což se podobá principu neurčitosti z kvantové mechaniky.

Zobecnění na kvantovou teorii[editovat | editovat zdroj]

V kvantové teorii informace se podmíněná entropie zobecňuje na podmíněnou kvantovou entropii, která na rozdíl od svého klasického protějšku může nabývat záporných hodnot.

Odkazy[editovat | editovat zdroj]

Reference[editovat | editovat zdroj]

V tomto článku byl použit překlad textu z článku Conditional entropy na anglické Wikipedii.

  1. David MacKay: Information Theory, Pattern Recognition and Neural Networks: The Book [online]. [cit. 2019-10-25]. Dostupné online. 
  2. HELLMAN, M.; RAVIV, J. Probability of error, equivocation, and the Chernoff bound. IEEE Transactions on Information Theory. 1970, roč. 16, čís. 4, s. 368–372. 
  3. a b c d e f g COVER, Thomas M. Elements of Information Theory. [s.l.]: [s.n.], 1991. Dostupné online. ISBN 0-471-06259-6. 

Související články[editovat | editovat zdroj]