Kullbackova–Leiblerova divergence

Z Wikipedie, otevřené encyklopedie
Skočit na navigaci Skočit na vyhledávání

Kullbackova–Leiblerova divergence neboli Kullbackova–Leiblerova divergenční míra neboli Kullbackova–Leiblerova vzdálenost neboli relativní entropie čili diskriminační informace je jedna z měr používaných v matematické statistice pro stanovení, jak se jedna distribuční funkce (P) odlišuje od jiné (Q). Kullbackova–Leiblerova divergence DKL(PQ) nabývá hodnoty nula, právě když se distribuce P a Q rovnají skoro všude; v opačném případě je divergence kladná. Míra není symetrická, což znamená že DKL(PQ) nemusí nutně být totéž jako DKL(QP). Jejími autory jsou Solomon Kullback a Richard Leibler, kteří ji uveřejnili roku 1951.

Jsou-li P a Q pravděpodobnostní míry nad množinou X a je-li P absolutně spojitá míra vzhledem ke Q, tak je Kullbackova–Leiblerova divergence P od Q definována jako

pokud výraz na pravé straně existuje a kde je Radonova–Nikodymova derivace P vzhledem ke Q.

Pro spojité distribuce lze tuto definici napsat jako

kde p a q jsou hustoty pravděpodobnosti P resp. Q, a pro diskrétní distribuce vzorec vypadá takto: