Metoda maximální věrohodnosti

Z Wikipedie, otevřené encyklopedie

Metoda maximální věrohodnosti označuje jednu z centrálních metod matematické statistiky. Jednou z hlavních úloh matematické statistiky je, zjednodušeně řečeno, odhad neznámých veličin v závislosti na pozorovaných (experimentálních) datech.

Odhad v kontextu matematické statistiky sestává ze dvou částí

  1. formulace pravděpodobnostního modelu, který popisuje danou reálnou situaci
  2. ověření shody daného modelu se skutečností na základě pozorovaných dat.

Z těchto dat se dále odhadují hodnoty volných parametrů modelu. [1] Metoda maximální věrohodnosti je univerzální metoda pro konstrukci odhadů parametrů.

Definice

Pozorovaná data se uvažují jako soubor stejně rozdělených nezávislých náhodných veličin s neznámou funkcí hustoty . Dostupnou informací je, že tato funkce náleží do parametrické množiny , jejíž prvky se liší pouze hodnotou parametru . Jinými slovy existuje hodnota taková, že . Protože hodnota je neznámá, je potřeba se jí pomocí nějakého odhadu co nejlépe přiblížit.

Pro soubor stejně rozdělených, nezávislých náhodných veličin platí, že jejich sdruženou hustotu lze faktorizovat (tj. rozdělit na součin hustot jednotlivých rozdělení)

Chceme-li odhadovat hodnoty , pak získáme přepsáním předchozí rovnice vztah pro odhad

Funkci nazýváme věrohodnostní funkce[2].

Velmi často se využívá logaritmus věrohodnostní funkce , tj.

Jednou z výhod logaritmu je převod součinu na součet, se kterým se v některých případech lépe pracuje.

Jestliže existuje hodnota taková, že pro všechny možné hodnoty parametru platí

pak nazveme maximálním věrohodným odhadem.

Alternativní formulace je

Příklady

Diskrétní rozdělení

Uvažujme náhodný výběr z alternativního rozdělení, tj. nabývá pouze hodnot 0 a 1 a sice s pravděpodobností a . Získaná data jsou (0,0,1,0). Úkol je odhadnout hodnotu parametru , přičemž náš model předpokládá hodnoty buď p = 0,25 nebo .

Pro pravděpodobnost pozorovaných dat máme podle alternativního rozdělení:

což je pro rovno 0,1055 a pro rovno 0,0064. Princip maximálního věrohodného odhadu spočívá v tom, že za odhad vezmeme tu hodnotu, pro kterou je výsledek nejpravděpodobnější, tedy [1].

Spojité rozdělení

Uvažujme situaci popsanou normálním rozdělením s hustotou

kde parametr je znám. Pro odhad parametru metodou maximální věrohodnosti dostáváme vztah

Pro výpočet maximálního věrohodného odhadu postačuje pomocí první derivace určit maxima funkce na pravé straně, tj. najít řešení rovnice

které je

tedy výběrový průměr.

Vlastnosti

Statistické odhady lze charakterizovat pomocí několika základních vlastností:

  • Odhad parametrické funkce nazveme nestranný odhad, jestliže odhad není zatížen systematickou chybou, tj. .
  • Odhad parametrické funkce na základě náhodného výběru nazveme konzistentní odhad, jestliže zvyšováním počtu pozorování lze chybu odhadu udělat libovolně malou, tj. platí .

Přednosti

V některých případech odhadu parametrů založeném na malém počtu pozorování se maximálně věrohodný odhad nechová nestranně, nicméně při splnění mírných předpokladů má řadu důležitých vlastností [3].

  1. Je konzistentní.
  2. Pro dostatečně velká má přibližně normální rozdělení, tj. pro odhad a parametr platí .
    Přičemž se jedná o tzv. konvergenci v distribuci. Veličina označuje Fisherovu informaci, kterou lze chápat jako míru informace o parametru obsažené v jednom pozorování.[1]
  3. Je asymptoticky (pro počet pozorování ) eficientní, tj. odhaduje neznámý parametr nejlepším možným způsobem.
  4. Pro spojité parametrické funkce je maximální věrohodný odhad roven .

Nedostatky

  • Základní předpoklad pro využití maximálního věrohodnostního odhadu je přesný a správný popis pravděpodobnostního modelu. Je-li tento popis reálné situace nepřesný, pak jsou získané odhady nekonzistentní s pozorovanými daty.
  • Věrohodnostní funkce mohou být na základě zvoleného modelu a neznámých parametrů libovolně komplikované. Důsledkem jsou věrohodnostní rovnice, pro které nemusí existovat analytické řešení a při hledání maxima věrohodnostní funkce je pak nutné použít numerické metody.
  • Přednosti maximálního věrohodnostního odhadu vycházejí z asymptotických vlastností. Pro nízké počty pozorování je tedy vhodnější použít jiné metody odhadu.[3]

Využití

Metoda maximální věrohodnosti má široké využití v matemematické statistice, například

  1. při testování hypotéz,
  2. ve faktorové analýze.

Navíc se tato metoda často využívá i v jiných oborech, například

  1. při rozpoznávání objektů v obrazových datech,
  2. v ekonometrii a modelování finančních trhů,
  3. při přesné lokalizaci (pomocí GPS apod.).

Reference

  1. a b c DUPAČ, Václav; HUŠKOVÁ, Marie. Pravděpodobnost a matematická statistika. Praha: Nakladatelství Karolinum, 2005. 162 s. ISBN 80-246-0009-9. 
  2. KOHOUT, Václav. Teorie odhadu, Skriptum ZCU [online]. ZČU Plzeň: 22.04.2004. Kapitola 10. Dostupné online. 
  3. a b STOCKER, Herbert. Angewandte Ökonometrie, Skriptum [online]. Univ. Innsbruck: Kapitola Maximum-Likelihood. Dostupné online. (německy)