VMAF

Z Wikipedie, otevřené encyklopedie

VMAF (Video Multi-Method Assesment Fusion) je plně referenční metrika vyvinutá společností Netflix k vyhodnocení a předpovědi vizuální kvality obsahu videa. Je navržena tak, aby replikovala lidský úsudek spojením několika metod hodnocení kvality.[1] Projekt započal jako univerzitní spolupráce v roce 2014.[2] Původně se začal vyvíjet z důvodu potřeby automatizovaného způsobu hodnocení kvality pro jednotlivé streamy.

Hlavní cíle společnosti Netflix byly vyvinout takovou metriku, která by byla konzistentní a škálovatelná pro široký výběr videí, které jejich platforma nabízí. VMAF funguje tak, aby objektivně měřil kvalitu videa, zejména pro streamovací služby, ale také pro komunikační služby, produkční prostředí a výzkumné projekty. Jeho schopnost objektivně určit kvalitu videa z něj činí cenný nástroj pro adaptivní optimalizaci kvality při streamování obsahu a zlepšení zážitku pro uživatele.[3]

Problémy při přenosu a dodání videa[editovat | editovat zdroj]

Netflix používá pro přenos a dodání streamů protokol Transmission Control Protocol (TCP), proto nemusí řešit problém se ztrátou paketů a s bitovými chybami, které by jinak mohli zásadně ovlivnit vizuální kvalitu videa. V procesu kódovaní tedy zůstávají dva typy artefaktů, které mohou ovlivnit divákův zážitek ze sledování videa: kompresní artefakty a škálovací artefakty. Kompresní artefakty vznikají ztrátovou kompresí. Škálovací artefakty se mohou vyskytovat při nižší přenosové rychlosti, kdy je u videa nejdříve potřeba snížit kvalitu před kompresí a následně přímo v divákově zařízení ji zvýšit na původní kvalitu. Tímto způsobem dosahuje větší přesnosti než jiné metriky.[4][5]

Měření[editovat | editovat zdroj]

Pro získání nové metriky musela společnost Netflix vytvořit soubor zdrojových videí, který se skládal z kombinace televizních pořadů a filmů z katalogu Netflixu a veřejně dostupných klipů. Ten obsahoval 34 šesti vteřinových videí, které zahrnovaly vysokoúrovňové (pohyby kamery, animace, záběry z blízka, lidi) a nízkoúrovňové (šum, filmové zrno, kontrast, pohyb) charakteristiky. Zdrojová videa poté zakódovali pomocí H.264 v širokém rozsahu rozlišení a datových toků (bitrate), což vedlo k téměř 300 deformovaným videím. S těmito videi provedli subjektivní testy, aby určili, jak neodborní pozorovatelé hodnotí poškození kódovaného videa v porovnání se zdrojovým videem. Z těchto výsledků bylo následně vytvořeno diferenciální průměrné skóre názoru (Differential Mean Opinion Score, DMOS), které má rozsah 0 až 100 (100 je skóre zdrojového videa).[4][6][7]

Komponenty[editovat | editovat zdroj]

VMAF je spojení několika metrik pomocí algoritmu strojového učení (Support Vector Machine, SVM), který byl trénován a testován pomocí skóre z DMOS.[4] SVM připisuje různé váhy každé elementární metrice a díky tomu využívá přednosti zvolených metrik a eliminuje jejich nedostatky. VMAF tedy využívá existující metriky kvality obrazu a videa, které zahrnují Visual Information Fidelity(VIF), Detail Loss Metric (DSL), Mean Co-Located Pixel Difference (MCPD), a další prvky k předpovídání kvality videa.[1]

  • VIF je metrika, která zkoumá ztrátu věrnosti informací ve čtyřech různých prostorových měřítcích.[8][9]
  • DSL odděleně měří ztrátu detailů a přebytečného poškození, které mohou rozptylovat diváka.[10][11]
  • MPCD je jediná složka, která zohledňuje pohyb ve videu, slouží k analýze průměrného rozptylu jasu v odpovídajících pixelech a následně tím pak měří časový rozdíl mezi snímky.[11]

Open source[editovat | editovat zdroj]

VMAF není jen metrikou vyvíjenou Netflixem, ale jedná se o tzv. open source projekt.[12] Veřejně dostupný kód je na GitHubu a zahrnuje sadu VMAF Developement Kit (VDK), rámec pro trénování a testování vlastního modelu VMAF a některé další metriky včetně PSNR, SSIM a Multiscale SSIM. Základní funkce jsou v C, protože jsou výpočetně velmi náročné, řídicí kód a modelování je v Pythonu. Novější verze je také samostatně spustitelná v C++.[3][13]

Reference[editovat | editovat zdroj]

  1. ↑ a b Some old and new metrics for video quality assessment - Andrey Pozdnyakov | July 2019. [s.l.]: [s.n.] Dostupné online. 
  2. ↑ TVV Ep 20 - Demystifying VMAF with Zhi Li of Netflix. [s.l.]: [s.n.] Dostupné online. 
  3. ↑ a b Anne Aaron, Netflix - Measuring Perceptual Video Quality at Scale [DEMUXED 2016]. [s.l.]: [s.n.] Dostupné online. 
  4. ↑ a b c BLOG, Netflix Technology. Toward A Practical Perceptual Video Quality Metric. Medium [online]. 2017-04-19 [cit. 2024-01-15]. Dostupné online. (anglicky) 
  5. ↑ Vasavee Vijayaraghvan - Towards Measuring Perceptual Video Quality & Why. [s.l.]: [s.n.] Dostupné online. 
  6. ↑ BLOG, Netflix Technology. VMAF: The Journey Continues. Medium [online]. 2018-10-26 [cit. 2024-01-15]. Dostupné online. (anglicky) 
  7. ↑ BLOG, Netflix Technology. VMAF: The Journey Continues. Medium [online]. 2018-10-26 [cit. 2024-01-15]. Dostupné online. (anglicky) 
  8. ↑ Information Fidelity - an overview | ScienceDirect Topics. www.sciencedirect.com [online]. [cit. 2024-01-15]. Dostupné online. 
  9. ↑ jov.arvojournals.org [online]. [cit. 2024-01-15]. Dostupné online. 
  10. ↑ Image Quality Assessment by Separately Evaluating Detail Losses and Additive Impairments | IEEE Journals & Magazine | IEEE Xplore. ieeexplore.ieee.org [online]. [cit. 2024-01-15]. Dostupné online. 
  11. ↑ a b ShieldSquare Captcha. iopscience.iop.org. Dostupné online [cit. 2024-01-15]. DOI 10.1088/1742-6596/2289/1/012020/pdf. 
  12. ↑ Anne Aaron, Netflix - Measuring Perceptual Video Quality at Scale [DEMUXED 2016]. [s.l.]: [s.n.] Dostupné online. 
  13. ↑ Releases · Netflix/vmaf. GitHub [online]. [cit. 2024-01-15]. Dostupné online. (anglicky) 

Externí odkazy[editovat | editovat zdroj]

Citováno z „https://cs.wikipedia.org/w/index.php?title=VMAF&oldid=23565140“