Hluboké učení: Porovnání verzí

Z Wikipedie, otevřené encyklopedie
Interaktivně procházet historii
← Přejít na předchozí porovnáníPřejít na další porovnání →
Smazaný obsah Přidaný obsah
VizuálníWikitext
verze 22204951 uživatele Miloš Křivan (diskuse) zrušena, není konsensus
značky: zrušeno přesměrování vrácení zpět
Rozšíření článku (využity překlady z anglické verze)
značky: možné problémové formulace odkazy na rozcestníky
Řádek 1: Řádek 1:
[[File:Deep Learning.jpg|alt=Vnitřní reprezentace obrazových dat na vzrůstajících úrovních abstrakce|thumb|upright=1.2|Vnitřní reprezentace obrazových dat na vzrůstajících úrovních abstrakce<ref>{{Cite journal|last1=Schulz|first1=Hannes|last2=Behnke|first2=Sven|date=1 November 2012|title=Deep Learning|journal=KI - Künstliche Intelligenz|language=en|volume=26|issue=4|pages=357–363|doi=10.1007/s13218-012-0198-z|s2cid=220523562|issn=1610-1987|url=https://www.semanticscholar.org/paper/51a80649d16a38d41dbd20472deb3bc9b61b59a0}}</ref>]]

'''Hluboké učení''' <ref name=":0">{{Citace knihy|příjmení=Goodfellow|jméno=Ian|příjmení2=Bengio|jméno2=Yoshua|příjmení3=Courville|jméno3=Aaron|titul=Deep Learning|vydavatel=MIT Press|rok=2016|url= https://books.google.cz/books?hl=cs&lr=&id=omivDQAAQBAJ&oi=fnd&pg=PR5&dq=GOODFELLOW,+Ian%3B+BENGIO,+Yoshua%3B+COURVILLE,+Aaron.+Deep+Learning.&ots=MNS-aumIWT&sig=1qcDsOY9RgsiGTDJsJwcr4D78Ro&redir_esc=y#v=onepage&q&f=false|počet stran=767|jazyk=en}}</ref> (''Deep Learning'') je disciplína spadající do kategorie [[Strojové učení|strojového učení]]. Zabývá se vývojem a aplikací algoritmů pro učení [[Umělá neuronová síť|umělých neuronových sítí]] s hierarchickou reprezentací vlastností (angl. ''features''). Učení může probíhat tzv. ''s učitelem'' (angl. ''supervised''), ''bez učitele'' (angl. ''unsupervised''), nebo může jít o kombinaci obojího (angl. ''semi-supervised'').<ref name="NatureBengio">{{cite journal |last1=LeCun |first1= Yann|last2=Bengio |first2=Yoshua | last3=Hinton | first3= Geoffrey|s2cid=3074096 |year=2015 |title=Deep Learning |journal=Nature |volume=521 |issue=7553 |pages=436–444 |doi=10.1038/nature14539 |pmid=26017442|bibcode=2015Natur.521..436L }}</ref>

Pro odhad parametrů sítě (trénování) se obvykle používá algoritmus [[Zpětné šíření chyby|zpětného šíření chyby]]. Trénování probíhá ve dvou fázích, tj. nejprve předučení sítě dopředným směrem např. pomocí [[Autoenkodér|autoenkodérů]] ([[učení bez učitele]]) a poté doučení sítě zpětným směrem ([[učení s učitelem]]). Eliminuje se tak tlumení zpětného šíření chyby.

Různé varianty hlubokého učení jsou využívány v oborech [[Počítačové vidění|počítačového vidění]], [[rozpoznávání řeči]], [[zpracování přirozeného jazyka]], [[Strojový překlad|strojového překladu]], [[Bioinformatika|bioinformatiky]], [[Návrh léčiv|návrhu léčiv]], analýzy [[Skiagrafie|lékařských snímků]], výzkumu [[Klimatické změny|klimatu]] a hraní [[Desková hra|deskových her]], kde tyto metody dosáhly [[AlphaGo|srovnatelných nebo lepších výsledků]] než profesionální hráči.<ref>{{Citace elektronického periodika
| příjmení = ROLNICK
| jméno = David
| spoluautoři = et al.
| titul = Tackling Climate Change with Machine Learning
| periodikum = ACM Computing Surveys
| issn = 03600300
| doi = 10.1145/3485128
| datum vydání = 2022-02-07
| datum přístupu = 2022-02-01
| url = https://doi.org/10.1145/3485128
}}</ref><ref name=":9">{{Cite book |doi=10.1109/cvpr.2012.6248110 |isbn=978-1-4673-1228-8|arxiv=1202.2745|chapter=Multi-column deep neural networks for image classification|title=2012 IEEE Conference on Computer Vision and Pattern Recognition|pages=3642–3649|year=2012|last1=Ciresan|first1=D.|last2=Meier|first2=U.|last3=Schmidhuber|first3=J.|s2cid=2161592}}</ref><ref name="krizhevsky2012">{{cite journal|last1=Krizhevsky|first1=Alex|last2=Sutskever|first2=Ilya|last3=Hinton|first3=Geoffrey|date=2012|title=ImageNet Classification with Deep Convolutional Neural Networks|url=https://www.cs.toronto.edu/~kriz/imagenet_classification_with_deep_convolutional.pdf|journal=NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada|access-date=2017-05-24|archive-date=2017-01-10|archive-url=https://web.archive.org/web/20170110123024/http://www.cs.toronto.edu/~kriz/imagenet_classification_with_deep_convolutional.pdf|url-status=live}}</ref><ref>{{cite web |title=Google's AlphaGo AI wins three-match series against the world's best Go player |url=https://techcrunch.com/2017/05/24/alphago-beats-planets-best-human-go-player-ke-jie/amp/ |website=TechCrunch |date=25 May 2017 |access-date=17 June 2018 |archive-date=17 June 2018 |archive-url=https://web.archive.org/web/20180617065807/https://techcrunch.com/2017/05/24/alphago-beats-planets-best-human-go-player-ke-jie/amp/ |url-status=live }}</ref>

== Definice ==
Hluboké učení je třída [[Algoritmus|algoritmů]] pro [[strojové učení]], která<ref name="BOOK2014">{{cite journal|last2=Yu|first2=D.|year=2014|title=Deep Learning: Methods and Applications|url=http://research.microsoft.com/pubs/209355/DeepLearning-NowPublishing-Vol7-SIG-039.pdf|journal=Foundations and Trends in Signal Processing|volume=7|issue=3–4|pages=1–199|doi=10.1561/2000000039|last1=Deng|first1=L.|access-date=2014-10-18|archive-date=2016-03-14|archive-url=https://web.archive.org/web/20160314152112/http://research.microsoft.com/pubs/209355/DeepLearning-NowPublishing-Vol7-SIG-039.pdf|url-status=live}}</ref>{{rp|pages=199–200}} umožňuje extrakci komplexních vlastností (angl. ''features'') z neupravených [[Data (informatika)|dat]]. Například při zpracování obrazu nižší vrstvy modelu identifikují hrany v obrazových datech sousedících pixelů, zatímco vyšší vrstvy pracují s obecnějšími koncepty bližšími lidskému chápání, jako jsou číslice, písmena nebo tváře.

[[Soubor:Tlumení chyby.png|náhled|Míra změn vah po jednotlivých vrstvách, daná tlumením zpětného šíření chyby, tj. první tři vrstvy se neučí prakticky vůbec, smysluplně se učí pouze poslední tři.]]
[[Soubor:Tlumení chyby.png|náhled|Míra změn vah po jednotlivých vrstvách, daná tlumením zpětného šíření chyby, tj. první tři vrstvy se neučí prakticky vůbec, smysluplně se učí pouze poslední tři.]]
'''Hluboké učení''' <ref name=":0">{{Citace knihy|příjmení=Goodfellow|jméno=Ian|příjmení2=Bengio|jméno2=Yoshua|příjmení3=Courville|jméno3=Aaron|titul=Deep Learning|vydavatel=MIT Press|rok=2016|url= https://books.google.cz/books?hl=cs&lr=&id=omivDQAAQBAJ&oi=fnd&pg=PR5&dq=GOODFELLOW,+Ian%3B+BENGIO,+Yoshua%3B+COURVILLE,+Aaron.+Deep+Learning.&ots=MNS-aumIWT&sig=1qcDsOY9RgsiGTDJsJwcr4D78Ro&redir_esc=y#v=onepage&q&f=false|počet stran=767|jazyk=en}}</ref> (''Deep Learning'') je disciplína v rámci [[Strojové učení|strojového učení]], která se zabývá způsobem učení [[Neuronová síť|neuronových sítí]] s velkým počtem vrstev. Hloubkou modelu se myslí počet vrstev neuronů, které jsou za sebou zapojeny tak, že výstup jedné vrstvy je vstupem vrstvy následující. U modelů hlubokého učení se přitom hloubka nachází často v řádech desítek a více vrstev. Pro odhad parametrů sítě (trénování) se obvykle používá algoritmus [[zpětné šíření chyby|zpětného šíření chyby]]. Trénování probíhá ve dvou fázích, tj. nejprve předučení sítě dopředným směrem např. pomocí [[Autoenkodér|autoenkodérů]] ([[učení bez učitele]]) a poté doučení sítě zpětným směrem ([[učení s učitelem]]), eliminuje se tak tlumení zpětného šíření chyby. Metodologie hlubokého učení se prosadila kolem roku 2010 jako základní možnost pro řešení složitých problémů strojového učení jako je klasifikace obrazů, mluvené či psané řeči nebo překlady z jednoho přirozeného jazyka do jiného.


Pojem "hluboké" se vztahuje k počtu vrstev, ve kterých probíhá transformace dat. Přesněji řečeno jde o počet transformací dat cestou ze vstupu na výstup. Pro dopředné [[Umělá neuronová síť|neuronové sítě]] je číslo dáno hloubkou sítě jako počet skrytých vrstev plus jedna (neboť i výstupní vrstva je parametrizována). U [[Rekurentní lineární síť|rekurentních neuronových sítí]], kde může signál putovat každou vrstvou několikrát, je hloubka potenciálně neomezená.<ref name="SCHIDHUB" /> Neexistuje proto obecně platná hranice, která by oddělovala hluboké učení od ne-hlubokého učení. Většina výzkumníků se však shoduje, že tato hloubka musí být větší než 2, neboť tehdy je již síť schopna aproximovat libovolnou funkci.<ref>{{Cite book|url=https://books.google.com/books?id=9CqQDwAAQBAJ&pg=PA15|title=Human Behavior and Another Kind in Consciousness: Emerging Research and Opportunities: Emerging Research and Opportunities|last=Shigeki|first=Sugiyama|date=12 April 2019|publisher=IGI Global|isbn=978-1-5225-8218-2|language=en}}</ref> Přidávání dalších vrstev nezlepšuje aproximační schopnosti sítě, ale umožňuje extrahovat z dat komplexnější vlastnosti. Větší počet vrstev tak zefektivňuje proces učení.
==Reference==

== Historie ==
Hlavní dopad hlubokého učení nastal po roce 2000. Podle Yanna LeCuna<ref name="lecun2016slides">Yann LeCun (2016). Slides on Deep Learning [https://indico.cern.ch/event/510372/ Online] {{Webarchive|url=https://web.archive.org/web/20160423021403/https://indico.cern.ch/event/510372/ |date=2016-04-23 }}</ref> již tehdy zpracovávaly dopředné konvoluční sítě 10% až 20% objemu všech [[Šek|šeků]] vypsaných ve Spojených státech. Využití hlubokého učení pro zpracování řeči začalo ve větším měřítku kolem roku 2010.

Dalšímu zájmu o hluboké učení napomohly pokroky v oblasti [[Hardware|hardwaru]]. Společnost [[Nvidia]] napomohla v roce 2009 tzv. "velkému třesku" hlubokého učení, které probíhalo tréninkem neuronových sítích na [[GPU]].<ref>{{cite web|url=https://venturebeat.com/2016/04/05/nvidia-ceo-bets-big-on-deep-learning-and-vr/|title=Nvidia CEO bets big on deep learning and VR|date=5 April 2016|publisher=Venture Beat|access-date=21 April 2017|archive-date=25 November 2020|archive-url=https://web.archive.org/web/20201125202428/https://venturebeat.com/2016/04/05/nvidia-ceo-bets-big-on-deep-learning-and-vr/|url-status=live}}</ref> Andrew Ng toho roku odhadl, že díky GPU se může rychlost systémů hlubokého učení zvýšit až 100krát.<ref>{{cite news|url=https://www.economist.com/news/special-report/21700756-artificial-intelligence-boom-based-old-idea-modern-twist-not|title=From not working to neural networking|newspaper=[[The Economist]]|access-date=2017-08-26|archive-date=2016-12-31|archive-url=https://web.archive.org/web/20161231203934/https://www.economist.com/news/special-report/21700756-artificial-intelligence-boom-based-old-idea-modern-twist-not|url-status=live}}</ref> To zejména díky optimalizaci GPU pro práci s [[Vektor|vektory]] a [[Matice|maticemi]], jichž se ve strojovém učení užívá.<ref name="jung2004">{{cite journal | last1 = Oh | first1 = K.-S. | last2 = Jung | first2 = K. | year = 2004 | title = GPU implementation of neural networks | journal = Pattern Recognition | volume = 37 | issue = 6| pages = 1311–1314 | doi=10.1016/j.patcog.2004.01.013| bibcode = 2004PatRe..37.1311O }}</ref><ref>"[https://www.academia.edu/40135801 A Survey of Techniques for Optimizing Deep Learning on GPUs] {{Webarchive|url=https://web.archive.org/web/20210509123120/https://www.academia.edu/40135801/A_Survey_of_Techniques_for_Optimizing_Deep_Learning_on_GPUs |date=2021-05-09 }}", S. Mittal and S. Vaishay, Journal of Systems Architecture, 2019</ref><ref name="chellapilla2006">{{Citation | first1 = Kumar | last1 = Chellapilla | first2 = Sidd | last2 = Puri | first3 = Patrice | last3 = Simard | title = High performance convolutional neural networks for document processing | url = https://hal.inria.fr/inria-00112631/document | date = 2006 | access-date = 2021-02-14 | archive-date = 2020-05-18 | archive-url = https://web.archive.org/web/20200518193413/https://hal.inria.fr/inria-00112631/document | url-status = live }}</ref>

=== Revoluce hlubokého učení ===
V roce 2012 tým vedený Gorgem E. Dahlem využil víceúlohovou hlubokou neuronovou síť k předpovědi [[Biologický cíl|biologického cíle]] konkrétního léku.<ref name="MERCK2012">{{Cite web|url=https://kaggle.com/c/MerckActivity|title=Merck Molecular Activity Challenge|website=kaggle.com|access-date=2020-07-16|archive-date=2020-07-16|archive-url=https://web.archive.org/web/20200716190808/https://www.kaggle.com/c/MerckActivity|url-status=live}}</ref><ref name=":5">{{Cite web|url=http://www.datascienceassn.org/content/multi-task-neural-networks-qsar-predictions|title=Multi-task Neural Networks for QSAR Predictions {{!}} Data Science Association|website=www.datascienceassn.org|access-date=14 June 2017|archive-date=30 April 2017|archive-url=https://web.archive.org/web/20170430142049/http://www.datascienceassn.org/content/multi-task-neural-networks-qsar-predictions|url-status=live}}</ref> V roce 2014 Hochreiterova skupina využila hluboké učení k detekci nežádoucích účínků chemikálií obsažených ve výživě, výrobcích pro domácnost a lécích na [[životní prostředí]].<ref name="TOX21">"Toxicology in the 21st century Data Challenge"</ref><ref name="TOX21Data">{{cite web|url=https://tripod.nih.gov/tox21/challenge/leaderboard.jsp|title=NCATS Announces Tox21 Data Challenge Winners|access-date=2015-03-05|archive-date=2015-09-08|archive-url=https://web.archive.org/web/20150908025122/https://tripod.nih.gov/tox21/challenge/leaderboard.jsp|url-status=live}}</ref><ref name=":11">{{cite web|url=http://www.ncats.nih.gov/news-and-events/features/tox21-challenge-winners.html|title=NCATS Announces Tox21 Data Challenge Winners|archive-url=https://web.archive.org/web/20150228225709/http://www.ncats.nih.gov/news-and-events/features/tox21-challenge-winners.html|archive-date=28 February 2015|url-status=dead|access-date=5 March 2015}}</ref>

Další významné pokroky v oblasti [[rozpoznávání obrazu]] proběhly v letech 2011 a 2012. Rychlé konvoluční neuronové sítě využívající pro svůj běh GPU přinesly důležitý pokrok v oblasti [[Počítačové vidění|počítačového vidění]].<ref name="jung2004">{{cite journal | last1 = Oh | first1 = K.-S. | last2 = Jung | first2 = K. | year = 2004 | title = GPU implementation of neural networks | journal = Pattern Recognition | volume = 37 | issue = 6| pages = 1311–1314 | doi=10.1016/j.patcog.2004.01.013| bibcode = 2004PatRe..37.1311O }}</ref><ref name="chellapilla2006">{{Citation | first1 = Kumar | last1 = Chellapilla | first2 = Sidd | last2 = Puri | first3 = Patrice | last3 = Simard | title = High performance convolutional neural networks for document processing | url = https://hal.inria.fr/inria-00112631/document | date = 2006 | access-date = 2021-02-14 | archive-date = 2020-05-18 | archive-url = https://web.archive.org/web/20200518193413/https://hal.inria.fr/inria-00112631/document | url-status = live }}</ref><ref name="LECUN1989">LeCun ''et al.'', "Backpropagation Applied to Handwritten Zip Code Recognition," ''Neural Computation'', 1, pp. 541–551, 1989.</ref><ref name=":6">{{Cite journal|last1=Ciresan|first1=D. C.|last2=Meier|first2=U.|last3=Masci|first3=J.|last4=Gambardella|first4=L. M.|last5=Schmidhuber|first5=J.|date=2011|title=Flexible, High Performance Convolutional Neural Networks for Image Classification|url=http://ijcai.org/papers11/Papers/IJCAI11-210.pdf|journal=International Joint Conference on Artificial Intelligence|doi=10.5591/978-1-57735-516-8/ijcai11-210|access-date=2017-06-13|archive-date=2014-09-29|archive-url=https://web.archive.org/web/20140929094040/http://ijcai.org/papers11/Papers/IJCAI11-210.pdf|url-status=live}}</ref><ref name="SCHIDHUB">{{cite journal|last=Schmidhuber|first=J.|s2cid=11715509|year=2015|title=Deep Learning in Neural Networks: An Overview|journal=Neural Networks|volume=61|pages=85–117|arxiv=1404.7828|doi=10.1016/j.neunet.2014.09.003|pmid=25462637}}</ref> V roce 2011 tento přístup poprvé vedl k překonání lidských schopností v rozpoznávání obrazových vzorů. Vedl rovněž k vítězství v soutěži rozpoznávání rukou psaného [[Čínské znaky|čínského písma]].<ref name=":8">{{Cite book|url=http://papers.nips.cc/paper/4741-deep-neural-networks-segment-neuronal-membranes-in-electron-microscopy-images.pdf|title=Advances in Neural Information Processing Systems 25|last1=Ciresan|first1=Dan|last2=Giusti|first2=Alessandro|last3=Gambardella|first3=Luca M.|last4=Schmidhuber|first4=Juergen|date=2012|publisher=Curran Associates, Inc.|editor-last=Pereira|editor-first=F.|pages=2843–2851|editor-last2=Burges|editor-first2=C. J. C.|editor-last3=Bottou|editor-first3=L.|editor-last4=Weinberger|editor-first4=K. Q.|access-date=2017-06-13|archive-date=2017-08-09|archive-url=https://web.archive.org/web/20170809081713/http://papers.nips.cc/paper/4741-deep-neural-networks-segment-neuronal-membranes-in-electron-microscopy-images.pdf|url-status=live}}</ref> V říjnu roku 2012 podobný systém s převahou zvítězil v soutěži projektu ImageNet.<ref name="krizhevsky2012" /> V listopadu téhož roku další z těchto systémů zvítězil v ICPR soutěži v analýze [[Skiagrafie|lékařských snímků]] pro detekci [[Rakovina|rakoviny]].<ref name="ciresan2013miccai">{{Cite journal|last1=Ciresan|first1=D.|last2=Giusti|first2=A.|last3=Gambardella|first3=L.M.|last4=Schmidhuber|first4=J.|date=2013|title=Mitosis Detection in Breast Cancer Histology Images using Deep Neural Networks|journal=Proceedings MICCAI|volume=7908|issue=Pt 2|pages=411–418|doi=10.1007/978-3-642-40763-5_51|pmid=24579167|series=Lecture Notes in Computer Science|isbn=978-3-642-38708-1}}</ref> V letech 2013 a 2014 se chybovost systémů v úloze ImageNet dále snižovala, podobný trend zaznamenalo rovněž odvětví rozpoznávání řeči.

Dle některých výzkumníků bylo vítězství v ImageNet základem tzv. "revoluce hlubokého učení" (angl. "deep learning revolution"), která transformovala celé odvětví [[Umělá inteligence|umělé inteligence]].<ref>{{cite news|title=Why Deep Learning Is Suddenly Changing Your Life|url=http://fortune.com/ai-artificial-intelligence-deep-machine-learning/|access-date=13 April 2018|work=Fortune|date=2016|archive-date=14 April 2018|archive-url=https://web.archive.org/web/20180414031925/http://fortune.com/ai-artificial-intelligence-deep-machine-learning/|url-status=live}}</ref>

V březnu 2019 byli Yoshua Bengio, Geoffrey Hinton a Yann LeCun vyznamenání [[Turingova cena|Turingovou cenou]] za konceptuální a inženýrský průlom, který ustavil hluboké neuronové sítě jako stěžejní pilíř [[Matematická informatika|výpočetních věd]].

== Hardware ==
Během dekády 2010-2019 umožnily pokroky v učicích algoritmech a počítačovém hardwaru značné zefektivnění práce s hlubokými [[Umělá neuronová síť|neuronovými sítěmi]] charakteristickými vysokým počtem skrytých vrstev a širokou výstupní vrstvou.<ref>{{cite web|last1=Research|first1=AI|title=Deep Neural Networks for Acoustic Modeling in Speech Recognition|url=http://airesearch.com/ai-research-papers/deep-neural-networks-for-acoustic-modeling-in-speech-recognition/|website=airesearch.com|access-date=23 October 2015|date=23 October 2015|archive-date=1 February 2016|archive-url=https://web.archive.org/web/20160201033801/http://airesearch.com/ai-research-papers/deep-neural-networks-for-acoustic-modeling-in-speech-recognition/|url-status=live}}</ref> V roce 2019 už [[GPU]] s modifikacemi pro [[Umělá inteligence|AI]] výpočty nahradily [[CPU]] v roli dominantnho prostředku pro trénink komerčně využívané AI v [[Cloud computing|cloudovém prostředí]].<ref>{{cite news |title=GPUs Continue to Dominate the AI Accelerator Market for Now |url=https://www.informationweek.com/big-data/ai-machine-learning/gpus-continue-to-dominate-the-ai-accelerator-market-for-now/a/d-id/1336475 |access-date=11 June 2020 |work=InformationWeek |date=December 2019 |language=en |archive-date=10 June 2020 |archive-url=https://web.archive.org/web/20200610094310/https://www.informationweek.com/big-data/ai-machine-learning/gpus-continue-to-dominate-the-ai-accelerator-market-for-now/a/d-id/1336475 |url-status=live }}</ref> Společnost [[OpenAI]] odhadla odstup ve výkonu hardwaru využitého pro projekt hlubokého učení AlexNet z roku 2012 a pro projekt AlphaZero z roku 2017 a zjistila 300tisícinásobné navýšení [[FLOPS|výpočetního výkonu]], tedy zdvojnásobení výkonu každého 3,4 měsíce<ref>{{cite news |last1=Ray |first1=Tiernan |title=AI is changing the entire nature of computation |url=https://www.zdnet.com/article/ai-is-changing-the-entire-nature-of-compute/ |access-date=11 June 2020 |work=ZDNet |date=2019 |language=en |archive-date=25 May 2020 |archive-url=https://web.archive.org/web/20200525144635/https://www.zdnet.com/article/ai-is-changing-the-entire-nature-of-compute/ |url-status=live }}</ref><ref>{{cite web |title=AI and Compute |url=https://openai.com/blog/ai-and-compute/ |website=OpenAI |access-date=11 June 2020 |language=en |date=16 May 2018 |archive-date=17 June 2020 |archive-url=https://web.archive.org/web/20200617200602/https://openai.com/blog/ai-and-compute/ |url-status=live }}</ref> (pro srovnání [[Moorův zákon]] přisuzuje pokroku v hardwaru zdvojnásobování výpočetního výkonu každé 2 roky).

Pro akceleraci výpočtů souvisejících s hlubokým učením byly vyvinuty specializované výpočetní obvody - NPU (angl. ''neural processing unit'') v [[Chytrý telefon|mobilních zařízeních]]<ref>{{Cite web|url=https://consumer.huawei.com/en/press/news/2017/ifa2017-kirin970/|title=HUAWEI Reveals the Future of Mobile AI at IFA 2017 &#124; HUAWEI Latest News &#124; HUAWEI Global|website=consumer.huawei.com}}</ref> a TPU (angl. ''tensor processing unit'') pro výpočetní servery v rámci Google Cloud Platform.<ref>{{Cite journal|last1=P|first1=JouppiNorman|last2=YoungCliff|last3=PatilNishant|last4=PattersonDavid|last5=AgrawalGaurav|last6=BajwaRaminder|last7=BatesSarah|last8=BhatiaSuresh|last9=BodenNan|last10=BorchersAl|last11=BoyleRick|date=2017-06-24|title=In-Datacenter Performance Analysis of a Tensor Processing Unit|journal=ACM SIGARCH Computer Architecture News|volume=45|issue=2|pages=1–12|language=EN|doi=10.1145/3140659.3080246|doi-access=free}}</ref> Společnost Cerebras Systems vyvinula dedikovaný systém pro práci s modely hlubokého učení, nazvaný CS-2, založený na největším [[Procesor|procesoru]] vůbec, druhé generaci WSE-2 (''Wafer Scale Engine'').<ref>{{Cite web |last=Woodie |first=Alex |date=2021-11-01 |title=Cerebras Hits the Accelerator for Deep Learning Workloads |url=https://www.datanami.com/2021/11/01/cerebras-hits-the-accelerator-for-deep-learning-workloads/ |access-date=2022-08-03 |website=Datanami}}</ref><ref>{{Cite web |date=2021-04-20 |title=Cerebras launches new AI supercomputing processor with 2.6 trillion transistors |url=https://venturebeat.com/2021/04/20/cerebras-systems-launches-new-ai-supercomputing-processor-with-2-6-trillion-transistors/ |access-date=2022-08-03 |website=VentureBeat |language=en-US}}</ref>

V roce 2021 J. Feldmann a kolektiv navrhli pro účely konvolučního zpracování integrovaný [[Fotonika|fotonický]] hardwarový akcelerátor.<ref name="photonic">{{cite journal |title=Parallel convolutional processing using an integrated photonic tensor |year=2021 |doi=10.1038/s41586-020-03070-1 |last1=Feldmann |first1=J. |last2=Youngblood|first2=N. |last3=Karpov |first3=M. | last4=Gehring |first4=H. | display-authors=3 | journal=Nature |volume=589 |issue=2 |pages=52–58|pmid=33408373 |arxiv=2002.00281 |s2cid=211010976 }}</ref> Autoři uvádějí dvě klíčové výhody fotonického řešení ve srovnání s klasickým elektronickým: (1) masivně paralelní zpracování dat díky multiplexu v rámci [[Vlnová délka|vlnových délek]], (2) extrémně rychlou datovou [[Modulace|modulaci]].<ref name="photonic" /> Jejich systém dokáže provádět [[Bilion|bilióny]] operací za sekundu, čímž vykazuje značný potenciál fotoniky pro budoucí využití v systémech spoléhajících na AI.<ref name="photonic" />

== Využití ==
=== Automatické rozpoznávání řeči ===
Automatické [[rozpoznávání řeči]] je nejočividnější aplikací hlubokého učení s širokým využitím. [[Rekurentní lineární síť|Rekurentní neuronové sítě]] jsou schopné zpracovávat i "velmi hluboké úlohy",<ref name="SCHIDHUB"/> které obsahují intervaly několika sekund trvající mluvené řeči oddělené několika tisíci diskrétních časových kroků, kde jeden krok odpovídá zhruba 10 ms.

Počátečního úspěchu v rozpoznávání řeči bylo dosaženo na úlohách malého rozsahu založených na TIMIT (vzorník mluvené [[Americká angličtina|americké angličtiny]] od různých mluvčích doplněný transkripcí). Tato data obsahují po deseti větách od 630 mluvčích hovořících v osmi hlavních [[Nářečí|dialektech]] americké angličtiny.<ref name="LDCTIMIT">''TIMIT Acoustic-Phonetic Continuous Speech Corpus'' Linguistic Data Consortium, Philadelphia.</ref>

Všechny dnes komerčně široce využívané systémy pro rozpoznávání řeči ([[Microsoft Cortana]], [[Amazon Alexa]], [[Google Now]], [[Siri|Apple Siri]] a další) jsou založeny na hlubokém učení.<ref name=BOOK2014 /><ref>{{Citace periodika|url=https://www.wired.com/2014/12/skype-used-ai-build-amazing-new-language-translator/|title=How Skype Used AI to Build Its Amazing New Language Translator {{!}} WIRED|magazine=Wired|access-date=14 June 2017|date=17 December 2014|last1=McMillan|first1=Robert|archive-date=8 June 2017|archive-url=https://web.archive.org/web/20170608062106/https://www.wired.com/2014/12/skype-used-ai-build-amazing-new-language-translator/|url-status=live}}</ref><ref name="Baidu">{{Citace arXiv|id=1412.5567|last1=Hannun|first1=Awni|title=Deep Speech: Scaling up end-to-end speech recognition|last2=Case|first2=Carl|last3=Casper|first3=Jared|last4=Catanzaro|first4=Bryan|last5=Diamos|first5=Greg|last6=Elsen|first6=Erich|last7=Prenger|first7=Ryan|last8=Satheesh|first8=Sanjeev|last9=Sengupta|first9=Shubho|last10=Coates|first10=Adam|last11=Ng|first11=Andrew Y|class=cs.CL|year=2014}}</ref>

=== Rozpoznávání obrazu ===
Pro [[Klasifikace (umělá inteligence)|klasifikaci]] obrazových dat se běžně využívá datový soubor MNIST. Jde o vzorník ručně psaných číslic obsahující 60 tisíc [[Trénovací data|trénovacích položek]] a 10 tisíc testovacích položek. Relativně malý datový objem umožňuje testovat různé konfigurace systému pro rozpoznávání.<ref name="YANNMNIST">{{cite web|url=http://yann.lecun.com/exdb/mnist/.|title=MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges|website=yann.lecun.com|access-date=2014-01-28|archive-date=2014-01-13|archive-url=https://web.archive.org/web/20140113175237/http://yann.lecun.com/exdb/mnist/|url-status=live}}</ref>

[[Počítačové vidění#Poznávání|Rozpoznávání obrazu]] založené na hlubokém učení již překonalo schopnosti člověka. Poprvé se tak stalo v roce 2011 při rozpoznávání dopravního značení, poté v roce 2014 v rozpoznávání lidských tváří.<ref name=":7">{{Cite journal|last1=Cireşan|first1=Dan|last2=Meier|first2=Ueli|last3=Masci|first3=Jonathan|last4=Schmidhuber|first4=Jürgen|date=August 2012|title=Multi-column deep neural network for traffic sign classification|journal=Neural Networks|series=Selected Papers from IJCNN 2011|volume=32|pages=333–338|doi=10.1016/j.neunet.2012.02.023|pmid=22386783|citeseerx=10.1.1.226.8219}}</ref><ref name=surpass1>{{Citace arXiv|title=Surpassing Human Level Face Recognition|author1=Chaochao Lu |author2= Xiaoou Tang |year=2014 |class=cs.CV|id=1404.3840 }}</ref>

[[Autonomní vozidlo|Vozidla]] využívající hluboké učení dnes analyzují 360° kamerové záběry v reálném čase.<ref>[http://www.technologyreview.com/news/533936/nvidia-demos-a-car-computer-trained-with-deep-learning/ Nvidia Demos a Car Computer Trained with "Deep Learning"] (6 January 2015), David Talbot, ''MIT Technology Review''</ref>

=== Zpracování uměleckých děl ===
Úzce spjaté s obecným rozpoznáváním obrazu je využití hlubokého učení pro různé typy zadání týkající se [[Umělecké dílo|uměleckých děl]]. Hluboké neuronové sítě se prokázaly schopnými např.:

* identifikovat období vzniku malby<ref name = art1>{{cite journal |author1=G. W. Smith|author2=Frederic Fol Leymarie|date=10 April 2017|title=The Machine as Artist: An Introduction|journal=Arts|volume=6|issue=4|pages=5|doi=10.3390/arts6020005|doi-access=free}}</ref><ref name = art2>{{cite journal |author=Blaise Agüera y Arcas|date=29 September 2017|title=Art in the Age of Machine Intelligence|journal=Arts|volume=6|issue=4|pages=18|doi=10.3390/arts6040018|doi-access=free}}</ref>

* zachytit výtvarný styl daného díla a poté ho aplikovat na libovolnou [[Fotografie|fotografii]] či [[video]]<ref name = art1 /><ref name = art2 />

* generovat dechberoucí obrazy založené na náhodných vstupech (např. software DeepDream společnosti [[Google]])<ref name = art1 /><ref name = art2 />

=== Analýza lékařských snímků ===
Hluboké učení prokázalo konkurenceschopnost v medicínských aplikacích, jako je klasifikace [[Rakovina|rakovinných buněk]], detekce [[Léze|lézí]], [[Digitální zpracování obrazu|vylepšení obrazu]] a dalších.<ref>{{Cite journal|last1=Litjens|first1=Geert|last2=Kooi|first2=Thijs|last3=Bejnordi|first3=Babak Ehteshami|last4=Setio|first4=Arnaud Arindra Adiyoso|last5=Ciompi|first5=Francesco|last6=Ghafoorian|first6=Mohsen|last7=van der Laak|first7=Jeroen A.W.M.|last8=van Ginneken|first8=Bram|last9=Sánchez|first9=Clara I.|s2cid=2088679|date=December 2017|title=A survey on deep learning in medical image analysis|journal=Medical Image Analysis|volume=42|pages=60–88|doi=10.1016/j.media.2017.07.005|pmid=28778026|arxiv=1702.05747|bibcode=2017arXiv170205747L}}</ref><ref>{{Cite book|doi=10.1109/ICCVW.2017.18|isbn=9781538610343|chapter=Deep Convolutional Neural Networks for Detecting Cellular Changes Due to Malignancy|title=2017 IEEE International Conference on Computer Vision Workshops (ICCVW)|pages=82–89|year=2017|last1=Forslid|first1=Gustav|last2=Wieslander|first2=Hakan|last3=Bengtsson|first3=Ewert|last4=Wahlby|first4=Carolina|last5=Hirsch|first5=Jan-Michael|last6=Stark|first6=Christina Runow|last7=Sadanandan|first7=Sajith Kecheril|s2cid=4728736|chapter-url=http://urn.kb.se/resolve?urn=urn:nbn:se:uu:diva-326160|access-date=2019-11-12|archive-date=2021-05-09|archive-url=https://web.archive.org/web/20210509123157/https://d1bxh8uas1mnw7.cloudfront.net/assets/embed.js|url-status=live}}</ref> Moderní nástroje využívající hluboké učení prokazují vysokou přesnost v detekci různých chorob a jejich využití dovoluje odborníkům zvyšovat efektivitu diagnóz.<ref>{{Cite journal |last1=Dong |first1=Xin |last2=Zhou |first2=Yizhao |last3=Wang |first3=Lantian |last4=Peng |first4=Jingfeng |last5=Lou |first5=Yanbo |last6=Fan |first6=Yiqun |date=2020 |title=Liver Cancer Detection Using Hybridized Fully Convolutional Neural Network Based on Deep Learning Framework |url=https://ieeexplore.ieee.org/document/9130662 |journal=IEEE Access |volume=8 |pages=129889–129898 |doi=10.1109/ACCESS.2020.3006362 |s2cid=220733699 |issn=2169-3536}}</ref><ref>{{Cite journal |last1=Lyakhov |first1=Pavel Alekseevich |last2=Lyakhova |first2=Ulyana Alekseevna |last3=Nagornov |first3=Nikolay Nikolaevich |date=2022-04-03 |title=System for the Recognizing of Pigmented Skin Lesions with Fusion and Analysis of Heterogeneous Data Based on a Multimodal Neural Network |journal=Cancers |language=en |volume=14 |issue=7 |pages=1819 |doi=10.3390/cancers14071819 |pmid=35406591 |pmc=8997449 |issn=2072-6694|doi-access=free }}</ref>

=== Rekonstrukce obrazu ===
Jde o rekonstrukci obrazu na základě podkladových dat, která se k obrazu váží, jako je například [[Spektroskopie|spektroskopické zobrazování]] nebo [[Lékařská ultrasonografie|ultrazvukové zobrazování]]. Několik prací na toto téma demonstrovalo lepší výkon systémů využívajících hluboké učení ve srovnání s uvedenými metodami.<ref>{{Cite journal |last1=Oktem |first1=Figen S. |last2=Kar |first2=Oğuzhan Fatih |last3=Bezek |first3=Can Deniz |last4=Kamalabadi |first4=Farzad |date=2021 |title=High-Resolution Multi-Spectral Imaging With Diffractive Lenses and Learned Reconstruction |url=https://ieeexplore.ieee.org/document/9415140 |journal=IEEE Transactions on Computational Imaging |volume=7 |pages=489–504 |doi=10.1109/TCI.2021.3075349 |arxiv=2008.11625 |s2cid=235340737 |issn=2333-9403}}</ref><ref>{{Cite journal |last1=Bernhardt |first1=Melanie |last2=Vishnevskiy |first2=Valery |last3=Rau |first3=Richard |last4=Goksel |first4=Orcun |date=December 2020 |title=Training Variational Networks With Multidomain Simulations: Speed-of-Sound Image Reconstruction |url=https://ieeexplore.ieee.org/abstract/document/9144249?casa_token=NLVQbGR8h-8AAAAA:rz3cvMmiplVSRCGTDouUZkIeribqQKaMtK9t0MxlwKBMRwaTJL1onKOwkEk0qW_fFJCfd2ejOg |journal=IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control |volume=67 |issue=12 |pages=2584–2594 |doi=10.1109/TUFFC.2020.3010186 |pmid=32746211 |arxiv=2006.14395 |s2cid=220055785 |issn=1525-8955}}</ref>

=== Zpracování přirozeného jazyka ===
Klíčovou technikou v tomto oboru je [[vnoření slov]] (angl. ''word embedding''). Tento přístup reprezentuje každé jednotlivé slovo jako pozici ve vícerozměrném prostoru relativně vůči dalším slovům obsaženým v datovém souboru. Využití vnoření slov na vstupní vrstvě umožňuje [[Rekurentní lineární síť|rekurentním neuronovým sítím]] provádět rozbor vět a frází efektivní vektorovou gramatikou. Rekurzivní [[Autoenkodér|autoenkodéry]] umožňují posoudit příbuznost vět a detekovat [[parafráze]].<ref name="SocherManning2014">{{cite web|last1=Socher|first1=Richard|last2=Manning|first2=Christopher|title=Deep Learning for NLP|url=http://nlp.stanford.edu/courses/NAACL2013/NAACL2013-Socher-Manning-DeepLearning.pdf|access-date=26 October 2014|archive-date=6 July 2014|archive-url=https://web.archive.org/web/20140706040227/http://nlp.stanford.edu/courses/NAACL2013/NAACL2013-Socher-Manning-DeepLearning.pdf|url-status=live}}</ref>

Nedávné pokroky zobecnily vnoření slov na vnoření celých vět (angl. ''sentence embedding'').

[[Překladač Google]] a ''Google Neural Machine Translation'' využívají techniky hlubokého učení. Překladač Google díky tomu překládá [[Sémantika|významy vět]] namísto překladu jednotlivých frází. Podporuje přes sto jazyků<ref name="googleblog_GNMT_2016">{{cite web|url=https://research.googleblog.com/2016/11/zero-shot-translation-with-googles.html|title=Zero-Shot Translation with Google's Multilingual Neural Machine Translation System|last1=Schuster|first1=Mike|last2=Johnson|first2=Melvin|date=22 November 2016|website=Google Research Blog|access-date=23 March 2017|last3=Thorat|first3=Nikhil|archive-date=10 July 2017|archive-url=https://web.archive.org/web/20170710183732/https://research.googleblog.com/2016/11/zero-shot-translation-with-googles.html|url-status=live}}</ref> a využívá angličtinu jako prostředníka pro překlad mezi libovolnými dvěma jazyky.<ref name="Biotet">{{cite web|url=http://www-clips.imag.fr/geta/herve.blanchon/Pdfs/NLP-KE-10.pdf|title=MT on and for the Web|last1=Boitet|first1=Christian|last2=Blanchon|first2=Hervé|date=2010|access-date=1 December 2016|last3=Seligman|first3=Mark|last4=Bellynck|first4=Valérie|archive-date=29 March 2017|archive-url=https://web.archive.org/web/20170329125916/http://www-clips.imag.fr/geta/herve.blanchon/Pdfs/NLP-KE-10.pdf|url-status=dead}}</ref>

=== Detekce finančních podvodů ===
Hluboké učení se úspěšně uplatňuje v detekci [[Podvod|finančních podvodů]],<ref>{{cite journal
|first1=Christos |last1=Kleanthous
|first2=Sotirios |last2=Chatzis
|title=Gated Mixture Variational Autoencoders for Value Added Tax audit case selection
|journal=Knowledge-Based Systems
|volume=188
|year=2020
|page=105048
|doi=10.1016/j.knosys.2019.105048
|s2cid=204092079
}}</ref> detekci [[Daňový únik|daňových úniků]] a [[praní špinavých peněz]].<ref>{{cite journal
|first=Tomasz
|last=Czech
|title=Deep learning: the next frontier for money laundering detection
|url=https://www.globalbankingandfinance.com/deep-learning-the-next-frontier-for-money-laundering-detection/
|journal=Global Banking and Finance Review
|date=28 June 2018
|access-date=2018-07-15
|archive-date=2018-11-16
|archive-url=https://web.archive.org/web/20181116082711/https://www.globalbankingandfinance.com/deep-learning-the-next-frontier-for-money-laundering-detection/
|url-status=live
}}</ref>

== Kritika ==
Hluboké učení na sebe strhlo vlnu kritiky, a to nejen z okruhu [[Informatika|počítačových věd]].

=== Teoretické pozadí ===
Hlavní kritika hlubokého učení se týká nedostatku teoretického pozadí jeho některých metod.<ref>{{Cite web|url=https://medium.com/@GaryMarcus/in-defense-of-skepticism-about-deep-learning-6e8bfd5ae0f1|title=In defense of skepticism about deep learning|last=Marcus|first=Gary|date=14 January 2018|website=Gary Marcus|access-date=11 October 2018|archive-date=12 October 2018|archive-url=https://web.archive.org/web/20181012035405/https://medium.com/@GaryMarcus/in-defense-of-skepticism-about-deep-learning-6e8bfd5ae0f1|url-status=live}}</ref> V nejběžnějších případech je učení implementováno pomocí dobře prozkoumané [[Gradientní sestup|gradientní metody]]. Jiné metody však takto dobře vysvětleny nejsou. Často je na ně nahlíženo jako na [[Černá skříňka (kybernetika)|černou skříňku]], kde je většina závěrů o fungování modelu utvářena na základě [[Empirický výzkum|empirických výsledků]], ne teorie.<ref name="Knight 2017">{{cite web | last=Knight | first=Will | title=DARPA is funding projects that will try to open up AI's black boxes | website=MIT Technology Review | date=14 March 2017 | url=https://www.technologyreview.com/s/603795/the-us-military-wants-its-autonomous-machines-to-explain-themselves/ | access-date=2 November 2017 | archive-date=4 November 2019 | archive-url=https://web.archive.org/web/20191104033107/https://www.technologyreview.com/s/603795/the-us-military-wants-its-autonomous-machines-to-explain-themselves/ | url-status=live }}</ref>

=== Chybná funkce ===
Některé systémy hlubokého učení vykazují problematické chování,<ref name=goertzel>{{cite web |first=Ben |last=Goertzel |title=Are there Deep Reasons Underlying the Pathologies of Today's Deep Learning Algorithms? |year=2015 |url=http://goertzel.org/DeepLearning_v1.pdf |access-date=2015-05-10 |archive-date=2015-05-13 |archive-url=https://web.archive.org/web/20150513053107/http://goertzel.org/DeepLearning_v1.pdf |url-status=live }}</ref> jako je například [[Klasifikace (umělá inteligence)|zařazování]] objektivně nerozpoznatelných obrázků do známých kategorií<ref>{{Citace arXiv|id=1412.1897|last1=Nguyen|first1=Anh|title=Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images|last2=Yosinski|first2=Jason|last3=Clune|first3=Jeff|class=cs.CV|year=2014}}</ref> nebo naopak nesprávné zařazování obrázků na základě pouze drobných změn.<ref>{{Citace arXiv|id=1312.6199|last1=Szegedy|first1=Christian|title=Intriguing properties of neural networks|last2=Zaremba|first2=Wojciech|last3=Sutskever|first3=Ilya|last4=Bruna|first4=Joan|last5=Erhan|first5=Dumitru|last6=Goodfellow|first6=Ian|last7=Fergus|first7=Rob|class=cs.CV|year=2013}}</ref> Goertzel se domnívá, že toto chování může být způsobeno limitací vnitřní reprezentace.<ref name="goertzel" />

=== Kybernetická hrozba ===
S tím, jak se hluboké učení postupně dostává do běžného užívání, výzkum a zkušenosti ukazují, že jsou umělé neuronové sítě zranitelné [[Sabotáž|podvratným jednáním]].<ref>{{Cite web|url=https://gizmodo.com/hackers-have-already-started-to-weaponize-artificial-in-1797688425|title=Hackers Have Already Started to Weaponize Artificial Intelligence|website=Gizmodo|date=11 September 2017 |access-date=11 October 2019|archive-date=11 October 2019|archive-url=https://web.archive.org/web/20191011162231/https://gizmodo.com/hackers-have-already-started-to-weaponize-artificial-in-1797688425|url-status=live}}</ref> Útočník může například pomocí [[Reverzní inženýrství|analýzy vnitřního fungování]] systému upravit hledaný obrázek tak, že síť nelezne shodu, přestože z lidského hlediska jde o zcela nesouvisející obrázky.<ref>{{Cite web|url=https://www.dailydot.com/debug/adversarial-attacks-ai-mistakes/|title=How hackers can force AI to make dumb mistakes|date=18 June 2018|website=The Daily Dot|language=en|access-date=11 October 2019|archive-date=11 October 2019|archive-url=https://web.archive.org/web/20191011162230/https://www.dailydot.com/debug/adversarial-attacks-ai-mistakes/|url-status=live}}</ref>

V roce 2016 výzkumníci využili jednu neuronovou síť k takovéto záměrné úpravě obrázků. Identifikovali vzory chování druhé sítě a pak byli schopni vygenerovat obrázky, které dokázaly tuto síť zmást. Upravené obrázky vypadaly pro lidské oko nerozlišitelně. Jiná skupina ukázala, že i vytištěné upravené obrázky jsou následně chybně zařazovány.<ref name=":4">{{Cite news|url=https://singularityhub.com/2017/10/10/ai-is-easy-to-fool-why-that-needs-to-change|title=AI Is Easy to Fool—Why That Needs to Change|date=10 October 2017|work=Singularity Hub|access-date=11 October 2017|archive-date=11 October 2017|archive-url=https://web.archive.org/web/20171011233017/https://singularityhub.com/2017/10/10/ai-is-easy-to-fool-why-that-needs-to-change/|url-status=live}}</ref> Jedna z forem obrany proti takovému postupu by mohla souviset s využitím zpětného vyhledávání obrázků (angl. ''reverse image search'', kde je podezřelý obrázek nejrpve uploadován do služby jako např. TinEye, kde lze vyhledat ostatní jeho výskyty. Vylepšením může být vyhledávání pouze částí obrázku.<ref>{{Cite journal|last=Gibney|first=Elizabeth|title=The scientist who spots fake videos|url=https://www.nature.com/news/the-scientist-who-spots-fake-videos-1.22784|journal=Nature|doi=10.1038/nature.2017.22784|year=2017|access-date=2017-10-11|archive-date=2017-10-10|archive-url=https://web.archive.org/web/20171010011017/http://www.nature.com/news/the-scientist-who-spots-fake-videos-1.22784|url-status=live}}</ref>

Umělé neuronové sítě mohou být nicméně trénovány k rozpoznávání případů takového napadení. To může ve výsledku vést k [[Evoluční závody ve zbrojení|závodům ve zbrojení]] podobným [[Malware|malwarové]] scéně.

Existuje rovněž technika "otravy dat" (angl. ''data poisoning''), kdy jsou podvržená data propašována do [[Učení s učitelem|tréninkového datového souboru]], což učícímu se systému znemožňuje dosahovat přesných výsledků.<ref name=":4" />

== Reference ==
{{Překlad
| jazyk = en
| článek = Deep learning
| revize = 1136249495
}}
<references/>
<references/>


Řádek 20: Řádek 148:
* [http://www.datamind.cz/cz/blog/hluboke-uceni-neuronove-site Blog o hlubokém učení (Jan Matoušek)]
* [http://www.datamind.cz/cz/blog/hluboke-uceni-neuronove-site Blog o hlubokém učení (Jan Matoušek)]


{{Pahýl}}
{{Autoritní data}}
{{Autoritní data}}


[[Kategorie:Umělé neuronové sítě]]
[[Kategorie:Strojové učení]]

Verze z 1. 2. 2023, 21:05

Vnitřní reprezentace obrazových dat na vzrůstajících úrovních abstrakce
Vnitřní reprezentace obrazových dat na vzrůstajících úrovních abstrakce[1]

Hluboké učení [2] (Deep Learning) je disciplína spadající do kategorie strojového učení. Zabývá se vývojem a aplikací algoritmů pro učení umělých neuronových sítí s hierarchickou reprezentací vlastností (angl. features). Učení může probíhat tzv. s učitelem (angl. supervised), bez učitele (angl. unsupervised), nebo může jít o kombinaci obojího (angl. semi-supervised).[3]

Pro odhad parametrů sítě (trénování) se obvykle používá algoritmus zpětného šíření chyby. Trénování probíhá ve dvou fázích, tj. nejprve předučení sítě dopředným směrem např. pomocí autoenkodérů (učení bez učitele) a poté doučení sítě zpětným směrem (učení s učitelem). Eliminuje se tak tlumení zpětného šíření chyby.

Různé varianty hlubokého učení jsou využívány v oborech počítačového vidění, rozpoznávání řeči, zpracování přirozeného jazyka, strojového překladu, bioinformatiky, návrhu léčiv, analýzy lékařských snímků, výzkumu klimatu a hraní deskových her, kde tyto metody dosáhly srovnatelných nebo lepších výsledků než profesionální hráči.[4][5][6][7]

Definice

Hluboké učení je třída algoritmů pro strojové učení, která[8]:s.199–200 umožňuje extrakci komplexních vlastností (angl. features) z neupravených dat. Například při zpracování obrazu nižší vrstvy modelu identifikují hrany v obrazových datech sousedících pixelů, zatímco vyšší vrstvy pracují s obecnějšími koncepty bližšími lidskému chápání, jako jsou číslice, písmena nebo tváře.

Míra změn vah po jednotlivých vrstvách, daná tlumením zpětného šíření chyby, tj. první tři vrstvy se neučí prakticky vůbec, smysluplně se učí pouze poslední tři.

Pojem "hluboké" se vztahuje k počtu vrstev, ve kterých probíhá transformace dat. Přesněji řečeno jde o počet transformací dat cestou ze vstupu na výstup. Pro dopředné neuronové sítě je číslo dáno hloubkou sítě jako počet skrytých vrstev plus jedna (neboť i výstupní vrstva je parametrizována). U rekurentních neuronových sítí, kde může signál putovat každou vrstvou několikrát, je hloubka potenciálně neomezená.[9] Neexistuje proto obecně platná hranice, která by oddělovala hluboké učení od ne-hlubokého učení. Většina výzkumníků se však shoduje, že tato hloubka musí být větší než 2, neboť tehdy je již síť schopna aproximovat libovolnou funkci.[10] Přidávání dalších vrstev nezlepšuje aproximační schopnosti sítě, ale umožňuje extrahovat z dat komplexnější vlastnosti. Větší počet vrstev tak zefektivňuje proces učení.

Historie

Hlavní dopad hlubokého učení nastal po roce 2000. Podle Yanna LeCuna[11] již tehdy zpracovávaly dopředné konvoluční sítě 10% až 20% objemu všech šeků vypsaných ve Spojených státech. Využití hlubokého učení pro zpracování řeči začalo ve větším měřítku kolem roku 2010.

Dalšímu zájmu o hluboké učení napomohly pokroky v oblasti hardwaru. Společnost Nvidia napomohla v roce 2009 tzv. "velkému třesku" hlubokého učení, které probíhalo tréninkem neuronových sítích na GPU.[12] Andrew Ng toho roku odhadl, že díky GPU se může rychlost systémů hlubokého učení zvýšit až 100krát.[13] To zejména díky optimalizaci GPU pro práci s vektory a maticemi, jichž se ve strojovém učení užívá.[14][15][16]

Revoluce hlubokého učení

V roce 2012 tým vedený Gorgem E. Dahlem využil víceúlohovou hlubokou neuronovou síť k předpovědi biologického cíle konkrétního léku.[17][18] V roce 2014 Hochreiterova skupina využila hluboké učení k detekci nežádoucích účínků chemikálií obsažených ve výživě, výrobcích pro domácnost a lécích na životní prostředí.[19][20][21]

Další významné pokroky v oblasti rozpoznávání obrazu proběhly v letech 2011 a 2012. Rychlé konvoluční neuronové sítě využívající pro svůj běh GPU přinesly důležitý pokrok v oblasti počítačového vidění.[14][16][22][23][9] V roce 2011 tento přístup poprvé vedl k překonání lidských schopností v rozpoznávání obrazových vzorů. Vedl rovněž k vítězství v soutěži rozpoznávání rukou psaného čínského písma.[24] V říjnu roku 2012 podobný systém s převahou zvítězil v soutěži projektu ImageNet.[6] V listopadu téhož roku další z těchto systémů zvítězil v ICPR soutěži v analýze lékařských snímků pro detekci rakoviny.[25] V letech 2013 a 2014 se chybovost systémů v úloze ImageNet dále snižovala, podobný trend zaznamenalo rovněž odvětví rozpoznávání řeči.

Dle některých výzkumníků bylo vítězství v ImageNet základem tzv. "revoluce hlubokého učení" (angl. "deep learning revolution"), která transformovala celé odvětví umělé inteligence.[26]

V březnu 2019 byli Yoshua Bengio, Geoffrey Hinton a Yann LeCun vyznamenání Turingovou cenou za konceptuální a inženýrský průlom, který ustavil hluboké neuronové sítě jako stěžejní pilíř výpočetních věd.

Hardware

Během dekády 2010-2019 umožnily pokroky v učicích algoritmech a počítačovém hardwaru značné zefektivnění práce s hlubokými neuronovými sítěmi charakteristickými vysokým počtem skrytých vrstev a širokou výstupní vrstvou.[27] V roce 2019 už GPU s modifikacemi pro AI výpočty nahradily CPU v roli dominantnho prostředku pro trénink komerčně využívané AI v cloudovém prostředí.[28] Společnost OpenAI odhadla odstup ve výkonu hardwaru využitého pro projekt hlubokého učení AlexNet z roku 2012 a pro projekt AlphaZero z roku 2017 a zjistila 300tisícinásobné navýšení výpočetního výkonu, tedy zdvojnásobení výkonu každého 3,4 měsíce[29][30] (pro srovnání Moorův zákon přisuzuje pokroku v hardwaru zdvojnásobování výpočetního výkonu každé 2 roky).

Pro akceleraci výpočtů souvisejících s hlubokým učením byly vyvinuty specializované výpočetní obvody - NPU (angl. neural processing unit) v mobilních zařízeních[31] a TPU (angl. tensor processing unit) pro výpočetní servery v rámci Google Cloud Platform.[32] Společnost Cerebras Systems vyvinula dedikovaný systém pro práci s modely hlubokého učení, nazvaný CS-2, založený na největším procesoru vůbec, druhé generaci WSE-2 (Wafer Scale Engine).[33][34]

V roce 2021 J. Feldmann a kolektiv navrhli pro účely konvolučního zpracování integrovaný fotonický hardwarový akcelerátor.[35] Autoři uvádějí dvě klíčové výhody fotonického řešení ve srovnání s klasickým elektronickým: (1) masivně paralelní zpracování dat díky multiplexu v rámci vlnových délek, (2) extrémně rychlou datovou modulaci.[35] Jejich systém dokáže provádět bilióny operací za sekundu, čímž vykazuje značný potenciál fotoniky pro budoucí využití v systémech spoléhajících na AI.[35]

Využití

Automatické rozpoznávání řeči

Automatické rozpoznávání řeči je nejočividnější aplikací hlubokého učení s širokým využitím. Rekurentní neuronové sítě jsou schopné zpracovávat i "velmi hluboké úlohy",[9] které obsahují intervaly několika sekund trvající mluvené řeči oddělené několika tisíci diskrétních časových kroků, kde jeden krok odpovídá zhruba 10 ms.

Počátečního úspěchu v rozpoznávání řeči bylo dosaženo na úlohách malého rozsahu založených na TIMIT (vzorník mluvené americké angličtiny od různých mluvčích doplněný transkripcí). Tato data obsahují po deseti větách od 630 mluvčích hovořících v osmi hlavních dialektech americké angličtiny.[36]

Všechny dnes komerčně široce využívané systémy pro rozpoznávání řeči (Microsoft Cortana, Amazon Alexa, Google Now, Apple Siri a další) jsou založeny na hlubokém učení.[8][37][38]

Rozpoznávání obrazu

Pro klasifikaci obrazových dat se běžně využívá datový soubor MNIST. Jde o vzorník ručně psaných číslic obsahující 60 tisíc trénovacích položek a 10 tisíc testovacích položek. Relativně malý datový objem umožňuje testovat různé konfigurace systému pro rozpoznávání.[39]

Rozpoznávání obrazu založené na hlubokém učení již překonalo schopnosti člověka. Poprvé se tak stalo v roce 2011 při rozpoznávání dopravního značení, poté v roce 2014 v rozpoznávání lidských tváří.[40][41]

Vozidla využívající hluboké učení dnes analyzují 360° kamerové záběry v reálném čase.[42]

Zpracování uměleckých děl

Úzce spjaté s obecným rozpoznáváním obrazu je využití hlubokého učení pro různé typy zadání týkající se uměleckých děl. Hluboké neuronové sítě se prokázaly schopnými např.:

  • identifikovat období vzniku malby[43][44]
  • generovat dechberoucí obrazy založené na náhodných vstupech (např. software DeepDream společnosti Google)[43][44]

Analýza lékařských snímků

Hluboké učení prokázalo konkurenceschopnost v medicínských aplikacích, jako je klasifikace rakovinných buněk, detekce lézí, vylepšení obrazu a dalších.[45][46] Moderní nástroje využívající hluboké učení prokazují vysokou přesnost v detekci různých chorob a jejich využití dovoluje odborníkům zvyšovat efektivitu diagnóz.[47][48]

Rekonstrukce obrazu

Jde o rekonstrukci obrazu na základě podkladových dat, která se k obrazu váží, jako je například spektroskopické zobrazování nebo ultrazvukové zobrazování. Několik prací na toto téma demonstrovalo lepší výkon systémů využívajících hluboké učení ve srovnání s uvedenými metodami.[49][50]

Zpracování přirozeného jazyka

Klíčovou technikou v tomto oboru je vnoření slov (angl. word embedding). Tento přístup reprezentuje každé jednotlivé slovo jako pozici ve vícerozměrném prostoru relativně vůči dalším slovům obsaženým v datovém souboru. Využití vnoření slov na vstupní vrstvě umožňuje rekurentním neuronovým sítím provádět rozbor vět a frází efektivní vektorovou gramatikou. Rekurzivní autoenkodéry umožňují posoudit příbuznost vět a detekovat parafráze.[51]

Nedávné pokroky zobecnily vnoření slov na vnoření celých vět (angl. sentence embedding).

Překladač Google a Google Neural Machine Translation využívají techniky hlubokého učení. Překladač Google díky tomu překládá významy vět namísto překladu jednotlivých frází. Podporuje přes sto jazyků[52] a využívá angličtinu jako prostředníka pro překlad mezi libovolnými dvěma jazyky.[53]

Detekce finančních podvodů

Hluboké učení se úspěšně uplatňuje v detekci finančních podvodů,[54] detekci daňových úniků a praní špinavých peněz.[55]

Kritika

Hluboké učení na sebe strhlo vlnu kritiky, a to nejen z okruhu počítačových věd.

Teoretické pozadí

Hlavní kritika hlubokého učení se týká nedostatku teoretického pozadí jeho některých metod.[56] V nejběžnějších případech je učení implementováno pomocí dobře prozkoumané gradientní metody. Jiné metody však takto dobře vysvětleny nejsou. Často je na ně nahlíženo jako na černou skříňku, kde je většina závěrů o fungování modelu utvářena na základě empirických výsledků, ne teorie.[57]

Chybná funkce

Některé systémy hlubokého učení vykazují problematické chování,[58] jako je například zařazování objektivně nerozpoznatelných obrázků do známých kategorií[59] nebo naopak nesprávné zařazování obrázků na základě pouze drobných změn.[60] Goertzel se domnívá, že toto chování může být způsobeno limitací vnitřní reprezentace.[58]

Kybernetická hrozba

S tím, jak se hluboké učení postupně dostává do běžného užívání, výzkum a zkušenosti ukazují, že jsou umělé neuronové sítě zranitelné podvratným jednáním.[61] Útočník může například pomocí analýzy vnitřního fungování systému upravit hledaný obrázek tak, že síť nelezne shodu, přestože z lidského hlediska jde o zcela nesouvisející obrázky.[62]

V roce 2016 výzkumníci využili jednu neuronovou síť k takovéto záměrné úpravě obrázků. Identifikovali vzory chování druhé sítě a pak byli schopni vygenerovat obrázky, které dokázaly tuto síť zmást. Upravené obrázky vypadaly pro lidské oko nerozlišitelně. Jiná skupina ukázala, že i vytištěné upravené obrázky jsou následně chybně zařazovány.[63] Jedna z forem obrany proti takovému postupu by mohla souviset s využitím zpětného vyhledávání obrázků (angl. reverse image search, kde je podezřelý obrázek nejrpve uploadován do služby jako např. TinEye, kde lze vyhledat ostatní jeho výskyty. Vylepšením může být vyhledávání pouze částí obrázku.[64]

Umělé neuronové sítě mohou být nicméně trénovány k rozpoznávání případů takového napadení. To může ve výsledku vést k závodům ve zbrojení podobným malwarové scéně.

Existuje rovněž technika "otravy dat" (angl. data poisoning), kdy jsou podvržená data propašována do tréninkového datového souboru, což učícímu se systému znemožňuje dosahovat přesných výsledků.[63]

Reference

V tomto článku byl použit překlad textu z článku Deep learning na anglické Wikipedii.

  1. ↑ SCHULZ, Hannes; BEHNKE, Sven. Deep Learning. KI - Künstliche Intelligenz. 1 November 2012, s. 357–363. Dostupné online. ISSN 1610-1987. DOI 10.1007/s13218-012-0198-z. S2CID 220523562. (anglicky) 
  2. ↑ GOODFELLOW, Ian; BENGIO, Yoshua; COURVILLE, Aaron. Deep Learning. [s.l.]: MIT Press, 2016. 767 s. Dostupné online. (anglicky) 
  3. ↑ LECUN, Yann; BENGIO, Yoshua; HINTON, Geoffrey. Deep Learning. Nature. 2015, s. 436–444. DOI 10.1038/nature14539. PMID 26017442. S2CID 3074096. Bibcode 2015Natur.521..436L. 
  4. ↑ ROLNICK, David, et al. Tackling Climate Change with Machine Learning. ACM Computing Surveys [online]. 2022-02-07 [cit. 2022-02-01]. Dostupné online. ISSN 03600300. DOI 10.1145/3485128. 
  5. ↑ CIRESAN, D.; MEIER, U.; SCHMIDHUBER, J. 2012 IEEE Conference on Computer Vision and Pattern Recognition. [s.l.]: [s.n.], 2012. ISBN 978-1-4673-1228-8. DOI 10.1109/cvpr.2012.6248110. S2CID 2161592. arXiv 1202.2745. Kapitola Multi-column deep neural networks for image classification, s. 3642–3649. 
  6. ↑ a b KRIZHEVSKY, Alex; SUTSKEVER, Ilya; HINTON, Geoffrey. ImageNet Classification with Deep Convolutional Neural Networks. NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada. 2012. Dostupné v archivu pořízeném z originálu dne 2017-01-10. 
  7. ↑ Google's AlphaGo AI wins three-match series against the world's best Go player [online]. 25 May 2017 [cit. 2018-06-17]. Dostupné v archivu pořízeném z originálu dne 17 June 2018. 
  8. ↑ a b DENG, L.; YU, D. Deep Learning: Methods and Applications. Foundations and Trends in Signal Processing. 2014, s. 1–199. Dostupné v archivu pořízeném z originálu dne 2016-03-14. DOI 10.1561/2000000039. 
  9. ↑ a b c SCHMIDHUBER, J. Deep Learning in Neural Networks: An Overview. Neural Networks. 2015, s. 85–117. DOI 10.1016/j.neunet.2014.09.003. PMID 25462637. S2CID 11715509. arXiv 1404.7828. 
  10. ↑ SHIGEKI, Sugiyama. Human Behavior and Another Kind in Consciousness: Emerging Research and Opportunities: Emerging Research and Opportunities. [s.l.]: IGI Global, 12 April 2019. Dostupné online. ISBN 978-1-5225-8218-2. (anglicky) 
  11. ↑ Yann LeCun (2016). Slides on Deep Learning Online Archivováno 23. 4. 2016 na Wayback Machine.
  12. ↑ Nvidia CEO bets big on deep learning and VR [online]. Venture Beat, 5 April 2016 [cit. 2017-04-21]. Dostupné v archivu pořízeném z originálu dne 25 November 2020. 
  13. ↑ From not working to neural networking. The Economist. Dostupné v archivu pořízeném z originálu dne 2016-12-31. 
  14. ↑ a b OH, K.-S.; JUNG, K. GPU implementation of neural networks. Pattern Recognition. 2004, s. 1311–1314. DOI 10.1016/j.patcog.2004.01.013. Bibcode 2004PatRe..37.1311O. 
  15. ↑ "A Survey of Techniques for Optimizing Deep Learning on GPUs Archivováno 9. 5. 2021 na Wayback Machine.", S. Mittal and S. Vaishay, Journal of Systems Architecture, 2019
  16. ↑ a b CHELLAPILLA, Kumar; PURI, Sidd; SIMARD, Patrice. High performance convolutional neural networks for document processing. [s.l.]: [s.n.], 2006. Dostupné v archivu pořízeném z originálu dne 2020-05-18. 
  17. ↑ Merck Molecular Activity Challenge [online]. [cit. 2020-07-16]. Dostupné v archivu pořízeném z originálu dne 2020-07-16. 
  18. ↑ Multi-task Neural Networks for QSAR Predictions | Data Science Association [online]. [cit. 2017-06-14]. Dostupné v archivu pořízeném z originálu dne 30 April 2017. 
  19. ↑ "Toxicology in the 21st century Data Challenge"
  20. ↑ NCATS Announces Tox21 Data Challenge Winners [online]. [cit. 2015-03-05]. Dostupné v archivu pořízeném z originálu dne 2015-09-08. 
  21. ↑ NCATS Announces Tox21 Data Challenge Winners [online]. [cit. 2015-03-05]. Dostupné v archivu pořízeném z originálu dne 28 February 2015. 
  22. ↑ LeCun et al., "Backpropagation Applied to Handwritten Zip Code Recognition," Neural Computation, 1, pp. 541–551, 1989.
  23. ↑ CIRESAN, D. C.; MEIER, U.; MASCI, J.; GAMBARDELLA, L. M.; SCHMIDHUBER, J. Flexible, High Performance Convolutional Neural Networks for Image Classification. International Joint Conference on Artificial Intelligence. 2011. Dostupné v archivu pořízeném z originálu dne 2014-09-29. DOI 10.5591/978-1-57735-516-8/ijcai11-210. 
  24. ↑ CIRESAN, Dan; GIUSTI, Alessandro; GAMBARDELLA, Luca M.; SCHMIDHUBER, Juergen. Advances in Neural Information Processing Systems 25. Redakce Pereira F.. [s.l.]: Curran Associates, Inc., 2012. Dostupné v archivu pořízeném z originálu dne 2017-08-09. S. 2843–2851. 
  25. ↑ CIRESAN, D.; GIUSTI, A.; GAMBARDELLA, L.M.; SCHMIDHUBER, J. Mitosis Detection in Breast Cancer Histology Images using Deep Neural Networks. Proceedings MICCAI. 2013, s. 411–418. ISBN 978-3-642-38708-1. DOI 10.1007/978-3-642-40763-5_51. PMID 24579167. 
  26. ↑ Why Deep Learning Is Suddenly Changing Your Life. Fortune. 2016. Dostupné v archivu pořízeném z originálu dne 14 April 2018. 
  27. ↑ RESEARCH, AI. Deep Neural Networks for Acoustic Modeling in Speech Recognition [online]. 23 October 2015 [cit. 2015-10-23]. Dostupné v archivu pořízeném z originálu dne 1 February 2016. 
  28. ↑ GPUs Continue to Dominate the AI Accelerator Market for Now. InformationWeek. December 2019. Dostupné v archivu pořízeném z originálu dne 10 June 2020. (anglicky) 
  29. ↑ RAY, Tiernan. AI is changing the entire nature of computation. ZDNet. 2019. Dostupné v archivu pořízeném z originálu dne 25 May 2020. (anglicky) 
  30. ↑ AI and Compute [online]. 16 May 2018 [cit. 2020-06-11]. Dostupné v archivu pořízeném z originálu dne 17 June 2020. (anglicky) 
  31. ↑ HUAWEI Reveals the Future of Mobile AI at IFA 2017 | HUAWEI Latest News | HUAWEI Global [online]. Dostupné online. 
  32. ↑ P, JouppiNorman; YOUNGCLIFF; PATILNISHANT; PATTERSONDAVID; AGRAWALGAURAV; BAJWARAMINDER; BATESSARAH. In-Datacenter Performance Analysis of a Tensor Processing Unit. ACM SIGARCH Computer Architecture News. 2017-06-24, s. 1–12. DOI 10.1145/3140659.3080246. (EN) 
  33. ↑ WOODIE, Alex. Cerebras Hits the Accelerator for Deep Learning Workloads [online]. 2021-11-01 [cit. 2022-08-03]. Dostupné online. 
  34. ↑ Cerebras launches new AI supercomputing processor with 2.6 trillion transistors [online]. 2021-04-20 [cit. 2022-08-03]. Dostupné online. (anglicky) 
  35. ↑ a b c FELDMANN, J.; YOUNGBLOOD, N.; KARPOV, M.; GEHRING, H. Parallel convolutional processing using an integrated photonic tensor. Nature. 2021, s. 52–58. DOI 10.1038/s41586-020-03070-1. PMID 33408373. S2CID 211010976. arXiv 2002.00281. 
  36. ↑ TIMIT Acoustic-Phonetic Continuous Speech Corpus Linguistic Data Consortium, Philadelphia.
  37. ↑ www.wired.com. Dostupné online. 
  38. ↑ arXiv: 1412.5567
  39. ↑ MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges [online]. [cit. 2014-01-28]. Dostupné v archivu pořízeném z originálu dne 2014-01-13. 
  40. ↑ CIREŞAN, Dan; MEIER, Ueli; MASCI, Jonathan; SCHMIDHUBER, Jürgen. Multi-column deep neural network for traffic sign classification. Neural Networks. August 2012, s. 333–338. DOI 10.1016/j.neunet.2012.02.023. PMID 22386783. 
  41. ↑ arXiv: 1404.3840
  42. ↑ Nvidia Demos a Car Computer Trained with "Deep Learning" (6 January 2015), David Talbot, MIT Technology Review
  43. ↑ a b c G. W. Smith; FREDERIC FOL LEYMARIE. The Machine as Artist: An Introduction. Arts. 10 April 2017, s. 5. DOI 10.3390/arts6020005. 
  44. ↑ a b c Blaise Agüera y Arcas. Art in the Age of Machine Intelligence. Arts. 29 September 2017, s. 18. DOI 10.3390/arts6040018. 
  45. ↑ LITJENS, Geert; KOOI, Thijs; BEJNORDI, Babak Ehteshami; SETIO, Arnaud Arindra Adiyoso; CIOMPI, Francesco; GHAFOORIAN, Mohsen; VAN DER LAAK, Jeroen A.W.M. A survey on deep learning in medical image analysis. Medical Image Analysis. December 2017, s. 60–88. DOI 10.1016/j.media.2017.07.005. PMID 28778026. S2CID 2088679. Bibcode 2017arXiv170205747L. arXiv 1702.05747. 
  46. ↑ FORSLID, Gustav; WIESLANDER, Hakan; BENGTSSON, Ewert; WAHLBY, Carolina; HIRSCH, Jan-Michael; STARK, Christina Runow; SADANANDAN, Sajith Kecheril. 2017 IEEE International Conference on Computer Vision Workshops (ICCVW). [s.l.]: [s.n.], 2017. ISBN 9781538610343. DOI 10.1109/ICCVW.2017.18. S2CID 4728736. Kapitola Deep Convolutional Neural Networks for Detecting Cellular Changes Due to Malignancy, s. 82–89. 
  47. ↑ DONG, Xin; ZHOU, Yizhao; WANG, Lantian; PENG, Jingfeng; LOU, Yanbo; FAN, Yiqun. Liver Cancer Detection Using Hybridized Fully Convolutional Neural Network Based on Deep Learning Framework. IEEE Access. 2020, s. 129889–129898. Dostupné online. ISSN 2169-3536. DOI 10.1109/ACCESS.2020.3006362. S2CID 220733699. 
  48. ↑ LYAKHOV, Pavel Alekseevich; LYAKHOVA, Ulyana Alekseevna; NAGORNOV, Nikolay Nikolaevich. System for the Recognizing of Pigmented Skin Lesions with Fusion and Analysis of Heterogeneous Data Based on a Multimodal Neural Network. Cancers. 2022-04-03, s. 1819. ISSN 2072-6694. DOI 10.3390/cancers14071819. PMID 35406591. (anglicky) 
  49. ↑ OKTEM, Figen S.; KAR, Oğuzhan Fatih; BEZEK, Can Deniz; KAMALABADI, Farzad. High-Resolution Multi-Spectral Imaging With Diffractive Lenses and Learned Reconstruction. IEEE Transactions on Computational Imaging. 2021, s. 489–504. Dostupné online. ISSN 2333-9403. DOI 10.1109/TCI.2021.3075349. S2CID 235340737. arXiv 2008.11625. 
  50. ↑ BERNHARDT, Melanie; VISHNEVSKIY, Valery; RAU, Richard; GOKSEL, Orcun. Training Variational Networks With Multidomain Simulations: Speed-of-Sound Image Reconstruction. IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control. December 2020, s. 2584–2594. Dostupné online. ISSN 1525-8955. DOI 10.1109/TUFFC.2020.3010186. PMID 32746211. S2CID 220055785. arXiv 2006.14395. 
  51. ↑ SOCHER, Richard; MANNING, Christopher. Deep Learning for NLP [online]. [cit. 2014-10-26]. Dostupné v archivu pořízeném z originálu dne 6 July 2014. 
  52. ↑ SCHUSTER, Mike; JOHNSON, Melvin; THORAT, Nikhil. Zero-Shot Translation with Google's Multilingual Neural Machine Translation System [online]. 22 November 2016 [cit. 2017-03-23]. Dostupné v archivu pořízeném z originálu dne 10 July 2017. 
  53. ↑ BOITET, Christian; BLANCHON, Hervé; SELIGMAN, Mark; BELLYNCK, Valérie. MT on and for the Web [online]. 2010 [cit. 2016-12-01]. Dostupné v archivu pořízeném z originálu dne 29 March 2017. 
  54. ↑ KLEANTHOUS, Christos; CHATZIS, Sotirios. Gated Mixture Variational Autoencoders for Value Added Tax audit case selection. Knowledge-Based Systems. 2020, s. 105048. DOI 10.1016/j.knosys.2019.105048. S2CID 204092079. 
  55. ↑ CZECH, Tomasz. Deep learning: the next frontier for money laundering detection. Global Banking and Finance Review. 28 June 2018. Dostupné v archivu pořízeném z originálu dne 2018-11-16. 
  56. ↑ MARCUS, Gary. In defense of skepticism about deep learning [online]. 14 January 2018 [cit. 2018-10-11]. Dostupné v archivu pořízeném z originálu dne 12 October 2018. 
  57. ↑ KNIGHT, Will. DARPA is funding projects that will try to open up AI's black boxes [online]. 14 March 2017 [cit. 2017-11-02]. Dostupné v archivu pořízeném z originálu dne 4 November 2019. 
  58. ↑ a b GOERTZEL, Ben. Are there Deep Reasons Underlying the Pathologies of Today's Deep Learning Algorithms? [online]. 2015 [cit. 2015-05-10]. Dostupné v archivu pořízeném z originálu dne 2015-05-13. 
  59. ↑ arXiv: 1412.1897
  60. ↑ arXiv: 1312.6199
  61. ↑ Hackers Have Already Started to Weaponize Artificial Intelligence [online]. 11 September 2017 [cit. 2019-10-11]. Dostupné v archivu pořízeném z originálu dne 11 October 2019. 
  62. ↑ How hackers can force AI to make dumb mistakes [online]. 18 June 2018 [cit. 2019-10-11]. Dostupné v archivu pořízeném z originálu dne 11 October 2019. (anglicky) 
  63. ↑ a b AI Is Easy to Fool—Why That Needs to Change. Singularity Hub. 10 October 2017. Dostupné v archivu pořízeném z originálu dne 11 October 2017. 
  64. ↑ GIBNEY, Elizabeth. The scientist who spots fake videos. Nature. 2017. Dostupné v archivu pořízeném z originálu dne 2017-10-10. DOI 10.1038/nature.2017.22784. 

Literatura

Externí odkazy

Citováno z „https://cs.wikipedia.org/w/index.php?title=Hluboké_učení&oldid=22401792“