|
== Базове припущення ==
Базове припущення, що лежить в основі машинного навчання, полягає в тому, що все, що працювало в минулому (тобто стратегії, алгоритми та висновування), найімовірніше, продовжуватиме працювати й у майбутньому. Очевидний приклад — «оскільки сонце сходило кожного ранкущоранку протягом останніх 10 000 днів, імовірно, воно зійде й завтра вранці». Тонший приклад — «в ''X'' % [[Родина (біологія)|родин]] існують географічно відокремлені види з різними варіантами кольорів, отже, існує ''Y'' % шансів, що невиявлені [[Чорний лебідь (теорія)|чорні лебеді]] існують».{{sfn|Domingos|2015|loc=Chapter 6, Chapter 7}}
== Історія та зв'язки з іншими галузями ==
Основна мета системи, яка навчається, — це робити узагальнення зі свого досвіду.<ref name="bishop2006">{{citation|first= C. M. |last= Bishop |author-link=Крістофер Бішоп |year=2006 |title=Pattern Recognition and Machine Learning |publisher=Springer |isbn=978-0-387-31073-2 |language=en}}</ref><ref name=":5">{{Cite Mehryar Afshin Ameet 2012}}</ref> Узагальнення в цьому контексті — це здатність машини, що вчиться, працювати точно на нових, небачених прикладах/завданнях після отримання досвіду навчального набору даних. Тренувальні приклади походять з якогось загалом невідомого розподілу ймовірності (який вважають представницьким для простору випадків), і система, що вчиться, має побудувати загальну модель цього простору, яка дозволяє їй виробляти достатньо точні передбачення в нових випадках.
Обчислювальний аналіз алгоритмів машинного навчання та їхньої продуктивності — це розділ [[Теоретична інформатика|теоретичної інформатики]], відомийзнаний як {{нп|теорія обчислювального навчання|||Computational learning theory}} через модель [[Імовірно приблизно коректне навчання|імовірно приблизно коректного навчання]] ({{lang-en|Probably Approximately Correct Learning, PAC}}). Оскільки тренувальні набори скінченні, а майбутнє непевне, теорія навчання зазвичай не дає гарантій продуктивності алгоритмів. Натомість доволі поширені ймовірнісні рамки продуктивності. Одним зі способів кількісного оцінювання [[Похибки та залишки|похибки]] узагальнювання є [[розклад на зміщення та дисперсію]] ({{lang-en|bias–variance decomposition}}).
Для найкращої продуктивності в контексті узагальнювання складність гіпотези повинна відповідати складності функції, що лежить в основі даних. Якщо гіпотеза менш складна, ніж ця функція, то модель недостатньо допасувалася до даних. Якщо у відповідь складність моделі підвищувати, то похибка тренування знижуватиметься. Але якщо гіпотеза занадто складна, то модель піддається [[Перенавчання|перенавчанню]], й узагальнення буде гіршим.<ref name="alpaydin">{{Cite book |author=Alpaydin, Ethem |title=Introduction to Machine Learning |url=https://archive.org/details/introductiontoma00alpa_0 |year=2010 |publisher=The MIT Press |place=London |isbn=978-0-262-01243-0 |access-date=4 лютого 2017 |url-access=registration |language=en }}</ref>
[[Файл:Svm_max_sep_hyperplane_with_margin.png|міні|[[Опорновекторна машина]] — це модель керованого навчання, яка поділяє дані на області, розділені [[Лінійний класифікатор|лінійною межею]]. Тут лінійна межа відділяє чорні кола від білих.]]
Алгоритми керованого навчання<ref name="Синєглазов2022" /><ref name="Дуда2018" /><ref name="Копивницька2023" /> ({{lang-en|supervised learning}}) будують математичну модель набору даних, який містить як входи, так і бажані виходи.<ref>{{cite book |last1=Russell |first1=Stuart J. |last2=Norvig |first2=Peter |title=Artificial Intelligence: A Modern Approach |date=2010 |publisher=Prentice Hall |isbn=9780136042594 |edition=Third|title-link=Штучний інтелект: сучасний підхід|language=en }}</ref> Такі дані відомізнані як [[тренувальні дані]], й складаються з набору тренувальних прикладів. Кожен тренувальний приклад має один або кілька входів та бажаний вихід, відомий також як керівний сигнал ({{lang-en|supervisory signal}}). У математичній моделі кожен тренувальний приклад подано [[Масив (структура даних)|масивом]], або вектором, який іноді називають [[Вектор ознак|вектором ознак]], а тренувальні дані подано [[Матриця (математика)|матрицею]]. Завдяки [[Оптимізація (математика)#Ітераційні методи|ітераційній оптимізації]] [[Функція втрат|цільової функції]] алгоритми керованого навчання навчаються функції, яку можливо використовувати для передбачування виходу, пов'язаного з новими входами.<ref>{{cite book |last1=Mohri |first1=Mehryar |last2=Rostamizadeh |first2=Afshin |last3=Talwalkar |first3=Ameet |title=Foundations of Machine Learning |date=2012 |publisher=The MIT Press |isbn=9780262018258 |language=en}}</ref> Оптимальна функція дозволятиме алгоритмові правильно визначати вихід для входів, які не були частиною тренувальних даних. Кажуть, що алгоритм, який з часом удосконалює точність своїх виходів або передбачень, навчився виконувати це завдання.<ref name="Mitchell-1997" />
До типів алгоритмів керованого навчання належать {{нп|Активне навчання (машинне навчання)|активне навчання||Active learning (machine learning)}}, [[Класифікування (машинне навчання)|класифікування]] та [[Регресійний аналіз|регресія]].<ref name=":3">{{cite book|last=Alpaydin|first=Ethem|title=Introduction to Machine Learning|date=2010|publisher=MIT Press|isbn=978-0-262-01243-0|page=9|url=https://books.google.com/books?id=7f5bBAAAQBAJ|access-date=2018-11-25|archive-date=2023-01-17|archive-url=https://web.archive.org/web/20230117053338/https://books.google.com/books?id=7f5bBAAAQBAJ|url-status=live|language=en}}</ref> Алгоритми класифікування використовують, коли виходи обмежено вузьким набором значень, а алгоритми регресії використовують, коли виходи можуть мати будь-яке числове значення в межах якогось діапазону. Як приклад, для алгоритму класифікування, який фільтрує електронні листи, входом буде вхідний електронний лист, а виходом — назва теки, до якої потрібно цей електронний лист зберегти.
{{нп|Індуктивне логічне програмування|||Inductive logic programming}} (ІЛП, {{lang-en|Inductive logic programming, ILP}}) — це підхід до навчання правил із застосуванням [[Логічне програмування|логічного програмування]] як універсального подання вхідних прикладів, базових знань та гіпотез. Маючи кодування відомих базових знань та набору прикладів, поданих як логічна база даних фактів, система ІЛП виводитиме гіпотетичну логічну програму, яка [[Умовивід|має наслідками]] всі позитивні приклади й жодного з негативних. {{нп|Індуктивне програмування|||Inductive programming}} ({{lang-en|inductive programming}}) — це споріднена галузь, у якій для подання гіпотез розглядають будь-які мови програмування (а не лише логічне програмування), наприклад, [[Функційне програмування|функційні програми]].
Індуктивне логічне програмування особливо корисне в [[Біоінформатика|біоінформатиці]] та [[Обробка природної мови|обробці природної мови]]. {{нп|Ґордон Плоткін|||Gordon Plotkin}} та {{нп|Ехуд Шапіро|||Ehud Shapiro}} заклали початкову теоретичну основу для індуктивного машинного навчання в логічній постановці.<ref>Plotkin G.D. [https://www.era.lib.ed.ac.uk/bitstream/handle/1842/6656/Plotkin1972.pdf;sequence=1 Automatic Methods of Inductive Inference] {{Webarchive|url=https://web.archive.org/web/20171222051034/https://www.era.lib.ed.ac.uk/bitstream/handle/1842/6656/Plotkin1972.pdf;sequence=1 |date=2017-12-22 }}, PhD thesis, University of Edinburgh, 1970. {{ref-en}}</ref><ref>Shapiro, Ehud Y. [http://ftp.cs.yale.edu/publications/techreports/tr192.pdf Inductive inference of theories from facts] {{Webarchive|url=https://web.archive.org/web/20210821071609/http://ftp.cs.yale.edu/publications/techreports/tr192.pdf |date=2021-08-21 }}, Research Report 192, Yale University, Department of Computer Science, 1981. Reprinted in J.-L. Lassez, G. Plotkin (Eds.), Computational Logic, The MIT Press, Cambridge, MA, 1991, pp. 199–254. {{ref-en}}</ref><ref>Shapiro, Ehud Y. (1983). ''Algorithmic program debugging''. Cambridge, Mass: MIT Press. {{ISBN|0-262-19218-7}} {{ref-en}}</ref> 1981 року Шапіро створив своє перше втілення (систему висновування моделей, {{lang-en|Model Inference System}}): програму мовою [[Пролог]], яка індуктивно висновувала логічні програми з позитивних та негативних прикладів.<ref>Shapiro, Ehud Y. "[http://dl.acm.org/citation.cfm?id=1623364 The model inference system]." Proceedings of the 7th international joint conference on Artificial intelligence-Volume 2. Morgan Kaufmann Publishers Inc., 1981. {{ref-en}}</ref> Термін ''індуктивний'' тут відноситься достосується [[Індукція (логіка)|філософської]] індукції, що пропонує теорію для пояснення спостережуваних фактів, а не до [[Математична індукція|математичної індукції]], що доводить властивість для всіх членів добре впорядкованої множини.
=== Моделі ===
{{Main|Опорновекторна машина}}
Опорновекторні машини (ОВМ, {{lang-en|support-vector machines, SVM}}), також відомізнані як опорновекторні мережі ({{lang-en|support-vector networks}}) та метод опорних векторів, — це набір пов'язаних методів [[Кероване навчання|керованого навчання]], які використовують для класифікування та регресії. Маючи набір тренувальних прикладів, кожен з яких позначено як належний до однієї з двох категорій, алгоритм тренування ОВМ будує модель, яка передбачує, чи належить новий приклад до однієї категорії.<ref name="CorinnaCortes">{{Cite journal |last1=Cortes |first1=Corinna |author-link1=Корінна Кортес |last2=Vapnik |first2=Vladimir N. |year=1995 |title=Support-vector networks |url=https://archive.org/details/sim_machine-learning_1995-09_20_3/page/273 |journal=[[Machine Learning (журнал)|Machine Learning]] |volume=20 |issue=3 |pages=273–297 |doi=10.1007/BF00994018 |doi-access=free |language=en }}</ref> Алгоритм тренування ОВМ — не[[Імовірнісне класифікування|ймовірнісний]] [[Бінарна класифікація|бінарний]] [[лінійний класифікатор]], хоча існують такі методи, як {{нп|масштабування Платта|||Platt scaling}}, для використання ОВМ у постановці ймовірнісного класифікування. На додачу до виконання лінійного класифікування, ОВМ можуть ефективно виконувати нелінійне класифікування з використанням так званого [[Ядровий трюк|ядрового трюку]], що неявно відображує їхні входи до просторів ознак високої розмірності.
==== Регресійний аналіз ====
== Обмеження ==
Незважаючи наПопри те, що машинне навчання змінило деякі сфери, програми машинного навчання часто не дають очікуваних результатів.<ref>{{Cite news|url=https://www.bloomberg.com/news/articles/2016-11-10/why-machine-learning-models-often-fail-to-learn-quicktake-q-a|title=Why Machine Learning Models Often Fail to Learn: QuickTake Q&A|date=2016-11-10|work=Bloomberg.com|access-date=2017-04-10|archive-url=https://web.archive.org/web/20170320225010/https://www.bloomberg.com/news/articles/2016-11-10/why-machine-learning-models-often-fail-to-learn-quicktake-q-a|archive-date=2017-03-20|language=en}}</ref><ref>{{Cite news|url=https://hbr.org/2017/04/the-first-wave-of-corporate-ai-is-doomed-to-fail|title=The First Wave of Corporate AI Is Doomed to Fail|date=2017-04-18|work=Harvard Business Review|access-date=2018-08-20|archive-date=2018-08-21|archive-url=https://web.archive.org/web/20180821032004/https://hbr.org/2017/04/the-first-wave-of-corporate-ai-is-doomed-to-fail|url-status=live|language=en}}</ref><ref>{{Cite news|url=https://venturebeat.com/2016/09/17/why-the-a-i-euphoria-is-doomed-to-fail/|title=Why the A.I. euphoria is doomed to fail|date=2016-09-18|work=VentureBeat|access-date=2018-08-20|language=en-US|archive-date=2018-08-19|archive-url=https://web.archive.org/web/20180819124138/https://venturebeat.com/2016/09/17/why-the-a-i-euphoria-is-doomed-to-fail/|url-status=live}}</ref> Причин для цього багато: брак (придатних) даних, брак доступу до даних, упередженість даних, проблеми конфіденційності, неправильно обрані завдання та алгоритми, неправильні інструменти та люди, брак ресурсів і проблеми з оцінюванням.<ref>{{Cite web|url=https://www.kdnuggets.com/2018/07/why-machine-learning-project-fail.html|title=9 Reasons why your machine learning project will fail|website=www.kdnuggets.com|language=en-US|access-date=2018-08-20|archive-date=2018-08-21|archive-url=https://web.archive.org/web/20180821031802/https://www.kdnuggets.com/2018/07/why-machine-learning-project-fail.html|url-status=live}}</ref>
2018 року безпілотний автомобіль від ''[[Uber]]'' не зміг виявити пішохода, який загинув після зіткнення.<ref>{{Cite news|url=https://www.economist.com/the-economist-explains/2018/05/29/why-ubers-self-driving-car-killed-a-pedestrian|title=Why Uber's self-driving car killed a pedestrian|newspaper=The Economist|access-date=2018-08-20|language=en|archive-date=2018-08-21|archive-url=https://web.archive.org/web/20180821031818/https://www.economist.com/the-economist-explains/2018/05/29/why-ubers-self-driving-car-killed-a-pedestrian|url-status=live}}</ref> Спроби використати машинне навчання в охороні здоров'я за допомогою системи [[IBM Watson|''IBM Watson'']] не увінчалися успіхом навіть після багатьох років і мільярдів доларів інвестицій.<ref>{{Cite news|url=https://www.statnews.com/2018/07/25/ibm-watson-recommended-unsafe-incorrect-treatments/|title=IBM's Watson recommended 'unsafe and incorrect' cancer treatments – STAT|date=2018-07-25|work=STAT|access-date=2018-08-21|language=en-US|archive-date=2018-08-21|archive-url=https://web.archive.org/web/20180821062616/https://www.statnews.com/2018/07/25/ibm-watson-recommended-unsafe-incorrect-treatments/|url-status=live}}</ref><ref>{{Cite news|url=https://www.wsj.com/articles/ibm-bet-billions-that-watson-could-improve-cancer-treatment-it-hasnt-worked-1533961147|title=IBM Has a Watson Dilemma|last1=Hernandez|first1=Daniela|date=2018-08-11|work=[[The Wall Street Journal]]|access-date=2018-08-21|last2=Greenwald|first2=Ted|language=en-US|issn=0099-9660|archive-date=2018-08-21|archive-url=https://web.archive.org/web/20180821031906/https://www.wsj.com/articles/ibm-bet-billions-that-watson-could-improve-cancer-treatment-it-hasnt-worked-1533961147|url-status=live}}</ref>
{{Main|{{нп|Алгоритмічне упередження|||Algorithmic bias}}}}
Підходи машинного навчання, зокрема, можуть страждати від різних упереджень даних ({{lang-en|data biases}}). Система машинного навчання, натренована конкретно на поточних клієнтах, може виявитися нездатною передбачити потреби нових груп клієнтів, не поданих у тренувальних даних. При навчанні на створених людьми даних машинне навчання, швидше за всенайімовірніше, підхопить конституційні та несвідомі упередження, які вже присутні в суспільстві.<ref name=":1">{{Cite journal|last=Garcia|first=Megan|s2cid=151595343|date=2016|title=Racist in the Machine|journal=World Policy Journal|language=en|volume=33|issue=4|pages=111–117|doi=10.1215/07402775-3813015|issn=0740-2775}}</ref> Було показано, що мовні моделі, навчені з даних, містять людські упередження.<ref>{{Cite journal|last1=Caliskan|first1=Aylin|last2=Bryson|first2=Joanna J.|last3=Narayanan|first3=Arvind|date=2017-04-14|title=Semantics derived automatically from language corpora contain human-like biases|journal=Science|language=en|volume=356|issue=6334|pages=183–186|doi=10.1126/science.aal4230|issn=0036-8075|pmid=28408601|bibcode=2017Sci...356..183C|arxiv=1608.07187|s2cid=23163324}}</ref><ref>{{Citation|last1=Wang|first1=Xinan|title=An algorithm for L1 nearest neighbor search via monotonic embedding|date=2016|url=http://papers.nips.cc/paper/6227-an-algorithm-for-l1-nearest-neighbor-search-via-monotonic-embedding.pdf|work=Advances in Neural Information Processing Systems 29|pages=983–991|editor-last=Lee|editor-first=D. D.|publisher=Curran Associates, Inc.|access-date=2018-08-20|last2=Dasgupta|first2=Sanjoy|editor2-last=Sugiyama|editor2-first=M.|editor3-last=Luxburg|editor3-first=U. V.|editor4-last=Guyon|editor4-first=I.|archive-date=2017-04-07|archive-url=https://web.archive.org/web/20170407051313/http://papers.nips.cc/paper/6227-an-algorithm-for-l1-nearest-neighbor-search-via-monotonic-embedding.pdf|url-status=live|language=en}}</ref> Виявилося, що системи машинного навчання, які використовують для оцінювання кримінального ризику, упереджені до темношкірих людей.<ref>{{Cite web|url=https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing|title=Machine Bias|date=2016-05-23|website=[[ProPublica]]|author1=Julia Angwin|author1-link=Джулія Енвін|author2=Jeff Larson|author3=Lauren Kirchner|author4=Surya Mattu|access-date=2018-08-20|archive-date=2017-11-17|archive-url=https://web.archive.org/web/20171117234017/https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing|url-status=live|language=en}}</ref><ref>{{Cite news|url=https://www.nytimes.com/2017/10/26/opinion/algorithm-compas-sentencing-bias.html|title=Opinion {{!}} When an Algorithm Helps Send You to Prison|work=[[New York Times]]|date=26 жовтня 2017|access-date=2018-08-20|language=en|last1=Israni|first1=Ellora Thadaney|archive-date=2018-08-20|archive-url=https://web.archive.org/web/20180820030246/https://www.nytimes.com/2017/10/26/opinion/algorithm-compas-sentencing-bias.html|url-status=live}}</ref> 2015 року ''Google'' на фотографіях часто позначувала темношкірих людей як горил,<ref name=":2">{{Cite news|url=https://www.bbc.co.uk/news/technology-33347866|title=Google apologises for racist blunder|date=2015-07-01|work=BBC News|access-date=2018-08-20|language=en-GB|archive-date=2018-07-11|archive-url=https://web.archive.org/web/20180711184755/https://www.bbc.co.uk/news/technology-33347866|url-status=live}}</ref> і 2018 року це все ще не було розв'язано як слід, а, як було повідомлено, ''Google'' натомість використовувала обхідний шлях, усуваючи всіх горил із тренувальних даних, і тому була взагалі нездатна розпізнати справжніх горил.<ref>{{Cite news|url=https://www.theverge.com/2018/1/12/16882408/google-racist-gorillas-photo-recognition-algorithm-ai|title=Google 'fixed' its racist algorithm by removing gorillas from its image-labeling tech|work=The Verge|access-date=2018-08-20|archive-date=2018-08-21|archive-url=https://web.archive.org/web/20180821031830/https://www.theverge.com/2018/1/12/16882408/google-racist-gorillas-photo-recognition-algorithm-ai|url-status=live|language=en}}</ref> Подібні проблеми з розпізнаванням небілих людей було виявлено в багатьох інших системах.<ref>{{Cite news|url=https://www.nytimes.com/2016/06/26/opinion/sunday/artificial-intelligences-white-guy-problem.html|title=Opinion {{!}} Artificial Intelligence's White Guy Problem|work=[[New York Times]]|date=25 червня 2016|access-date=2018-08-20|language=en|last1=Crawford|first1=Kate|archive-date=2021-01-14|archive-url=https://web.archive.org/web/20210114220619/https://www.nytimes.com/2016/06/26/opinion/sunday/artificial-intelligences-white-guy-problem.html|url-status=live}}</ref> 2016 року ''Microsoft'' протестувала [[чат-бот]]а, який навчався з ''Twitter'', і він швидко підхопив расистську та сексистську мову.<ref>{{Cite news|url=https://www.technologyreview.com/s/601111/why-microsoft-accidentally-unleashed-a-neo-nazi-sexbot/|title=Why Microsoft's teen chatbot, Tay, said lots of awful things online|last=Metz|first=Rachel|work=MIT Technology Review|access-date=2018-08-20|language=en|archive-date=2018-11-09|archive-url=https://web.archive.org/web/20181109023754/https://www.technologyreview.com/s/601111/why-microsoft-accidentally-unleashed-a-neo-nazi-sexbot/|url-status=live}}</ref> Через такі виклики ефективне використання машинного навчання в деяких областях може займати більше часу.<ref>{{Cite news|url=https://www.technologyreview.com/s/603944/microsoft-ai-isnt-yet-adaptable-enough-to-help-businesses/|title=Microsoft says its racist chatbot illustrates how AI isn't adaptable enough to help most businesses|last=Simonite|first=Tom|work=MIT Technology Review|access-date=2018-08-20|language=en|archive-date=2018-11-09|archive-url=https://web.archive.org/web/20181109022820/https://www.technologyreview.com/s/603944/microsoft-ai-isnt-yet-adaptable-enough-to-help-businesses/|url-status=live}}</ref> Занепокоєння щодо {{нп|Справедливість (машинне навчання)|справедливості||Fairness (machine learning)}} у машинному навчанні, тобто зменшення упередженості в машинному навчанні та сприяння його використанню для блага людини, все частіше висловлюють науковці зі штучного інтелекту, зокрема [[Фей-Фей Лі]], яка нагадує інженерам, що «У ШІ немає нічого штучного… Він натхненний людьми, він створений людьми, і, що найважливіше, він впливає на людей. Це потужний інструмент, який ми лише починаємо розуміти, і це велика відповідальність.»<ref>{{Cite news|url=https://www.wired.com/story/fei-fei-li-artificial-intelligence-humanity/|title=Fei-Fei Li's Quest to Make Machines Better for Humanity|last=Hempel|first=Jessi|date=2018-11-13|magazine=Wired|access-date=2019-02-17|issn=1059-1028|archive-date=2020-12-14|archive-url=https://web.archive.org/web/20201214095220/https://www.wired.com/story/fei-fei-li-artificial-intelligence-humanity/|url-status=live|language=en}}</ref>
=== Поясненність ===
|
