Відкрити головне меню

Джефрі Еверест Хінтон (народився 6 грудня 1947 року) — англо-канадський когнітивний психолог і комп'ютерний вчений, найбільш відомий своєю роботою над штучними нейронними мережами. З 2013 року він працює в Google (Google Brain[en]) і в Торонтському університеті.[3][4]

Джеффрі Еверест Хінтон
Хінтон в 2013
Хінтон в 2013
Народився 6 грудня 1947(1947-12-06) (71 рік)
Вімблдон, Мертон, Великий Лондон, Англія, Велика Британія
Громадянство
(підданство)
Flag of the United Kingdom.svg Велика Британія[1]
Flag of Canada (Pantone).svg Канада[1]
Діяльність інформатик, artificial intelligence researcher
Alma mater Единбурзький університет
Сфера інтересів глибинне навчання і машинне навчання
Заклад Торонтський університет, Google і Університет Карнегі-Меллон
Науковий керівник H. Christopher Longuet-Higgins[d]
Аспіранти, докторанти Andriy Mnih[d][2]
Член Лондонське королівське товариство, Американська академія мистецтв і наук і Асоціація з розвитку штучного інтелекту
Відомий завдяки: Застосування Методу зворотного поширення помилки
Машини Больцмана
Глибинного навчання
Капсульної нейронної мережі[en]
Батько H. E. Hinton[d]
Нагороди

Джефрі Гінтон у Вікісховищі?

З Девідом Румельхартом[en] і Рональдом Дж. Вільямсом[en], Хінтон був співавтором надзвичайно цитованої статті, опублікованої в 1986 році, яка популяризувала алгоритм зворотного поширення помилки для навчання багатошарових нейронних мереж,[5] хоча вони не були першими, хто запропонував даний підхід.[6] Хінтон розглядається деякими як провідна фігура в спільноті глибинного навчання і називається деякими як «Хрещений батько глибокого навчання».[7][8][9][10][11] Розпізнавання зображень AlexNet[en], розроблений його учнем Олексієм Крижевським[12] для змагання ImageNet[en] у 2012 році,[13] допомогло революціонізувати сферу комп'ютерного зору.[14] Хінтон був нагороджений премією Тюрінга у 2018 році разом з Йошуа Бенджо[en] і Ян Лекуном за їхню роботу над глибинним навчанням.[15]

Зміст

ОсвітаРедагувати

Хінтон отримав освіту в Королівському коледжі в Кембриджі, який закінчив у 1970 році, отримавши ступінь бакалавра мистецтв в галузі експериментальної психології.[16][17] Він продовжив своє навчання в Единбурзькому університеті, де отримав ступінь доктора філософії в галузі штучного інтелекту в 1978 році для досліджень під керівництвом Крістофера Лонгет-Хіггінса[en].[18][19][20][21]

Кар'єра та дослідженняРедагувати

Після отримання ступеня доктора філософії він працював в університеті Сассекса і (після труднощів з пошуком фінансування у Великій Британії)[22] в Каліфорнійському університеті у Сан-Дієго та Університеті Карнегі-Меллона.[16] Він був директором-засновником підрозділу обчислювальної неврології благодійного фонду Гетсбі[en] в Університетському коледжі в Лондоні[16] і в даний час[23] є професором факультету інформатики в Торонтському університеті. Він має кафедру канадських досліджень[en] (англ. Canada Research Chair) в області машинного навчання і в даний час є консультантом програми «Навчання в машинах і мізках» в Канадському інституті перспективних досліджень[en]. Хінтон викладав безкоштовний онлайн-курс з нейронних мереж на освітній платформі Coursera у 2012 році.[24] Хінтон приєднався до Google в березні 2013 року, коли була придбана його компанія DNNresearch Inc. Він планує «розділити свій час між дослідженнями в університеті і роботою в Google».[25]

Дослідження Хінтона стосуються способів використання нейронних мереж для машинного навчання, пам'яті, сприйняття та обробки символів. Він є автором, або співавтором понад 200 рецензованих публікацій. У той час, як Хінтон був професором в університеті Карнегі-Меллона (1982—1987), Девід Румелхарт[en], Хінтон і Рональд Дж. Вільямс[en] застосували метод зворотного поширення помилки до багатошарових нейронних мереж. Їх експерименти показали, що такі мережі можуть вивчити корисні внутрішні представлення даних.[5] В інтерв'ю 2018 года[26] Хінтон сказав, що «Девід Румелхарт придумав основну ідею методу зворотного поширення помилки, так що це його винахід». Хоча ця робота була важлива для популяризації методу зворотного поширення помилки, вона не була першою, яка запропонувала такий підхід.[6] Автоматичне диференціювання у зворотному режимі, окремим випадком якого є метод зворотного поширення помилки, було запропоновано Сеппо Ліннайнмаа[en] в 1970 році, а Пол Вербос[en] запропонував використовувати його для навчання нейронних мереж в 1974 році.[6]

Протягом того ж періоду Хінтон винайшов машину Больцмана разом з Девідом Акклі та Террі Сейновські[en].[27] Інші його внески в дослідження нейронних мереж включають розподілені представлення, нейронну мережу з часовою затримкою, суміші фахівців (англ. mixtures of experts), машини Гельмгольца[en] та продукт експертів[en]. У 2007 році Хінтон виступав співавтором статті про спонтанне навчання під назвою «Спонтанне навчання в перетворенні зображення».[28] Доступне введення до дослідження Джеффрі Хінтона можна знайти у його статтях у Scientific American у вересні 1992 року та жовтні 1993 року.

У жовтні та листопаді 2017 року Хінтон опублікував дві науково-дослідні роботи відкритого доступу[29][30] на тему капсульних нейронних мереж[en], які, на думку Хінтона, «нарешті щось добре працює».[31]

Відомі колишні аспіранти і докторанти з його групи це Річард Земель[en],[18][32] Брендан Фрей[en],[33]Радфорд М. Ніл[en],[34]Руслан Салахутдінов[en],[35] Ілля Суцкевер[en],[36] Ян ЛеКун[37] та Зубін Гахрамані[en].

Особисте життяРедагувати

Хінтон є праправнук логіка Джорджа Буля, чия робота згодом стала однією з основ сучасних комп'ютерних наук та хірурга й автора Джеймса Хінтона[en][38], який був батьком Чарльза Говарда Хінтона[en]. Батько Хінтона був Говард Хінтон[en].[16][39] Його друге ім'я від іншого родича, Джорджа Евереста.[22] Він також є племінником економіста Коліна Кларка[en].[40] У 1994 році він втратив першу дружину внаслідок раку яєчників.[40]

ПоглядиРедагувати

Хінтон переїхав з США до Канади частково через розчарування в політиці епохи Рональда Рейгана і несхвалення військового фінансування штучного інтелекту.[22] Хінтон звернувся з петицією проти смертельної автономної зброї[en]. Що стосується екзистенціального ризику від штучного інтелекту[en], Хінтон зазвичай відмовляється робити прогнози більш ніж на п'ять років у майбутньому, відзначаючи, що експоненційний прогрес робить невизначеність занадто великою.[41] Проте, у неформальній бесіді в грудні 2015 року з панікером щодо екзистенціального ризику від штучного інтелекту Ніком Бостромом, підслухана журналістом Раффі Хатчадуріаном,[42] він повідомив, що не очікує, що сильний штучний інтелект буде створено протягом найближчих десятиліть («Не раніше 2070 року»), і що, у контексті дихотомії, яку раніше запровадив Бостром між людьми, які думають, що управління екзистенціальним ризиком від штучного інтелекту[en] — це, мабуть безнадійно, чи достатньо легко, щоб вона була вирішена автоматично, Хінтон «в таборі зневірених».[42] Він заявив: «Я думаю, що політичні системи використовуватимуть їх для тероризації людей» і висловив переконання, що такі агенції, як Агентство національної безпеки вже намагаються зловживати подібною технологією. На запитання Ніка Бострома, чому він продовжує дослідження, попри серйозність побоювань, Хінтон заявив: «Я можу дати вам звичайні аргументи. Але правда полягає в тому, що перспектива відкриття є дуже солодкою»[42] — посилання на зауваження Дж. Роберта Оппенгеймера під час допиту про те, чому він продовжував свої дослідження в Мангеттенському проекті. Згідно з тим самим звітом, Хінтон категорично не виключає, що люди контролюють штучний супер інтелект, але попереджає, що «немає хорошого досвіду менш розумних речей, які контролюють речі більшого інтелекту»[42].

Нагороди та відзнакиРедагувати

ПриміткиРедагувати

  1. а б https://www.cs.toronto.edu/~hinton/fullcv.pdf
  2. https://www.cs.toronto.edu/~amnih/
  3. Daniela Hernandez (7 May 2013). The Man Behind the Google Brain: Andrew Ng and the Quest for the New AI. Wired. Процитовано 10 May 2013. 
  4. Geoffrey E. Hinton – Google AI. Google AI (en). 
  5. а б Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (9 October 1986). Learning representations by back-propagating errors. Nature (En) 323 (6088): 533–536. ISSN 1476-4687. doi:10.1038/323533a0. 
  6. а б в Schmidhuber, Jürgen (2015-01-01). Deep learning in neural networks: An overview. Neural Networks 61: 85–117. PMID 25462637. arXiv:1404.7828. doi:10.1016/j.neunet.2014.09.003. 
  7. Geoffrey Hinton was briefly a Google intern in 2012 because of bureaucracy – TechCrunch. techcrunch.com (en-US). Процитовано 28 March 2018. 
  8. Somers, James. Progress in AI seems like it's accelerating, but here's why it could be plateauing. MIT Technology Review (en). Процитовано 28 March 2018. 
  9. How U of T's 'godfather' of deep learning is reimagining AI. University of Toronto News (en). Процитовано 28 March 2018. 
  10. 'Godfather' of deep learning is reimagining AI. Процитовано 28 March 2018. 
  11. Geoffrey Hinton, the 'godfather' of deep learning, on AlphaGo. Macleans.ca (en-US). 18 March 2016. Процитовано 28 March 2018. 
  12. Dave Gershgorn (18 June 2018). The inside story of how AI got good enough to dominate Silicon Valley. Quartz. Процитовано 5 October 2018. 
  13. Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey E. (3 December 2012). ImageNet classification with deep convolutional neural networks. Nips'12. Curran Associates Inc. с. 1097–1105. 
  14. How a Toronto professor's research revolutionized artificial intelligence | Toronto Star. thestar.com (en). Процитовано 13 March 2018. 
  15. 27 Mar, Emily Chung · CBC News · Posted:; March 27, 2019 6:00 AM ET | Last Updated:. Canadian researchers who taught AI to learn like humans win $1M award | CBC News. CBC (en). Процитовано 27 March 2019. 
  16. а б в г Anon (2015) Шаблон:Who's Who DOI:10.1093/ww/9780199540884.013.20261   (необхідна підписка)
  17. Salt, George (1978). Howard Everest Hinton. 24 August 1912-2 August 1977. Biographical Memoirs of Fellows of the Royal Society 24: 150–182. ISSN 0080-4606. doi:10.1098/rsbm.1978.0006.  Проігноровано невідомий параметр |title-link= (довідка)
  18. а б Джефрі Гінтон(англ.) в проекті «Математична генеалогія».
  19. Geoffrey E. Hinton's Academic Genealogy
  20. Gregory, R. L.; Murrell, J. N. (2006). Hugh Christopher Longuet-Higgins. 11 April 1923 -- 27 March 2004: Elected FRS 1958. Biographical Memoirs of Fellows of the Royal Society 52: 149–166. doi:10.1098/rsbm.2006.0012.  Проігноровано невідомий параметр |title-link= (довідка)
  21. Hinton, Geoffrey Everest (1977). Relaxation and its role in vision. lib.ed.ac.uk (University of Edinburgh). OCLC 18656113. EThOS uk.bl.ethos.482889.  Проігноровано невідомий параметр |degree= (довідка); Проігноровано невідомий параметр |hdl= (довідка)
  22. а б в Smith, Craig S. (23 June 2017). The Man Who Helped Turn Toronto into a High-Tech Hotbed. The New York Times. Процитовано 27 June 2017. 
  23. https://www.cs.toronto.edu/~hinton/fullcv.pdf
  24. Архівована копія. Архів оригіналу за 31 грудень 2016. Процитовано 31 травень 2019. 
  25. (12 March 2013). "U of T neural networks start-up acquired by Google". Прес-реліз. Переглянутий 13 March 2013.
  26. Ford, Martin (2018). Architects of Intelligence: The truth about AI from the people building it. Packt Publishing. ISBN 978-1-78913-151-2. 
  27. Ackley, David H; Hinton Geoffrey E; Sejnowski, Terrence J (1985), «A learning algorithm for Boltzmann machines», Cognitive science, Elsevier, 9 (1): 147—169
  28. Hinton, Geoffrey E. Geoffrey E. Hinton's Publications in Reverse Chronological Order. 
  29. Sabour, Sara; Frosst, Nicholas; Hinton, Geoffrey. October 2017. «Dynamic Routing Between Capsules»
  30. «Matrix capsules with EM routing» 3 November 2017. OpenReview.net
  31. Geib, Claudia. 2 November 2017. «We've Finally Created an AI Network That's Been Decades in the Making» Futurism.com
  32. Zemel, Richard Stanley (1994). A minimum description length framework for unsupervised learning. proquest.com (University of Toronto). OCLC 222081343.  Проігноровано невідомий параметр |degree= (довідка)
  33. Frey, Brendan John (1998). Bayesian networks for pattern classification, data compression, and channel coding. proquest.com (University of Toronto). OCLC 46557340.  Проігноровано невідомий параметр |degree= (довідка)
  34. Neal, Radford (1995). Bayesian learning for neural networks. proquest.com (University of Toronto). OCLC 46499792.  Проігноровано невідомий параметр |degree= (довідка)
  35. Salakhutdinov, Ruslan (2009). Learning deep generative models. proquest.com (University of Toronto). ISBN 9780494610800. OCLC 785764071.  Проігноровано невідомий параметр |degree= (довідка)
  36. Sutskever, Ilya (2013). Training Recurrent Neural Networks. proquest.com (University of Toronto). OCLC 889910425.  Проігноровано невідомий параметр |degree= (довідка)
  37. Yann LeCun's Research and Contributions. yann.lecun.com. Процитовано 13 March 2018. 
  38. The Isaac Newton of logic
  39. Salt, George (1978). Howard Everest Hinton. 24 August 1912-2 August 1977. Biographical Memoirs of Fellows of the Royal Society 24: 150–182. ISSN 0080-4606. doi:10.1098/rsbm.1978.0006.  Проігноровано невідомий параметр |title-link= (довідка)
  40. а б Shute, Joe (26 August 2017). The 'Godfather of AI' on making machines clever and whether robots really will learn to kill us all?. The Telegraph. Процитовано 30 January 2018. 
  41. Hinton, Geoffrey. Lecture 16d The fog of progress. 
  42. а б в г Khatchadourian, Raffi (16 November 2015). The Doomsday Invention. The New Yorker. Процитовано 30 January 2018. 
  43. Anon (1998). Professor Geoffrey Hinton FRS. London: Royal Society. Архів оригіналу за 3 November 2015.  One or more of the preceding sentences incorporates text from the royalsociety.org website where:
    "All text published under the heading 'Biography' on Fellow profile pages is available under Creative Commons Attribution 4.0 International License." --Royal Society Terms, conditions and policies. Архів оригіналу за 11 November 2016. Процитовано 2016-03-09.