Відкрити головне меню

Генеративні змага́льні мере́жі (англ. Generative adversarial networks, GANs) є класом алгоритмів штучного інтелекту, що використовуються в навчанні без учителя, реалізовані системою двох штучних нейронних мереж, які змагаються одна з одною в рамках гри з нульовою сумою. Вони були запроваджені Яном Гудфелоу[en] в 2014 році.[1] Ця методика дозволяє створювати фотографії, які для побіжного людського ока виглядають як справжні та мають багато реалістичних елементів (хоча в тестах люди можуть відрізнити реальні зображення від згенерованих у багатьох випадках).[2]

МетодРедагувати

Одна мережа генерує кандидатів (генератор), а інша оцінює їх (дискримінатор).[3][4][5][6] Як правило, генеративна мережа навчається будувати відповідності з латентного простору до певного розподілу даних, тоді як дискримінаційна мережа розрізняє представників справжнього розподілу даних та кандидатів, вироблених генератором. Метою тренувальної мережі є збільшення частоти помилок дискримінаційної мережі (тобто «обдурити» дискримінатор шляхом створення нових синтезованих екземплярів, які повинні походити на представників справжнього розподілу даних).[3][7]

На практиці заздалегідь відомий набір даних використовують як початкові навчальні данні для дискримінатора. Навчання дискримінатора передбачає забезпечення його зразками з набору даних, доки він не досягне певного рівня точності. Зазвичай генератор на початку отримує випадково відбирані дані із заздалегідь визначеного латентного простору[4] (наприклад, за допомогою багатовимірного нормального розподілу. Після цього зразки, синтезовані генератором, оцінюються дискримінатором. Метод зворотного поширення помилки застосовується в обох мережах[5], так що генератор створює кращі зображення, тоді як дискримінатор стає більш кваліфікованим при визначенні синтезованих зображень.[8] Генератор, як правило, є деконволюційною нейронною мережею, а дискримінатор — згортковою нейронною мережею.

Ідея вивести моделі в конкурентному середовищі (модель проти дискримінатора) була запропонована Лі, Гаучі та Гросом в 2013 році.[9]. Їх метод використовується для висновків поведінки. Це називається навчання по Тюрінгу (англ. Turing Learning),[10] оскільки цей параметр схожий на тест Тюрінга. Навчання по Тюрінгу є узагальненням генеративної змагальної мережі.[11] У них можуть розглядатись і моделі відмінні від нейронних мереж. Крім того, дискримінаторам дозволяється впливати на процеси, з яких отримані набори даних, що робить їх активними учасниками, як у тесті Тюрінга. Ідею змагального навчання можна знайти й у більш ранніх роботах, таких як стаття Шмідхубера (англ. Schmidhuber) 1992 року.[12]

ЗастосуванняРедагувати

ГЗМ використовуються для створення зразків фотореалістичних зображень з метою візуалізації нових дизайнів інтер'єру та промислового дизайну, взуття, сумок, одягу та предметів для сцен у комп'ютерних іграх. Відомо, що ці мережі використовуються Facebook.[13] Нещодавно ГЗМ змоделювали закономірності руху у відео.[14] Вони також використовувались для реконструкції 3D-моделей об'єктів зображень[15] і для покращення зображень в астрономії.[16] У 2017 для суттєвого поліпшення якості фотографій використовувався удосконалена ГЗМ з автоматичною генерацією текстур. Від системи вимагалось скоріше створення реалістичних текстур ніж піксельна деталізація. Результатом була висока якість зображення при високій роздільній здатності.[17]

ПосиланняРедагувати

  1. Goodfellow, Ian; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Joshua (2014). «Generative Adversarial Networks». arXiv:1406.2661 [cs.LG]. 
  2. Salimans, Tim; Goodfellow, Ian; Zaremba, Wojciech; Cheung, Vicki; Radford, Alec; Chen, Xi (2016). «Improved Techniques for Training GANs». arXiv:1606.03498 [cs.LG]. 
  3. а б Goodfellow, Ian J.; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Yoshua (2014). «Generative Adversarial Networks». arXiv:1406.2661 [stat.ML]. 
  4. а б Thaler, SL, US Patent 05659666, Device for the autonomous generation of useful information, 08/19/1997.
  5. а б Thaler, SL, US Patent, 07454388, Device for the autonomous bootstrapping of useful information, 11/18/2008.
  6. Thaler, SL, The Creativity Machine Paradigm, Encyclopedia of Creativity, Invention, Innovation, and Entrepreneurship, (ed.) E.G. Carayannis, Springer Science+Business Media, LLC, 2013.
  7. Luc, Pauline; Couprie, Camille; Chintala, Soumith; Verbeek, Jakob (2016-11-25). Semantic Segmentation using Adversarial Networks. NIPS Workshop on Adversarial Training, Dec , Barcelona, Spain 2016. Bibcode:2016arXiv161108408L. arXiv:1611.08408. 
  8. Andrej Karpathy, Pieter Abbeel, Greg Brockman, Peter Chen, Vicki Cheung, Rocky Duan, Ian Goodfellow, Durk Kingma, Jonathan Ho, Rein Houthooft, Tim Salimans, John Schulman, Ilya Sutskever, And Wojciech Zaremba. Generative Models. OpenAI. Процитовано April 7, 2016. 
  9. Li, Wei; Gauci, Melvin; Gross, Roderich (July 6, 2013). A Coevolutionary Approach to Learn Animal Behavior Through Controlled Interaction. Proceedings of the 15th Annual Conference on Genetic and Evolutionary Computation (GECCO 2013). Amsterdam, The Netherlands: ACM. с. 223–230. 
  10. Li, Wei; Gauci, Melvin; Groß, Roderich (30 August 2016). Turing learning: a metric-free approach to inferring behavior and its application to swarms. Swarm Intelligence 10 (3): 211–243. doi:10.1007/s11721-016-0126-1. 
  11. Gross, Roderich; Gu, Yue; Li, Wei; Gauci, Melvin (December 6, 2017). Generalizing GANs: A Turing Perspective. Proceedings of the Thirty-first Annual Conference on Neural Information Processing Systems (NIPS 2017). Long Beach, CA, USA. с. 1–11. 
  12. Schmidhuber, Jürgen (November 1992). Learning Factorial Codes by Predictability Minimization. Neural Computation (en) 4 (6): 863–879. doi:10.1162/neco.1992.4.6.863. 
  13. Greenemeier, Larry (June 20, 2016). When Will Computers Have Common Sense? Ask Facebook. Scientific American. Процитовано July 31, 2016. 
  14. Generating Videos with Scene Dynamics. web.mit.edu. 
  15. 3D Generative Adversarial Network. 3dgan.csail.mit.edu. 
  16. Schawinski, Kevin; Zhang, Ce; Zhang, Hantian; Fowler, Lucas; Santhanam, Gokula Krishnan (2017-02-01). Generative Adversarial Networks recover features in astrophysical images of galaxies beyond the deconvolution limit. Monthly Notices of the Royal Astronomical Society: Letters: slx008. arXiv:1702.00403. doi:10.1093/mnrasl/slx008. 
  17. Sajjadi, Mehdi S. M.; Schölkopf, Bernhard; Hirsch, Michael (2016-12-23). EnhanceNet: Single Image Super-Resolution Through Automated Texture Synthesis. arXiv:1612.07919 [cs].