Штучна нейронна мережа: відмінності між версіями

[перевірена версія][перевірена версія]
Вилучено вміст Додано вміст
м автоматична заміна {{Не перекладено}} вікі-посиланнями на перекладені статті
BunykBot (обговорення | внесок)
м автоматична заміна {{Не перекладено}} вікі-посиланнями на перекладені статті
Рядок 297:
=== Тензорні глибинні складальні мережі ===
 
Ця архітектура є розширенням глибинних складальних мереж (ГСМ). Вона пропонує два важливі поліпшення: вона використовує інформацію вищого порядку з [[Коваріація|коваріаційних]] статистик, і перетворює {{нп|[[Опукла оптимізація|неопуклу задачу||Convex optimization}}]] нижчого рівня на опуклу підзадачу вищого рівня.<ref name="ref19">{{cite journal|last2=Deng|first2=Li|last3=Yu|first3=Dong|date=2012|title=Tensor deep stacking networks|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=1-15|issue=8|pages=1944–1957|doi=10.1109/tpami.2012.268|last1=Hutchinson|first1=Brian}} {{ref-en}}</ref> ТГСМ використовують коваріаційні статистики у [[Білінійне відображення|білінійному відображенні]] з кожного з двох окремих наборів прихованих вузлів одного й того ж рівня на передбачення, через [[тензор]] третього порядку.
 
Хоча розпаралелювання та масштабованість і не розглядаються серйозно в звичайних {{H:title|Глибинна нейронна мережа|ГНМ}},<ref name="ref26">{{cite journal|last2=Salakhutdinov|first2=Ruslan|date=2006|title=Reducing the Dimensionality of Data with Neural Networks|journal=Science|volume=313|issue=5786|pages=504–507|doi=10.1126/science.1127647|pmid=16873662|last1=Hinton|first1=Geoffrey|bibcode=2006Sci...313..504H}} {{ref-en}}</ref><ref name="ref27">{{cite journal|last2=Yu|first2=D.|last3=Deng|first3=L.|last4=Acero|first4=A.|date=2012|title=Context-Dependent Pre-Trained Deep Neural Networks for Large-Vocabulary Speech Recognition|journal=IEEE Transactions on Audio, Speech, and Language Processing|volume=20|issue=1|pages=30–42|doi=10.1109/tasl.2011.2134090|last1=Dahl|first1=G.}} {{ref-en}}</ref><ref name="ref28">{{cite journal|last2=Dahl|first2=George|last3=Hinton|first3=Geoffrey|date=2012|title=Acoustic Modeling Using Deep Belief Networks|journal=IEEE Transactions on Audio, Speech, and Language Processing|volume=20|issue=1|pages=14–22|doi=10.1109/tasl.2011.2109382|last1=Mohamed|first1=Abdel-rahman}} {{ref-en}}</ref> все навчання {{H:title|Глибинна складальна мережа|ГСМ}} і {{H:title|Тензорна глибинна складальна мережа|ТГСМ}} здійснюється в пакетному режимі, щоби уможливлювати розпаралелювання.<ref name="ref16" /><ref name="ref17" /> Розпаралелювання дозволяє масштабувати цю конструкцію на більші (глибші) архітектури та набори даних.