Корисник:VidoMladenovic/песак

Дубоко учење (такође познат као дубоко структурисано учење, хијерархијско учење или дубоко машинско учење)- одељак машинског учења на основу скупа алгоритама  који покушавају да обраде податке апстракције на високом нивоу коришћењем слојевитих наслага, са сложеним структурама или на други начин, састављеним од више не-линеарних преносликавања.

Дубоко учење је део широке породице метода машинског учења заснованог на учењу према датим подацима. Запажање (нпр. слике) може бити представљено на много начина као што је вектор вредности интензитета по пикселу, или на више апстрактан начин као скуп ивица, области одређеног облика. Нека престављања су боља од других у поједностављивању задатака (нпр. препознавање лица или израза лица)из примера. Једно од обећања дубоког учења је замена ручних функција са ефикасним алгоритмима за учење са или без надзора и хијерархијско порекло особина

Истраживања у овој области покушавају да направе боља приказивања података и да направе модел који ће обухватити сва истраживања напретком у неуронауци и она су слабо заснована на тумачењу процесних информација и комуникацијских образаца у нервном систему, као што је неуронско кодирање које покушава да одреди везу између различитих стимулуса и повезаних неуронских одговора у мозгу..

Различите архитектуре дубоког учења као што су дубоке неуронске мреже,  мреже дубоког уверења и повратне неуронске мреже су примењене у областима као што су рачунарска визија, аутоматско препознавање говора, обрада природног језика, препознавање гласа и биоинформатике где су приказани производи резултата state-of-the-art на различитим задацима.

Дубоко учење је означено као крилатица или редефинисање неуронских мрежа.

Увод

Дефиниције

Постоје више начина који одређују поље дубоког уччења. На пример, у 1986. години, Рина Декстер  је представила концепт првог и другог реда дубоког учења у смислу принудног задовољства.  Касније, дубоко учење је било одређено као врста машинског учења алгоритама.

• Користити низ (cascade) слојевитих нелинеарних јединица за особине издвајања и променна. Сваки следећи слој користи излаз из претходног слоја као улаз. Алгоритми могу бити под надзором или без надзора и апликације садрже анализу узорка (без надзора) и класификацију (надзиране).
  
• Заснивају се на (без надзора) учење више нивоа особина или представљање података. Виши нивои особина су изведени из нижих како би образовали хијерархијско представљање
  
• Су део ширег поља (области) машинског учења представљања података.
• Научити више нивое представљања који одговарају различитим нивоима апстракције; нивои образују хијерархију појмова.

Ове дефиниције имају заједничко (1) вишеслојне обрађене јединице и (2) учење особина представљене у сваком слоју-надгледане или без надзора, које са слојевима образују хијерархију са ниског до високог нивоа особина. Састав слоја нелинеарних процесних јединица коришћених у алгоритму дубоког учења зависи од проблема који мора бити решен. Слојеви који су коришћени у дубоком учењу укључују скривене слојеве вештачке нервне мреже и комплета компликованих пропозицијских формула. Она такође могу да садрже сакривене променљиве слојеве у дубоким генеративним моделима као што су чворови у Мрежи дубоког веровања и Дубоким Болтмазовим машинама.

Дубоки алгоритми за учење мењају њихово довођење кроз више слојева него плитки алгоритми учења. На сваком слоју, сигнал се преноси помоћу процесне (развојне) јединице, као вештачки неурон, чији параметри су „научени“ кроз обуку. Ланац преноса од улаза до излаза је пут кредитног задатка (САР). САР описује потенцијално узрочно-последичне везе између улаза и излаза и могу бити различите у дужини. За напредну неуронску мрежу, дубина САР и такође дубина мреже је број скривених слојева плус један (излазни слој је такође параметаризован). За повратну нервну мрежу, у којој се сигнал може појавити кроз слој више него једном, САР је потенцијално неограничен у дужини. Не постоји универзално договорени праг дубине између подељеног плитког и дубоког учења, али већина истраживања у овој области слаже се да дубоко учење има више нелинеарних слојева (САР>2) и Шмидхубер сматра САР>10 веома дубоким учењем.

Основни појмови

Дубоки алгоритми за учење су засновани на равномерном представљању. Основна претпоставка иза равномерних представљања је да су посматрани подаци добијени (настали) од интеракције фактора који се налазе у слојевима.

Дубоко учење користи ову идеју хијерархијског објашњења фактора где виши ниво са више апстрактних појмова учи од оних на нижем нивоу. Ове структуре су често настале са похлепном методом слој-по-слој. Дубоко учење помаже да се раздвоје ове апстракције и да се одабере које особине су корисне за учење.

За надгледане задатке учења, методе дубоког учења избегавају особине инжењеринга, превођењем података у збијено средње представљање слично главним компонентама, и изводи слојевите структуре које уклањају вишак снаге у представљању.

Многи алгоритми дубоког учења се примењују на учење задатка без надзора. Ово је важно јер необележени подаци су обично бројнији од обележених. Примери дубоких структура који могу бити коришћени у рад без надзора су историја нервног компресора и дубоко уверење мрежа.

Тумачења

Дубоке неуронске мреже се уопштено користе у терминима: Теорема универзалне апросксимације или Пробабилистички закључак.

Тумачење теореме универзалне апроксимације

Теорема универзалне апросксимације обухвата способност напредне мреже неурона са једним скривеним слојем коначне величине до приближних непрекидних функција.

Први доказ објавио је 1989.год. Џорџ Кјубенко за сигмоидне функције активације а 1991.год. Курт Хорник је то уопштио за напредне вишеслојне архитектуре

Пробалистичко тумачење

У пробалистичко тумачење произилази из области машинског учења. Особине су изведене , исто као и оптимизација концептне обуке и тестирања, повезаних респективно са подешавањима и генерализацијом. Тачније, пробабилистичко тумачење подразумева не-линеарну активност као функцију кумулативне расподеле.  Види мрежу дубоког уверења.Пробабилистичко тумачење води до увођења испада као уређивача неуронске мреже.

Гиоф Хинтон, Јошуа Бенгио, Јан ЛеЦун и Јурген Шмидхубер су увели и представили појам пробабилистичког тумачења.

Историја

Украјински математичари Иваненко и Лап први су објавили уопштен рад учења алгоритма за надгледање напредне вишеслојне (перцептронс).  Рад из 1971.год. је већ описао дубоку мрежу са 8 слојева обучених по модулу групе за обраду података алгоритама која је и даље популарна. Ове идеје су извршене у систему рачунарске идентификације „Алфа“, који је показао процес учења. Други процеси дубоког учења, посебно они изграђени из вештачке неуронске мреже (ANN) потичу из "Неоконгринтон" који је увео Куникихо Фукушима 1980.године. Само ANN датира још даље. Изазов је био како га припремити за мреже са више слојева. Јан ЛеЦун и други 1989. су били у могућности да примене стандардни бекпропагејшн алгоритам, који се примењивао као супротан модел аутоматске диференцијеције од 1970, до дубоке неуронске мреже са циљем препознавања шифре писане руком на мејл. Поред успеха примене алгоритма, време припреме мреже са овим подацима било је отприлике 3 дана, чинећи га непрактичним за општу употребу. Јурген Шмидхуберoва историја неуронског компресора имплементирала је гомилу текућих мрежа неурона (РНН), решен задатак "Веома дубоког учења"који захтева више од 1000 слојева у једном РНН.  Бернард Фреј је 1995. год. показао да је могуће тренирати мрежу која садржи шест потпуно повезаних слојева и неколико стотина скривених јединица користећи алгоритам за буђење који је развио заједно са Петер Даиана и Џефри Хинтон. Међутим, обука је трајала два дана.

Сеп Хохрајтер је 1991.год. анализирао проблем нестајања градијента.

До 1991.год такве неуронске мреже су коришћене за препознавање изолованих 2-D ручно писаних бројева, препознавање 3-D предмета је рађено подударањем 2-D слика са ручно-рађеним 3-D моделом. Јујанг Венг и остали су предложили да људски мозак не користи монолитички 3-D модел и 1992. они су објавили Кресцептрон, методу за извођење 3-D препознавања предмета директно из пренатрпаних сцена. Кресцептрон је каскада слојева слична Неоконгринтон. Али док Неоконгринтон захтева човека за ручно спајање особина, Кресцептрон аутоматски учи отворени број особина без надзора у сваком слоју, где је свака особина представљена од стране сазивног језгра. Кресцептрон такође дели сваки објекат из пренатрпаних сцена кроз повратне-анализе кроз мрежу.Max pooling, сада често прихваћен од дубоких неуронских мрежа (на пр. тестови слика), је први пут коришћен у Кресцептрон-у да смањи резолуцију фактором(2х2) на 1 кроз каскаде до боље генерализације. Поред ових предности, једноставнији модели који користе специфичан број ручних функција као што су Габор филтери и подржавајуће векторске машине (СВМ) били су добар избор 1990.-тих и 2000.-тих због рачунарских трошкова ANN-а у то време и велики недостатак разумевања како мозак самостално плете своје биолошке мреже.

У дугој историји препознавања гласа, и плитко и дубоко учење вештачке неуронске мреже истраживано је дуги низ година. Али ове методе никада нису биле боље од non-uniform internal-handcrafting Gaussian mixture model/Hidden Markov model (ГMM-ХMM)- технологија заснована на генеративним моделима говора дискриминативно. Један број кључних проблема био је методолошки анализиран, укључујући смањење нагиба и слабе временске структуре корелације у предвиђеним моделима неурона. Додатне потешкоће биле су недостатак података и слаба снага рачунара у тим раним данима. Већина истраживача који су разумели такве препреке удаљили су се од неуронских мрежа да наставе генеративно моделирање. Изузетак је био СРИ International касних 90-тих. Финансиран од стране владе САД НСА и ДАРПА, СРИ је спровео истраживање на дубоким неуронским мрежама у говору и препознавању говорника. Тим за препознавање говорника, на челу са Лари Хек-ом, постигао је први значајан успех са дубоким мрежама неурона у обради говора као што је приказано у 1998. години НИСТ (Национални институт за стандарде и технологију) а касније је објављен у часопису "Говорне комуникације". Док СРИ развија успех са дубоким мрежама наурона у препознавању говорника, били су неуспешни у представљању сличног успеха у препознавању говора. Hinton и Deng су прегледали део ове новије историје о њиховој међусобној сарадњи, а онда са колегама кроз 4 групе(University of Toronto, Microsoft, Google, и IBM) изазвали ренесансу дубоке проактивне мреже неурона у препознавању говора.

Данас, међутим, многи аспекти препознавања говора су преузети од методе дубоког учења зване Дуго краткротајно памћење (ЛСТМ), а повратне неуронске мреже објавили су Сеп Хохрајтер и Јурген Шмидхубер у 1997.години.  ЛСТМ РНН избегава проблем нестајања градијента и можемо да га научимо задатке "Веома Дубоког учења" , који захтевају памћење догађаја који су се догодили пре хиљада интервала, што је важно за говор. ЛСТМ је 2003.године постао конкурентан са традиционалним препознавањем гласа на одређеним задацима. Касније је комбинован са СТС на стеку са ЛСТМ РНН. Google препознавање говора је доживеlo драматичан раст у 2015.години од 49% кроз СТС обучен ЛСТМ који је сада доступан преко Google Voice ка свим корисницима паметних телефона. .

Према истраживању, израз "дубинско учење"  представља заједницу машинског учења Рине Декстер из 1986. године и касније oд Вештачке мреже неурона Игора Аизанберга и колега у 2000.години. Google Нграм - дијаграм показује да је коришћење термина у употреби од 2000.године. Публикација Жофри Хинтон и Руслан С. привукла је додатну пажњу показујући колико слојева проактивне-напредне мреже треба да буду ефективне пре обраде једног слоја, истовремено, третирајући сваки слој повремено као без надзора ограничена Boltzmann машина, а онда фино подешавање коришћењем (надгледања сузбијања ширења) Шмидхубер је 1992. године већ имплементирао веома сличну идеју за ненадгледану дубоку хијерархију повратне неуронске мреже и такође експериментално показао његове предности за убрзавање учења(надгледаног).

ООд овог оживљавања, дубоко учење је постало део многих state-of-the-art система у различитим дисциплинама, нарочито рачунарске визије и аутоматско препознавање говора (АSR). Резултати се обично користе за оцењивање скупова као што су ТИМИТ (АСР) и МНИСТ(обрађивање слика), као и широк опсег препознавања речи и говора који стално напредују са новим апликацијама дубоког учења. нНедавно је показано да је архитектура дубоког учења у облику CNN У сваком случају оне се више користе у рачунарској визији него у АСР, а модерна велика скала препознавања говора се типично односи на СТС за ЛСТМ.

Стварни утицај дубоког учења у индустрији почео је раних 2000тих. година када је CNN већ почела да процењује 10% до 20% свих провера написани у САД раних 2000тих. према Јан Ле Цун. Препознавање говора у индустрији почело је око 2010. године. Крајем 2009. године Ли Денг је позвао Жофрија Хинтона да ради са њим и колегама у Microsoft Research и да примене дубоко учење за препознавање говора. Они су заједно организовали NIPS 2009.године радионицу дубоког учења за препознавање говора. Радионица је била мотивисана ограниченим дубоким генеративним моделима говора и могућностима да су велики рачунар као и подаци захтевали озбиљну неуронску мрежу(ДНН). Веровало се да (ДНН) користи генеративне моделе мреже дубоког веровања (DВN) и да би могли да превазођу главне потешкоће неуронске мреже са којима су се суочавали 1990тих. година. У сваком случају, рано у овом истраживању у Microsoft, откривено је да без обуке унапред, али коривстивши велику количину података за обуку, а нарочито (ДНН), створен са одговарајућим великим излазним слојевима, ствара гршке знатно ниже него тада state-of-the-art ГMM-ХMM и такође од напредног генеративног заснованог модела система за препознавање гласова. Ово отркиће је било потврђено од стране неколико група за препознавање гласова. Дакле, систем препознавања грешака створен од два типа система, био је знатно другачији,  нудећи технички увид у то како интегрисати дубоко учење у већ постојећи ефикасан систем брзог одређивања гласа, који су развили главни играчи у индустрији препознавања гласова. Историја овог значајног развоја у дубоком учењу је описана и анализирана у неколико књига и чланака.

Развој хардвера је такође био важан у оногућавању обнављања интересовања за дубоко учење. Посебно, моћне графичке процесорске јединице(CPU) су добро прилагођене за обраде бројева, матрица/вектора- математике укључених у машинско учење. GPU су показали да треба убрзати алгоритме у смислу величине и тако скратити време за рад.(смањити од недеље до неколико дана).

Вештачке неуронске мреже

Неке од најуспешнијих метода дубоког учења укључују вештачке мреже неурона. Вештачке неуронске мреже су инспирисане биолошким моделом који су предложили Нобелови лауерати Давид Х. Хубел и Торстен Визел 1959. годне које је пронашао две врсте ћелија у основном визуелном контекту: једноставне и сложене ћелије. Многе вештачке неуронске мреже могу бити посматране као каскадни модели врста ћелија инспирисане овим биолошким посматрањем.

Фукушимин Неоконгрингтон увео је скуп мреже неурона делимично обучених за рад без људског надзора у неуро-равни. Јан Ле Цун и други 1989. године примењују сузбијање ширења на такве архитектуре. Венг и други су 1992 објавили Кресцептрон скуп* неуронске мреже за 3-D предмете на сликама са пренатрпаним сценама и издвајање таквих предмета са слика.

Очигледна потреба за препознавање општих 3-D предмета је најмање померање непроменљивости и толеранције до деформације. Max-pooling је први предложио Кресцептрону  да омогући мрежи да толерише од малих до великих деформација на хијерархијски начин, уз коришћење скупа*. Max-pooling помаже, али не гарантује померање непроменљивости на нивоу пиксела.

Са појавом бекпропагејшн алгоритма заснованог на аутоматској диференцијацији, многи истраживачи покушавали су да обуче под надзором дубоку вештачку неуронску мрежу од старта, у почетку са мало успеха. Дипломски рад Сеп Хохрајтер из 1991. године формално је пронашао разлог за овај неуспех као проблем недостатка прегиба, који утиче на многе слојевите напредне мреже и периодичне неуронске мреже. Периодичне неуронске мреже су обучене тако да се одвијају у веома дубоким напредне мрежама, где нови слој настаје за сваки временски интервал од улазне секвенце процесуиране у мрежи. Грешке настају од слоја до слоја, смањују се са бројем слојева и ометају подешавање тежине неурона која се заснива на овим грешкама.

Неколико метода је предложено како би се превазишао овај проблем. Један је Јурген Шмидхубер вишеслојна хијерархија мрежа(1992) која претходно тренира један ниво у року без надзорног учења, фино подешавање по бекпропагејшн алгоритму. Овде сваки ниво учи компресовано представљање запажања које се уноси у следећи ниво.

Друга метода је мрежа дуге-кратке меморије (ЛСТМ) Хохрајтер и Шмидхубер (1997). Дубоке мултидимензионалне (ЛСТМ) мреже освојиле су 2009. године три ИЦДАР такмичења која су повезана са препознавањем рукописа, без икаквог претходног знања о три језика.

Свен Бенке се 2003.године ослањао само на знак градијента који је уочавао свој Neural Abstraction Pyramid , да реши проблеме као што су реконструкције слике и локализација лица.

Друге методе такође користе без надзора пре-тренинг на структуру неуронске мреже, чинећи тако корисним детекторе функција. Онда је мрежа додатно обучена за надзор бекпропагејшн за одређивање обележених података. Хинтонов дубоки модел неуронске мреже(2006) укључује учење расподеле заступљености на високом нивоу користећи узастопне слојеве бинарних или стварних вредности латентних варијабли. Он користи ограничено Болтцманове машине за модел за сваки нови слој виших функција нивоа. Сваки нови слој гарантује повећање на нижи log likelihood података, чиме се побољшава модел, ако је исправно обучен. Када су слојеви једном довољно научени, дубока архитектура може се користити као генеративни модел за репродуковање података када се пробају пробни подаци са врха активације. Хинтонови модели су ефективни преко високо-димензионих, структурних података.

The Google Brain тиме вођен од Ендрју Нег и Џеф Дин створили су мрежу неурона која је нучила да препознаје концепте на високом нивоу, као што су мачке само од слика преузетих са YouTube.

Остале методе се ослањају на потпуне процесорне снаге модерних рачунара, нарочито GPU. Дан Кирешан и колеге у групи Јурген Шмидхубер у Swiss AI Lab ИДИСИА, показали су да упркос горе поменутом "настаје проблем градијената", претпостављена снага GPU чини план back-propagation изводљивим за дубоку напредну неуронску мрежу са много слојева. Овај метод је надмашио све отале технике машинског учења, познати МНИСТ проблем ручног писања цифара Јан Ле Цун и колега.

Отприлике у исто време, крајем 2009, мрежа дубоког учења напредује у препознавању говора, у оквиру NIPS радионице Дубоког учења и препознавања говора. Стални заједнички рад истраживача, између Мајкрсофта и Универзитета у Торонту, показали су до средине 2010.године, у Redmond, да дубоке неуронске мреже повезане са скривеним Марковим моделом зависе од контекста државе*, које одређује неуронску мрежу излазног слоја, могу драстично да смање грешке у препознавању говора богатог речника као што је гласовна порука. Исти дубоки модел мреже неурона је био показан на сакали Switchboard, годину дана касније у Microsoft Research Asia. Чак и раније, 2007.гододине ЛСТМ обучени за СТС почели су да добијају одличне резултате у одређеним апликацијама. Овај метод се сада широко користи, на пример у Google, на високо напредном препознавању говора за све кориснике паметних телефона.

Од 2011.године у мрежи дубоког учења увијених слојева и max-pooling слојева, прекривени су потпуно повезаним или делимично повезаним слојем праћени завршним слојем класификације. Обука се обично обављала без икаквог надзора пре-обуке. До 2011.год. GPU-основне имплементације  овог приступа, освојио је многа такмичења укључујући ИЈЦНН 2011, такмичење препознавања саобраћајних знакова, ИСБИ 2012 Сегментирање структуре неурона, такмичење Competition, и друга.

Овакве методе надгледаног дубоког учења такође су биле први вештачки пример препознавања одређених задатака.

Како би се превазишле препрке слабе AI представљене дубоким учењем, неопходно је зћи иза архитектуре дубоког учења, јер биолошки мозак користи и плитко и дубоко кружење и представља широки спректар непроменљивости. ANN су били у могућности да раде са малим природним предметима у великим пренатрпаним сценама само када се непроменљивост јавља иза сталности, ка свим ANN-наученим концептима, као што су положај, врста, скала, светло.   

Архитектура дубоких неуронских мрежа

Постоји велики број других облика дубоке архитектуре. Многи од њих су огранак неке архитектуре. Није увек могуће поредити их све заједно, јер нису оцењене са истим подацима. Област дубоког учења брзо расте, и нове архитектуре других облика или алгоритама појављују се сваких неколико недеља.

Кратко о мрежи дубоких неурона

Мрежа дубоких неурона (ДНН) је вештачка неуронска мрежа (АНН) са више скривених слојевних јединица између улазних и излазних слојева.  Слично са плитким (АНН), (DНН) може имати сложену не-линерану везу. (ДНН) архитектура, на пр. за откривање предмета и рашчлањивање чине композициони модел где је изражен објекат као наслагана целина ранијих слика. Додатни слојеви омогућавају особине композиције од нижих слојева до виших, додајући неколико сложених јединица од сличних који су изведени у плиткој мрежи.

ДНН су типично створене као феедфорвард мреже, али истраживање је веома успешно применило периодичне мреже неурона, нарочито ЛСТМ, за апликације као што је језичко моделирање. Увијене дубоке неуронске мреже (ЦНН) се користе код рачунарских визија где је њихов успех документован. ЦНН је такође показао велики успех у односу на претходне моделе код аутоматског препознававања гласова (АСР). Како би поједноставили, приказ обуке ДНН је дат овде. 

Метод обрнуто ширење грешке

DNN може бити неограничено тренирана са стандардним алгоритмима пропагејшн. Према различитим изворима,основа трајне пропагејшн је била изведена из контекста теорије контроле Henry J. Kelley 1960.године и Arthur E. Bryson 1961.године користећи основе динамичког програмирања. 1962, Стјуарт Дрејфус објавио је једноставно порекло засновано само на правилу ланца.  Артур Е. Брајсон и Ју-чи Хо описали су то као виши степен динамичног система методе оптимизације 1969.године.1970, Сеп Линаиман је коначно објавио општу методу за аутоматску диференцијацију (AD) посебно повезане мреже увијених диференцијабилних функција. Ово одговара модерној верзији пропагејшн која је стварна чак и када су мреже ретке. Стјуарт Дрејфус 1973.год. је користио пропагејшн да прилагоди параметре управљања у одноасу на грешке градијента.. Пол Вербос је 1974.године споменуо могућност примене овог начела на АНН, и 1982.године он је применио Линаиман AD метод на мреже неурона на начин који и данас има широку употребу 1986, Давид E. Румелхарт, Жофри E. Хинтон and Роналд J. Вилијамс су показали кроз рачунарске експеримене да овај метод може генерисати корисне интерне репрезентације улазних података у скривеним слојевима неуронске мреже. Ерик А. Ван је био први који је 1993. године освојио међународно признање на такмичењу препознавања у оквиру пропагејшн.

Тежина података пропагејшн може бити урађена помоћу stochastic градијента спуштања коришћењем следеће једнакости:

$w_{ij}(t+1)=w_{ij}(t)+\eta {\frac {\partial C}{\partial w_{ij}}}$

Овде, $\eta$ је степен учења, $C$ је вредност. Избор функције цена зависи од фактора као што су врста учења(надгледано, ненадгледано, појачано...) и функције активације. На пример када се изводи надлгедано учење на проблему класификације, заједнички избори за функције активације и учења су: софтмакс функције и cross entropy функције. Функције софтмакс се одређује помоћу $p_{j}={\frac {\exp(x_{j})}{\sum _{k}\exp(x_{k})}}$ , где $p_{j}$ представља вероватноћу класе(излаз јединице $j$) а $x_{j}$ и $x_{k}$ представљају потпуни улаз до јединица $j$ и $k$ истог нивоа. Крос ентропи се одређује као $C=-\sum _{j}d_{j}\log(p_{j})$ , где $d_{j}$ представља циљану вероватноћу за излазну јединицу $j$ а $p_{j}$ је вероватноћа излаза за $j$ после примене функције активације.

Ово се може користити за излазне објекте граничне кутије у облику маске. Они се такође користе за multi-scale регресију да повећају прецизност локализације. ДНН може да научи особине за хватање геометријских информације, поред тога што је добар класификатор. Они померају и њихове везе. Ово нам помаже да научимо широку разноликост предмета. Модел се састоји од више слојева, сваки од њих има очишћену линеарну јединицу за не линеарну трансформацију. Неки слојеви су увијени док су остали потпуно повезани. Сваки увијени слој има додатни max pooling. Мрежа је обучена да минимизира Л2 грешку за предвиђање рангирања маске преко целог тренутка садржећи bounding boxes представљање као маске. 

Проблеми са дубоким неуронским мрежама

Као и са АНН многа питања се могу појавити са ДНН ако су неискусно третирани. Два заједничка питања су тренирање и рачунање времена.

ДНН су склони тренирању због додатних слојева абстракције који им дозвољавају модел који је мање завистан у одлуци. Методи регулације као што је Иваненков или поремећена тежина ($\ell _{2}$регуларизација) или раштрканост($\ell _{1}$-регуларизација), могу бити додати током обуке како би помогли пре-обуци.

Скорија метода регуларизације додата на ДНН је регуларизација испадања. У испадању, неки број јединица су случајно изостављене из скривених слојева током тренинг. Ово помаже да се пробије ретка зависност која се може појавити у тренингу података. Доминантни метод за тренирање ових структура је тренинг исправљања грешака током којих се јавља имплементација и намера да се приближе бољој локалној оптимизацији од других метода. Ове методе могу бити скупе, нарочито за ДНН. Има много параметара који могу бити разматрани са ДНН, као што су величина(број слојева и број јединица по слоју), стопа учења и почетна тежина. Чишћење кроз простор параметара за оптималне параметре можда неће бити могуће и односу на цену и изворе. Разни трикови као што су коришћење mini-batching(израчунавање нагиба на неколико примера тренинга и једном ређе него индивидуални примери) показали су брзину у пребројавању. Велики пропусна моћ кроз GPU произвела је значајну брзину у тренингу, због израчунавања матрице и вектора који су потребни је погодна за GPU. ,   

Прва мрежа дубоког учења из 1965: ГМДХ

Према историјским истраживањима, прва функционална мрежа дубоког учења са много слојева, објављена је од Иваненка и В. Г. Лапе, 1965. године. Алгоритам за учење звао се Групни метод чувања података или ГДМХ. ГДМХ описује потпуно аутоматско структуирање и параметарску оптимизацију модела. Функције активирање мрежних чворова су Колмогоров-Габор полинома који дозвољавају допуне и множења. Иваненков рад описује учење дубоке феедфорвард вишеслојне перцепције са 8 слојева, већ много дубље него многе касније мреже. Мрежа надгледаног учења расте слој по слој, где је сваки слој трениран анализом регресија. С времена на време бескорисни неурони су погођени сетом за валидацију, и смањени су кроз регуларизацију. Величина и дубина резултата мреже зависе од проблема. Варијације ове методе се и даље користе.

Увијене неуронске мреже

CNN је постао метода избора за процесирање визуелног и друга два димензионална податка. СНН је састављена од једног или више увијених слојева са потпуно повезаним слојевима на врху. Нарочито max-pooling се често користио у Фукушима увијеној архитектури. Ова архитектура дозвољава CНН да узме предности 2Д структуре улазних података. У поређењу са осталим дубоким архитектурама, увијене неуронске мреже показале су боље резултате у препознавању слика као и у апликацији препознавања говора. СНН су лакше за обуку од осталих редовних, дубоких, напредних неуронских мрежа и имају мање параметара да процесуирају, чинећи их погодним за употребу.. 

Историја неуронског компресора

Проблем настајања градијента аутоматске диференцијације у неуронским мрежама је делимично савладан 1992.године помоћу раног генеративног модела званог Компресор историје неурона, имплементираног као ненадгледане гомиле повратне неуронске мреже (РНН). РНН на доводном нивоу учи да предвиди његову следећу апроксимацију од претходног довођења. Само непредљиве трансмисије неких РНН у хијерархији постају доводљиви до следћег нивао РНН који, према томе, ретко поново израчунава своје унутрашње стање. Сваки виши ниво РНН учи сажето представљање информација у РНН истог. То је урађено тако да секвенца довођења може бити прецизно реконструисана од секвенце представљача на највишем нивоу. Систем успешно минимизира дужину описа или негативан логаритам вероватноће података. Ако има доста учљиве предвидљивости у секвенцама долазећих података, онда највиши ниво РНН може користити надгледано учење и да лако подели чак и дубоке секвенце за веома кратко време између важних догађаја. Овакав систем је 1993.год. већ решио задатак "Веома дубоког учењаЋ који је захтевао више од 1000 следећих слојева у једном РНН, раширен у времену. 

Такође је могуће прочитати целу РНН хијерархију у само два РНН, звану "conscious" чункер (виши ниво) и "subconscious" аутоматизер(нижи ниво). Једном је чункер научио да предвиди и да компресује довођење које је и даље непредвидљиво помоћу аутоматизера; аутоматизер је принуђен у фази следећег учења да предвиди или имитира кроз посебне додатке једининице скривене јединице спорије променљивог чункер-а. Ово олакшава аутоматизеру да учи правилно, метко мења меморију за дуже временске интервале. Ово олакшава аутоматизеру да учини једном непредвидљиву трансмисију предвидљивом као што чункер може да се фокусира на подсећање и даље напредвидљивих догађаја, да компресује податке још више.

Повратне неуронске мреже

Повратне неуронске мреже су створене додавањем истог сета тежина рекурзивно , преко различитих graph-like стукрура, помоћу попречне стуктуре, у тополошком реду.  Овакве мреже су такође типично обучене помоћу супротног модела аутоматске диференцијације. Сам РНН је посебан случај рекурзивне неуронске мреже чија стуктура одговара линеарном ланцу. Рекурзивне неуронске мреже се користе за обраду природних језика. РРекурзивне неуронске тенсор мреже користе тенсор заснован на функцији композиције за све чворове у стаблу.

Дуготрајно памћење

Бројна истраживања сада користе друге облике дубоког учења РНН званог Дуготрајно памћење (ЛСТМ), мрежу објављену од Хохрајтер и Шмидхубер,1997.године. То је систем који не воли традиционални РНН и нема проблема настајања градијента. ЛСТМ је нормално повећан повратним улазима званим "заборављени улази". ЛСТМ РНН спречава ширење бацкпропагатион грешке од нестајања или експлодирања. Уместо тога гршке могу да теку супротно кроз неограничен број виртуалних слојева у ЛСТМ РНН не задржавши се у простору. Тако да, ЛСТМ може да научи задатке "Веома дубоког учења" који захтевају памћење догађаја који су се догодили хиљадама или чак милионима година пре. ЛСТМ ради чак и када има дугих задржавања и може да задржи сигнал који има поменуте ниске и високе компоненте учестаности. 

Данас, многе апликације користе гомилу ЛСТМ РННи тренирају их помоћу CТC  да пронађу РНН тежину матрице која повећава вероватноћу одређених последица у обучавању, дајући одговарајуће последице довођења. CТC постиже и сврставање и препознавање. 2009.године CТC је обучавао ЛСТМ и био је први РНН који је освојио такмичење у препознавању обрасца, када је освојио неколико такмичења у повезаном препознавању рукописа. Већ 2003. године ЛСТМ је почео да постаје кункурентан са традиционалним препознавањем говора на одређеним задацима. Комбинација са СТС је 2007.године постигла прве добре резултате на повратиним подацима.. Од тада, овај приступ је преокренуо револуцију препознавања говора. Кинески истраживачки гигант Бајдај користио је 2014.године CТC-тренирани РНН да надмаши Switchboard 5'00 препознавање говора без коришћења ни једне традиционалне методе. ЛСТМ је такође побољшавао препознавање говора, претварање текста у говор синтеза, такође Google Android, и photo-real talking heads. Google's speech је 2015.године доживео скок од 49% кроз CТC тренирани РНН, које је сад могуће кроз Google Voice ка милионима корисника паметних телефона..

ЛСТМ је такође постао веома популаран у области обраде природних језика. За разлику од претходних модела, ЛСТМ може да научи да препознаје контекстуални језик. ЛСТМ је побољшао машинско преођење, Језик за моделирање и језик обраду. ЛСТМ комбинован са увијеним неуронским мрежама ЦНН такође је унапредио аутоматкси наслов слике и многе друге апликације.

Мреже дубоких уверења

Ограничене Болтзманове машине (РБМ) са потпуно повезаним видљивим и невидљивим јединица. Имајте на уму, да нема скривених-скривених или видљивих видљивих веза.

Мрежа дубоких уверења (ДБН) је пробабилистички, генераторни модел направљен од вишеструких скривених јединица. Може се сматрати да је то композиција модула једноставног учења које прави сваки слој.

ДБН се може користити генеративно пре тренинга (ДНН) коришћењем ДБН тежина као почетних ДНН тежина. Back-propagation или други дискриминативни алгоритами онда се могу додати фином подешавању ових тежина. Ово је нарочито важно када су ограничени тренирани подаци могући, јер ослабљена почетна тежина може значајно да омете преформансе научених модела. Ове пре-тренинг тежине су у области простора тећине који је ближи оптималној тежини него случајном одабиру почетне тежине. Ово дозвољава унапређењеном моделингу као и бржој конвергенцији фазе финог подешавања.

ДБН може бити ефикасно трениран и у ненадгледаном тренирању, слој по слој начину, где су слојеви типично направљени од ограничених Болцманових машина (РБМ). РБМ је генеративни модел заснован на енергији са "видљивим" долазним слојем и скривеним слојем и везама између слојева, али не без слојева. Овај метод за РБМ предложио је Џорџ Хитон за коришћење тренинга "Product of Expert", а модели се називају CD. CD омогућава апроксимацију максимума сличних метода које би биле додате за учење тежина РБМ-а.У обуци једног РБМ, подаци тећине су изведени са напредовањем градијента у следећој једнакости: $\Delta w_{ij}(t+1)=w_{ij}(t)+\eta {\frac {\partial \log(p(v))}{\partial w_{ij}}}$. Овде, $p(v)$ је вероватноћа видљивог вектора, који је дат помоћу $p(v)={\frac {1}{Z}}\sum _{h}e^{-E(v,h)}$. $Z$ је подељена функција коришћена за нормализацију и $E(v,h)$  је функција енергије намењена стању мреже. Показатељи ниже енергије мреже су у "пожељној" конфигурацији. Градијен ${\frac {\partial \log(p(v))}{\partial w_{ij}}}$ има једноставну форму $\langle v_{i}h_{j}\rangle _{\text{data}}-\langle v_{i}h_{j}\rangle _{\text{model}}$ , где $\langle \cdots \rangle _{p}$ представља просек у односу на дистрибуцију $p$. Исход расте у узорцима $\langle v_{i}h_{j}\rangle _{\text{model}}$ јер ово захтева наизменично протицање Gibbs узорка дуже време. СD замењује овај корак помоћу Gibbs узорка протицања за $n$ корака (вредности $n=1$ били су емпиријски приказани). После $n$ корака, подацу су испробани, а тај узорак је коришћен на месту $\langle v_{i}h_{j}\rangle _{\text{model}}$.Процедура СD ради каи што следи:

1. Иницијализовати видљиве јединице у вектор за обуку
2. Ажурирати скривене јединице паралелно са видљивим јединицама $p(h_{j}=1\mid {\textbf {V}})=\sigma (b_{j}+\sum _{i}v_{i}w_{ij})$. $\sigma$ је сигмоида и $b_{j}$ тежи ка $h_{j}$.
3. Ажурирати видљиве јединице паралелно са скривеним јединицама: $p(v_{i}=1\mid {\textbf {H}})=\sigma (a_{i}+\sum _{j}h_{j}w_{ij})$. $a_{i}$ тежи ка $v_{i}$. То се зове "реконструкцијски" корак.
4. Поново Ажурирати скривене јединице паралелно са обновљеним видљивим јединицама коришћењем исте једнакости као у кораку 2.
5. Извести ажуриране тежине:$\Delta w_{ij}\propto \langle v_{i}h_{j}\rangle _{\text{data}}-\langle v_{i}h_{j}\rangle _{\text{reconstruction}}$.

Када је један РБМ трениран, други РБМ је на врху стека, узимајући свој довод из коначног већ тренираног поља. Нови видљиви слој је упућен на тренирани вектор, а вредности јединице у већ тренираним слојевима су одерђени коришћењем тока тежина и градијента(дијагонала). Нови РБМ је онда трениран са процедуром изнад. Овај цео процес је поновљен док се неки жељени критеријум заустављања не испуни.

Иако је апроксимација СD до максимума вероватноће веома сирова(СD је показао да не праки градијент било које функције), емпиријски је доказано да је ефикасан у обуци дубоке архитектуре.

Увијене мреже дубоког уверења

Недавно достигнуће у дубокој мрежи учења је коришћење увијених мрежа дубоког учења (ЦДБН). (ЦДБН) има структуру веома сличну увијеним неуронским мрежама и оне су трениране слично са мрежама дубоког веровања. Оне користе 2Д структуре слика, као ЦНН, и користе пре тренинг као мреже дубоких неурона. Оне обезбеђују генеричку структуру која може бити искоришћена код многис слика и појединих задатака. Скорија, многи benchmark резултати код стандардних слика као ЦИФАР су добијени уз коришћењем ЦДБН.

Чување велике меморије и успостављање неурноске мреже

Чување велике меморије и успостављање неурноске мреже ЛАМСТАР су брзе неуронске мреже од много слојева, који могу да користе многе филтере истовремено. Ови филтери могу да буду нелинеарни, стохастички, логички, непомични или чак неаналитички. Они су биолошки мотивисано и континуирано учење.

Неурноска мрежа (ЛАМСТАР) може послужити као динамична неуронска мрежа у простору или времену или обоје. Његова брзина је обезбеђена помоћу Хебиан link-weights (Chapter 9, 2013), који служи да интегрише различите и обично другачије филтере у много слојева и да подигну важност различитих слојева и функција датих задатака за дубоко учење. Ово грубо имитира биолошко учење које интегрира учинак различитих ЦПУ(cochlea, retina, etc.) и кора (auditory, visual, etc.) и њихове различите области. Његова способност дубоког учења је да не повећава коришћење индукције, корелације и помоћу своје способности да изађе на крај са некомпетентним подацима или "изгубљеним" неуронима или слојевима на средини задатка. Потпуно је транспарентно у односу на link weights. link weights такође дозвољавају динамичку одређеност иновација и сувишности и олакшавају рангирање слојева, филтера или индивидуалних неурона који се односе на задатак.

ЛАМСТАР је додаван многим медицинским и финансијским предвиђачима, прилагодљивом филтрирању бучног говора у непознатој буци, препознавању слика и видеа,  безбедности софтвера, пролагодљивој контроли не линеарног система и други.  ЛАМСТАР има много већу рачунајућу брзину и понекад мање грешака од увијених неуронских мрежа заснованим на РеЛУ функцији и max pooling, у студији препознавања карактера.

Ове аппликације показују продор у аспекте података који су скривени од плитких мрежа или чак од људских осећаја(око, ухо и др.) као и у случајевима предвиђања сна, електрорадиограма фетуса док се снима помоћу електрода постављених на мајчином абдомену рано у трудноћи, финасијских предвиђања или у слепом пречишћавању бучног говора.

ЛАМСТАР је био предложен 1996.године и даље је развијан од Д Груапе и Х Кордилевког 1997-2002. Модерна верзија позната као ЛАМСТАР 2 развијена је од Н Ц Шнајдера и Д. Груапе, 2008.године.

Дубоке Болцманове машине

Дубока Болцманова машина ДБМ је врх бинарних парова Марковог слуцајног поља (неодређеног пробабилитичког графичког модела) са вишеструким слојевима скривених случајних променљивих. То је мрежа симетрично упарених стохастичких бинарних јединица. Она садржи сет видљивих јединица ${\boldsymbol {\nu }}\in \{0,1\}^{D}$, и серију слојева скривених јединица${\boldsymbol {h}}^{(1)}\in \{0,1\}^{F_{1}},{\boldsymbol {h}}^{(2)}\in \{0,1\}^{F_{2}},\ldots ,{\boldsymbol {h}}^{(L)}\in \{0,1\}^{F_{L}}$. Нема везе између јединица истог слоја(као РБМ). За ДБМ вероватноћа одеређена вектором ν је

$p({\boldsymbol {\nu }})={\frac {1}{Z}}\sum _{h}e^{\sum _{ij}W_{ij}^{(1)}\nu _{i}h_{j}^{(1)}+\sum _{jl}W_{jl}^{(2)}h_{j}^{(1)}h_{l}^{(2)}+\sum _{lm}W_{lm}^{(3)}h_{l}^{(2)}h_{m}^{(3)}},$

где ${\boldsymbol {h}}=\{{\boldsymbol {h}}^{(1)},{\boldsymbol {h}}^{(2)},{\boldsymbol {h}}^{(3)}\}$ су група скривених јединица, а$\theta =\{{\boldsymbol {W}}^{(1)},{\boldsymbol {W}}^{(2)},{\boldsymbol {W}}^{(3)}\}$су модели параметара који представљају видљиво-сривене и скривено-скривене интеракције. Ако.  ${\boldsymbol {W}}^{(2)}=0$ и ${\boldsymbol {W}}^{(3)}=0$  мрежа је добро ограничена Болцмановом машином Интеракције су симетричне јер су линкови неодређени. У супротном, у мрежи дубоког веровања ДБН само два главна слоја образују ограничену Болцманову машину (која је неодређени графички модел),али нижи слојеви образују директни генеративни модел.

Као ДБН, ДБМ може нучити сложено и апстрактно унутрашње представљање у задатку као што су објекти или препознавање гласа, коришћењем ограничених обележених података од fine-tune представљања направљених коришћењем великих залиха необележених сензора улазних података. За разлику од ДБН и дубоких увијених неуронских мрежа, они прихватају закључак и тренинг у оба правца, од дна до врха и од врха до дна, што омогућава ДБМ да боље представљање двосмислене и комплексне структуре довођења.

У сваком случају брзина ДБМ ограничава њихову функционалност и извођење. Тачна максимална вероватноћа улаза је неукротива за ДБМ, ми можемо извести максималну вероватноћу удела отприлике. Друга могућност је користити предње поље закључка за истраживање очекивања корисника заснованих на подацима, приближно очекивани статистички модел коришћењем Markov chain Monte Carlo (MCMC). Овај приближни закључак, који мора да буде уређен за сваки тест довођења је око 25 до 50 пута спорији од једног дно-врх пролаза у ДБМ. Ово чини везу оптимизације неостварљивом за велике податке и озбиљно ограничава коришћење ДБМ за задатке као што су представљање особина.

Наслагани ауто-енкодери

Идеја ауто енкодера је мотивисана концептом доброг представљања. На пример, за класификатое, добро представљање може бити дефинисано као оно које ће произвести бољи класификатор.

Енкодер је утврђена криптографија $f_{\theta }$ која преноси улазни вектор x у скривено представљање y, где $\theta =\{{\boldsymbol {W}},b\}$, ${\boldsymbol {W}}$ је матрица тежине, а b је offset вектор(дијагонала). Мапе декодера враћају скривено представљање y на реконструисано довожење z преко $g_{\theta }$. Цео процес ауто енкодинга је да пореди ово обновљено довођење са оргиналним и да покуша да смањи ову грешку као и да учини ово обнављање вредним што је више могуће ближим оригиналу.

У гомили напакованих ауто енкодера, делимично растојање учинка је очишћено. Ову идеју је представвио Vincent, 2010.год. са посебним приступом добром представљању. Добро представљање је оно које се може постићи снажно из распаднутог довођења и које ће бити корисно за опоравак одговарајућег чистог довода. Подразумевају се следеће идеје:

• Виши нивои представљања су релативно стабили и чврсти према распадању довођења;
• Неопходно је припремити особине које су корисне за представљање расподеле довођења.

Алгоритам садржи више корака; почињу од стохистичког мапирања ${\boldsymbol {x}}$ до ${\tilde {\boldsymbol {x}}}$ кроз $q_{D}({\tilde {\boldsymbol {x}}}|{\boldsymbol {x}})$,  ово је корак распадања. Онда распаднути довод ${\tilde {\boldsymbol {x}}}$ пролази кроз основни процес ауто енкодера и мапира је у скривено представљање ${\boldsymbol {y}}=f_{\theta }({\tilde {\boldsymbol {x}}})=s({\boldsymbol {W}}{\tilde {\boldsymbol {x}}}+b)$.Из овог скривеног престављања, ми можемо реконструисати ${\boldsymbol {z}}=g_{\theta }({\boldsymbol {y}})$. У последњој фази минимизирани алгоритам протиче у циљу да добије z што је могуће ближе до непрекидности довода ${\boldsymbol {x}}$. Грешка реконструкције $L_{H}({\boldsymbol {x}},{\boldsymbol {z}})$  може бити и губитак cross-entropy са афиним-сигмоидним декодером, или губитак squared гршке афиним декодером.

У циљу да направе дубоку архитектуру, ауто енкодери се слажу један на другог. Када се једном научи функција енкодирања $f_{\theta }$ првог напакованог ауто енкодера и коришчењем за нарастање ми можемо тренирати други ниво.

Када је једном трениран наслагани ауто енкодер, његов учинак може се користити као довод до надгледаних алгоритама учења као што је класификатор подршке векторска машина или више класна логистичка регресија.

Дубоко сложене мреже

Једна дубока архитектура заснована на хијерархији блокова поједностављених модела неуронске мреже је дубоко конвексна мрежа представљена 2011.год. Овде, проблем учења тежине је формулисан као конвексна оптимизација проблема затвореним обликом решења. Ова архитектура се такође зове дубока сложена мрежа ДСН, која наглашава механизам сличности од сложене генерализације. Сваки ДСН блок је једноставан модул којег је лако тренирати у надгледаном облику без back-propagation за цене блокова.

Како су дизајнирали Deng и Dong, сваки блок се садржи од поједнсотављених вишеслојних перцепција (МПЛ) са једним скривеним слојем. Скривени слој h има логистичке сигмоидне јединице, и слој учинка има линеарне јединице. Везе између ових слојева су представљене помоћу матрица тежине U; везе довода до скривеног слоја имају матрицу тежине W. Циљани вектор t из колоне матрице T, и податак довода вектора x формира колоне матрице X. Матрица скривених јединица је ${\boldsymbol {H}}=\sigma ({\boldsymbol {W}}^{T}{\boldsymbol {X}})$. Модули су тренирани по реду, па је тежина нижег нивао W позната на сваком степену. Функција изводи елементе- мудере логистичке сигмоидне операције. Сваки блок процењује исти финални label врсте y и његова процена је повезана са оргиналним доводом X да образује развијени довод за следећи блок. Довод првог блока садржи само оргиналне податке док силазни довод блокова такоже имају учинак претходних блокова. Онда матрица тежине горњег слоја U датих других тежина у режи може бити формулисан као конвексни проблем оптимизације:

$\min _{U^{T}}f=||{\boldsymbol {U}}^{T}{\boldsymbol {H}}-{\boldsymbol {T}}||_{F}^{2},$

који има решење затвореног облика.

Док код других дубоких архитектура, као што је ДБН, циљ није да се открије представљање трансформисаних особина. састав хирерахије ове врсте архитектуре прави отворене пралалеле као што је batch-mode проблем оптимизације. У јасним различитим задацима ДСН се изводи боље од опште познатог ДБН.

Тензор дубоке сложене мреже

Ова архитектура је растезање дубоких сложених мрежа (ДСН). Она побољшава ДСН на два важна начина: користи информације вишег реда од коваријанте статистике, и претвара не-конвексни проблем ниског слоја у конвексни под-проблем вишег слоја. ТДСН користи коваријанте статистике података коришћењем билинарне картографије из сваког од две јасне групе скривених јединица у истом слоју до предвиђања, до трећег реда тензора.

Док се паралелизују и скалабилизују не сматрају се озбиљним у опште познатој ДНН, сва учења за ДСН и ТДСН се раде у групном моделу да би дозволили паралелизацију на групу CPU или GPU чворова. Паралелизација дозвољава скалирање до дубљих арихтектура и група података.

Основна арихтектура је подесна за разне задате као што су класификација и регресија.

Spike-and-slab РБМ

Потреба за дубоким учењем са реаланим бројевима, као што је Gaussian ограничио Болумановим машинама, мотивисао је Spike – and- slab РБМ чији модели садрже вредне доводе са строго бинарним скривеним варијабилима. Слично основним РБМ и његовим варијацијама, Spike – and- slab РБМ је бипартитивни граф, док као ГРБМ, видљиве једнице(довод) су стварио(приближио) оцењење. Разлика је у скривеном слоју, где свака скривена једница има бинарну spice варијаблу и стварно( приближно) оцењење slab варијабле. Spike је одвојена вероватноћа масе на нули, док је слаб густина преко трајног домена; њихова мешавина формира "прирор". Назив долази из статичке литературе.

Растојање ссРБМ звано µ-ссРБМ обезбеђује додатно моделирње способности коришћењем додатних термина у функцији енергије. Један од свих термина омогућава моделу да образује условну расподелу спике варијабла помоћу маргинализованог одлива слаб варијабла датих у посматрању.

Сложени модели дубоке хијерархије

Сложени хијерархијски дубоки модели садрже дубоке мреже са без параметрим Bayesian моделима. Особине могу бити научене коришћењем дубоких архитектура као што су ДБН, ДБМ, дубоки ауто енкодери, савитљиве варијанте, ссРБМ, дубоке кодиране мреже, ДБН са оскудним особинама, рекурзивне неурокосне мреже, услови ДБН, de-noising ауто енкодери. Они обезбеђују доме и представхеаце, омогућавају брже учење и тачнију поделу са високо-димензионираним подацијма. Ове архитектуре су сиромашне код учења нових разреда(класа) са неколико примера, јер су све једнице мреже укључене у предосављаје довода ( подљења представљаја) и морају бити заједно регулисаним ( високи степен слобода). Ограничење степена слободе смањује број параметра за учење, олакшавајући учење нових разреда из нових примера. Hierarchical Bayesian модели довољавају учење нових разреда из нових примера, на пример за компјутерску визију, статистику и конгнитивне науке.

Циљ сложених ХД архитектура је да развије карактеристике и ХБ и дубоких мрежа. Сложена ХДП-ДБМ архитектура, хијерархисјски ХДП као хијерархијски модел, генерализовани(одређени) од апстрактивних( кратких) појмова који протичу кроз слојеве модела, који може да синтетише( synthesize) нове примере у новим разредима да изгледају разумно природни. Сви нивои се уче заједено помоћу масималног вода- вероватноће резултата.

У ДБМ са три скривена слојева, вероватноћа видљивог довода ν је:

$p({\boldsymbol {\nu }},\psi )={\frac {1}{Z}}\sum _{h}e^{\sum _{ij}W_{ij}^{(1)}\nu _{i}h_{j}^{1}+\sum _{jl}W_{jl}^{(2)}h_{j}^{1}h_{l}^{2}+\sum _{lm}W_{lm}^{(3)}h_{l}^{2}h_{m}^{3}},$

где ${\boldsymbol {h}}=\{{\boldsymbol {h}}^{(1)},{\boldsymbol {h}}^{(2)},{\boldsymbol {h}}^{(3)}\}$ збир(set) скривених једница и $\psi =\{{\boldsymbol {W}}^{(1)},{\boldsymbol {W}}^{(2)},{\boldsymbol {W}}^{(3)}\}$ су модели параметра, представљају видљиво-скривене и скривено симетричне интеракција термине.

После наученог ДБМ модела, имамо један недиректан модел који дефинише заједницу подељености $P(\nu ,h^{1},h^{2},h^{3})$. Један начин да се изрази шта се научилоје условни модел $P(\nu ,h^{1},h^{2}|h^{3})$ и претходни назив $P(h^{3})$.

Овде $P(\nu ,h^{1},h^{2}|h^{3})$ представља условни ДБМ модел који може бити посматран као двослојни ДБМ али са дијагоналом датој помоћу става $h^{3}$:

$P(\nu ,h^{1},h^{2}|h^{3})={\frac {1}{Z(\psi ,h^{3})}}e^{\sum _{ij}W_{ij}^{(1)}\nu _{i}h_{j}^{1}+\sum _{jl}W_{jl}^{(2)}h_{j}^{1}h_{l}^{2}+\sum _{lm}W_{lm}^{(3)}h_{l}^{2}h_{m}^{3}}.$

Мреже дубоког кодирања

Постаје предности модела који аутомотски могу да ажурирају из објашњења у податдку. Мрежа дубоког кодирања (ДПЦН) је шема предвиђеног кодирања где је горе-доле информација коришћена емпирично за регулисање претходних потреба са дна- до врха извођења процедуре са смислом дубоке локалне повећаности генеративном моделу. Ови редови помоћу одломка(дела) скудних особина из ранијих посматрања користе линеарни динамични модел. Онда, удружења стратегија је коришћена да се научи инваријантно представоходе особинама. Ове јединице желе да обрађују дубоку архитектуту и тренианр су помоћу похлепних слојева ненадгледаног учења. Слојеви стварају врсту ланца Маркова исто као што стање на сваком слоју, само зависи од преходног и долазног слоја.

Дубоко превиђена кодирања мреже (ДПЦН) Предвиђена представљање слоја, коришћењем приступа горе-доле и информације у горњем слоју и сталне зависности из претходних стања.

ДПЦН може бити промирена да ибразује савитљиву мрежу.

Дубоке q-мреже

Ово је врста (класа) дубоких модела учења коришћењем Q- учења, врста (облик) појачаног учења, из Google Deep Mind. Трелиминарни резултати су били приказани 2014. Год, са радом објављеним у Фебруару 2015 In Nature. Апликација о којој се разговарало у овом раду је ограничена на АФАРИ 2600 gaming, импликације(подразумевање) за друге апликације су дубоке.

Мреже са одвојеним структурама меморије

Интегрисати спољашњу меморију са вештачким неуронанм мрежама потиче из раних истраживања у расподели представљања Теико Хоренове само-ограничавање мапе. Нпр. , у оскудно подењеној меморији или хијерархијски привременој меморији, узрок шифрован помоћу неуронских мрежа су коришћењени као адресе за садржај-адресиране меморије, са неуронима послужене као адресе шифроване у дешифроване. Рани контролори оваквих меморија нису били другачији.

ЛСТМ-повезане разнолике структуре меморије

Осим облика термина дуге-кратке меморије (ЛСТМ), други приступи од 1990 и 2000-тих год су такође додани различитој меморији до повратних функција . На пример:

• Различите push(гурам) и pop акције за мреже алтернативне меморије зване неуронске stack(сложене) машине
  
• Мреже меморије где се спољна контрола мреже различита складишњи је у брзој тежини друге мреже
• ЛСТМ "заборављене кутије"
• Само-референте повратне неуронске мреже(РНН) са посебним јединицама учинка за адресирање и брзо манипулисање сваке од РНН своје тежине је различитог облика (унутрашње складиштење)
  
• Научити да редукује са неограниченом меморијом
  

Семантичко претресање

Приступи који директно приказују предходна искуства и користе стручна искуства да обрађују локални модел се често зову најближи комисија или к најближих суседа. Скорије, дубоко учење је показало да може да буде корисино у семантичком претресању где дубоки графички модели вектори бројача речи добијају из великог броја докумената. Документи слични са документима за жалбу, могу се тада пронаћи помоћу јединственог приступа ка свим адресама које се разликују само по неколико бита са адресама докумената за жалбе (распитивање). За разлику од раштракане (ретке) расподеле меморије која ради са 1000 – bit адреса, семантичко претресање – сецкање ради са 32 или 64 – bit адреса пронађених у уобичајеној ком. архитектури.

Неуронске Turing машине

Неуронске Turing машине, раразвијене су од Google Deep , пар ЛСТМ мрежа до спољнох извора меморије који могу да утичу помоћу посебних процеса. Комбиновани систем је аналогни до Turing машине, али је различит крај–до-краја; дозвољавајући да буде ефикасно прецизан помоћу силазног нагиба. Прелиминарни резултати показују да Неуронске Turing машине могу довести до закључка да једноставни аналогни као исто су копирање, сортирање и асоцијално повлачење ( опозив) из примера улаза и учинка.

Мреже памћења

Мреже памћења су други продужетак мреже неурона инкорпорације меморије long–term, која је била развијена помоћу истраживачког тима Фејсбука. Меморија long–term може бити читање и писање са циљем коришћења за предвиђање. Ови модели су додати у упитнички систем где меморија long–term ефективно утиче као (динамичка) база а учинак је текстуални одговор.

Индикатор(показивач) мержа

Мреже дубоких неурона могу бити побољшане ( унапређење ) ако добију дугме и имају неколико параметара, док одржавају ( чувају ) способност претраживача. Док је дрепчиг нарочито дубок(1 мил.–слој–дубина) неуронске мреже можда неће бити изводљиве, СРU-као архитектури као што су уиндукатори мрежа и неуронски ретки приступ машинама развијен од истраживача. Гугл Мозак да надмаше ово ограничене коришћењем сполљашњег RAM-а(меморија) исти као додавање других компоненти који типично припадају компјуутерској архитектури као што су регистри ,АЛУ и показивачи. Такви системи раде на вероватноћи расподеле вектора сачуваних у меморијским ћелијама и регистраторима. МОдел је потпуно различит и третира крај – до – краја. Главна карактеристика овог модела је та да њихова дубина, великичина њихове каткотрајне меморије и број парламетара могу бити променљиве независно – успротно од модела као што је ЛСМ, чији број парламенара расте четвороструко са великим чином меморије.

Шифровање-дешифровање мрежа

Оквир шифровања-дешифровања је оквир заснован на неуронским мрежама који жели да означи високо структуирани улаз до високо структуираног излаза. То је скоро предложено у објашњењу машинског превођења где су улаз и излаз написане реченице на два природна језика. У том раду, ЛСТМ повратне неуронске мреже (РНН) или савитљива неуронска мрежа (CNN) су биле коришћене као шифра за сумирање извора реченице, а сумирање је било дешифровано коришћењем условног повратног модела неуронске мреже језика да произведу (омогуће) превођење. Сви ови системи имају исте изграђене блокове: капије (вратнице, улазно коло) РНН и CNN и тренирање механичке пажње.

Остале архитектуре

Вишеслојна језгрена машина

Вишеслојне језгрене машине  су начин за учење високо нелинеарних функција помоћу поновљене апликације слабих нелинеарних језгра. Они користе основне компоненте анализе језгра (КРСА) као методу за не надгледан похлепни слој, пре тренинга корака архитектуре дубоког учења.

Слој $l+1$-ви учи представљање претходног слоја $l$ извлачењем $n_{l}$ основне компоненте (РС) пројекционог слоја $l$ излаза у подручју подстакнутом од језгра. За циљ (корист) димензионирања смањена ажурирања представљања у сваком слоју, надгледана стратегија је предложена да би се изабрале најбоље особине међу особинама извиченим од КРСА. Процес је:

• Сврстати $n_{l}$ особине према њиховим узајамним(међусобним) информацијама са означеном групом (класом);
• За различите вредности K и $m_{l}\in \{1,\ldots ,n_{l}\}$, израчунати степен грешке класификације К-најближи сусед(К-НН) класификатор коришћењем само m_l особине најинформативније у валидној (потврђеној) групи.
• вреднопст $m_{l}$ са којом је класификатор достигао најнижи степен грешке, одређујем број особина које ћемо задржати.

Било је неких незгода у коришћењу КРСА метода као ћелије изградње МКМ.

Најисправнији рачун за коришћење језгрених машина за дубоко учење развио је Мајкрософт истраживачки тим за разумевање говорног језика. Главна идеја је користити језгрене машине отприлике у плиткој неуронској мрежи са бескрајним бројем скривених јединица, онда користити наслагу (гомилу) спајање излаза језгрене машине и улаз у праћењу следећег, вишег нивоа језгрених машина. Број нивоа у дубокој испупченој мрежи је хипер-параметар свеобухватног система, биће одређен укрштеним потврђивањем.

Апликације

Аутоматско препознавање говора

Препознавање говора доживело је преокрет помоћу дубоког учења, нарочито помоћу кратке-дуге меморије (ЛСТМ), повратне неуронске мреже објављене од Сеп Хохрајтер / J. Ш. 1997. године ЛСТМ РНН, око проблема нестанка нагиба ми можемо научити задатке ,,Веома дубоког учења" које укључује говорне догађаје одвојене помоћу хиљаду година где један временски корак одговара 10мс. 2003. год. ЛСТМ са заборављеним капијама постаје такмичарска са традиционалним препознавачима говора на одређеним задацима. 2007. год. ЛСТМ преписана помоћу (СТС) постигла је одличне резултате у одређеним апликацијама, иако су ком. били много спорији него данас. Google је 2015 изненада скоро дуплирао велику скалу препознавања говора, кроз СТС- тренир. ЛСТМ, сада доступним свим корисницима паметних телефона.

Резултати показани у табели испод су за аутоматске преп. гласа на популарним ТИМИТ подацима. Ово је заједнички податак коришћен за почетно оцењивање архитектура дубоког учења. Цео set садржи 630 говорника из 8 главних дијалекатa Америчког Енглеског, где сваки говорник чита 10 реченица. Његова мала величина дозвољава многим конфигурацијама да буду успешно трениране. Много важније је да ТИМИТ подразумева доследно телефонско препознавање, које у односу на препознавање речи, дозвољава веома слабе „језичке моделе“ у слабост у аспектима акустичног моделирања препознавања говора који могу бити лакше анализирани. Такве анализе ТИМИТ – ја од Ли Денга и колега око 2009. до 2010. Године, разликују ГММ (и остале генеративне моделе говора) у односу на ДНН моделе, подстичући рана индустријска улагања у дубоко учење за препознавање говора од малих до великих скала,  водећи до прожету и доминантну употребу у тој индустрији. Те анализе су биле урађене са поређењем (мање од 1,5% степена грешке) између различитих ДНН и генеративних модела. Листа грешака испод, укључује ове ране резултате и мерења као проценат степена тел. грешке (PER), сумирана су у протеклих 20 год.

Метод	PER (%)
Насумично иницијализован РНН	26.1
Бајесова Трипхоне ГММ-ХММ	25.6
Модел скривене путање	24.8
Monophone насумично иницијализован ДНН	23.4
Монопхоне ДБН-ДНН	22.4
Трипхоне ГММ-HMM са БММИ обуком	21.7
Монопхоне ДБН-ДНН на фбанк	20.7
Увијени ДНН	20.0
Увијени ДНН са хетерогеним удруживањем	18.7
Енсембле ДНН/СНН/РНН	18.2
Двосмерни ЛСТМ	17.9

Индустријска истраживања проширила су дубоко учење из ТИМИТ до великих речника препознавања говора помоћу прихватања великих излазних слојева ДНН заснованим на допуни – зависног HMM стања конструисаног помоћу дрва одлуке. Исцрпни прегледи овог развоја су од Октобра 2014. доступни у скорој "СПРИНГЕР" књизи из Мајкрософта.  

Један основни принцип дубоког учења је обавити га изван одлука ручних – занатских особина инжењеринга и користити друге особине. Овај принцип је први пут успешно истражен у архитектури дубоког аутодешифрована „row“ тектограму линеарних особина, показујући супериорност у односу на Mel – Cepstral особине које садрже неколико степена фиксиране трансформације из спектограма. Истините „row“ особине (изгледи) говора, таласа, су скорије показане да произведу одличне резултате у већој скали препознавања говора. :

Напредак (и даља упутства) могу бити сумирани у 8 правних области:

• scaling up/out – скала горе/изван и брзина тренирања ДНН и дешифровања;
• Доследност (логичност) дискриминативног тренирања ДНН;
• Особине (одлуке) изведене помоћу дубоких модела са солидним разумевањем неподвучених механизма;
• Прихватање ДНН и повезаних дубоких модела;
• Вишеструки задатак и пренос учења помоћу ДНН, повезаних дубоких модела;
• Увијене неуронске мреже и како их направити (дизајнирати) да најбоље искористе подручје знања говора;
• Повратне неуронске мреже и њихове богате ЛСТМ варијације;
• Остале врсте дубоких модела укључујући tensor – based моделе и интегрисани дубоки генеративни модели.

Велика скала препознавања говора је први и најпогоднији начин дубоког учења у скоријој историји, која обухвата и индустрију и науку. Између 2010. и 2014. одржане су две велике конференције ИЕЕ – ИЦАССП и Инетрспич, где је виђено велико повећање у броју прихваћених радова на тему дубоког учења и препознавања говора. .

Препознавање слика

Заједничко оценивање за класификациу слика је МИНСТ база податка. МИНСТ је састављен од ручно писаних цифара и садржи 60.000 преписаних/ обучених примера и 10.000 текапуалних примера. Као и код ТИМИТ, његова мала величина дозвољава тестирање вишеструких конфигурација. Исујрпла листа резултата ове групе (set) може бити пронађена. Тренутни најбољи резултат МИНСТ је стопа преписке од 0,23 % постигнута од Киресана 2012. године.

Према Ле Цуну, рабе 2000-те год, у инд.апликацији CNN, већ је обрађивао процену свих од 10% до 20%, чекова написаних у US раних год (2000). Значајни додарни удар дубоком урезу у препознавању слика или предмета догодио се 2011-2012 год. Иако је СНН обухвата помоћу бекпропагејшн већ деценијама, ГПУС, на начин Дан Киресан i Колега, било је потребно направити улегнуће удубљење у коми и утерској визији. Овај прилапут је 2011. год потписао први пут људску изведбу у визуелном облику препознавања, Такође је 2011 освојио ИЦДАР. Кинеско такмичење у рукопису; а у Мају 2012, освојио је ИСБИ- такмичење. До 2011 год. CNN није имао главну улогу у конференцији компјутерске визије, али у Јуну 2012. Рад Дена Цирецана и осталих на водећој конференцији ЦВПР показали су како max-pooling ЦННС на GPU може драмастично да побољшају многе облике benchmark снимања. Октобра 2012.год слични систем од Алекса Крижевски у стилу Ж.Х. освојио је такмичење помоћу значајне маргине преко плитког метода машинског учења.. 

Како се амбиција креће од аутоматетог прет.говора према аутоматском преводу и разумевању, подела (класификација) слика је скоро била промирена на изазовнији задатак-аутоматског наслова слике, у коме је дубоко учење често као комбинација ЦНН и ЛСТМ) битна је основна технологија

Један пример апликације је компијутер у аутомобилу који је обучен са дубоким урезом, који може да онемогући аутомобиле да тумаче 360 степени изгледа. Други пример је технологија позната као Facial Ana (ФДНА) коришћење да анализира случајеве људске нака зноапи повезане до великих база гентеског синдрома.

Процес природног језика

Неуронске мреже су коришћене за импрементацију језичких модела од раних 2000-тих год. Повратне неуронске мреже, нарочито ЛСТМ су више својствени за досредне податке као што је језик. ЛСТМ је помогао у побољшању машинског превода и језичког моделинта. ЛСТМ комбинован са ЦННС такође је побољшао (унапредио) аутоматски наслов слике и много друге апликације..

Остале кључне технике у овом пољу су негативни узорци и уметање (урезање) речи. Уметање речи, може бити посматрано као репрезентативни слој у архитектури дубоког учења који претвара једну атомску реч у позиционо представљање речи, релативне у односу на остале речи, положај је представљен као тачка у простору вектора. Коришћењем уметања речи као улазни слој ка ресурсивној неуронској мрежи, дозвољавају тренинг мреже ка деловима реченицама у фразама које користе, ефекат композиционе векторске граматичке; она може бити сматрана као пробабилистичка допуна слободној граматици (ПЦФГ) имплементираној помоћу рекурзивне неуронске мреже. Дубоке неуронске архитектуре су постигле state-of-the-art- резултате у многим задацима природног језика као што су уређење делова реченица,. анализе мишљења, попрвљање информација, разумевање говорног језика, машинско превођење, означавање битног, и других.

Откривање дроге и токсикологија

Фармацеутска индустрија суочава се са проблемом да велики проценат кандидата користи дрогу како би стигли до тржишта. Овај недостатак хемијских средстава је изазван недовољним деловањем на биомолекуларном задатку(ефекат on target); неодређене и нежељене везе са осталим биомолекулима (off-target утицај) или непредвидљив токсични утицај. Тим који је водио Џорџ Дал је 2012. год. освојио "Марек Молекурал, челенџ" коришћењем више задатака дубоке неуронске мреже да предвиди биомолекуларну мету од сложених.  Група С.Х. је 2014. год. користила Дубоко учење да открије off-target у токсичан утицај хемикалија на околину у хранљивим, домаћим производима и лековима, освојио је Data Challenge NIH, FDA и ЦНАСТ.Овај импресивни успех показао је да дубоко ичење може бити супериорно у односу на остале виртуелне screening методе.  Истраживања Гугла у Станфорду појачали су 48 дубоко учење за откривање дроге помоћу комбинације података из различитих извора. Aтомвајс је представио АтомНет 2015. год. Прву неуронскуи мрежу дубоког уреза, за структуре које се односе на дрогу. АтомНет је могао да предвиди кандидате за Нобелову награду у области биомолекула за неколико болести, највише су истицали лечење вируса еболе и мултиле скрерозу.

Однос са купцима

Скорији успех је био приказан са апликацијом дубоког појачаног учења у оквиру директног маркетинга, представљајући одговарајућуметоду за ЦРМ. Неуронска мрежа је била коришћена да приближи вредност могућих акција директног маркетинга преко купца, одређеног у називу РФМ варијабила. Процењена вредност дункције била је приказана, видели смо да има природно објашњене као и на вредност дужине живота купца.

Системи препоруке

Системи препоруке користили су дубоко учење да извуку значење дубоких особина за скривене факторе препоруке задовољног купца за музику. Скорије, уопштено први пут за учење предности за више подручја коришћењем мултивју – дубоко учење је било представљено. Овај модел користи хибридне collaborative и пристају засновани на садржини и појачану препоруку у сложеним задацима.

Биоинформатика

Скоро је приступ дубоког учења на аутo енкодерима вештачке неуронске мреже, био је коришћен у биоинформатици, да предвиди онтологију гена и односе генетских функција

Теорије о људском мозгу

Дубоко учење је тесно повезано са вратом теорија о развоју мозга(нарочито nocortical развој) предложен од признатих стручњака 90-тих год. Elman je приступачан режим овог рада, објављен у књизи "Rethinang Innateness" (види још: Shrager and Johnson; Quartz and Sejnowski).Како су ове развојне теорије биле такође тренутно у пребојаваним моделима, оне су технички претходник потпуно мотивисаним моделима дубоког учења. Ови развијени модели деле занимљиву особину(својину) коју различито предложена динамика учења у мозгу конапиративно подржава само организацију или само врату међусобно повезаних неуронских мрежа искоришћених у каснијим моделима дубоког учења; такве пребројане неуронске мреже изгледају анологне на изглед nocortex мозга као хијерархија филтера у којој сваки слој осваја (хвата) неке од информација у оперативној околини, и онда пролази подсетник, исто као и модигикован сигнал, до осталих слојева – даље до хијерархије. Овај процес производи само организацију гомилу трансдуктора, добро подешених са њиховом околином. Као што је уписано у The New York Times, 1995; "...мозак детета изгледа да организује себе под утицајем таласа, званих trophic- фактора, различите области мозга постасју повезане у низу, са једним слојем ткива зрелим пре другог и тако даље све док цео мозак не буде зрео"

Важност дубоког учења са уважавањем на оцењивање и развој људске спознаје, није измакло пажњи ових истраживача. Један од аспекта људског развоја који нас разликује од најближих комшија можда су промене у времену развоја. Између осталог, људски мозак остаје релативно пластичан, све до касног post-katalog периода док мозак наших најближих рођака је комплетинији од рођења. Поред тога, људи имају бољи приступ и сложеним седативима приуштеним боравком у свету током периода развојамозга. Ово ће нас ометати до "tune in" до брзе промене особина околина од других животиња. Ове промене се огледају у једноставним временским променама у таласима хипнозе корктикалног развоја, оне такође могу да воде до промена у извлачењу информација из подстицајне околине током ране самоорганизације мозга. Наравно, током ове флексибилности долази један дугачак (продужени) период незрелости, током којег зависимо од наших старатеља и друштва и за подршку као и за обуку. Теорија дубоког учења, поред осталог, види коеволуцију културе и сазнања као основно (фундаментално) стање људског развоја (еволуције)..

Комерцијалне активности

Дубоко учење је често представљено као корак према схватаљу јаких AL и многе организације су биле заинтересоване у његову употребу за наролчите апликације. У децембру '13 Фејсбук је унајмио Јан Ле Цун да води њихову лабораторију вештачке интелигенције (Al) која је деловала у Калифорнији, Лондону и Њу Јорку. Al лабораторија ће развити технике дубоког учења како би помогла фејсбуку да обави задатке као што су аутоматско таговање разних слика са именима људи на њима. ејсбук је 2014.год. такође упослио Владимира Вапика, правног градитеља (основала) Вапник-Червоненк рада статистичког учења и једног од оснивача метода подршке машина вектора.

У марту 2013. Године, Google је упослио Ж.Хинтона, и два његова дипломца Алекс K. and Ајла С. Њихов посао је био да се усредсреде на производе напредног машинског учења на Google и да помогну рад са растућом количином података коју Google има. Google је такође купио Хинтонову компанију. – ДНН истраживања.

Google је такође купио Deep Mind Технологије, Британску компанију која развија систем способан да научи како да игра Atari видео игре коришћењем само raw пикселе као улазне податке. Представили су, 2015 године Алпха Go систем који је развио један од дуготрајних ,, великих изазова“ од Al учењем игре Go тако добро да победи продесионалног Go играча.

Такође је 2014. године Мајкрсофт развио центар The Deep Learning Technology у његову МСР дивизију, невероватни стручњаци дубоког учења за активности фокусираних апликација.

Бајди је упослио Ендрју Нег. Да води њихов нови Silicon Valley – истраживања која се односе на лабораторијско фокусирање дубоког учења.

Блипар је 2015, преставио нови мобилни са повећаним стварним апликацијама које у право време (реално) препознају објекте дубоког учења..

Критике и коментари

Дато далеко-доступно учећше вештачке интелигенције повезује се са схватањем да је дубоко учење показало као једно од његових најмоћнијих техника, предмет је разумљиво привлачан и критици и коментарима и у неким случајевима изван ком. науке.

Главна критика дубоког учења подразумева недостатак теорије окружења многих модела. Већина учења у дубокој арх. је само неки облик спуштања нагиба. Док је спуштање нагиба схваћено скоро, теорија окружења осталих алгоритама, као што је супротно неслагање је мање јасно. Методе стр. 52 дубоког учења су често гледање као црна кутија, са многим потврдама урађеним емпиражно него теоретски.

На дубоко учење би требало да се гледа као на корак ка схватању јаког Al , а не као на наметнуто решење. Поред снаге метода дубоког учења, и даље недостаје функционална потреба за реализацију овог циља у потпуности. Психолог Џени Маркес је забележио да:

"Реалистично, дубоко учење је само део већег изазова грађења паметних машина. Таквим техникама недостају начини престављања узрочних односа, немају јасне начине приказивања логичних закључака, и оне су још увек удаљене од интегрисања апстрактног знања, као што су информације о томе какви су то предмети, чему служе и како се користе. Најмоћнији Al системи, као Watson (...) користе технике као дубоко учење као само један елемент у веома комликованом анцамблу техника, од статистичке Бејсонове технике закључака ( извођења) до одбијања расуђивања."

До степена где се таква гледишта преплићу, не намеравајући, дубоко учење ће коначно образовати ништа више него до примитивне дискриминаторске нивое свестраног схватања будуће машине, скорашње удруживање размишљања у погледу уметности и вештачке интелигенције понудили су алтернативни(измењен) и опширан изглед. Прво такво размишљање је то да би можда било могуће обучити гомилу машинске проницљивости да изведе вешт задатак дискриминације измеђју ,,old master“ и аматера, а други је да таква осећајност може у ствари да преставља основу не-незначајне машине емпатије. Предложено је да ће таква могућност бити у линији: са антропологијом која означава учешће са истанганости као кључног елемента савременог начина рада.(e.g., in ).

У даљој препоруци идеје да ће значајан степен уметничке осећајности можда бити присутан без повезаних (релативних) нижих нивоа, где ће биоилошке или дигиталне сродне хијерархије објавити серију серију графичког представљања унутрашњег стања дубоких (20-30 слојева) неуронских мрежа покушавајући да се разликују без битних случајних података слика на којима су били обучени чини се да приказују упадљиву визуелну привлачност у свему изванредног нивоа јавне пажње коју је овај рад заробио : оригинално истраживање је примило више од 1.000 коментара, а чланак у Гардсуану је дуже време био најчешће посећиван на том web-сајту.

Неке данашње популарне и успешне архитектуре дубоког учења објављују одређена проблематична понашања, као што је самопоуздано разврставање случајних података које припадају породичној категорији не случајних слика и не одређивања минускула нарушавањем рада тачно класификованих слика. Стварању „Open hog“ , Бен Гоертуен ,претпостављања да су ова понашања изазвала ограничењима у унутрашњем представљању научена помоћу ових архитектура, и да би та ограничења могла да зауставе развој ових архитектура у хетерогене са више компоненти АГИ архитектура. Предложено је да ови закључци могу бити одређени помоћу развијених архитектура дубоког учења које образује стање homologous/хомологно – према разлагању слике – граматике посматране битности и догађаја. Учење граматике (визуелно или лингвистичко) од обучених података биће еквивалентно ( једнако) ограничењима система до схватања здравог разума које ради на ставовима и правилима граматичке и то је основни циљ како људске језичке тековине тако и AL.

Види још

• Конекционализам
  

Спољашње везе

• Deep Learning Libraries by Language