Abstract

Estimarea greutății rețelelor neuronale avansate (DFNN) se bazează pe soluția unei probleme foarte mari de optimizare neconvexă care poate avea multe minimizatoare locale (fără global), puncte de șa și platouri mari. În plus, timpul necesar pentru a găsi soluții bune la problema antrenamentului depinde în mare măsură atât de numărul de eșantioane, cât și de numărul de greutăți (variabile). În această lucrare, arătăm cum metodele de coborâre a coordonatelor de bloc (BCD) pot fi fructuoase aplicate problemei de optimizare a greutății DFNN și încorporate în cadrul online evitând eventual punctele staționare rele. Mai întâi descriem o metodă BCD în serie capabilă să abordeze în mod eficient dificultățile datorate profunzimii rețelei; apoi extindem în continuare algoritmul care propune un pe net Schema BCD capabilă să se scaleze atât în ​​ceea ce privește numărul de variabile, cât și numărul de eșantioane. Realizăm rezultate numerice extinse pe seturi de date standard folosind diverse rețele profunde. Arătăm că aplicarea metodelor BCD la problema de formare a DFNN-urilor se îmbunătățește față de algoritmii standard de lot/online în faza de instruire, garantând, de asemenea, performanțe bune de generalizare.

stratului

Aceasta este o previzualizare a conținutului abonamentului, conectați-vă pentru a verifica accesul.

Opțiuni de acces

Cumpărați un singur articol

Acces instant la PDF-ul complet al articolului.

Calculul impozitului va fi finalizat în timpul plății.

Abonați-vă la jurnal

Acces online imediat la toate numerele începând cu 2019. Abonamentul se va reînnoi automat anual.

Calculul impozitului va fi finalizat în timpul plății.