Subiecte

Abstract

Descoperirile recente în rețelele neuronale profunde recurente cu unități de memorie pe termen scurt (LSTM) au condus la progrese majore în inteligența artificială. Cu toate acestea, modelele LSTM de ultimă generație cu o complexitate semnificativ crescută și un număr mare de parametri au un blocaj în puterea de calcul rezultată atât din capacitatea limitată de memorie, cât și din lățimea de bandă de comunicare a datelor. Aici demonstrăm experimental că greutățile sinaptice împărțite în pași de timp diferiți într-un LSTM pot fi implementate cu o matrice transversală memristor, care are o amprentă de circuit mică, poate stoca un număr mare de parametri și oferă capacitate de calcul în memorie care contribuie la eludarea „gâtuiala lui von Neumann”. Ilustrăm capacitatea sistemului nostru cu bare transversale ca o componentă de bază în rezolvarea problemelor din regiune și clasificare, ceea ce arată că memristor LSTM este o platformă hardware promițătoare cu putere redusă și latență redusă pentru inferența marginilor.

Opțiuni de acces

Abonați-vă la Jurnal

Obțineți acces complet la jurnal timp de 1 an

doar 7,71 EUR pe număr

Toate prețurile sunt prețuri NET.
TVA va fi adăugat mai târziu în casă.

Închiriați sau cumpărați articol

Obțineți acces limitat la timp sau la articol complet pe ReadCube.

Toate prețurile sunt prețuri NET.

rețelele

Disponibilitatea datelor

Datele care susțin comploturile din această lucrare și alte constatări ale acestui studiu sunt disponibile de la autorul relevant, la cerere rezonabilă. Codul care susține comploturile din acest articol și alte constatări ale acestui studiu sunt disponibile la http://github.com/lican81/memNN. Codul care acceptă comunicarea între sistemul de măsurare personalizat și cipul integrat este disponibil de la autorul corespunzător, la cerere rezonabilă.

Referințe

LeCun, Y., Bengio, Y. & Hinton, G. Deep learning. Natură 521, 436–444 (2015).

Hochreiter, S. & Schmidhuber, J. Memorie pe termen scurt. Neural Comput. 9, 1735–1780 (1997).

Gers, F. A., Schmidhuber, J. & Cummins, F. Învățarea de a uita: predicție continuă cu LSTM. Neural Comput. 12, 2451–2471 (2000).

Schmidhuber, J., Wierstra, D. & Gomez, F. Evolino: neuroevoluție hibridă/liniară optimă. În Proc 19-a conferință internațională comună privind inteligența artificială 853–858 (Morgan Kaufmann, San Francisco, 2005).

Bao, W., Yue, J. & Rao, Y. Un cadru de învățare profundă pentru seriile de timp financiar folosind autoencodere stivuite și memorie pe termen scurt. Plus unu 12, e0180944 (2017).

Jia, R. și Liang, P. Recombinarea datelor pentru analiza semantică neuronală. În Proc. A 54-a reuniune anuală a Asociației pentru Lingvistică Computațională (eds Erk, K. & Smith, N. A.) 12–22 (Association for Computational Linguistics, 2016).

Karpathy, A. Eficacitatea nerezonabilă a rețelelor neuronale recurente. Blogul Andrej Karpathy http://karpathy.github.io/2015/05/21/rnn-effectiveness/ (2015).

Wu, Y. și colab. Sistemul de traducere automată neuronală de la Google: reducerea decalajului dintre traducerea umană și cea automată. Preimprimare la https://arxiv.org/abs/1609.08144 (2016).

Xiong, W. și colab. Sistemul Microsoft 2017 de recunoaștere a vorbirii conversaționale. În Conferința internațională IEEE 2018 privind acustica, vorbirea și procesarea semnalului (ICASSP) 5934-5938 (IEEE, 2018).

Sudhakaran, S. & Lanz, O. Învățarea de a detecta videoclipuri violente folosind memoria convoluțională pe termen scurt. În Proc. A 14-a conferință internațională IEEE privind supravegherea avansată pe bază de semnal și video (AVSS) 1-6 (IEEE, 2017).

Chang, A. X. M. și Culurciello, E. Acceleratoare hardware pentru rețele neuronale recurente pe FPGA. În Decembrie 2017 Simpozionul internațional IEEE pe circuite și sisteme 1-4 (IEEE, 2017).

Guan, Y., Yuan, Z., Sun, G. & Cong, J. Accelerator bazat pe FPGA pentru rețele neuronale recurente de memorie pe termen scurt. În Proc. 2017 a 22-a conferință de automatizare a designului din Asia și Pacificul de Sud 629–634 (IEEE, 2017).

Zhang, Y. și colab. Un accelerator eficient din punct de vedere energetic bazat pe FPGA-uri pentru rețeaua LSTM. În Proc. 2017 IEEE International Conference on Cluster Computing 629–630 (IEEE, 2017).

Conti, F., Cavigelli, L., Paulin, G., Susmelj, I. & Benini, L. Chipmunk: un accelerator sistematic de 0,9 mm 2, 3,08 Gop/s/mW @ 1,2 mW accelerator pentru rețea neuronală recurentă aproape de senzor inferență. În Conferința de circuite integrate personalizate IEEE 2018 (CICC) 1-4 (IEEE, 2018).

Rizakis, M., Venieris, S. I., Kouris, A. & Bouganis, C.-S. LSTM-uri aproximative bazate pe FPGA în condiții de timp de calcul. În Al 14-lea Simpozion Internațional în Calcul Reconfigurabil Aplicat (ARC) (eds Voros, N. și colab.) 3–15 (Springer, Cham, 2018).

Chua, L. Memristor - elementul circuit lipsă. IEEE Trans. Teoria circuitelor 18, 507–519 (1971).

Strukov, D. B., Snider, G. S., Stewart, D. R. & Williams, R. S. Memristorul dispărut a fost găsit. Natură 453, 80-83 (2008).

Yang, J. J., Strukov, D. B. și Stewart, D. R. Dispozitive memristive pentru calcul. Nat. Nanotehnologia. 8, 13-24 (2013).

Li, C. și colab. Procesare analogică a semnalului și a imaginii cu bare transversale mari de memristor. Nat. Electron. 1, 52-59 (2018).

Le Gallo, M. și colab. Calcul în memorie cu precizie mixtă. Nat. Electron. 1, 246–253 (2018).

Prezioso, M. și colab. Instruirea și funcționarea unei rețele neuromorfe integrate bazate pe memristori cu oxid de metal. Natură 521, 61-64 (2015).

Burr, G. W. și colab. Demonstrație experimentală și toleranță a unei rețele neuronale pe scară largă (165 000 sinapse) folosind memoria de schimbare de fază ca element de greutate sinaptică. IEEE Trans. Electron. Dispozitive 62, 3498-3507 (2015).

Yu, S. și colab. Rețea neuronală binară cu cip macro de 16 MB rram pentru clasificare și antrenament online. În 2016 IEEE International Electron Devices Meeting (IEDM) 16.2.1–16.2.4 (IEEE, 2016).

Yao, P. și colab. Clasificarea feței folosind sinapse electronice. Nat. Comun. 8, 15199 (2017).

Hu, M. și colab. Calcul analogic bazat pe memori și clasificare a rețelelor neuronale cu un motor de produs dot. Adv. Mater. 30, 1705914 (2018).

Li, C. și colab. Învățare in situ eficientă și autoadaptativă în rețelele neuronale memristorice multistrat. Nat. Comun. 9, 2385 (2018).

Xu, X. și colab. Scalarea pentru inferența marginilor rețelelor neuronale profunde. Nat. Electron. 1, 216–222 (2018).

Jeong, D. S. și Hwang, C. S. Materiale de memorie nevolatile pentru mașini inteligente neuromorfe. Adv. Mater. 30, 1704729 (2018).

Du, C. și colab. Calculul rezervorului utilizând memristorul dinamic pentru procesarea informațiilor temporale. Nat. Comun. 8, 2204 (2017).

Smagulova, K., Krestinskaya, O. & James, A. P. Un circuit de memorie pe termen lung bazat pe memristor. Analogic. Integra Circ. Sig. Proces 95, 467–472 (2018).

Jiang, H. și colab. Canal sub 10 nm Ta responsabil pentru performanțe superioare ale unui memristor HfO2. Știință. reprezentant. 6, 28525 (2016).

Yi, W. și colab. Conductanța cuantificată coincide cu instabilitatea stării și excesul de zgomot la memristorii de oxid de tantal. Nat. Comun. 7, 11142 (2016).

Rumelhart, D. E., Hinton, G. E. și Williams, R. J. Învățarea reprezentărilor prin erori de propagare înapoi. Natură 323, 533–536 (1986).

Mozer, M. C. Un algoritm de backpropagare focalizat pentru recunoașterea tiparului temporal. Sistem complex. 3, 349–381 (1989).

Werbos, P. J. Generalizarea propagării înapoi cu aplicarea la un model recurent de piață a gazelor. Neural Netw. 1, 339–356 (1988).

Chollet, F. Keras: bibliotecă de învățare profundă pentru Theano și tensorflow. Keras https://keras.io (2015).

Phillips, P. J., Sarkar, S., Robledo, I., Grother, P. & Bowyer, K. Problema provocării identificării mersului: seturi de date și algoritm de bază. În Proc. A 16-a conferință internațională privind recunoașterea modelelor Vol. 1, 385–388 (IEEE, 2002).

Kale, A. și colab. Identificarea oamenilor folosind mersul. IEEE Trans. Procesul de imagine. 13, 1163–1173 (2004).

Tieleman, T. & Hinton, G. Lecture 6.5 - RMSprop: împărțiți gradientul la o medie de funcționare de magnitudinea sa recentă. CURSERA: Neural Netw. Mach. Învăța. 4, 26-31 (2012).

Choi, S. și colab. Memorie epitaxială SiGe pentru calcul neuromorf cu performanță ridicată reproductibilă bazată pe luxații proiectate. Nat. Mater. 17, 335-340 (2018).

Burgt, Y. și colab. Un dispozitiv electrochimic organic non-volatil ca sinapsă artificială de joasă tensiune pentru calcul neuromorf. Nat. Mater. 16, 414–418 (2017).

Ambrogio, S. și colab. Antrenament accelerat cu precizie echivalentă în rețeaua neuronală folosind memorie analogică. Natură 558, 60-67 (2018).

Sheridan, P. M., Cai, F., Du, C., Zhang, Z. & Lu, W. D. Codificare rară cu rețele memristor. Nat. Nanotehnologia. 12, 784–789 (2017).

Shafiee, A. și colab. ISAAC: un accelerator de rețea neuronală convoluțională cu aritmetică analogică in situ în bare transversale. În Proc. 43 simpozion internațional privind arhitectura computerelor 14–26 (IEEE, 2016).

Gokmen, T. & Vlasov, Y. Accelerarea antrenamentului rețelei neuronale profunde cu dispozitive rezistive în puncte încrucișate: considerații de proiectare. Față. Neuroști. 10, 33 (2016).

Cheng, M. și colab. TIME: o arhitectură de antrenament în memorie pentru rețele neuronale profunde bazate pe memristor. În Proc. A 54-a conferință anuală de automatizare a designului 26 (ACM, 2017).

Song, L., Qian, X., Li, H. și Chen, Y. PipeLayer: un accelerator bazat pe ReRAM, pentru învățare profundă. În 2017 Simpozion internațional IEEE privind arhitectura computerelor de înaltă performanță 541–552 (IEEE, 2017).

Mulțumiri

Această lucrare a fost susținută parțial de Laboratorul de Cercetare al Forțelor Aeriene din SUA (subvenția nr. FA8750-15-2-0044) și Activitatea de proiecte de cercetare avansată în domeniul inteligenței (IARPA; contract nr. 2014-14080800008). D.B., un student de la Swarthmore College, a fost susținut de NSF Research Experience for Undergraduates (grant nr. ECCS-1253073) de la Universitatea din Massachusetts. P.Y. a fost în vizită de la Universitatea de Știință și Tehnologie Huazhong, cu sprijinul Consiliului chinez de burse (subvenția nr. 201606160074). O parte din fabricarea dispozitivului a fost efectuată în camera curată a Centrului pentru fabricație ierarhică, un centru de știință și inginerie NSF la scară nano situată la Universitatea din Massachusetts Amherst.

Informatia autorului

Adresa actuală: Hewlett Packard Labs, Palo Alto, CA, SUA

Afilieri

Departamentul de Inginerie Electrică și Calculatoare, Universitatea din Massachusetts, Amherst, MA, SUA

Can Li, Zhongrui Wang, Mingyi Rao, Daniel Belkin, Wenhao Song, Hao Jiang, Peng Yan, Yunning Li, Peng Lin, J. Joshua Yang și Qiangfei Xia

Hewlett Packard Labs, Palo Alto, CA, SUA

Miao Hu, John Paul Strachan și R. Stanley Williams

HP Labs, HP Inc., Palo Alto, CA, SUA

Laboratorul de cercetare a forțelor aeriene, Direcția de informații, Roma, NY, SUA

Mark Barnell și Qing Wu

Puteți căuta acest autor și în PubMed Google Scholar

Puteți căuta acest autor și în PubMed Google Scholar

Puteți căuta acest autor și în PubMed Google Scholar

Puteți căuta acest autor și în PubMed Google Scholar

Puteți căuta acest autor și în PubMed Google Scholar

Puteți căuta acest autor și în PubMed Google Scholar

Puteți căuta acest autor și în PubMed Google Scholar

Puteți căuta acest autor și în PubMed Google Scholar

Puteți căuta acest autor și în PubMed Google Scholar

Puteți căuta acest autor și în PubMed Google Scholar

Puteți căuta acest autor și în PubMed Google Scholar

Puteți căuta acest autor și în PubMed Google Scholar

Puteți căuta acest autor și în PubMed Google Scholar

Puteți căuta acest autor și în PubMed Google Scholar

Puteți căuta acest autor și în PubMed Google Scholar

Puteți căuta acest autor și în PubMed Google Scholar

Puteți căuta acest autor și în PubMed Google Scholar

Contribuții

Q.X. și C.L. a conceput ideea. Q.X., J.J.Y. și C.L. a proiectat experimentele. C.L., Z.W. și D.B. a efectuat programare, măsurători, analize și simulare de date. M.R., P.Y., C.L., H.J., N.G. și P.L. a construit cipurile integrate. Y.L., C.L., W.S., M.H., Z.W. și J.P.S. a construit sistemul de măsurare și firmware-ul. Q.X., C.L., J.J.Y. și R.S.W. a scris manuscrisul. M.B., Q.W. și toți ceilalți autori au contribuit la analiza rezultatelor și au comentat manuscrisul.

Autori corespondenți

Declarații de etică

Interese concurente

Autorii nu declară interese concurente.

Informatii suplimentare

Nota editorului: Springer Nature rămâne neutru în ceea ce privește revendicările jurisdicționale din hărțile publicate și afilierile instituționale.

Informatie suplimentara

Informatie suplimentara

Cifre, note și referințe

Drepturi și permisiuni

Despre acest articol

Citați acest articol

Li, C., Wang, Z., Rao, M. și colab. Rețele de memorie pe termen scurt în matrice transversale de memristor. Nat Mach Intell 1, 49–57 (2019). https://doi.org/10.1038/s42256-018-0001-4

Primit: 30 mai 2018

Acceptat: 02 octombrie 2018

Publicat: 07 ianuarie 2019

Data emiterii: ianuarie 2019

Lecturi suplimentare

Condiții necesare pentru învățarea recunoașterii tiparelor bazate pe STDP într-o rețea neuronală de creștere memristivă

  • V.A. Demin
  • , D.V. Nekhaev
  • , IN ABSENTA. Surazhevsky
  • , K.E. Nikiruy
  • , A.V. Emelyanov
  • , S.N. Николаев
  • , V.V. Rylkov
  • & M.V. Kovalchuk

Rețele neuronale (2021)

Învățarea asociativă STDP a circuitelor neuromorfe bazată pe microdispozitive memristive de polianilină

  • Nikita V Prudnikov
  • , Dmitry A Lapkin
  • , Andrey V Emelyanov
  • , Anton A Minnekhanov
  • , Yulia N Malakhova
  • , Serghei N Chvalun
  • , Vyacheslav A Demin
  • & Victor V Erokhin

Journal of Physics D: Physics Applied (2020)