Implementarea rețelelor neuronale convoluționale profunde (CNN) în multe aplicații din lumea reală este în mare măsură împiedicată de costul lor ridicat de calcul. În această lucrare, propunem o nouă schemă de învățare pentru CNN-uri pentru a simultan 1) reduce dimensiunea modelului; 2) micșorați amprenta memoriei în timpul rulării; și 3) reduce numărul operațiunilor de calcul, fără a compromite precizia. . Acest lucru se realizează prin impunerea rarității la nivel de canal în rețea într-un mod simplu, dar eficient. Spre deosebire de multe abordări existente, metoda propusă se aplică direct arhitecților moderni CNN, introduce cheltuieli generale minime în procesul de instruire și nu necesită acceleratoare software/hardware speciale pentru modelele rezultate. Numim abordarea noastră de slăbire a rețelei, care ia rețele largi și mari ca modele de intrare, dar în timpul antrenamentului canalele nesemnificative sunt identificate și tăiate automat ulterior, oferind modele subțiri și compacte cu o precizie comparabilă. Demonstrăm empiric eficacitatea abordării noastre cu mai multe modele CNN de ultimă generație, inclusiv VGGNet, ResNet și DenseNet, pe diferite seturi de date de clasificare a imaginilor. Pentru VGGNet, o versiune multi-pass de slăbire în rețea oferă o reducere de 20x a dimensiunii modelului și o reducere de 5x a operațiunilor de calcul. (Citeste mai mult)

eficiente