zukun

Publicat pe 26 august 2011

acțiunii

  • 6 comentarii
  • 5 aprecieri
  • Statistici
  • Note

Autentifică-te pentru a vedea comentariile

  1. 1. Școală de vară ENS/INRIA Recunoaștere vizuală și învățare automată 25-29 iulie, Școala Paris Franța, 25 29 iulie Paris, Recunoaștere acțiune umană Ivan Laptev [email protected] ilt @iif INRIA, WILLOW, ENS/INRIA/CNRS Laboratorul de informatică UMR 8548, Ecole Normale Supérieure, Paris d Informatique, include diapozitive de la: Alyosha Efros, Mark Everingham și Andrew Zisserman
  2. 2. Prezentare generală a cursului Motivație Revizuire istorică Aplicații și provocări Estimarea posturii umane Structuri picturale Progrese recente Metode bazate pe aspect pp Imagini din istoria mișcării Modele de formă activă și priorități de mișcare Metode bazate pe mișcare Generare și parametri Flux optic Șabloane de mișcare Metode spațiu-timp p Spațiu-timp caracteristici Antrenament cu supraveghere slabă
  3. 3. Motivația I: reprezentare artistică Studiile timpurii au fost motivate de reprezentări umane în ArtsDa Vinci: „este indispensabil ca un pictor să se familiarizeze total cu anatomia nervilor, oaselor, mușchilor și tendinelor, astfel încât să înțeleagă y, pentru diferitele lor mișcări și solicitări, care se înclină sau care mușchi provoacă o anumită mișcare ”„ Cer greutatea [presiunea] acestui om pentru fiecare segment al mișcării I când urcă acele scări și pentru greutatea pe care o pune pe b și pe c. Rețineți linia verticală sub centrul de masă al acestui om ”. Leonardo da Vinci (1452-1519): Un bărbat care urcă la etaj sau urcă o scară.
  4. 4. Motivația II: Biomecanică  Apariția biomecanicii  Borelli a aplicat la biologie metodele analitice și geometrice, dezvoltate de Galileo Galilei  El a fost primul care a înțeles că oasele servesc ca pârghii și că mușchii funcționează conform principiilor matematice p  Fiziologia sa studiile au inclus analiza musculară și o discuție matematică a mișcărilor, cum ar fi alergarea sau săriturile Giovanni Alfonso Borelli (1608–1679)
  5. 5. Motivația III: percepția mișcării Etienne-Jules Etienne Jules Marey: (1830–1904) a făcut ca experimentele cronofotografice să fie influente pentru domeniul emergent al cinematografiei Eadweard Muybridge (1830–1904) a inventat o mașină pentru afișarea seriei de imagini înregistrate. A fost pionier al filmelor și și-a aplicat tehnica în studiile de mișcare
  6. 6. Motivația III: percepția mișcării Gunnar Johansson [1973] a inițiat studii asupra utilizării imaginii [] pg  secvențe pentru o analiză programată a mișcării umane „Afișajele de lumină în mișcare (LED) permit identificarea persoanelor familiare Afișările în mișcare”  și genul și a inspirat multe lucrări în viziunea computerizată. Gunnar Johansson, Percepție și psihofizică, 1973
  7. 7. Acțiuni umane: Prezentare istorică secolul al XV-lea  studii de anatomie t  Apariția biomecanicii din secolul al XVII-lea Secolul al XIX-lea  Apariția cinematografiei  Studii din 1973 ale percepției mișcării umane Viziunea modernă pe computer M d t i i
  8. 8. Aplicații moderne: captură de mișcare și animație Avatar (2009)
  9. 9. Aplicații moderne: captare de mișcare și animație Leonardo da Vinci (1452-1519) Avatar (2009)
  10. 10. Aplicații moderne: editare video Completare video spațiu-timp Y. Wexler, E. Shechtman și M. Irani, CVPR 2004
  11. 11. Aplicații moderne: editare video Recunoașterea acțiunii la distanță Alexei A. Efros, Alexander C. Berg, Greg Mori, Jitendra Malik, ICCV 2003
  12. 12. Aplicații moderne: editare video Recunoașterea acțiunii la distanță Alexei A. Efros, Alexander C. Berg, Greg Mori, Jitendra Malik, ICCV 2003
  13. 13. De ce Recunoașterea acțiunii?  Indexarea și căutarea videoclipurilor sunt utile în producția TV, divertisment, educație, studii sociale, securitate ... Videoclipuri de acasă: de ex. TV și Web: „De ex. fiica „Luptă în cățărare” Parlament ”Cercetare sociologică: supraveghere manuală: fumatul analizat 260K vizionează acțiuni în 7 zile pe 900 de filme i YouTube
  14. 14. Cum este legată recunoașterea acțiunii de viziunea computerizată? Sky Sk Street sign Car Car Car Car Car Road
  15. 15. Putem recunoaște mașinile și drumurile, g, ce urmează? 12.184.113 imagini, 17624 de setări
  16. 16. Avion O câmpie sa prăbușit, cabina este spartă, este probabil ca cineva să fie rănit sau mort.
  17. 17. pisica femeie gunoi bi t h bin
  18. 18.  Viziunea este centrată pe persoană: ne pasă în cea mai mare parte de lucrurile care sunt importante pentru noi, oamenii  Acțiunile oamenilor dezvăluie funcția obiectelor p p j  Provocări viitoare: - Funcție: Ce pot face cu asta și cum? - Predicție: Ce se poate întâmpla dacă cineva face asta? - Recunoașterea obiectivelor: Ce încearcă să facă această persoană?
  19. 19. Câte persoane-pixeli există? persoană- Filme TV YouTube Y T b
  20. 20. Câte persoane-pixeli există? persoană- Filme TV YouTube
  21. 21. Câte persoane-pixeli există? persoană- 35% 34% Filme TV 40% YouTube
  22. 22. Câte date avem?  Este disponibilă o cantitate uriașă de videoclipuri și canale TV în creștere înregistrate începând cu 60’s 60 s> 34K ore de încărcare video în fiecare zi

Camere de supraveghere 30M în SUA =>

5 ore de filme

  • 179. Detectarea temporală a acțiunilor „Stai jos” și „Ușa deschisă” în filme: Absolvent, Jocul plâns, Viața în uitare
  • 180. Concluzii  Modelele de saci de cuvinte sunt în prezent di B fddl tl dominante, pentru că ar trebui integrată structura (ipostaze umane etc.)  Vocabularul acțiunilor nu este bine definit - depinde de obiectiv și de sarcina g  Acțiunile ar trebui utilizate pentru interpretarea funcțională a lumii vizuale