Un interviu cu Dr. Christopher Zugates, inginer de aplicații la arivis AG, discutând despre un mod revoluționar de analiză a imaginilor 3D complexe ... prin realitatea virtuală!

observarea

Care sunt principalele provocări cu care se confruntă oamenii de știință atunci când vine vorba de analiza imaginilor microscopice 3D?

Una dintre cele mai mari provocări în microscopia 3D este dimensiunea și complexitatea imaginilor pe care acum suntem capabili să le captăm. Progresele tehnologice înseamnă că nu numai că captăm mai multe informații despre un eșantion, dar suntem și capabili să efectuăm mai multe analize folosind aceste informații.

Prima provocare cu astfel de microscoape avansate este să găsim cum să examinăm o imagine foarte complexă în primul rând! Când aveți seturi de date masive, volume masive sau mișcări 3D, cum ar trebui să vedem aceste date și cum le putem explora?

Cercetătorii trebuie acum să decidă cum să analizeze și să prezinte cel mai bine datele despre imagini 3D complexe și să le împărtășească comunității științifice.

Ce este InViewR?

InViewR este o aplicație care permite cercetătorilor să poarte o cască de realitate virtuală comercială și să fie scufundați în imagini microscopice 3D. În loc să vedeți o imagine 3D pe ecranul unui computer 2D, datele vă sunt prezentate ca obiecte din apropierea dvs. pe care le puteți atinge și atinge. Acest lucru vă permite să manipulați datele în moduri pe care nu le-ați fi putut face înainte.

Vorbind din propria mea experiență de cercetare, am putut să văd un obiect într-un colț îndepărtat al imaginii și să-l întind și să-l ating imediat. Aproape nu e niciun sentiment în jur. Creierul meu știa deja să-mi miște mâna la o anumită distanță. Aș putea mișca structurile în jur, le pot roti și le pot observa din toate unghiurile diferite. Aș putea chiar să pun ceva în spatele meu și să mă întind înapoi, fără să mă uit, să-l apuc și să-l trag din nou în față!

Cu un ecran plat, pierdeți legătura cu realitatea. Ați început cu materiale reale, tridimensionale și ați realizat, de exemplu, imunohistochimie, apoi ați făcut imagistica și dintr-o dată, nu seamănă nimic cu materiile prime. În setul cu cască VR, materialul devine din nou real. Cred că acesta este un avantaj al redării bazate pe InViewR și VR a datelor 3D brute în general.

În setul cu cască VR, puteți interacționa din nou cu materialul. Puteți să-l rotiți, să intrați în el, să faceți secțiuni transversale cu mâinile și, cel mai important, să efectuați măsurători foarte precise într-un mod eficient și confortabil.

Acest lucru este util în special pentru urmărirea neuronilor. Este un instrument care este cartografiat la mâna dvs., astfel încât atunci când întindeți mâna și atingeți un neuron, instrumentul recunoaște acest lucru și măsoară distanța și diametrul pe măsură ce vă deplasați în jos pe axon.

Vă permite să colaborați cu un algoritm pentru a găsi punctul central al unui axon și să-l urmăriți. Este o lume departe de a observa imagini pe un ecran plat, dar este mult mai asemănătoare lucrului natural cu mâinile, așa cum procedați în laborator.

Cum poate VR să transforme modul în care cercetătorii analizează și prezintă datele?

Cu siguranță sunt eficiențe de câștigat făcând lucruri în realitatea virtuală. Manipularea și analizarea imaginilor de pe ecranul unui computer este posibilă, dar ar fi mult mai eficient să întindeți și să atingeți imaginea, să desenați un obiect sau să măsurați o anumită distanță între obiecte.

Un alt loc în care realitatea virtuală va fi importantă este împărtășirea semnificației muncii tale. Ca oameni de știință, de obicei ne prezentăm datele reciproc folosind prezentări PowerPoint, care este un format 2D. Încercăm întotdeauna să explicăm ceea ce am văzut prin cuvinte sau imagini 2D. Ceea ce am observat de la arivis de-a lungul anilor este că VR este un mod superb de a spune povestea. Oamenii de știință sunt capabili să-și împărtășească munca punând un coleg în setul lor de date și indicând domeniile de semnificație.

Acest lucru ar putea fi util și pentru laboratoarele didactice. Când am început școala postuniversitară, mă pregăteam ca neurobiolog. O mare parte din pregătirea mea timpurie a implicat citirea unor lucrări scrise de alți oameni, iar acest proces de învățare se desfășoară pentru o viață întreagă. Există un decalaj uriaș între citirea acestor hârtii care afișează imagini 2D și de fapt aveți materialul în mână. VR ar putea fi o punte pentru educație, unde puteți arăta oamenilor structurile țesuturilor și organelor din afara laboratorului.

Unul dintre cele mai mari avantaje pentru oamenii de știință va fi analiza imaginilor în care există o mulțime de amestecuri de structuri. De exemplu, dacă doriți să observați un neuron care merge de la un plan la altul și este încrucișat cu o mulțime de alți neuroni în calea sa. Vrem să observăm fiecare neuron individual, deoarece există ceva special în fiecare dintre aceste structuri și vrem să le înțelegem proprietățile în mod individual. Pentru a face acest lucru, trebuie să dezlegăm fiecare neuron și să-i separăm unul de celălalt.

Cu excepția cazului în care un algoritm este suficient de inteligent pentru a privi fluxul structural și continuitatea pe distanțe mari, nu ar putea separa neuronii care sunt foarte apropiați. Folosind VR, puteți vedea textura neuronului, iar creierul dvs. poate distinge o structură de alta, chiar și atunci când neuronii se ating și se încrucișează. Acest lucru este extrem de puternic pentru analiza datelor și vă permite să alegeți o cantitate vastă de informații.

Este la fel cu celulele vii. Am lucrat cu un client care etichetează veziculele care se mișcă rapid în jurul unei celule. Folosind setul cu cască VR, pot sta în interiorul uneia dintre celule și văd veziculele care se mișcă. Parcă creierul meu îmi umple golurile; Văd cu ușurință că această veziculă a sărit de aici în colo, în colo și o pot urmări.

Îmi pot pune degetul pe el și îi pot urmări traiectoria în jurul celulei. Văd vezicule intrând în viziunea mea periferică care îmi traversează câmpul vizual și se mișcă pe cealaltă parte. Acest lucru este ușor de făcut dacă îl puteți vedea, dar poate fi relativ dificil de rezolvat pe un computer.

De ce ați considerat că este important să dezvoltați o tehnologie care să le permită oamenilor de știință să „se plimbe” cu datele lor?

Cu patru ani în urmă, exploram utilizarea realității virtuale în cercetare pentru distracție! Am adus primul nostru sistem VR la conferința anuală Society for Neuroscience și sute de oameni au venit să pună căștile, toți zburând în jurul imaginilor.

După spectacol, am început să analizăm cum am putea converti experiența VR de la ceva distractiv, în ceva util din punct de vedere științific. Ne-am uitat la fiecare aspect al problemei, de la povestiri la partajarea datelor și chiar la VR colaborativ, unde pot fi prezenți doi oameni în același timp.

Atunci ne-am gândit că, dacă este ușor să întinzi mâna și să atingi un obiect, poate ar trebui să adăugăm opțiuni de pictură sau sculptură pentru a ajuta cercetătorii cu probleme de segmentare. Mulți cercetători ne-au spus că vor să poată marca cu ușurință coloane dendritice pe un neuron. Ne-am dat seama că, dacă simplificăm fluxul de lucru, doar dacă faceți clic pe un buton și marcați instantaneu obiectul, atunci ar putea fi un mod foarte eficient de a realiza această sarcină comună.

De asemenea, am făcut modalități ușoare de a măsura distanța 3D între puncte și de a face sculptură 3D cu mâna liberă pe imagini. Acum combinăm aceste instrumente cu inteligența mașinii pentru a face rezultatele din ce în ce mai exacte. De aceea, anul acesta, am lansat noul nostru instrument inteligent de urmărire a neuronilor.

Odată cu aceasta, a luat o mulțime de instrumente și trucuri diferite și a început să le împacheteze în fluxuri de lucru. Începem acum să vedem cum oamenii se conectează cu VR ca instrument de analiză în loc să fie doar un lucru distractiv de făcut.

Pentru ce domenii de cercetare a fost conceput InViewR?

La început, nu ne-am gândit la câmpurile pe care încercam să le abordăm, am vrut doar să facem date 3D accesibile și ușor de analizat. Ulterior am început să dezvoltăm fluxuri de lucru pentru neurologi, deoarece oamenii de știință din aceste domenii depășesc cu adevărat limitele dimensiunii și conținutului informațional stocat într-o imagine.

Imagistica țesutului neuronal complex necesită o rezoluție spațială și temporală ridicată, motiv pentru care sunt foarte supuse unei analize VR. Puteți vedea structuri individuale în VR care altfel ar apărea ca o încurcare indiscernibilă de neuroni pe un ecran 2D.

Cu o imagine foarte densă, este posibil să fie nevoie să întoarceți imaginea în modul corect pentru a vedea ceva într-o secțiune transversală, iar pe un ecran cu mouse-ul, acest lucru poate fi dificil și frustrant. În loc să faceți clic și să încercați să mutați un plan de tăiere cu mouse-ul și tastatura, în mediul VR trebuie doar să vă mișcați capul natural! Puteți, bineînțeles, roti setul de date, dar puteți face și ajustări cu capul pentru a obține vizualizarea perfectă.

Care sunt principalele diferențe între VR și vizualizarea rezultatelor pe ecranul unui computer 2D?

Dacă te gândești la mediul tău fizic, spune că ești în casa ta sau în biroul tău, există un anumit mod prin care ai camera organizată fizic. Ai aici și aici acolo, și asta acolo. Cumva, este foarte ușor pentru creierul tău să-și amintească unde se află instrumentele și materialele tale.

Aceasta înseamnă că puteți organiza și lucra în spațiu într-un mod cu adevărat eficient. Acest lucru este comparabil cu mediul VR. Ai în față acest obiect cu care poți atinge și lucra eficient. Pot să mă întorc în acest loc. Pot merge în acest loc. Pot desena o linie de la A la B până la C până la D foarte, foarte ușor, deoarece creierul meu percepe că este un obiect real.

Cum ajută tehnologia oamenilor de știință să corecteze problemele de segmentare?

Toată lumea vrea să ia măsurători din imaginile lor. Efectuarea acestuia pe un ecran bidimensional în care desenezi avion cu avion poate fi foarte, foarte precisă, dar poate fi și consumatoare de timp și laborioasă. În mediul VR, mai multe informații despre locurile în care există erori de segmentare sunt transmise utilizatorului simultan și aceștia pot trece eficient la acestea și le pot corecta.

Sunteți ghemuit peste ecranul computerului ore în șir, încercând să manipulați imaginea. Cu realitatea virtuală, stai drept în picioare sau stai și îți întinzi mâinile în felul în care le folosești în mod natural. Elimină necesitatea tastaturilor și șoarecilor, făcând sarcina mai puțin dăunătoare articulațiilor și musculaturii. Dacă lucrezi repede, atunci poate fi chiar un antrenament bun.

Spuneți-ne mai multe despre utilizarea tehnologiei. Funcționează cu orice sistem de imagistică 3D?

Da! Preluăm imagini din orice modalitate 3D sau din orice mod 3D în timp și încercăm să facem acest proces cât mai ușor posibil pentru utilizatorii noștri. Dacă vă uitați în interiorul software-ului nostru, există o listă lungă de diferite tipuri de fișiere pe care le acceptăm. Încercăm să facem acest lucru cât mai ușor posibil.

În majoritatea cazurilor, este pur și simplu un exercițiu de drag and drop. Pur și simplu trageți fișierul pe desktop, software-ul îl importă în setul cu cască VR și sunteți gata de plecare.

Ce rol va juca realitatea virtuală în viitor?

Cred că vom vedea oamenii de știință folosind din ce în ce mai mult realitatea virtuală. De asemenea, cred că vom începe să ne mutăm în realitatea augmentată, sau AR, pe măsură ce tehnologia evoluează. Lucrul în mediul virtual va lua foc, deoarece căștile vor deveni mai confortabile și mai accesibile.

Modul în care ne folosim mâinile în mediul VR este probabil să se îmbunătățească și. În acest moment, folosim controlere cu niște butoane, dar există o mulțime de tehnologii promițătoare care vor permite oamenilor să își folosească mâinile. Acestea încorporează lucruri precum nu doar feedback vibrațional, ci feedback de presiune și feedback termic. Există toate aceste alte dimensiuni care pot fi adăugate acolo unde datele se vor simți ca un obiect real.

Nu știu dacă am lucra permanent în lumea VR. Ne-am dezvoltat instrumentul VR într-un mod în care sarcinile pe care le faceți acolo sunt foarte specializate. Nu ne așteptăm să puneți setul cu cască și să stați acolo toată ziua și să vă faceți toată munca. În acest moment, folosim VR pentru a rezolva probleme speciale.

Există încă o mulțime de sarcini pe care veți dori să le faceți într-un mod tradițional pe computer. Unul dintre lucrurile speciale despre aplicația noastră VR este că se potrivește cu toate celelalte aplicații ale noastre. Avem o aplicație foarte bogată în caracteristici, un pachet tradițional de vizualizare și analiză a imaginii care rulează pe laptopul sau desktopul dvs., apoi avem și câteva soluții de server.

Când doriți să faceți o analiză mare, pe loturi, cu o mulțime de lucrări de imagistică, o puteți face și în acel mediu. Dar toate aceste instrumente sunt conectate. Orice faceți în mediul VR poate fi văzut pe un computer și invers.

Unde cititorii pot găsi mai multe informații?

Despre Dr. Christopher Zugates

Politica privind conținutul sponsorizat: News-Medical.net publică articole și conținut conex care pot fi derivate din surse în care avem relații comerciale existente, cu condiția ca acest conținut să adauge valoare etosului editorial de bază al News-Medical.Net, care este de a educa și informa site-ul vizitatorii interesați de cercetare medicală, știință, dispozitive medicale și tratamente.

Citații

Vă rugăm să utilizați unul dintre următoarele formate pentru a cita acest articol în eseu, lucrare sau raport:

arivis AG. (2019, 18 decembrie). Observarea imaginilor microscopice 3D folosind realitatea virtuală. Știri-Medical. Adus pe 15 decembrie 2020 de pe https://www.news-medical.net/news/20191219/Observing-3D-Microscopic-Images-using-Virtual-Reality.aspx.

arivis AG. „Observarea imaginilor microscopice 3D folosind realitatea virtuală”. Știri-Medical. 15 decembrie 2020. .

arivis AG. „Observarea imaginilor microscopice 3D folosind realitatea virtuală”. Știri-Medical. https://www.news-medical.net/news/20191219/Observing-3D-Microscopic-Images-using-Virtual-Reality.aspx. (accesat la 15 decembrie 2020).

arivis AG. 2019. Observarea imaginilor microscopice 3D folosind realitatea virtuală. News-Medical, vizualizat la 15 decembrie 2020, https://www.news-medical.net/news/20191219/Observing-3D-Microscopic-Images-using-Virtual-Reality.aspx.

News-Medical.Net furnizează acest serviciu de informații medicale în conformitate cu acești termeni și condiții. Vă rugăm să rețineți că informațiile medicale găsite pe acest site web sunt concepute pentru a sprijini, nu pentru a înlocui relația dintre pacient și medic/medic și sfaturile medicale pe care le pot oferi.

News-Medical.net - Un site AZoNetwork