Cum funcționează vizualizarea datelor?

Tl; dr: Vizualizările de date sunt practic dubla codificare a unui sistem complex. Astfel, cititorii vizualizărilor de date trebuie să parcurgă pași specifici de decodare pentru a înțelege și interpreta datele și sistemul de bază. Pentru a crea vizualizări mai bune ale datelor, noi, proiectanții, dezvoltatorii sau oamenii de știință ai datelor, trebuie să înțelegem procesul de decodare.

münster

Multe dintre sistemele complexe cu care avem de-a face astăzi, precum procesele de producție sau călătoriile pe viață ale clienților, sunt în mare parte invizibile. Numai prin ruta indirectă de colectare și analiză a datelor putem înțelege aceste sisteme într-o asemenea măsură încât să putem identifica și rezolva probleme.

Vizualizarea datelor poate fi un mod prietenos de a înțelege și de a accesa aceste date. Acestea ar trebui, de asemenea, să permită non-tehnicilor să citească și să interpreteze date.

O vizualizare a datelor este rezultatul final al unui proces lung și complex, în care multe obstacole trebuie adesea depășite: îmbinarea datelor din surse eterogene, curățarea, transformarea în formate utilizabile și, uneori, și calcule statistice. În cele din urmă, privim cu mândrie prezentarea colorată și atrăgătoare și ne gândim: „Da! pentru prima dată, datele noastre sunt vizibile! ’Am făcut toată munca grea și îi oferim utilizatorului informațiile de pe un platou de argint. Utilizatorul îl are acum ușor și nimic nu mai poate merge prost, corect?

Cu toate acestea, călătoria nu s-a terminat încă. Vizualizarea datelor poate fi adesea înțeleasă greșit sau chiar deloc înțeleasă. Dacă ați mai observat acest lucru, fie ca cititor, fie ca creator de vizualizări, atunci ar trebui să citiți mai departe.

Conform observațiilor mele, o mulțime de lucruri pot merge în neregulă. De peste zece ani dezvolt interfețe utilizator pentru produse de date și am făcut experiența dureroasă că vizualizările mele uneori nu își îndeplinesc scopul. Utilizatorii nu înțeleg limbajul vizual, nu pot înțelege structura datelor sau nu pot înțelege semnificația datelor prezentate. În unele proiecte de business intelligence deosebit de ambițioase, am constatat că vizualizările au fost rareori folosite ulterior. Dar de ce este asta? Și cum te poți descurca mai bine?

Să analizăm pas cu pas procesul de creare și citire a vizualizărilor de date, ciclul de codificare și decodare:

Crearea unei vizualizări a datelor nu începe cu datele, așa cum se presupune adesea, începe mult mai devreme, cu sistemul din spate. În spatele tuturor datelor se află un sistem în lumea reală. De obicei este invizibil și foarte complex.

Luați un magazin online, de exemplu. Nimeni nu poate vedea pur și simplu fluxurile de vizitatori. În primul rând, avem nevoie de o idee; o hartă mentală a acestui magazin online, pentru a decide ce obiecte, proprietăți și evenimente dorim să măsurăm. Ar exista o multitudine de lucruri care ar putea fi interesante, vizitatori, site-uri web, coșuri de cumpărături și produse. Dar nu toate lucrurile pe care le putem măsura din punct de vedere tehnic, precum gândurile unui vizitator de magazin online, în timp ce el decide să nu cumpere un produs în coșul de cumpărături. Ce frumos ar fi să știi asta!

Identificând obiectele și proprietățile pe care le putem și vrem să le măsurăm, facem deja o alegere selectivă cu privire la ce părți ale sistemului vor fi reprezentate în datele noastre. Dacă harta noastră mentală este incompletă, inexactă sau pur și simplu greșită, este posibil să nu punem întrebările corecte și să măsurăm datele corecte.

Deja în primul pas al creării vizualizării datelor, trebuie să recunoaștem că nu putem surprinde întreaga complexitate a sistemului. Datele nu reprezintă o reprezentare completă a sistemului, ci sunt doar mici biți de indicatori.

Apoi, creăm un model de date. Și aici se pierd multe, deoarece un model de date nu poate surprinde fiecare detaliu al lumii reale. Oricine a făcut vreodată acest lucru știe că un model de date umflat este un monstru periculos. De aceea, preferăm să rămânem cât mai simpli posibil și să omitem detalii neimportante. Deci, în cele din urmă, obținem un model de date curat și curat, care conține doar mici bucăți de informații despre sistem. Prin transformarea datelor brute în modelul nostru de date, profunzimea informațiilor se reduce a doua oară.

După ce am colectat date și le-am procesat, în cele din urmă ne creăm vizualizarea. Din nou, abundența informațiilor disponibile stocate în tabelele de date trebuie filtrată, deoarece tehnic tipurile de diagrame pot afișa doar o cantitate limitată de obiecte și caracteristici. Dar acesta nu este singurul motiv pentru care trebuie să reducem cantitatea de date prezentate: o bună vizualizare a datelor are în vedere și aspectele umane. Trebuie să ne concentrăm pe mesajul pe care dorim să-l comunicăm, pe nevoile publicului și pe abilitățile lor de percepție. Astfel, trebuie să selectăm o mică parte din datele disponibile pentru fiecare diagramă: Poate un tip de obiect și una sau două caracteristici, cum ar fi produsele și cifrele lor de vânzări pe zi.

Până la acest pas, s-au întâmplat două lucruri pe care ar trebui să le avem în vedere: În primul rând, nu toată complexitatea sistemului este vizibilă în vizualizare și, în al doilea rând, am criptat sistemul de două ori. În primul rând, au fost traduse în date și apoi, datele au fost traduse în vizualizare. De aceea numim acest proces codificare și producătorii de vizualizări de date codificatori.

Am terminat acum? Vizualizarea finală a datelor este sfârșitul procesului?

Nu, deloc, pentru că acum vine a doua jumătate, procesul de decodare. Un decodor este un cititor al unei vizualizări. Pentru a înțelege sistemul și pentru a obține informații relevante pentru acțiune, decodorul trebuie să meargă înapoi de la vizualizarea datelor la date, apoi de la date la modelul mental. Aceasta poate fi o provocare. Scopul codificatorului este de a confirma, rafina sau schimba propriul model mental cu ajutorul datelor.

Cum poate face asta? În primul pas, cititorul trebuie să spargă cheia de traducere. Ce înseamnă liniile, punctele, pozițiile și culorile? Ce spun eticheta axei și legenda? În același timp, ea încearcă să recunoască structura datelor. Aceste puncte din cronologie sunt clicuri pe oră, pe țară sau pe produs?

Această abilitate, numită graficitate, nu poate fi luată ca atare. Acesta trebuie dobândit prin practicarea citirii multor tipuri diferite de diagrame și înțelegerea principiilor structurilor de date. Trebuie să ne dăm seama că mulți oameni eșuează deja la acest pas. Graficitatea este distribuită inegal în populație. Deci, este important să știți ce nivel are publicul dvs.

Dacă utilizatorul nostru a reușit să decodifice structura de date subiacentă, poate trece la pasul următor: înțelegerea a ceea ce înseamnă de fapt datele.

La pasul 5, decodorul trebuie mai întâi să-și facă o idee despre obiectele din lumea reală care sunt reprezentate de date. Ce proprietăți au? Cum sunt ele legate? Poate vedea modele? Cunoștințele statistice sunt utile în acest sens. Sunt aceste numere absolute sau relative? Cât de mare este populația? De exemplu, care sunt proporțiile și relațiile dintre blugi, mărimea îmbrăcămintei și comenzile?

Cu toate acestea, înțelegerea informațiilor cantitative nu este suficientă. Acum știe că s-a întâmplat ceva, dar nu de ce. Aceasta este în multe cazuri o situație nesatisfăcătoare. Un decodor vrea să afle despre funcționarea interioară a sistemului. Pentru aceasta, ea trebuie să interpreteze datele. Interpretarea înseamnă practic să găsești „de ce”. De ce vindem atât de mulți blugi supradimensionați? De ce am vândut cu 17% mai mult sâmbăta trecută decât media de sâmbătă?

Aici intervin cunoștințele sale de domeniu, harta mentală a sistemului. Contextul pierdut prin dubla codificare trebuie adăugat din nou. Poate că știe o cauză potențială pentru creșterea de 17% în acea sâmbătă: o campanie de marketing? O modificare a prezentării produsului pe site?

Noi, codificatorii, am distilat și agregat cunoștințele noastre despre lume într-o formă condensată și abstractă. Pentru a adăuga semnificație acestor date, pentru a afla de ce, decodificatorul trebuie să coboare pe scara abstracției, până la lucruri specifice. Nu gândim în abstract. Gândim în imagini specifice, oameni, evenimente, locații, obiecte și povești. Înțelegem cauza și efectul din lumea noastră prin povești.

Deci, ceea ce face decodificatorul atunci când interpretează date este, încearcă să conecteze biții de informație la ceea ce știe deja, la modelul ei mental al sistemului. Modelul ei mental este construit pe propriile experiențe și poveștile pe care le-a auzit. Un model mental poate conține, de asemenea, informații abstracte și, de obicei, există. Odată ce înțelegem cauzalitatea (mecanica unei părți a unui sistem) ne putem abstra din detaliile specifice, de exemplu, un singur vizitator de magazin online și motivația acestuia de a cumpăra, la o vizualizare agregată a multor vizitatori și tipare săptămânale.

„Oamenii presupun că lumea are o textură cauzală - că evenimentele sale pot fi explicate de natura lumii, mai degrabă decât de a fi doar un lucru afurisit după altul”. - Steven Pinker, Cum funcționează mintea

Adăugarea de semnificație la date este un proces invizibil care trebuie realizat de decodor. Cu cât utilizatorul știe deja despre sistem, cu atât acest lucru devine mai ușor. Luați în considerare piesa șocantă din The Washington Post despre deficitul uimitor de bogăție milenară. Deși tipul graficului este oarecum neobișnuit, l-aș putea decoda într-un minut. Acest lucru se datorează faptului că nu numai că am suficient grafic și numeratic, ci și pentru că știu deja o mulțime de lucruri suplimentare despre obiectele și valorile vizualizate: știu despre oameni în general, despre generații, numele acestor trei generații, despre bogăție și modul în care oamenii reușesc să acumuleze economii în timpul vieții, despre evoluțiile economice din SUA în ultimele decenii și așa mai departe. Pot coborî pe scara abstracției la poveștile de viață ale mele, ale prietenilor mei și ale multor oameni despre care am citit, căutând potențiale cauze ale deficitului de avere. Citind această vizualizare a datelor, aș putea adăuga la harta mentală deja detaliată a lumii un nou detaliu, re-ascuțind o zonă neclară.

O doză sănătoasă de gândire critică este, de asemenea, parte a acestui proces. Ce motive a avut autorul? Ce date lipsesc? Datele pot fi corecte? Au existat erori de măsurare sau incertitudini? Am o prejudecată cognitivă? Ce afirmații pot obține din aceasta și care nu?

Dacă cititorul are suficiente cunoștințe de domeniu, acest proces se va întâmpla aproape fără efort și inconștient. Dar dacă harta ei mentală a sistemului nu este suficientă sau dacă punctele de date nu pot fi conectate la acesta, probabil că va eșua în acest pas. Noi, codificatorii, avem responsabilitatea de a ne asigura că publicul nostru are toate informațiile importante pentru a decoda vizualizarea datelor noastre.

Cum putem realiza acest lucru? Cum pot fi vizualizate hărțile și modelele mentale, împreună cu datele? Noi, practicienii de date, vizualizăm datele în modele uneori intuitiv, dar aș vrea să mă adânc în acest subiect. Acest lucru este cu siguranță lucruri pentru un alt articol. De asemenea, aș fi foarte fericit dacă aveți câteva informații de împărtășit, vă rugăm să mă contactați.

Dacă datele și modelul mental se potrivesc, decodificatorul poate interpreta acum datele și poate obține informații utile. Ea își poate extinde cunoștințele și își poate îmbunătăți harta mentală. Ea poate pune alte întrebări specifice. Ce face exact decodificatorul cu cunoștințele dobândite după o interpretare reușită depinde de scopul pe care îl are vizualizarea acestor date. Gândirea în categoriile de locuri de muncă pentru a fi realizat poate fi de ajutor aici. Vizualizarea datelor și produsele de date sunt angajate de utilizatori sau companii pentru o slujbă specială, de obicei una (sau mai multe) dintre acestea:

  • Sprijin pentru decizie: Trebuie să iau o umbrelă mâine?
  • Indicație de sănătate a sistemului: magazinul meu web funcționează așa cum ar trebui?
  • Buclă de feedback pentru performanță: mi-am îndeplinit obiectivul de 5000 de pași pe zi luna trecută?
  • Analiza cauzei principale: de ce a scăzut rata vânzărilor în această regiune?
  • Crearea cunoașterii: Este particule un lucru unde locuiesc? Cum se schimbă nivelurile sale în timp?
  • Construirea încrederii: spun că acest robot poate detecta facturi incorecte cu o rată de eroare scăzută. Este adevărat acest lucru?

Uneori, vizualizarea datelor greșește. Dacă tabloul de bord al magazinului web prezintă indicatori cheie de performanță, dar decodificatorul dorește să știe care sunt ratele de vânzare ale produsului în scădere, nu primește ceea ce are nevoie. Dacă un scriitor mediu vrea să știe câți cititori citesc în întregime articolul ei, arătând doar timpul mediu de citire o va frustra.

„Este nevoie de mult timp pentru a traduce informațiile în cunoștințe utile.” - Nate Silver, Semnalul și zgomotul

Este extrem de important ca noi, codificatori de date și creatori de vizualizări de date, să depunem toate eforturile pentru a afla exact treaba care trebuie făcută pentru produs. Dacă proiectăm produsul de vizualizare a datelor pentru a satisface nevoile utilizatorului, cunoștințele extrase în acest proces devin de fapt utile.

Dacă utilizatorii dvs. știu puțin sau nimic despre sistemul de bază, traducerea numerelor goale în informații utile poate deveni dificilă pentru ei, chiar dacă datele sunt vizualizate într-un mod clar și atrăgător.

După cum am văzut, totuși, drumul către cunoștințe utile este unul lung. Există multe pericole care se ascund. Doar cel care urmărește ciclul complet de codificare și decodare va putea construi un produs de date funcțional sau vizualizarea datelor.

Mă bucur că ciclul de codificare și decodare (alias Ghid de proiectare a datelor) a fost inclus în studiul „Future Skills: A Framework for Data Literacy” (în limba germană) de Hochschulforum Digitalisierung. Ghidul de proiectare a datelor servește ca bază pentru cadrul de alfabetizare a datelor dezvoltat acolo. Acest cadru stabilește direcția educației la universitățile germane. „Analog cu criteriile de evaluare a competențelor lingvistice, cadrul de competență dezvoltat aici face distincție între procesele de codificare și decodificare.”

Vă rugăm să vă înscrieți la buletinul informativ Desemnare dacă doriți mici bucăți de vizualizare a datelor.