Pe măsură ce pandemia de coronavirus persistă, implicațiile socio-economice ale rasei și genului în contractarea COVID-19 și moartea din cauza acesteia au fost dezvăluite. Inteligența artificială (AI) joacă un rol esențial în răspuns, dar ar putea exacerba și inegalitățile din cadrul sistemelor noastre de sănătate - o preocupare critică care atrage înapoi limitele tehnologiei în lumina reflectoarelor.

inteligența

Răspunsul la criză a fost în multe moduri mediat de date - o explozie de informații folosite de algoritmii AI pentru a înțelege și a aborda mai bine COVID-19, inclusiv urmărirea răspândirii virusului și dezvoltarea intervențiilor terapeutice.

AI, ca și creatorul său uman, nu este imun la prejudecăți. Tehnologia - concepută, în general, pentru a digera volume mari de date și a face deducții pentru a sprijini luarea deciziilor - reflectă prejudecățile oamenilor care o dezvoltă și îi alimentează informații pe care le folosește pentru a scuipa rezultatele. De exemplu, în urmă cu ani, când Amazon a dezvoltat un instrument AI pentru a ajuta la clasarea candidaților la locuri de muncă, învățând din angajările sale anterioare, sistemul a imitat tendința de gen a factorilor de decizie prin retrogradarea CV-urilor de la femei.

„Am văzut că AI este utilizat pe scară largă înainte de COVID-19 și, în timpul COVID-19, ați observat o creștere a utilizării unor tipuri de instrumente”, a spus Meredith Whittaker, un om de știință de cercetare distins la Universitatea din New York din SUA cofondator al AI Now Institute, care efectuează cercetări examinând implicațiile sociale ale AI.

Instrumentele de monitorizare pentru a ține cont de lucrătorii cu guler alb care lucrează de acasă și instrumentele educaționale care susțin că detectează dacă elevii înșală la examene sunt din ce în ce mai frecvente. Whittaker spune însă că cea mai mare parte a acestei tehnologii nu este testată - iar unele s-au dovedit a fi defecte. Cu toate acestea, asta nu a împiedicat companiile să își comercializeze produsele ca remedii pentru daunele colaterale cauzate de pandemie, adaugă ea.

În SUA, de exemplu, un dispozitiv medical compact, numit puls oximetru, conceput pentru a măsura nivelul de oxigen din sânge, avea unii pacienți cu coronavirus lipiți de micile sale ecrane pentru a decide când să meargă la spital, pe lângă utilizarea sa de către medicii pentru a ajuta la luarea deciziilor clinice în spitale.

Cu toate acestea, modul în care funcționează dispozitivul este predispus la prejudecăți rasiale și a fost probabil calibrat pe utilizatorii cu piele deschisă. În 2005, un studiu a arătat cu siguranță că dispozitivul „a avut tendința de a supraestima nivelurile de saturație (oxigen) cu mai multe puncte” pentru persoanele care nu sunt albe.

Problema cu dispozitivul cu oximetru de puls este cunoscută de zeci de ani și nu a fost remediată de producători, spune Whittaker. „Dar, chiar și așa, aceste instrumente sunt folosite, produc date și aceste date vor forma algoritmi de diagnosticare care sunt folosiți în îngrijirea sănătății. Și așa, vedeți, chiar și la nivelul modului în care sunt sistemele noastre de IA. construite, codifică aceleași părtiniri și aceleași istorii ale rasismului și discriminării care sunt prezentate atât de clar în contextul COVID-19. "

Între timp, pe măsură ce corpul de dovezi se acumulează că persoanele de culoare sunt mai predispuse să moară din cauza infecțiilor cu COVID-19, diversitatea nu s-a reflectat neapărat în ansamblul studiilor clinice botezate pentru a dezvolta medicamente și vaccinuri - un model tulburător care a precedat de mult pandemia. Când vine vorba de diversitatea de gen, o recenzie recentă a constatat că din 927 de studii legate de COVID-19, mai mult de jumătate au exclus în mod explicit sarcina, iar femeile însărcinate au fost excluse în totalitate din studiile cu vaccin.

Rezultatele produselor din aceste studii clinice nu vor fi neapărat reprezentative pentru populație, notează Catelijne Muller, membru al unui grup de experți la nivel înalt al UE în domeniul AI și cofondator al ALLAI, o organizație dedicată promovării AI responsabile.

„Și dacă apoi folosiți aceste rezultate pentru a alimenta un algoritm AI pentru predicții viitoare, acei oameni vor avea, de asemenea, un dezavantaj în aceste modele de predicție”, a spus ea.

Problemele legate de utilizarea tehnologiei AI în contextul COVID-19 nu diferă de problemele de prejudecată care au afectat tehnologia înainte de pandemie: dacă hrănești date cu tendințe tehnologice, aceasta va produce rezultate părtinitoare. Într-adevăr, sistemele AI la scară largă existente reflectă, de asemenea, lipsa diversității în mediile în care sunt construite și oamenii care le-au construit. Acestea sunt aproape exclusiv o mână de companii de tehnologie și laboratoare universitare de elită - „spații care în Occident tind să fie extrem de albe, bogate, orientate tehnic și masculine”, potrivit unui raport din 2019 al AI Now Institute.

Dar tehnologia nu este doar o reflectare a factorilor de decizie - AI le amplifică și prejudecățile, spune Whittaker.

„O singură persoană poate avea părtiniri, dar acestea nu le ridică la milioane și miliarde de decizii”, a spus ea. "Întrucât un sistem AI poate codifica prejudecăți umane și apoi le poate distribui în moduri care au un impact mult mai mare."

Complicând lucrurile în continuare, există preocupări de prejudecată a automatizării, adaugă ea. „Există tendința ca oamenii să aibă mai multă încredere într-o decizie luată de un computer decât în ​​aceeași decizie, dacă ar fi fost luată de o persoană. Deci, trebuie să fim atenți la modul în care sistemele AI spală aceste prejudecăți și le fac să pară riguroase și științifice și pot duce la faptul că oamenii sunt mai puțin dispuși să pună la îndoială deciziile luate de aceste sisteme. "

Nu există un consens clar cu privire la ceea ce va face tehnologia AI responsabilă și sigură în masă, spun experții, deși cercetătorii încep să cadă de acord asupra unor pași utili, precum echitatea, interpretabilitatea și robustețea.

Primul pas este de a pune „întrebarea zero", potrivit lui Muller: care este problema mea și cum o pot rezolva? O rezolv cu inteligență artificială sau cu altceva? Dacă cu AI, această aplicație este suficient de bună? prejudiciază drepturile fundamentale?

„Ceea ce vedem este că mulți oameni cred că uneori AI este un fel de baghetă magică ... și va rezolva totul. Dar uneori nu rezolvă nimic pentru că nu este potrivit pentru problemă. Uneori este atât de invaziv încât poate rezolva o problemă, dar creează o problemă mare, diferită. "

Când vine vorba de utilizarea IA în contextul COVID-19 - există o erupție de date, dar aceste date trebuie să fie fiabile și să fie optimizate, spune Muller.

„Datele nu pot fi aruncate doar asupra altui algoritm”, a spus ea, explicând că algoritmii funcționează prin găsirea corelațiilor. „Ei nu înțeleg ce este un virus”.

Problemele de echitate cu AI prezintă prejudecățile în luarea deciziilor umane, potrivit Dr. Adrian Weller, director de programe pentru AI la Institutul Alan Turing din Marea Britanie. Este greșit să presupunem că neutilizarea algoritmilor înseamnă că totul va fi bine, spune el.

Există această speranță și entuziasm în legătură cu aceste sisteme, deoarece acestea funcționează mai consecvent și mai eficient decât oamenii, dar le lipsește noțiunile de bun simț, raționament și context, unde oamenii sunt mult mai buni, spune Weller.

Responsabilitate

A face ca oamenii să participe mai mult la procesul de luare a deciziilor este o modalitate de a oferi responsabilitate aplicațiilor AI. Dar a afla cine ar trebui să fie crucială acea persoană sau acele persoane.

„Pur și simplu a pune un om undeva în proces nu garantează o decizie bună”, a spus Whittaker. Există aspecte precum pentru cine lucrează omul și la ce stimulente lucrează, care trebuie abordate, spune ea.

„Cred că trebuie să restrângem cu adevărat acea categorie largă de„ om ”și să analizăm cine și în ce scop.”

Supravegherea umană ar putea fi încorporată în mai multe moduri de îngrijire pentru a asigura transparența și a atenua prejudecățile, sugerează Muller și colegii ALLAI într-un raport care analizează o propunere Autoritățile de reglementare din UE lucrează la reglementarea aplicațiilor de IA cu „risc ridicat”, cum ar fi pentru recrutare, recunoaștere biometrică sau în desfășurarea sănătății.

Acestea includ auditul fiecărui ciclu de decizie al sistemului AI, monitorizarea funcționării sistemului, posibilitatea de a decide când și cum să utilizeze sistemul în orice situație particulară și posibilitatea de a suprascrie o decizie luată de un sistem.

Pentru Whittaker, evoluțiile recente, cum ar fi disponibilitatea autorităților de reglementare din UE de a reglementa aplicațiile „cu risc ridicat” sau organizarea comunitară în SUA, care duc la interdicții privind tehnologia de recunoaștere facială, sunt încurajatoare.

„Cred că avem nevoie de mai mult de același lucru ... pentru a ne asigura că aceste sisteme sunt auditabile, că le putem examina pentru a ne asigura că sunt controlate democratic și că oamenii au dreptul să refuze utilizarea acestor sisteme.”

Meredith Whittaker și Catelijne Muller vor vorbi la un panel pentru a discuta despre abordarea prejudecăților de gen și etnie în inteligența artificială la conferința European Research and Innovation Days, care va avea loc online în perioada 22-24 septembrie.