Kate Crawford „Biasul a devenit materia primă a; IN ABSENTA "; Știri pe Internet
Kate Crawford (@katecrawford) este co-fondatoare (împreună cu Meredith Whittaker, @mer__edith) a AI Now Institute (@AINowInstitute, blog). Cercetător la Microsoft Research, profesor la Universitatea din New York, este specializată în studierea implicațiilor sociale ale sistemelor tehnice, inclusiv efectele Big Data, algoritmi și inteligență artificială. Cu ocazia inaugurării scaunului invitat AI și Justiție, deschis la École normale supérieure, ea a susținut o prezentare fascinantă despre provocările acestor tehnologii. Să luăm timp să-l derulăm !
„Ne confruntăm cu sisteme tehnice de putere fără precedent, care au un impact foarte rapid asupra tuturor sectoarelor, de la educație la sănătate, de la economie la justiție ... Iar transformarea în curs este concomitentă cu ascensiunea autoritarismului și a populismului”. Această dezvoltare nu este o coincidență, susține cercetătorul: ambele pun sub semnul întrebării centralizarea puterii și necesită îmbunătățirea înțelegerii noastre critice a formelor de putere. Această combinație întărește dificultățile în stăpânirea acestor instrumente și responsabilizarea acestora și necesită o înțelegere profundă a relațiilor dintre politică, putere și AI. „AI este o nouă inginerie a puterii”. Știința, societatea și autoritățile trebuie să găsească modalități de a fi cu adevărat responsabili. „Este mai mult decât o chestiune de corectitudine, loialitate, onestitate sau responsabilitate! Este o chestiune de justiție! », O prezintă pe Kate Crawford nu fără pasiune.
Imagine: Kate Crawford pe scenă la ENS, fotografiată de Stéphanie Hare.
Crawford își amintește de Eliza, primul chatbot dezvoltat în anii 1960 de către informaticianul Joseph Weizenbaum. Acest pionier AI ne avertiza deja că potențialul atrăgător al IA riscă să ne facă să uităm și să ignorăm implicațiile sale politice profunde. Eliza era un program de mare simplitate, dar mulți dintre cei care s-au jucat cu el au fost impresionați de program, convinși că cineva se ascundea în spate pentru a le vorbi „Pe atunci, cei mai deștepți oameni din lume se gândeau la inteligență artificială și era incitant. … ”Weizenbaum avertiza deja despre deziluzia de a veni cu AI și a subliniat că aceste tehnologii ar permite inginerilor să mențină la distanță costurile umane ale sistemelor pe care le-au proiectat. Exact asta a spus tânărul inginer din programul de poliție predictivă. Continuăm să ignorăm implicațiile sociale ale instrumentelor pe care le creăm. 60 de ani mai târziu, suntem încă prinși în aceste probleme, totuși schimbările sociale pe care le produce AI sunt profunde. Trebuie să ne preocupăm de aceste probleme sociale, etice și politice, cu același angajament și aceeași rigoare pe care le aplicăm optimizării sistemelor tehnice. !
AI este o tehnologie, o practică socială și o infrastructură industrială în același timp
„Biasul a devenit materia primă a IA”
Pentru a fi mai concret, cercetătorul îi aduce publicului să privească imaginile care alimentează sistemele noastre, să deschidă capota și să înțeleagă modul în care funcționează formarea sistemelor de recunoaștere a imaginilor. Acesta ia exemplul unui set de imagini etichetate utilizate în mod obișnuit pentru sistemele de instruire în recunoașterea imaginilor. Este un set de 13.000 de cadre folosit pentru a instrui sistemele să recunoască tiparele ... Dar nu este lipsit de părtinire. Este alcătuit din 78% portrete de bărbați și 84% din portrete de oameni albi, ceea ce înseamnă că sistemele instruite din aceste date vor funcționa cel mai bine pe bărbații albi. Acest joc a fost pus laolaltă în primul rând prin „răzuire” (adică extragerea datelor, nu neapărat cu acordul spațiilor din care a fost aspirat) fotografii de la Yahoo News între 2002 și 2004, unde faptul că fața care este cea mai prezentă în bază este cea a lui George W. Bush. Acest exemplu simplu subliniază modul în care seturile de date reflectă ierarhiile sociale existente și structurile de putere.
Un alt exemplu este utilizarea AVA, o bază de date cu videoclipuri adnotate, care permite mașinilor să înțeleagă acțiunile umane și activitățile umane, cum ar fi să țină o băutură sau să stea pe un scaun. Problema este că, atunci când vizionați videoclipuri asociate cu o activitate, cum ar fi jocul cu copii, vedeți doar femei, fără bărbați. Dacă sunteți în căutarea categoriei de lovitură a unei persoane, veți găsi doar scene violente cu bărbați care practică kung fu! Aceste exemple arată că aceste baze de instruire dezvăluie o viziune specială asupra vieții noastre, foarte normativă, foarte stereotipă și foarte limitată.
Aceste prejudecăți nu contaminează doar imaginile, ci se regăsesc și în cuvintele pe care aceste sisteme le folosesc, fie pentru traducere automată, fie în etichetarea automată a imaginilor și videoclipurilor. Un studiu a constatat că cuvintele pe care le folosim au adesea o puternică conotație de gen. Astfel, cuvinte precum „geniu” sau „tactică” sunt asociate în principal cu pronumele masculine, în timp ce cuvintele precum „frumos” sau „prelegere” sunt asociate cu pronumele feminin. Aceste prejudecăți de limbaj se găsesc desigur în analiza emoțională, care constă în determinarea emoțiilor din texte sau imagini ale fețelor sau atitudinilor. Când a fost lansat, API-ul Natural Language Google a asociat termeni precum evrei sau homosexuali cu sentimente negative (consultați „Către atât interacțiuni automate, cât și interacțiuni empatice”). Termenul White Power este asociat cu sentimentul pozitiv, spre deosebire de termenul feminist ... „Bias a devenit materia primă a AI”
După cum a fost rezumat într-o mică grafică plină de umor de către informaticianul Moritz Hardt (@mrtz), s-a crezut mult timp că totul este în regulă cu învățarea automată, până când sistemele și studiile s-au înmulțit ... desfășurarea acestor sisteme implică și afectează milioane de oameni, explică ea arătând o imagine a lui Jack Nicholson în The Shining, fața lui halucinată în gaura ușii pe care vine să o spargă cu un topor și pe care un software de analiză a imaginii o descrie ca „ fericit".