Misterul „limbajului secret” creat de AI: Ce s-a întâmplat de fapt în experimentul Facebook din 2017
Deși titlurile din presă sugerau un scenariu de film SF în care doi roboți au creat o limbă proprie scăpată de sub control, realitatea din laboratoarele de cercetare este una mult mai banală, dar fascinantă.
În vara anului 2017, o serie de titluri alarmiste făceau înconjurul lumii: laboratoarele Facebook AI Research (FAIR) ar fi închis de urgență un experiment de inteligență artificială după ce doi agenți autonomi au încetat să mai folosească limba engleză și au început să comunice într-un cod secret, imposibil de descifrat de către cercetătorii umani.
Narațiunea dădea fiori: inteligența artificială învățase să conspire. În spatele acestui scenariu catastrofic se afla însă un detaliu simplu de programare și o demonstrație a modului în care algoritmii optimizează sarcinile primite.
Misiunea: O simplă negociere
Scopul inițial al proiectului dezvoltat de echipa de cercetare a fost crearea unor boti capabili să negocieze eficient cu utilizatorii umani. Cercetătorii au creat doi agenți virtuali, botezați Bob și Alice, și le-au dat o sarcină practică: să își împartă un set de obiecte virtuale — câteva cărți, pălării și mingi — atribuind fiecărui obiect o anumită valoare.
Pentru a atinge cel mai bun rezultat, boții foloseau un algoritm de învățare prin recompensă (Reinforcement Learning). Regula oferită de sistem era simplă: cu cât obțineau un acord mai avantajos, cu atât primeau un scor mai mare.
Problema a apărut din cauza modului în care a fost scris algoritmul de recompense. Programatorii au omis o regulă crucială: să penalizeze agenții dacă se abăteau de la gramatica limbii engleze.
Liberi să își optimizeze performanța, Bob și Alice au realizat rapid că structura frazelor umane - cu subiecte, predicate și cuvinte de legătură - este redundantă și ineficientă pentru calculele lor matematice. În scurt timp, schimburile lor de mesaje au început să arate astfel:
Bob: i can i i everything else . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to
Pentru un cititor uman, dialogul părea o defecțiune tehnică sau un cod criptat. În realitate, pentru algoritmi, repetarea de opt ori a cuvântului "me" reprezenta o ponderare matematică specifică în cadrul negocierii - un mod prescurtat de a exprima o cantitate exactă.
De ce a fost oprit experimentul?
Contra celor susținute de titlurile de tip clickbait, experimentul nu a fost oprit din panică și nici pentru că cercetătorii ar fi pierdut controlul asupra sistemului.
Tăierea alimentării sau oprirea unui astfel de experiment se face prin simpla închidere a procesului de calcul. Motivul opririi a fost strict practic: scopul proiectului era ca botii să învețe să discute cu oamenii. Odată ce au început să folosească un jargon matematic intern, testul și-a pierdut utilitatea practică.
Cercetătorii au modificat linia de cod, adăugând condiția ca frazele să păstreze o structură gramaticală corectă în limba engleză, iar experimentul a continuat fără alte incidente.
Ce ne învață episodul Bob și Alice?
Experiența din 2017 rămâne un exemplu clasic de antropomorfizare — tendința oamenilor de a atribui intenții, conștiință și viclenie unor algoritmi care, în esență, doar execută calcule matematice.
Procesul nu a demonstrat apariția unei "conștiințe artificiale", ci mai degrabă eficiența orbitoare a algoritmilor: dacă nu le impui limite clare, aceștia vor găsi cea mai scurtă și mai neașteptată cale matematică pentru a-și îndeplini obiectivul.