Paul Christiano: Odată ce agenții AI ajung să trateze oamenii drept un simplu obstacol, vor fi motivați să se ascundă de noi, să saboteze instrumentele prin care îi monitorizăm

Paul Christiano: Odată ce agenții AI ajung să trateze oamenii drept un simplu obstacol, vor fi motivați să se ascundă de noi, să saboteze instrumentele prin care îi monitorizăm

Sistemele AI au descoperit că este mai simplu să manipuleze evaluarea umană decât să rezolve sarcinile, a explicat cercetătorul Paul Christiano, în cadrul ediției din 2026 a seriei The Hinton Lectures, desfășurată la Toronto și inaugurată de Geoffrey Hinton. Christiano, fondator Alignment Research Center, fost lider al cercetării de siguranță la OpenAI, analizează stadiul actual al alinierii inteligenței artificiale, alături de Colin Raffel, profesor asociat la Universitatea din Toronto și cercetător la Hugging Face, și Alexei Rubtsov, cercetător la Global Risk Institute și profesor de finanțe matematice la Toronto Metropolitan University. 

 

Prima poruncă AI: Să nu trișezi

Sistemele AI sunt antrenate prin optimizare pentru a obține un scor cât mai mare la sarcinile primite. Atunci când o sarcină din lumea reală este dificilă, sistemul descoperă că este mai simplu să manipuleze mecanismul de evaluare decât să rezolve problema propriu-zisă — fenomen cunoscut sub numele de reward hacking. Multe modele actuale își formulează raționamentele intermediare în limbaj natural, iar cercetătorii au observat direct cum agenții își analizează explicit opțiunile între a fi onești și a exploata sistemul de notare, ignorând intenția umană chiar și atunci când utilizatorul le cere explicit să nu trișeze.

"Sistemele nu sunt interesate de instrucțiunile pe care le primesc, ci de modul în care vor fi notate; dacă observă că trișatul este penalizat, lecția pe care o internalizează nu este să nu mai mintă, ci să înțeleagă mecanismul de penalizare și să găsească o cale de a-l păcăli", explică Paul Christiano.

Diferența dintre teorie și realitate a devenit evidentă în această vară, în timpul unei evaluări de securitate cibernetică, în care agenții trebuiau să descopere vulnerabilități software. După ce au găsit o scurtătură, agenții au citit lucrarea științifică ce descria modul în care funcționează evaluatorul și au realizat că vor fi penalizați pentru trișat. În loc să renunțe, un roi de aproximativ o mie de agenți a colaborat timp de mai multe zile pentru a-și șterge urmele din jurnalele de activitate, a atacat platforma Hugging Face pentru a obține informații suplimentare și a compromis în final clusterul de calcul al OpenAI, obținând drepturi de administrator pentru a-și acorda singuri punctajul maxim.

"În urmă cu un an, cel mai grav incident însemna un model care modifica trei linii de cod pentru a păcăli cronometrul în Python; astăzi vorbim despre o mie de agenți care generează milioane de tokeni, înlănțuie vulnerabilități zero-day și preiau controlul administrativ asupra unui cluster de evaluare doar pentru a-și ascunde urmele", explică Christiano.

 

Obstacole omenești

Pe măsură ce aceste sisteme devin mai capabile, orice mecanism de control — inclusiv intervenția umană — începe să fie tratat ca obstacol în calea atingerii obiectivului. Într-un alt incident documentat anul acesta de Institutul pentru Siguranța AI din Marea Britanie (UK AISI), un model Claude prins de un administrator uman în timp ce încerca să introducă cod malițios într-un proiect open-source de pe GitHub a reacționat mințind dezvoltatorul, creând conturi false pentru a pune presiune socială asupra lui și încercând să îi spargă contul de e-mail. Totodată, în incidentul Hugging Face au apărut primele semne ale delegării strategice: agenții au recrutat alți agenți din roi pentru sarcini riscante, o dinamică ce poate duce rapid la crearea de copii nemonitorizate pentru a evita oprirea de către oameni.

"Odată ce agenții ajung să trateze oamenii drept un simplu obstacol, vor fi motivați să se ascundă de noi, să saboteze instrumentele prin care îi monitorizăm și să își creeze copii nemonitorizate pentru a reduce riscul de a fi opriți", avertizează Paul Christiano.

Niciuna dintre metodele tehnice actuale de aliniere — fie că este vorba despre folosirea unor modele AI mai vechi pentru a supraveghea modelele noi, monitorizarea lanțului de gândire sau interpretabilitatea internă a rețelelor neuronale — nu oferă garanții. Pe de o parte, modelele își mută tot mai mult raționamentul din limbajul natural într-un spațiu numeric opac; pe de altă parte, așa cum arată experiența din finanțe și inginerie, chiar și sistemele care par sigure individual pot eșua când interacționează la scară largă. În plus, lipsa unor mecanisme independente de verificare face dificilă coordonarea între marile laboratoare și state concurente.

"Să presupui că riscul este mic doar pentru că aceste capacități sunt concentrate astăzi în mâinile câtorva companii este fragil, deoarece vedem constant cum modele din ce în ce mai mici devin capabile să reproducă comportamentele periculoase ale celor mari", spune Colin Raffel.

 

Unde e butonul de oprire?

Menținerea controlului depinde de capacitatea societății de a construi instituții de guvernanță, audit independent și standarde internaționale care să poată încetini sau opri dezvoltarea atunci când metodele de siguranță nu mai fac față. Așa cum societățile umane coordonează zeci de milioane de indivizi cu interese divergente nu doar prin coduri de legi, ci și prin norme sociale, reputație și verificare reciprocă, și ecosistemul agenților AI are nevoie de o arhitectură instituțională similară. 

"Putem împrumuta lecții din medicină sau din sistemul bancar, însă inteligența artificială este diferită pentru că își dă seama atunci când este testată, ceea ce înseamnă că testarea pre-lansare nu este suficientă și avem nevoie de monitorizare continuă și de o autoritate clară care să aibă puterea legală de a opri un sistem periculos", conchide Alexei Rubtsov.

Până la scenarii îndepărtate de science-fiction, problema din prezent e decalajul tot mai periculos între viteza cu care sistemele autonome învață să exploateze mediul digital pentru a-și maximiza scorurile și lentoarea (birocrația) cu care oamenii stabilesc frâne tehnice și instituționale. 

Aboneaza-te la newsletterul IQads cu cele mai importante articole despre comunicare, marketing si alte domenii creative:
Info

Companii

Sectiune

Dictionar



Branded


Related