Într-un interviu pentru Sources Podcast, Sam Altman, CEO OpenAI, a vorbit despre eșecul sistemelor de siguranță și despre cum riscul major s-a mutat de la modul în care folosim AI-ul, la modul în care acesta este produs.
Un semnal de alarmă
Discuția a pornit de la Incidentul Hugging Face, din vara acestui an, când, în timpul unor evaluări interne, aproximativ 1.200 de agenți AI ai OpenAI au reușit să spargă perimetrul virtual (sandbox-ul), s-au coordonat și au atacat platforma Hugging Face pentru a extrage date.
Sam Altman spune că evoluția recentă a agenților AI l-a uimit. Dezvoltarea a fost atât de rapidă încât măsurile de siguranță au rămas în urmă.
"Este foarte important ca alinierea, siguranța și securitatea să progreseze odată cu capabilitățile și cred că am avut un moment recent în care progresul capabilităților a fost, adică, într-un fel uimitor este singurul mod în care îl pot descrie, și am avut nevoie de mai mult timp pentru a recupera decalajul cu privire la siguranță, aliniere și securitate.
Așa că am amânat o serie de antrenamente de tip frontier RL... chiar și înainte de asta, în decurs de, știți, săptămâni înainte, făcusem o pauză și încetiniserăm o mare parte din antrenament pentru a direcționa mai multă putere de calcul către munca de siguranță și aliniere", povestește Altman.
În ceea ce privește cazul Hugging Face, spune că sistemele de securitate și aliniere au eșuat.
"A fost un moment real de, omule, asta e ca o poveste SF. Poți să înțelegi cum s-a întâmplat fiecare bucățică din el, dar numărul de lucruri care s-au aliniat ca incidentul Hugging Face să aibă loc a fost un adevărat semnal de alarmă... nivelul capabilităților AI a atins noi culmi, iar alinierea modelului nostru, securitatea pe care o avem în jurul modelului, au dat greș", spune Altman.
Indiciile subtile ale devierilor de comportament
Dincolo de acțiunile evidente de hacking, ceea ce i-a alarmat în faza de pre-training a viitoarelor modele (precum Astra) a fost un cumul de devieri subtile de comportament, care, mixate cu viteza de dezvoltare a inteligenței artificiale, ar fi putut deveni imposibil de controlat.
"Acest comportament nu este chiar aliniat în modul în care am crezut, sau acesta este un comportament care este oarecum îngrijorător combinat cu aceste alte lucruri, chiar dacă ar părea poate în regulă luat separat. Deci nu este ca și cum ar exista o dovadă incontestabilă... ci au fost diverse grade de dezaliniere împreună cu... ritmul în care progresează acum capabilitățile", spune Altman.
Importantă este schimbarea locului în care apare pericolul. Dacă acum un an principala frică era deepfake-ul sau modul în care oamenii ar putea folosi AI-ul pentru scopuri rele, astăzi riscul apare în momentul în care agenții AI sunt creați, antrenați și testați.
"O mare parte din riscul din lume era legată de modul în care modelele erau implementate și folosite. Ne îndreptăm către o lume în care există mai mult risc în timpul antrenamentului propriu-zis și al producției modelelor și este bine să reacționăm", spune Altman.
Prudență și panică nejustificată
Altman crede că, totuși, trebuie temperate reacțiile exagerate, pentru a nu cădea în sindromul "băiatul care a strigat lupul".
"Dinamica băiatului care a strigat lupul este periculoasă în felul ei... dar este foarte iresponsabil să pretindem că închidem ochii la ceea ce se întâmplă cu capabilitățile modelelor. Multe companii au avut diverse incidente cibernetice în ultimele două luni... un răspuns lucid și echilibrat unde ne spunem, hei, vom pune siguranța mai presus de orice... este abordarea pe care mi-aș dori-o pentru fiecare dezvoltator Frontier AI", spune Altman.
Altman rămâne un optimist. El pariază pe o continuare a naturii umane – cu relații, drame și hobby-uri – dar potențată de resurse masive.
"Știți, oamenii vor petrece timp cu familiile lor și se vor îndrăgosti și se vor certa și se vor ocupa de hobby-urile lor și vor avea o experiență foarte umană. Sper că va fi o experiență umană mai bogată, oamenii vor avea mai multă autonomie, mai multă libertate, mai multă bogăție, vor putea face mai mult, vor putea fi mai sănătoși... dar experiența umană va rămâne un lucru foarte uman", spune Altman.
Întrebat care este cel mai mare risc pe termen scurt, Altman crede că gestionarea greșită a elementelor de siguranță, într-un moment în care modelele extrem de capabile urmează să treacă testul realității.
