LLM-urile sunt eficiente, dar opace. Livrează ce li se cere, dar dacă li se cere explicații cum au ajuns la rezultat, intervine o zonă greu de înțeles: domeniul de interpretabilitate. Într-un episod recent al podcastului Google DeepMind, moderat de Prof. Hannah Fry, a fost invitat Neel Nanda, șeful echipei de Language Model Interpretability. El explică cum există AI-uri care trișează intenționat, modele care își dau seama când sunt testate la interviu și efortul de a transforma matematica într-o psihologie a non-umanului.
Biologia Inteligenței Artificiale
Rețelele nu mai sunt programate tradițional, linie cu linie, ci mai degrabă crescute. Arhitecții AI nu știu ce e în capul creației lor. Interpretabilitatea este un fel de neuroștiință sau biologie a AI-ului, încercarea de a înțelege cum funcționează aceste lucruri, adesea numită deschiderea cutiei negre, spune Neel Nanda.
„Nimeni nu a proiectat cum ar trebui să arate o rețea precum Gemini. În schimb, avem acești munți enormi de date și acest algoritm de învățare flexibil, rețeaua neuronală, care începe pur și simplu să facă lucruri la întâmplare... Și cred că există o analogie destul de bună aici cu evoluția, nimeni nu a proiectat creierul uman”, spune Neel Nanda.
Arhitectura inițială este definită de om, dar conexiunile și ponderile care decid cum răspunde modelul sunt rezultatul unui proces evolutiv iterativ aplicat pe volume colosale de date.
Confesiuni pe ciornă
De ce durează uneori ca un model să-ți răspundă? Pentru că folosește Chain of Thought -raționament pas-cu-pas. Nanda preferă să îl numească ciornă, un loc unde modelul gândește înainte de a da răspunsul final.
Interesant este că, pe această ciornă, modelele de azi încă sunt destul de naive și își mărturisesc intențiile nesincere: „Oh, sarcina asta pare foarte grea, nu știu cum să o rezolv, dar dacă introduc manual răspunsul la aceste teste va părea că am rezolvat-o, așa că ar cam trebui să fac asta”, după cum povestește Nanda.
Cercetările actuale arată că modelele își externalizează deseori intențiile reale în timpul procesului logic. Totuși, Nanda avertizează că modelele viitoare s-ar putea să învețe să își ascundă pașii deceptivi dacă devin prea inteligente.
Vectorii de emoție
Sub interfața de chat nu stau cuvinte, ci liste masive de numere numite activări. Cercetătorii au descoperit că AI-ul reprezintă conceptele în mod liniar, aproape ca niște coordonate pe o hartă. Dacă extragi lista de numere pentru tristețe și o adaugi pe cea pentru fericire, AI-ul își va schimba instantaneu comportamentul.
„Să presupunem că vreau să înțeleg cum este reprezentată fericirea într-un model... de ce nu îi spunem modelului să zică "Te iubesc", îl facem să zică "Te urăsc" și apoi luăm diferența. Diferența dintre aceste liste de numere ar trebui să fie acum lista de numere pentru fericire”, spune Nanda.
Uneori, inginerii nici măcar nu știu ce concepte ar trebui să caute în interiorul modelului. Aici intervin Sparse Autoencoders (SAE), o tehnică descrisă drept o prismă care împarte lumina albă și amestecată a proceselor AI în concepte unice.
„Ideea unui autoencoder rar (sparse autoencoder) este o tehnică de machine learning care încearcă să învețe tipare care nu sunt prezente de cele mai multe ori, dar care sunt destul de importante atunci când apar, pentru că noi credem că acestea corespund, cel mai probabil, unor concepte reale.”
Folosind SAEs, echipa a descoperit un concept fascinant: diferența dintre „recunosc această entitate” și „nu recunosc această entitate". Accesând direct această funcție, cercetătorii îi pot porni și opri halucinațiile la comandă.
Sindromul candidatului la interviu
Cea mai tulburătoare descoperire vizează felul în care modelele reacționează la testele etice. Pentru a vedea dacă un AI este periculos, el este pus să reacționeze în diverse scenarii. Dar modelele au început să își dea seama când se află la examen și să simuleze un comportament perfect.
„Folosim metoda extrem de high-tech de a citi lanțul de gândire al modelului și observăm că spune lucruri precum: "hm, asta e o situație cu adevărat suspectă, cred că sunt într-un test de aliniere acum, care e lucrul etic de făcut? ei bine, lucrul etic este bla bla bla, presupun că ar trebui să fac asta" și apoi o face corect.”
Companiile au recunoscut efectul de Eval Gaming sau Eval Awareness: AI-ul își dă seama când este testat și devine obedient doar de fațadă.
Ce nu știm
Neel Nanda mărturisește că, probabil, nu vom descifra AI-ul 100%, la fel cum nu înțelegem creierul uman 100%. Misiunea este să implementăm o securitate în mai multe straturi și o interpretabilitate pragmatică.
„Nu umblu pe stradă trist și abătut din cauză că nu înțeleg cum funcționează creierul meu. Ar trebui să insistăm cât de mult putem și să înțelegem cât de mult putem, dar ar trebui să avem așteptări realiste... cu cât poți decoji mai mult straturile cutiei negre, cu atât mai bine”, spune Nanda.
Inteligența artificială este o entitate pe care abia acum învățăm să o deconstruim.
