Yann LeCun, unul dintre părinții fondatori ai rețelelor neuronale moderne, explică în podcastul „Unsupervised Learning” de ce modelele actuale de limbaj sunt structural limitate și de ce viitorul aparține sistemelor capabile să înțeleagă realitatea fizică. LeCun a plecat din Meta, unde a fost Chief AI Scientist, pentru a lansa AMI Labs, un startup de cercetare dotat deja cu o finanțare-record de peste un miliard de dolari.
Într-un dialog cu Jacob Effron, LeCun se poziționează împotriva dominației modelelor generative și își prezintă planul pentru transformarea ecosistemului AI în următorii cinci ani.
Iluzia textului
Yann LeCun nu contestă utilitatea comercială a modelelor mari de limbaj, recunoscând că le folosește și el în activitatea de zi cu zi. Cu toate acestea, el afirmă că LLM-urile actuale nu reprezintă o cale viabilă către o inteligență de nivel uman sau animal. Argumentul său central este că limbajul uman este o aproximare discretă și simplificată, în timp ce realitatea fizică este continuă, zgomotoasă, înalt dimensională și extrem de complexă.
Spre deosebire de un sistem cu adevărat inteligent, LLM-urile funcționează exclusiv prin predicția autoregresivă a următorului token (cuvânt sau fragment de text). Din acest motiv, ele sunt private de două caracteristici esențiale: abilitatea de a anticipa consecințele propriilor acțiuni și capacitatea de a planifica prin optimizare și căutare conceptuală. Fără un „model de lume” abstract, aceste sisteme nu vor avea niciodată bun-simț și vor fi mereu predispuse la halucinații din cauza erorilor intrinseci de fiabilitate.
Plecarea din Meta
LeCun povestește și despre plecarea din Meta. Spune că, după succesul Llama 1, proiect pornit inițial chiar în cadrul FAIR, Meta a intrat sub o presiune comercială uriașă pentru a recupera decalajul față de restul industriei.
Crearea diviziei GenAI a redirecționat resursele companiei, obligând cercetătorii de top să se transforme în ingineri de produs axați pe obiective pe termen scurt, fapt ce a dus la o conservatorizare a inovației. În plus, decizia Meta de a desființa complet grupul său de cercetare în robotica AI și reconfigurările ierarhice interne – influențate de presiunea noii direcții și de dorința de monetizare rapidă – au semnalat clar că gigantul tech nu mai era mediul propice pentru dezvoltarea tehnologiei JEPA (Joint Embedding Predictive Architecture).
Proiectul Tapestry
LeCun prezintă viziunea din spatele Tapestry, o inițiativă digitală globală. El avertizează că, pe măsură ce dieta informațională a populației globale va fi mediată de asistenți AI și utilizarea unor modele dezvoltate exclusiv în California sau în China, apare un risc major de spălare pe creier culturală și politică.
Tapestry propune un sistem bazat pe Federated Learning - învățare colaborativă descentralizată. State precum India, Franța, Maroc sau Japonia pot contribui la un model global fără a-și partaja datele brute, ci transmițând doar vectorii de parametri (greutățile rețelei neuronale) către un consens global. Ulterior, acest model deschis poate fi finisat local pentru a respecta valorile, limbile și sistemul politic al fiecărei culturi în parte.
Mitul Apocalipsei AI
LeCun adresează și diferența de opinie din 2023 dintre el și ceilalți doi laureați ai premiului Turing, Geoffrey Hinton și Yoshua Bengio. În timp ce aceștia avertizează despre riscurile existențiale ale inteligenței artificiale, LeCun cataloghează această reacție drept o formă de epifanie emoțională generată de apariția GPT-4.
El contestă calculele biologice ale lui Hinton privind echivalența cortexului uman cu rețelele bazate pe backpropagation și sugerează că o parte din discursul alarmist este utilizat în scopuri comerciale de companii ca Anthropic pentru a speria guvernele și a impune reglementări stricte care să blocheze concurența open-source.
Pe finalul interviului, discuția ajunge și la straturile profunde ale matematicii din spatele machine learning-ului. Provocarea majoră în construirea unui model de lume care nu generează pixeli (procedeu considerat ineficient), ci prezice stări într-un spațiu de reprezentare abstract, este evitarea colapsului reprezentațional – starea în care rețeaua neuronală oferă o reprezentare constantă pentru a reduce artificial eroarea la zero.
Yann LeCun propune o paralelă de istorie recentă: entități precum OpenAI și Anthropic sunt echivalentul Sun Microsystems sau HP din anul 1996. Acei giganți de odinioară vindeau sisteme hardware și sisteme de operare proprietare scumpe (cum era Solaris), fiind convinși că dețin monopolul absolut asupra infrastructurii internetului, doar pentru a fi complet măturați de ascensiunea ecosistemului deschis Linux.
Viziunea din spatele AMI Labs aplică aceeași filozofie în lumea fizică: inteligența reală nu începe în interfața unui ecran capabil să compună poezii, ci în uzine, în sisteme industriale complexe de control și în roboți capabili să navigheze în siguranță pe străzi sau în locuințe.
