Yann LeCun, fost Chief AI Scientist la Meta, se concentrează acum pe proiectul JEPA, o arhitectură non-generativă. Industria de tehnologie pare hipnotizată de capacitățile modelelor de limbaj mari, dar Yann LeCun crede că actualele LLM-uri sunt bune doar la manipularea limbajului, dar complet neajutorate în domenii care depășesc această graniță.
JEPA (Joint Embedding Predictive Architecture) este concepută pentru a învăța reprezentări interne ale lumii fără a fi nevoie să genereze text, imagini sau pixeli de video.
Inteligența ca o prăjitură
LeCun folosește o metaforă cunoscută în comunitate: dacă inteligența ar fi o prăjitură, blatul este învățarea auto-supravegheată, glazura este învățarea supravegheată, iar cireașa de pe tort este învățarea prin recompensă. Companiile s-au concentrat pe cireașa de pe tort, dar LeCun consideră că această abordare este ineficientă pentru a atinge o inteligență de nivel uman sau animal.
"LLM-urile sunt foarte bune la manipularea limbajului, dar practic la nimic altceva. Sunt foarte bune în domenii în care limbajul în sine este substratul raționamentului", spune LeCun.
LeCun subliniază că un adolescent uman poate învăța să conducă o mașină în aproximativ 20 de ore de practică. În schimb, sistemele actuale de condus autonom adună milioane de ore de date și tot nu ating o autonomie completă de nivel înalt.
"Dacă vrei cu adevărat să construiești sisteme de tip agent de încredere, acestea trebuie neapărat să fie capabile să prezică urmările acțiunilor lor, astfel încât să poată planifica o secvență de acțiuni. În primul rând pentru a îndeplini sarcina cerută, dar și pentru a garanta anumite bariere de siguranță”, spune LeCun.
Secretul uman constă în „modelele de lume”, acea colecție de bun-simț care ne permite să anticipăm consecințele acțiunilor noastre și să eliminăm scenariile imposibile înainte de a le pune în practică. JEPA folosește un predictor antrenat să ghicească starea viitoare abstractă pe baza stării actuale și a unei acțiuni ipotetice.
