Citiverse è uno spazio aperto a tutte le comunità. Se vuoi aprire un gruppo locale o una sezione per la tua organizzazione, puoi contattare gli amministratori: pagina dei contatti.
Dimostrazione e miglioramento dell'ipotesi di rappresentazione platonica con JEPAs - 109 milioni di parametri sono meglio di 72 miliardi?
-
Un piccolo modello con soli 109 milioni di parametri avrebbe surclassato, in termini di comprensione del mondo reale, un colosso da 72 miliardi di parametri.
Il paper di Randall Balestriero e Yann LeCun dimostra matematicamente la Platonic Representation Hypothesis, trasformandola in un teorema.
Secondo lo studio, i modelli basati su JEPA (Joint-Embedding Predictive Architectures) addestrati su modalità diverse convergono verso la stessa rappresentazione del mondo condivisibile (a meno di una rotazione), purché utilizzino viste positive coerenti. Inoltre, spiega perché il next-token prediction (usato dai modelli linguistici) sia meno efficiente nell'allineamento rispetto ai JEPA.
Proving and Improving the Platonic Representation Hypothesis with JEPAs
Abstract page for arXiv paper 2610.39302: Proving and Improving the Platonic Representation Hypothesis with JEPAs
arXiv.org (arxiv.org)
-
M macfranc@poliverso.org ha condiviso questa discussione
-
Sistema ha spostato questa discussione da Mondo
-
I informapirata@mastodon.uno ha condiviso questa discussione
Ciao! Sembra che tu sia interessato a questa conversazione, ma non hai ancora un account.
Stanco di dover scorrere gli stessi post a ogni visita? Quando registri un account, tornerai sempre esattamente dove eri rimasto e potrai scegliere di essere avvisato delle nuove risposte (tramite email o notifica push). Potrai anche salvare segnalibri e votare i post per mostrare il tuo apprezzamento agli altri membri della comunità.
Con il tuo contributo, questo post potrebbe essere ancora migliore 💗
Registrati Accedi
Citiverse è un progetto che si basa su NodeBB ed è federato! | Categorie federate | Chat | 📱 Installa web app o APK | 🧡 Donazioni | Privacy Policy