Un piccolo modello con soli 109 milioni di parametri avrebbe surclassato, in termini di comprensione del mondo reale, un colosso da 72 miliardi di parametri.

Il paper di Randall Balestriero e Yann LeCun dimostra matematicamente la Platonic Representation Hypothesis, trasformandola in un teorema.

Secondo lo studio, i modelli basati su JEPA (Joint-Embedding Predictive Architectures) addestrati su modalità diverse convergono verso la stessa rappresentazione del mondo condivisibile (a meno di una rotazione), purché utilizzino viste positive coerenti. Inoltre, spiega perché il next-token prediction (usato dai modelli linguistici) sia meno efficiente nell'allineamento rispetto ai JEPA.

Proving and Improving the Platonic Representation Hypothesis with JEPAs

Abstract page for arXiv paper 2610.39302: Proving and Improving the Platonic Representation Hypothesis with JEPAs

arXiv.org (arxiv.org)

@aitech