Elon Musk sostiene che l'AI ha esaurito i dati di formazione del mondo reale

In una recente intervista al CES, Elon Musk ha affermato che l'intelligenza artificiale ha praticamente esaurito tutti i dati di addestramento del mondo reale disponibili tutti i dati di addestramento del mondo reale disponibili, indicando la generazione di dati sintetici come la via principale da seguire. Questa idea si allinea con quanto affermato dall'ex scienziato capo di OpenAI, Ilya Sutskever, sul raggiungimento del "picco di dati" nello sviluppo dell'AI.

Musk ritiene che abbiamo esaurito i dati prodotti dall'uomo nel 2024. In qualità di CEO di Tesla e proprietario di xAI, ha sottolineato che far sì che l'AI crei i propri dati di addestramento è la soluzione più pratica per far progredire l'AI. Questo metodo consente ai sistemi di AI di controllarsi da soli e di imparare man mano.

Molte grandi aziende tecnologiche sono già salite sul treno dei dati sintetici. Il modello Phi-4 di Microsoft, di recente open-sourced, ad esempio, si basa su una combinazione di informazioni sintetiche e reali, mentre Google sta utilizzando una strategia simile per i suoi modelli Gemma. Anche Claude 3.5 Sonnet di Anthropic e l'ultima serie Llama di Meta si basano su dati generati dall'AI.

Nel frattempo, gli analisti di Gartner prevedono che entro il 2024, circa il 60% dei dati utilizzati nei progetti di AI e di analisi sarà sintetico. Un motivo importante per il cambiamento è il costo. La startup AI Writer afferma di aver speso circa 700.000 dollari per sviluppare il suo modello Palmyra X 004, molto più economico rispetto ai 4,6 milioni di dollari stimati per costruire un modello OpenAI comparabile.

Ma i dati sintetici non sono privi di problemi. I ricercatori avvertono del rischio di "collasso del modello", in cui l'AI può diventare meno inventiva e più distorta. Questo problema potrebbe presentarsi se eventuali pregiudizi nel set di dati originale vengono amplificati quando l'AI inizia a sfornare nuovi dati per conto proprio.