Lo sviluppo del GPT-5 subisce una grave battuta d'arresto, in quanto OpenAI esaurisce i dati di addestramento

Il lavoro di OpenAI su GPT-5soprannominato Progetto Orion, ha avuto un grosso intoppo. Il progetto è in ritardo sulla tabella di marcia e sta costando una fortuna. Dopo averci lavorato per più di 18 mesi, inizialmente Microsoft pensava che sarebbe stato pronto per la metà del 2024, ma non è così.

Hanno investito molto denaro in questo progetto - ogni allenamento costa circa 500 milioni di dollari solo in termini di potenza di calcolo - ma non hanno visto i balzi di prestazioni che speravano rispetto al GPT-4. Sebbene ci siano dei miglioramenti evidenti, non sono sufficienti a giustificare tali spese.

Uno dei problemi principali è l'esaurimento dei dati di qualità per addestrare il modello. L'Internet pubblico non ha abbastanza dati diversificati e di alta qualità necessari per fare la differenza. Per affrontare questo problema, OpenAI ha coinvolto degli esperti per creare nuovo materiale di addestramento, come codice software e problemi matematici. Ma è un processo lento. Per avere una prospettiva, GPT-4 ha avuto bisogno di ben 13 trilioni di token per addestrarsi. Per mettere questo dato nel contesto, anche se 1.000 persone scrivessero 5.000 parole al giorno, ci vorrebbero mesi solo per raggiungere un singolo miliardo - scalare a trilioni è come cercare di riempire un oceano con un tubo da giardino.

Ad aggravare la situazione, l'azienda è stata colpita da problemi interni. Più di due dozzine di dirigenti chiave hanno lasciato l'azienda nel 2024, tra cui lo scienziato capo Ilya Sutskever e il CTO Mira Murati. OpenAI si è destreggiata anche in altri progetti, come "o1" e "Sora", mentre cercava ancora di capire come andare avanti con il GPT-5.

Il CEO, Sam Altman, ha già confermato che GPT-5 non sarà rilasciato nel 2024, una battuta d'arresto significativa per i loro ambiziosi piani di AI.