OpenAI sta lottando per raccogliere dati di formazione per i nuovi modelli

OpenAI sembra aver incontrato un collo di bottiglia nelle prestazioni dei suoi modelli di AI di prossima generazione. Il prossimo grande modello dell'azienda, "Orion", secondo quanto riferito, ha prestazioni inferiori in compiti specifici rispetto ai modelli precedenti.

Sembra avere un vantaggio nei compiti basati sulle lingue, come la traduzione, la generazione di testi e così via, ma ha dimostrato di non essere all'altezza in lavori come la codifica.

Secondo un rapporto di https://www.theinformation.com/articles/openai-shifts-strategy-as-rate-of-gpt-ai-improvements-slows di The Information (via Gadgets360), sembra che ci sia un problema nella raccolta dei dati di formazione per i nuovi modelli. Il modello è anche più costoso da gestire nei centri dati rispetto a GPT-4 e GPT-4o.

Il salto di qualità è anche più debole rispetto ai passi avanti fatti da GPT-4 rispetto a GPT-3. Secondo quanto riferito, OpenAI ha creato un team di fondazioni per risolvere il problema dei dati di formazione, ma non è ancora chiaro se riusciranno a ottenere dati sufficienti per il modello AI in tempo per il rilascio.

Non è solo OpenAI a vedere ritorni trascurabili nelle prestazioni. Anche altri concorrenti, come Anthropic e Mistral, mostrano solo guadagni iterativi con ogni nuova release. Un metodo suggerito per migliorare le prestazioni è quello di scegliere di addestrare ulteriormente il modello dopo il rilascio, perfezionando l'output, ma si tratta di un workaround e non di una soluzione permanente.