Llama 4 di Meta si allena su oltre 100.000 GPU Nvidia H100

Meta ha recentemente rilasciato un nuovo aggiornamento su Llama 4, il suo prossimo modello linguistico di grandi dimensioni. Nel corso di una recente earnings call, il CEO Mark Zuckerberg ha condiviso che stanno addestrando i modelli di Llama 4 su un cluster composto da oltre 100.000 GPU Nvidia H100-più grande di quello che ha visto segnalato per quello che stanno facendo gli altri.

Questo nuovo modello linguistico di grandi dimensioni, che si prevede uscirà all'inizio del 2025, verrà prima distribuito nelle sue versioni più piccole. Anche se non ci sono molti dettagli sulle sue capacità specifiche, Zuckerberg ha lasciato intendere che Llama 4 avrà nuove funzioni, migliori capacità di ragionamento e sarà complessivamente più veloce.

L'approccio di Meta con Llama 4 mantiene il suo modello di rendere i modelli liberi di essere scaricati, a differenza di OpenAI e Google, che limitano l'accesso solo attraverso le API. Questo modello è particolarmente apprezzato dalle startup e dai ricercatori che desiderano maggiore libertà nell'utilizzo dell'AI.

Con una configurazione di calcolo così massiccia, la richiesta di energia è altrettanto grande, stimata in 150 megawatt - cinque volte la richiesta di energia del più grande supercomputer del laboratorio nazionale degli Stati Uniti. Il budget di Meta riflette questa scala, con una spesa per le infrastrutture che dovrebbe raggiungere i 40 miliardi di dollari nel 2024, con un salto del 42% rispetto al 2023.

Anche con questi costi significativi, le finanze di Meta sono solide, con un aumento del 22% delle vendite, in gran parte grazie alle entrate pubblicitarie, che hanno contribuito a bilanciare un aumento del 9% dei costi operativi.