CES 2025 | Nvidia presenta il supercomputer AI Project DIGITS per gli sviluppatori AI desktop
Nvidia ha presentato il supercomputer di intelligenza artificiale Project DIGITS per gli utenti desktop al CES 2025. Il supercomputer è alimentato da un Superchip GB10 Grace Blackwell per consentire agli utenti desktop di eseguire modelli linguistici di grandi dimensioni (LLM) fino a 200 miliardi di parametri su un'unità e fino a 405 miliardi di parametri su due unità collegate in rete.
Lo sviluppo di LLM AI richiede computer potenti per gestire la quantità di dati da elaborare. Una misura della potenza di un LLM è il numero di parametri con cui viene sviluppato. I modelli con un numero maggiore di parametri in genere ottengono risultati migliori nei test di ragionamento e conoscenza dell'AI.
La maggior parte degli sviluppatori di AI desktop utilizza GPU locali, come il modello Nvidia 4090(vendute qui su Amazon), che sono limitate nelle prestazioni e nelle dimensioni del modello, oppure servizi di GPU cloud in abbonamento, che sono più costosi. La dimensione della RAM di Nvidia 4090 limita lo sviluppo di LLM a circa 30 miliardi di parametri. Purtroppo, i recenti modelli di AI open-source superano di gran lunga le capacità di Nvidia 4090. Ad esempio, Grok-1 di xAI è un modello da 314 miliardi di parametri.
Project DIGITS li gestisce facilmente in una configurazione a due unità, utilizzando gli adattatori di rete Nvidia ConnectX. Ogni unità contiene una CPU ARM a 20 core, una GPU Nvidia Blackwell, 128 GB di RAM DDR5X e 4 TB di storage NVMe. Ogni GPU Blackwell è capace di 1 PetaFLOP di prestazioni di calcolo AI FP4. Sebbene il passaggio da FP16 o FP8 a FP4 riduca la precisione di ogni calcolo, Nvidia ha dedicato molti sforzi per consentire lo sviluppo di LLM su FP4 con una precisione di output simile. La GPU è anche in grado di elaborare i dati di addestramento LLM più velocemente, perché FP4 utilizza meno bit.
Il vantaggio principale dell'utilizzo di Project DIGITS rispetto ad altre soluzioni è la possibilità di spostare facilmente i progetti dai sistemi locali al cloud, utilizzando la stessa architettura GPU Grace Blackwell in esecuzione sulla piattaforma Nvidia AI Enterprise. Gli sviluppatori di AI interessati possono iscriversi al sito Nvidia Project DIGITS per essere informati del lancio previsto per maggio 2025 dell'unità da oltre 3.000 dollari.
NVIDIA mette Grace Blackwell su tutte le scrivanie e a portata di mano di tutti gli sviluppatori di intelligenza artificiale
NVIDIA Project DIGITS con il nuovo superchip GB10 debutta come il più piccolo supercomputer di AI al mondo in grado di eseguire modelli da 200 miliardi di parametri
6 gennaio 2025
NVIDIA mette Grace Blackwell su ogni scrivania e a portata di mano di ogni sviluppatore di AI
CES-NVIDIA ha presentato oggi NVIDIA® Project DIGITS, un supercomputer personale di AI che offre a ricercatori di AI, data scientist e studenti di tutto il mondo l'accesso alla potenza della piattaforma NVIDIA Grace Blackwell.
Project DIGITS è dotato del nuovo Superchip NVIDIA GB10 Grace Blackwell, che offre un petaflop di prestazioni di AI computing per la prototipazione, la messa a punto e l'esecuzione di modelli AI di grandi dimensioni.
Con Project DIGITS, gli utenti possono sviluppare ed eseguire l'inferenza sui modelli utilizzando il proprio sistema desktop, per poi distribuire senza problemi i modelli su infrastrutture cloud o data center accelerate.
"L'AI sarà mainstream in ogni applicazione per ogni settore. Con Project DIGITS, il Superchip Grace Blackwell arriva a milioni di sviluppatori", ha dichiarato Jensen Huang, fondatore e CEO di NVIDIA. "Mettere un supercomputer di AI sulle scrivanie di ogni scienziato di dati, ricercatore di AI e studente li autorizza a impegnarsi e a dare forma all'era dell'AI"
Il Superchip GB10 offre un Petaflop di prestazioni AI ad alta efficienza energetica
GB10 Superchip è un system-on-a-chip (SoC) basato sull'architettura NVIDIA Grace Blackwell e offre fino a 1 petaflop di prestazioni AI con precisione FP4.
GB10 è dotato di una GPU NVIDIA Blackwell con core CUDA® di ultima generazione e core Tensor di quinta generazione, collegata tramite interconnessione chip-to-chip NVLink®-C2C a una CPU NVIDIA Grace™ ad alte prestazioni, che include 20 core ad alta efficienza energetica realizzati con l'architettura Arm. MediaTek, leader di mercato nei progetti di SoC basati su Arm, ha collaborato alla progettazione di GB10, contribuendo alla sua migliore efficienza energetica, alle sue prestazioni e alla sua connettività.
Il Superchip GB10 consente a Project DIGITS di offrire prestazioni potenti utilizzando solo una presa elettrica standard. Ogni Project DIGITS dispone di 128 GB di memoria unificata e coerente e fino a 4 TB di storage NVMe. Con il supercomputer, gli sviluppatori possono eseguire modelli linguistici di grandi dimensioni fino a 200 miliardi di parametri per potenziare l'innovazione AI. Inoltre, utilizzando la rete NVIDIA ConnectX®, è possibile collegare due supercomputer Project DIGITS AI per eseguire modelli fino a 405 miliardi di parametri.
Supercomputing AI Grace Blackwell a portata di mano
Con l'architettura Grace Blackwell, le aziende e i ricercatori possono prototipare, mettere a punto e testare i modelli sui sistemi locali di Project DIGITS che eseguono NVIDIA DGX OS basato su Linux, per poi distribuirli senza problemi su NVIDIA DGX Cloud™, istanze cloud accelerate o infrastrutture di data center.
Questo permette agli sviluppatori di prototipare l'AI su Project DIGITS e poi di scalare su infrastrutture cloud o data center, utilizzando la stessa architettura Grace Blackwell e la piattaforma software NVIDIA AI Enterprise.
Gli utenti di Project DIGITS possono accedere a una vasta libreria di software NVIDIA AI per la sperimentazione e la prototipazione, compresi i kit di sviluppo software, gli strumenti di orchestrazione, i framework e i modelli disponibili nel catalogo NVIDIA NGC e sul portale NVIDIA Developer. Gli sviluppatori possono perfezionare i modelli con il framework NVIDIA NeMo™, accelerare la scienza dei dati con le librerie NVIDIA RAPIDS™ ed eseguire framework comuni come PyTorch, Python e Jupyter notebook.
Per costruire applicazioni di AI agenziali, gli utenti possono anche sfruttare NVIDIA Blueprints e i microservizi NVIDIA NIM™, che sono disponibili per la ricerca, lo sviluppo e la sperimentazione tramite l'NVIDIA Developer Program. Quando le applicazioni di AI sono pronte per passare dalla sperimentazione agli ambienti di produzione, la licenza NVIDIA AI Enterprise offre sicurezza, supporto e release di prodotto di livello enterprise del software NVIDIA AI.
Disponibilità
Project DIGITS sarà disponibile a maggio presso NVIDIA e i migliori partner, a partire da 3.000 dollari. Si iscriva oggi stesso per ricevere le notifiche.
