L'AI generativa sugli iPhone è un passo avanti grazie ai ricercatori di Apple

Apple i ricercatori di hanno documentato (pdf) un nuovo metodo per consentire l'esecuzione di Large Language Models (LLMs) sul dispositivo, con un metodo unico per superare le limitazioni della RAM sui dispositivi mobili. La versione completa di un LLM, come ChatGPT 4 di Open AI, ha circa 1.700 miliardi di parametri e richiede server potenti per poter gestire l'elaborazione. Tuttavia, il nuovo Gemini AI - che sostiene di poter battere il GPT-4 - è disponibile in versione 'Nano' per smartphone e utilizza tecniche di quantizzazione per ridurre il modello a 1,8 miliardi di parametri o 3,6 miliardi di parametri. Una di queste varianti di Gemini Nano è attualmente in esecuzione sugli smartphone Pixel 8 Pro di Google (attualmente ridotto a $799 da Amazon - normalmente $999).

Qualcomm sostiene che il suo nuovo Snapdragon 8 Gen 3 SoC è in grado di supportare LLM di AI generativa con dimensioni fino a 10 miliardi di parametri - sebbene sia considerevolmente più capace di quello che Google è in grado di far funzionare sulla serie Pixel 8, questo è ancora molto lontano dai 1,7 trilioni di parametri richiesti per far funzionare il GPT-4 in modo così impressionante. La quantizzazione, che rende gli LLM più facili da elaborare per i SoC mobili, significa anche che perdono precisione ed efficacia. Pertanto, tutto ciò che può aiutare ad aumentare le dimensioni dei modelli che possono essere inseriti in un dispositivo mobile, migliora le prestazioni dell'LLM.

Affinché gli smartphone siano in grado di gestire le attività di gen AU on-device, i requisiti di RAM sono anch'essi considerevoli. Un LLM ridotto a 8 bit per modello di parametro con 7 miliardi di parametri (come Llama 2 di Meta, supportato dallo Snapdragon 8 Gen 3), richiederebbe uno smartphone con almeno 7 GB di RAM. La serie iPhone 15 Pro dispone di 8 GB di RAM, quindi questo suggerisce che un LLM sviluppato da Apple, come Llama 2, sarebbe al limite superiore di ciò che gli attuali iPhone potrebbero supportare. Applei ricercatori di hanno trovato un modo per aggirare questo limite di RAM a bordo.

In un documento di ricerca intitolato "LLM in a flash: Efficient Large Language Model Inference with Limited Memory", i ricercatori di AI generativa di Applehanno sviluppato un metodo per utilizzare l'archiviazione flash di un iPhone per integrare la RAM di sistema a bordo del dispositivo. La larghezza di banda dell'archiviazione flash non è all'altezza della RAM mobile LDDR5/X, tuttavia i ricercatori di Applehanno sviluppato un metodo che supera questa limitazione intrinseca. Utilizzando una combinazione di "windowing" (in cui il modello AI riutilizza alcuni dei dati memorizzati sulla memoria flash che ha già elaborato) e di "row-column bundling" (che raggruppa i dati dell'LLM in modo più efficiente, accelerando la velocità di lettura).

Naturalmente, non abbiamo ancora visto un LLM da Apple, anche se le indiscrezioni suggeriscono che potremmo vedere una versione più intelligente di Siri basata su un LLM che dovrebbe debuttare come parte di iOS 18 e sarà in grado di funzionare on-device sull'iPhone 16 Pro di prossima generazione iPhone 16 Pro di prossima generazione. Ma quando lo faremo, sembra che ci sarà una buona probabilità che Apple utilizzi questo metodo di estensione della RAM per assicurarsi di fornire un modello LLM con il maggior numero possibile di parametri che possa effettivamente essere eseguito sul dispositivo. Con Samsung che sta aumentando il suo gioco di intelligenza artificiale generativa per il lancio del modello Galaxy S24 il mese prossimo, il 2024 si preannuncia come l'anno in cui l'AI generativa diventerà comune anche sugli smartphone.