Appleil primo LLM pubblico dell'azienda si chiama Ferret, alimentato da 8 GPU Nivida A100

Apple ha tranquillamente rilasciato la sua prima AI multimodale Large Language Model (LLM) come progetto open source, che ha battezzato Ferret. La nuova AI Ferret è stata presentata a ottobre dal ricercatore di AI Zhe Gan di Apple via X/Twitter, ma è passata in gran parte inosservata fino ad ora. Ferret è stato sviluppato congiuntamente da Gan e dai suoi colleghi di Apple, insieme ai ricercatori della Columbia University. Secondo Gan, Ferret è più preciso nel comprendere le piccole regioni dell'immagine e nel descriverle rispetto al GPT-4 di OpenAI, producendo meno allucinazioni (errori).

È interessante notare che il repository Github di Apple's https://github.com/apple/ml-ferret rivela che l'azienda ha addestrato Ferret utilizzando 8 GPU Nvidia A100 di fascia alta dotate di 80 GB di RAM HBM2e. L'A100 è la GPU più richiesta sul mercato dopo l'esplosione della tecnologia AI generativa che ha seguito il lancio di OpenAI seguito al lancio di ChatGPT di OpenAI di OpenAI alla fine dello scorso anno. È capace di 312 TeraFLOPS con precisione Tensor Float 32 e il modello da 80 GB usato da Apple per addestrare Ferret offre una larghezza di banda fino a 2.039 GB/s. Tuttavia, l'azienda non rivela l'argomento utilizzato per addestrare il nuovo modello.

Mentre Apple è ancora nelle fasi relativamente iniziali del suo viaggio nell'AI generativa con Ferret, l'obiettivo sarà quello di far funzionare efficacemente un modello come Ferret su uno smartphone. Si ritiene che il GPT4 di OpenAI abbia oltre 1 trilione di parametri, ma i telefoni cellulari possono attualmente gestire solo LLM con circa 10 miliardi di parametri. A tal fine, Apple i ricercatori hanno recentemente fatto un passo avanti dimostrando come integrare la RAM dello smartphone con l'archiviazione flash a bordo per inserire modelli più grandi di quelli che altrimenti potrebbero essere eseguiti sul dispositivo.