Meta presenta Movie Gen AI per creare video e musica utilizzando suggerimenti testuali per aiutare i registi a risparmiare tempo e denaro

Meta ha presentato Movie Gen, un'intelligenza artificiale in grado di creare ed editare video con musica ed effetti sonori utilizzando suggerimenti testuali. L'AI è all'avanguardia nelle sue capacità di generazione di video e audio, con caratteristiche e realismo che nessun'altra AI può eguagliare.

Movie Gen è un modello di intelligenza artificiale con 30 miliardi di parametri, in grado di generare clip HD di 16 secondi da richieste di testo. L'AI è stata pre-addestrata su un miliardo di immagini e 100 milioni di video. I video sono stati selezionati da una collezione molto più ampia per migliorare la qualità dell'addestramento. Movie Gen Audio è un modello AI da 13 miliardi di parametri in grado di generare effetti sonori e musica a 48 kHz da richieste di testo. L'AI è stata pre-addestrata su un milione di ore di audio. Il feedback umano e gli esempi audio e video di alta qualità sono stati utilizzati per mettere a punto l'AI.

Data una fotografia di una persona e una descrizione di questa persona in una scena, l'AI può generare video realistici di un attore e di una scena animata. L'IA è stata addestrata su 22 tipi di movimento e posizione della telecamera, come il grandangolo, l'inclinazione verso l'alto e il carrello a sinistra, consentendo ai registi di specificare il posizionamento e i movimenti della telecamera virtuale come in una ripresa reale. I registi che vogliono realizzare film con attori e set reali possono utilizzare una reflex digitale di alto livello , come l'ultima Nikon Z6III su Amazon. In modo unico, Movie Gen ha la capacità di modificare i video in modo accurato e realistico. Attualmente, altre AI non sono in grado di creare modifiche di qualità pari a quella di Movie Gen Edit.

I suggerimenti di testo possono anche aggiungere un audio professionale alle clip, compresi gli effetti sonori e le partiture musicali. L'AI può creare musica di diversi minuti, ma è limitata a clip video di 16 secondi a causa delle enormi risorse del computer che richiede. L'audio segue i battiti di una scena e può generare suoni fuori dallo schermo, come il cinguettio degli uccelli in una foresta, in base al contesto della scena.

Meta sta lavorando per aggiungere delle salvaguardie a Movie Gen e rilascerà l'AI quando si sentirà sicura della sua sicurezza.