Air Head creators say OpenAI's Sora finicky to work with, needs hundreds of prompts, serious VFX work for under 2 minutes of cohesive story ^↺

Quando OpenAI ha annunciato Sora, la sua AI generatrice di video, uno dei video utilizzati per dimostrare le sue capacità è il cortometraggio di Shy Kids intitolato Air Head. Sebbene il video sia stato inizialmente pubblicizzato come un impressionante show reel per il modello OpenAI, una recente intervista di FX Guide con Shy Kids rivela che il video ha richiesto molto più lavoro di quanto molti pensassero.

Sebbene ciò che Sora è in grado di fare sia certamente impressionante e quasi impossibile da realizzare solo un anno o due fa, il team di Shy Kids ha comunque impiegato quasi due settimane per creare Air Head, soprattutto a causa dei limiti dell'IA. Uno dei maggiori ostacoli che Shy Kids ha incontrato con Sora è stata la sua mancanza di coesione, che ha costretto il team di produzione a utilizzare un metodo di montaggio poco ortodosso, non diverso dalla creazione di un film o di un documentario di found footage.

Si trattava di ottenere un sacco di inquadrature e cercare di tagliarle in modo interessante per la VO. - Patrick Cederberg, post-produzione su Air Head

Shy Kids afferma di avere un copione per il video, ma il team ha dovuto essere fluido e adattarsi ai vari output generati da Sora. Shy Kids ha anche avuto difficoltà a mantenere le cose coerenti da una ripresa all'altra, con Sora che spesso generava un tipo diverso di testa sul palloncino. Complessivamente, Cederberg afferma che ci sono volute "centinaia di generazioni" per ottenere poco meno di un minuto e mezzo di riprese montate per il video. Stima inoltre che il rapporto tra materiale di partenza e contenuto finale sia stato di 300:1, il che significa che Shy Kids ha utilizzato solo lo 0,33% circa del video generato da Sora nel montaggio finale.

I miei calcoli non sono buoni, ma credo che il rapporto tra il materiale di partenza e il contenuto finale sia di circa 300:1.

Lavorare con Sora non significava solo generare centinaia di clip, però. Il team ha dovuto anche intervenire manualmente ed eseguire tutte le attività regolari come il color grading, il retiming e persino i VFX per rimuovere gli elementi indesiderati dall'inquadratura. In una clip generata, Sora ha prodotto un palloncino con un volto impresso sulla parte anteriore, e in altre, il palloncino era di colori diversi o aveva un filo indesiderato che pendeva dalla parte inferiore - tutti elementi che dovevano essere rimossi.

Applicazioni più avanzate di VFX hanno visto il team di Shy Kids rimuovere un'intera testa che era stata generata su Sonny, il personaggio principale, al posto del palloncino. Cose del genere sono state rimosse in Adobe After Effects(che costa 34,99 dollari al mese ed è disponibile su Amazon) per arrivare al prodotto finale.

Sebbene Sora e l'AI video generativa abbiano fatto molta strada, sembra che siano ben lontani dal sostituire gli artisti dietro le quinte, soprattutto se il contenuto prodotto è destinato ad essere coerente o a durare più di qualche secondo. Questo probabilmente spiega anche perché, ad eccezione di due, tutte le clip 'inedite' che OpenAI ha pubblicato sulla sua pagina Sora sono tutte dell'ordine di 20 secondi o meno.