Nvidia mostra gli NPC interattivi e la ricostruzione a raggi DLSS 3.5 in arrivo su tutte le GPU RTX in autunno

Oltre all'annuncio di una Half-Life 2 RTX remaster alla Gamescom 2023, Nvidia ha anche mostrato alcuni miglioramenti in arrivo per le sue tecnologie RTX. Questi includono un modello linguistico di grandi dimensioni (LLM) per i personaggi non giocabili (NPC) del gioco e un importante aggiornamento DLSS 3.5 che offre migliori effetti di illuminazione tramite la ricostruzione a raggi.

Nvidia ACE e NeMo SteerLM

I PNG contribuiscono all'immersione nel mondo di gioco, ma è un compito erculeo per gli sviluppatori programmare in modo distinto tutti i PNG di un gioco. Nvidia ha mostrato per la prima volta il suo Avatar Cloud Engine (ACE) durante il Computex 2023, che sfrutta l'IA per dare intelligenza ai PNG.

ACE si basa su tre componenti principali alimentati dall'intelligenza artificiale: NeMo LLM, il riconoscimento vocale automatico (ASR) e le capacità di sintesi vocale (TTS) di Riva e Omniverse Audio2Face, in grado di creare animazioni facciali da una sorgente audio.

Ora l'azienda sta aggiungendo ad ACE NeMo SteerLM, un LLM che aggiunge personalità ed emozioni ai PNG per un maggiore realismo. SteerLM consente ai giocatori di definire e mettere a punto l'interazione con i personaggi in modo simile a come gli LLM possono essere guidati utilizzando suggerimenti in linguaggio naturale. SteerLM consente inoltre agli sviluppatori di permettere ai modelli di essere influenzati dagli eventi del mondo di gioco.

DLSS 3.5 porta la ricostruzione a raggi su tutte le GPU RTX

Nvidia ha introdotto DLSS 3 con Frame Generation che sfrutta i core Tensor di quarta generazione e gli acceleratori Optical Flow delle GPU RTX 40 Series. Ora, in occasione della Gamescom 2023, Nvidia ha introdotto la possibilità di includere le pipeline di ray tracing con DLSS 3.5.

Una pipeline di ray tracing tradizionale campiona i raggi per le riflessioni e l'illuminazione globale, che vengono poi sottoposti a denoising. In DLSS, questa operazione viene eseguita a una risoluzione inferiore e poi scalata. Tuttavia, l'uso dei denoisers, benché essenziale, può determinare un'illuminazione imprecisa e potenzialmente rimuovere informazioni, come il colore.

Attualmente gli sviluppatori utilizzano il Nvidia Real-time Denoiser (NRD) di https://developer.nvidia.com/blog/nvidia-real-time-denoiser-delivers-best-in-class-denoising-in-watch-dogs-legion/ (NRD), che rappresenta un notevole miglioramento rispetto alla soluzione Spatiotemporal Variance-Guided Filtering (SVGF) utilizzata in precedenza. Le voci indicano che Nvidia includerà un acceleratore di denoising direttamente nella pipeline RT con le prossime schede RTX 50 Blackwell.

Si tratta però solo di speculazioni e l'RTX 50 è ancora lontano un paio d'anni dal vedere la luce. Per il momento, Nvidia punta a superare i limiti del denoising con DLSS 3.5, che introduce la ricostruzione dei raggi (RR) con intelligenza artificiale.

L'azienda ha dichiarato che RR è addestrato su un numero di dati 5 volte superiore rispetto a DLSS 3 ed è una soluzione superiore che viene addestrata a riconoscere i vettori di movimento e gli effetti ray-tracing, riuscendo a distinguere tra pixel buoni e pixel. La rete AI è anche addestrata a conservare le informazioni vitali per generare un upscale di alta qualità.

Secondo Nvidia, l'attivazione del DLSS 3.5 non dovrebbe avere ripercussioni significative sulle prestazioni complessive dei giochi. A differenza di DLSS 3.0 Frame Generation (FG), che fa esplicitamente uso degli acceleratori di flusso ottico nelle GPU RTX serie 40, DLSS 3.5 RR funzionerà su tutte le schede RTX.

DLSS 3.5 sarà disponibile in autunno per giochi come Cyberpunk 2077: Phantom Liberty, Portal con RTX e Alan Wake 2 e sarà supportato da piattaforme come Omniverse, Chaos Vantage e D5 Render.