Lo strumento AI DiffUHaul di Nvidia può spostare gli oggetti nelle immagini

I ricercatori di Nvidia hanno pubblicato un documento su un nuovo strumento AI, DiffUHaul, in grado di comprendere e spostare gli oggetti all'interno di un'immagine senza modificare le dimensioni o lo sfondo. Il documento afferma che lo strumento "sfrutta la comprensione spaziale di un modello di testo-immagine localizzato, per il compito di trascinamento degli oggetti"

Gli attuali modelli text-to-image hanno difficoltà a svolgere compiti complessi di editing di immagini, perché mancano di "ragionamento spaziale" DiffuHaul risolve questo problema inserendolo nel modello, consentendogli di seguire gli oggetti attraverso un'immagine, ricollocandoli "senza soluzione di continuità" senza alterare nient'altro.

Per ottenere questo risultato, lo strumento maschera l'oggetto durante le fasi di denoising, aiutandolo a capire la sua posizione e a separarlo dallo sfondo. Poi, interpola la differenza tra l'immagine originale e quella generata per collocare l'oggetto in una nuova posizione senza toccare lo sfondo. Dopodiché, i dettagli e le caratteristiche più fini dell'immagine originale vengono spostati nella nuova immagine per coerenza.