Meta's OK: il robot è in grado di riordinare una stanza senza alcun aiuto
Il nuovo sistema OK-Robot AI è stato progettato per consentire a un'ampia varietà di robot di riordinare ambienti che sono completamente nuovi per loro. Ad esempio, possono raccogliere la biancheria o i giocattoli dal pavimento e collocarli altrove. Altri sistemi robotici sono solitamente progettati per operare in un ambiente familiare.
OK-Robot lavora con i VLM (Vision-Language Models), un tipo di sistema di intelligenza artificiale che è in grado di elaborare e comprendere informazioni da testi o discorsi diretti e immagini allo stesso tempo. È anche interessante notare che OK-Robot lavora con una varietà di sistemi modelli di Modelli di AI ed è stato pre-addestrato con grandi set di dati disponibili pubblicamente.
Il lato positivo è che non è necessario fornire al robot ulteriori dati di addestramento nell'ambiente, funziona e basta. Il lato negativo è che può solo prendere un oggetto e lasciarlo cadere da un'altra parte. Non si può chiedergli di aprire un cassetto, perché sa fare solo queste due cose.
- Lerrel Pinto, Professore Assistente di Informatica presso la New York University, che ha co-diretto il progetto
Il sistema è stato testato dai ricercatori della New York University e di Meta utilizzando il robot commerciale Stretch di Hello Robot. 171 esperimenti di pick-and-drop sono stati effettuati in diverse abitazioni. Durante gli esperimenti, il robot ha scansionato l'ambiente utilizzando il dispositivo Record3D iPhone per creare un video 3D. Il sistema OK Robot ha poi eseguito un modello di riconoscimento di oggetti AI su ogni fotogramma del video.
Questo ha permesso al robot di identificare tutti gli oggetti nel suo ambiente, come un tavolo, un divano, un paio di occhiali, una scarpa e una lampada. Poi è stato istruito a raccogliere determinati oggetti, cosa che ha fatto nell'82,2% dei casi, a condizione che la stanza non fosse troppo ingombra ingombro. Nelle stanze più caotiche, tuttavia, il tasso di successo era significativamente più basso.
Direi che è piuttosto inusuale affidarsi completamente a modelli non disponibili, e che è piuttosto impressionante farli funzionare. Abbiamo assistito a una rivoluzione nell'apprendimento automatico che ha reso possibile la creazione di modelli che funzionano non solo nei laboratori, ma anche nel mondo aperto. Vedere che funziona davvero in un ambiente fisico reale è un'informazione molto utile.
- Matthias Minderer, ricercatore senior di visione computerizzata presso Google DeepMind, che non è stato coinvolto nel progetto
Il sistema è ancora lontano dalla perfezione; ad esempio, a volte ha difficoltà a comprendere l'input vocale e anche il suo modello di presa ha problemi con alcuni oggetti. Tuttavia, il progetto dimostra che i modelli attuali sono in grado di gestire relativamente bene un vocabolario aperto e, allo stesso tempo, sono in grado di navigare direttamente verso gli oggetti giusti in spazi non familiari.
Fonti
MIT Technology Review | VentureBeat | immagine teaser: immagine simbolica di DALL-E / AI | immagini 2,3: arvix
