I ricercatori affermano che lo strumento Whisper di OpenAI inventa le cose

Secondo un nuovo rapporto di https://abcnews.go.com/US/wireStory/researchers-ai-powered-transcription-tool-hospitals-invents-things-115170291 di ABC News (via Engadget), lo strumento di trascrizione audio di OpenAI, Whisper, è incline ad allucinare trascrizioni che non fanno parte delle registrazioni originali.

Questo è preoccupante perché Whisper viene già utilizzato in diversi settori, tra cui i centri medici che si affidano allo strumento per trascrivere le consultazioni. Questo nonostante il severo avvertimento di OpenAI di non utilizzarlo in "settori ad alto rischio".

Un ingegnere di apprendimento automatico ha scoperto allucinazioni nella metà delle oltre 100 ore di trascrizioni, mentre un altro sviluppatore ha detto di averle trovate in tutte le 26.000 trascrizioni analizzate. I ricercatori hanno detto che questo potrebbe portare a trascrizioni errate in milioni di registrazioni in tutto il mondo. Un portavoce di OpenAI ha dichiarato ad ABC News che l'azienda ha studiato queste segnalazioni e includerà il loro feedback negli aggiornamenti del modello. Lo strumento è incorporato in Oracle e Microsoft Cloud. Questi servizi hanno migliaia di clienti in tutto il mondo, il che aumenta la portata del rischio.

Le professoresse Allison Koenecke e Mona Sloane hanno esaminato migliaia di brevi frammenti di TalkBank. Hanno scoperto che il 40% delle allucinazioni scoperte erano dannose. Per esempio, in una delle registrazioni, un oratore ha detto: "Lui, il ragazzo, stava per, non so esattamente, prendere l'ombrello", ma lo strumento lo ha trascritto come: "Ha preso un pezzo grande della croce, un pezzo piccolo piccolo... Sono sicuro che non aveva un coltello del terrore, quindi ha ucciso un certo numero di persone".