OpenAI sembra trattenere temporaneamente una nuova tool in grado di rilevare contenuti generati da ChatGPT. Lo strumento sarebbe, a detta dell’azienda, “molto accurato”.
Questa decisione deriva dalle preoccupazioni che la tool possa essere manipolata e che gli utenti non anglofoni non abbiano accesso a una generazione di testi affidabile con i modelli AI.
Lavorare su metodi per identificare contenuti generati da AI
A maggio, l’azienda ha riferito in un post sul blog di lavorare su diversi metodi per identificare contenuti generati specificamente dai suoi prodotti. Tuttavia, secondo un rapporto esclusivo del Wall Street Journal (WSJ) del 4 agosto, i piani per il rilascio di questi strumenti sono stati bloccati da discussioni interne sulle possibili conseguenze.
A seguito del rapporto del WSJ, OpenAI ha aggiornato il suo post sul blog di maggio con nuove informazioni sugli strumenti di rilevamento. L’azienda ha indicato che non esiste ancora un calendario per il rilascio, nonostante almeno una tool sia “molto accurata e persino efficace contro la manipolazione locale”.
La rilevazione può ancora essere aggirata
OpenAI ha dichiarato che esistono ancora metodi con cui i malintenzionati possono aggirare la rilevazione, motivo per cui l’azienda non è disposta a rendere pubblica la tool. Inoltre, l’azienda suggerisce che i non anglofoni potrebbero essere “stigmatizzati” nell’uso di prodotti AI per la scrittura. Ciò è dovuto a un exploit in cui il testo inglese viene tradotto in un’altra lingua per eludere la rilevazione.
“Un altro rischio importante che stiamo valutando è che la nostra ricerca suggerisce che il metodo del watermarking testuale ha il potenziale di avere un impatto sproporzionato su alcuni gruppi. Ad esempio, potrebbe stigmatizzare l’uso dell’IA come utile strumento di scrittura per i non anglofoni,” ha affermato OpenAI.
Sebbene al momento siano disponibili vari prodotti e servizi che affermano di poter rilevare contenuti generati da AI, nessuno di questi, per quanto noto, ha dimostrato un alto grado di accuratezza in ricerche peer-reviewed. Lo strumento di rilevazione di OpenAI sarebbe il primo sistema sviluppato internamente che si basa su watermark invisibili e metodi di rilevamento brevettati per contenuti generati specificamente dai modelli dell’azienda.
