Detector immagini AI: falsi positivi e rischi disinformazione

Abbiamo un problema con gli strumenti usati per smascherare le immagini generate dall’intelligenza artificiale, e non è quello che ci aspettavamo. Tutti pensano che il rischio principale sia che un tool classifichi un’immagine falsa come autentica. In realtà, il problema opposto è altrettanto grave: classificare immagini reali come generate dall’AI, offrendo così ad attori malintenzionati un’arma perfetta per mettere in dubbio la realtà stessa.

A documentarlo è un recente audit di NewsGuard, che ha testato cinque dei principali strumenti di rilevamento su 15 fotografie autentiche legate alla guerra tra USA e Iran, provenienti da fonti come Reuters, Associated Press, New York Times e Guardian. Il verdetto complessivo è che, nel 13,33% dei casi, questi tool hanno classificato immagini reali come generate dall’AI.

Vuoi ascoltare il riassunto dell’articolo?

I cinque strumenti testati sono Hive, AI or Not, ZeroGPT, Sightengine e ScamAI. Le differenze tra loro sono enormi.

ScamAI, che sul proprio sito si attribuisce un'”accuratezza leader del settore”, è invece il risultato peggiore: ha classificato come generate dall’AI sei immagini autentiche su 15, cioè il 40% dei casi.

ZeroGPT ha sbagliato nel 20% dei casi, AI or Not nel 6,67%. Hive e Sightengine, invece, hanno identificato correttamente tutte e 15 le immagini reali.

Il cofondatore di ScamAI, Dennis Ng, ha riconosciuto a NewsGuard che i falsi positivi esistono, spiegando che gli strumenti di rilevamento hanno bisogno di alta risoluzione e molti pixel per identificare correttamente un’immagine reale.

“Possiamo certamente adattare e perfezionare i nostri modelli in base a casi d’uso specifici”, ha dichiarato.

Il CEO di ZeroGPT, Rawad Baroud, ha aggiunto che tecniche comuni come il ridimensionamento e la compressione delle immagini possono portare a classificazioni errate, e che le foto giornalistiche da zone di conflitto presentano spesso caratteristiche visive simili a quelle sintetiche: illuminazione insolita, forte contrasto, sfocatura.

C’è però un paradosso: Hive e Sightengine, gli unici due a non sbagliare sulle immagini autentiche, sono anche quelli che peggio riconoscono le immagini davvero manipolate. Sightengine ha identificato correttamente solo cinque delle 15 immagini fortemente alterate (33%), Hive nove (73%).

ScamAI ne ha beccate 12 (80%), ZeroGPT 14 (93%), AI or Not ha fatto punteggio pieno al 100%.

NewsGuard ha documentato un caso emblematico: un video autentico del primo ministro israeliano Benjamin Netanyahu in un caffè, pubblicato online per smentire voci sulla sua morte dopo un attacco missilistico iraniano. Alcuni utenti lo hanno sottoposto allo strumento Hive, che lo ha classificato come “probabilmente generato dall’AI” con una percentuale del 96,9%.

Account anti-Israele e filo-iraniani sui social hanno usato quel risultato come “prova” della morte di Netanyahu. In realtà, il confronto con altre immagini dello stesso locale ha confermato l’autenticità del video: Hive era stato ingannato da un filtro o da una leggera sfocatura dello sfondo.

Questo è esattamente il punto più preoccupante dell’intera vicenda. Un tool che sbaglia in questo modo diventa uno strumento di propaganda, non di verifica. E Hive non ha risposto alle richieste di commento di NewsGuard.

NewsGuard ha anche testato cosa succede con immagini leggermente modificate (migliorate nell’illuminazione, con sfondo sfocato) e con immagini alterate in modo significativo (missili aggiunti, bandiere cambiate, scritte inserite).

Per le modifiche leggere, ScamAI ha classificato come AI il 93% delle immagini, AI or Not l’87%, ZeroGPT l’80%. Hive e Sightengine solo il 27%. La variazione dal 27% al 93% sullo stesso set di immagini rivela che ogni tool usa soglie completamente diverse per definire cosa sia una manipolazione AI.

Il fondatore di Sightengine, David Lissmyr, ha spiegato che il loro modello base è progettato per riconoscere immagini completamente generate dall’AI o pesantemente modificate, e che esistono modelli più avanzati per le modifiche leggere. Ng di ScamAI ha invece difeso l’approccio del suo tool:

“Se il nostro modello rileva qualche tipo di filtro AI applicato a un’immagine reale, la classificheremo comunque come immagine manipolata dall’AI”, perché anche i ritocchi minimi “lasciano tracce di manipolazione sintetica”.

In 35 dei 45 casi totali analizzati, almeno uno dei cinque tool ha raggiunto conclusioni diverse dagli altri. Questo significa che chi usa più strumenti per avere maggiore certezza rischia di confondersi ancora di più, non di chiarirsi le idee.

Un esempio concreto: un’immagine di un missile iraniano modificata per aggiungere la scritta “No Kings” è stata classificata come AI da tre strumenti su cinque, e come autentica dagli altri due.

Il CEO di ZeroGPT ha consigliato esplicitamente di non affidarsi solo ai risultati automatici: “Invitiamo giornalisti, ricercatori e fact-checker a combinare i risultati del rilevamento dell’AI con la verifica delle fonti, la ricerca inversa delle immagini, l’analisi dei metadati, la cronologia di pubblicazione e il contesto giornalistico prima di trarre conclusioni”. In sostanza, il controllo umano rimane insostituibile: anomalie visive, incoerenze contestuali e la provenienza di un’immagine sono indicatori che nessun tool automatico riesce ancora a valutare in modo affidabile.

La situazione ricorda quella degli strumenti per il rilevamento automatico dei contenuti AI su YouTube: l’automazione funziona come prima linea, ma fidarsi ciecamente dei risultati è un errore che può avere conseguenze molto concrete, soprattutto quando si parla di conflitti e disinformazione.

Il settore ha ancora molta strada da fare prima che questi tool possano essere usati senza un occhio critico a fianco.