Sai riconoscere un contenuto creato da un LLM?

Qualche giorno fa ho letto un articolo del Post in cui si parlava di un youtuber sudcoreano arrestato per diffamazione dopo aver condiviso un audio generato con l’IA con cui aveva danneggiato la reputazione di due attori suoi connazionali. Lo stesso giorno mi sono imbattuto in due articoli molto interessanti sui problemi dei contenuti generati con l’IA: una guida operativa per analizzare e riconoscere i deepfake e una riflessione sugli aspetti giuridici.

Il caso

Il 27 maggio scorso Kim Se-ui, youtuber sudcoreano da quasi un milione di iscritti, è stato arrestato per diffamazione. Nel marzo 2025 aveva pubblicato un audio creato con l’IA attribuendolo a un’attrice morta suicida, Kim Sae-ron, con cui aveva insinuato una sua relazione con l’attore Kim Soo-hyun quando lei era ancora minorenne.

Le conseguenze per l’attore? Contratti persi, produzioni cancellate, una serie Disney+ rinviata e l’attore che finisce in cura presso un istituto psichiatrico.

Se ci si occupa di OSInt, questo fatto di cronaca appare come l’ennesimo avvertimento su quanto sia sempre più complesso capire se il video o l’audio che abbiamo di fronte sia reale o generato tramite un LLM.

Fino ad un paio di anni fa la creazione di video ed audio artefatti realistici era un’attività che richiedeva risorse e capacità che non erano a disposizione del grande pubblico. Poi, nel maggio 2025, Google ha presentato Veo 3 che dava la possibilità a tutti di ottenere otto secondi di video con audio, dialoghi e colonna sonora, in due minuti, partendo da un prompt testuale. Probabilmente ricorderete che sui social esplose il filone della “prompt theory”, con personaggi sintetici che negano di essere stati generati da un LLM.

Oggi come oggi la rete abbonda di tutorial che suggeriscono quali siano i tool e i prompt migliori per creare contenuti indistinguibili da quelli reali. Non parliamo neppure di quanto sia semplice clonare la voce di una persona per farle dire la qualunque. Avete mai provato Voicebox? Fatelo! È impressionante!!

Oramai siamo ben oltre la linea di “ad occhio/orecchio si capisce”: gli errori grossolani sono sempre più rari (mani con sei dita, il rigido allineamento degli occhi con dei lati delle labbra, un audio meccanico, ecc.). 

E quindi? Cosa possiamo fare per capire se il video che ci troviamo di fronte è vero o artificiale?

Come accennato, nello stesso giorno ho trovato un paio di articoli interessanti proprio su questo tema.

Un processo operativo

Il primo articolo parla di un workflow forense proposto da Massimo Iuliani di Amped Software. 

La tesi di Iuliani è che non si possa accertare l’esistenza di un deepfake utilizzando un singolo strumento. Anche i tool di detection AI possono svolgere solo parte del lavoro: sono utilizzabili per il triage, filtrare grandi volumi, dare priorità, ma non sono adatti per ottenere “una fonte di prova” dato che presentano explainability limitata e tassi di errore che cambiano in base al dominio di applicazione (un modello tarato su volti caucasici sbaglia di più sugli asiatici, e crolla sul materiale multimediale compresso da WhatsApp o Telegram).

L’analisi di un deepfake va pensata come un workflow forense, non come un singolo atto svolto da un solo strumento.

1. L’obiettivo è individuare le tracce di manipolazioni e produrre risultati spiegabili, riproducibili e difendibili.
2. La detection AI da sola non è una fonte di prova: è il punto di partenza dell’esame forense, non un verdetto.
3. L’analisi scientifica di immagini e video si regge su metodo, validazione e coerenza, soprattutto quando i risultati devono sostenere un’indagine o un procedimento legale.
4. Un workflow strutturato deve permettere di, partendo da un primo allarme dell’AI, produrre conclusioni documentate, corroborate e difendibili.
5. Un workflow robusto deve combinare triage con l’AI, l’analisi dei metadati e del formato del video/audio, controlli del contenuto del video (geometrie, riflessi, errori a livello di pixel, ecc.).

In altre parole, anche Massimo ribadisce che la creazione di un processo debba essere sempre prioritaria sull’utilizzare un singolo strumento o software. Una volta sviluppato un processo adatto alle nostre esigenze, possiamo cercare gli strumenti che ne supportino le singole fasi. Ma il punto resta sempre lo stesso: nessun singolo tool, da solo, è LO STRUMENTO DEFINITIVO — conta il processo.

Applichiamo il processo al caso coreano

Proviamo a calare questo metodo sul caso da cui siamo partiti.

Una premessa: il contenuto coreano è soprattutto audio, solo in parte composto da immagini, screenshot di chat di KakaoTalk, mentre il workflow di Iuliani nasce per le immagini — la forense dell’audio e del voice cloning è una disciplina a sé. Ma il metodo, quello, si può trasferire.

E il caso coreano lo dimostra meglio di qualsiasi spiegazione.

Perché qui una singola verifica non ha chiuso la partita. Il National Forensic Service, l’organismo forense nazionale coreano, a novembre 2025 ha dichiarato di non poter confermare se l’audio fosse stato alterato con l’IA: esito inconcludente. La polizia di Gangnam, invece, al termine di un’indagine più ampia ha concluso che la registrazione era interamente fabbricata con l’IA. Due analisi forensi, due esiti diversi sullo stesso file: è esattamente il punto di Iuliani — nessun detector, da solo, è il verdetto.

A spostare l’ago non è stato un tool che ha fornito la pallottola fumante “è IA”, ma la convergenza di analisi diverse. Da una parte l’audio, una voce clonata con l’IA, e dall’altra una manipolazione molto più classica, e per niente “intelligente”. La polizia ha accertato che molti degli screenshot di KakaoTalk erano stati ritoccati a mano, sostituendo il nome dell’interlocutore con quello di Kim Soo-hyun.

Due falsificazioni, due tecniche — voice clone e fotoritocco — non un unico video. Ed è proprio questo il senso del workflow: è solo mettendo insieme più strumenti, esperienza e intuito che si riesce ad analizzare il contesto — audio, immagini, metadati — e ad arrivare a una conclusione solida. Non sempre basta. Spesso dimostrare la verità non basta, il danno reputazionale e morale fatto alla vittima spesso è praticamente irreparabile.

Cosa dice la legge sui deepfake

Qui entra in gioco Alessandro Milone. Nell’articolo Il diritto penale alla prova dell’intelligenza artificiale: alcune riflessioni intorno all’art. 612-quater c.p., spiega come la legge 132/2025 abbia introdotto l’art. 612-quater che stabilisce che chi diffonde, senza consenso, immagini, voci o video falsificati con l’IA e idonei a ingannare, causando un danno ingiusto, rischia da uno a cinque anni. Si procede a querela della persona offesa.

C’è anche una nuova aggravante comune, l’art. 61 n. 11-undecies, per quando l’IA è “mezzo insidioso”.

Una precisazione che conta. La norma colpisce chi cede, pubblica o diffonde, non chi il deepfake lo crea e basta: servono la diffusione senza consenso e il danno ingiusto. E qui un punto che ci riguarda da vicino: anche la semplice ri-condivisione di materiale prodotto da altri può integrare il reato, se ci sono il danno e l’assenza di consenso. Ricondividere un falso “tanto fa ridere” può non essere così innocuo.

Il danno ingiusto è l’elemento costitutivo: senza un danno concreto alla persona il 612-quater non scatta, non basta che l’immagine sia falsa. Ma attenzione a cosa si intende per danno: non risiede solo nella diffusione del contenuto falsificato, ma nella perdita di credibilità del soggetto rappresentato, che si ritrova a dover “provare la propria innocenza” di fronte a un’immagine che ne testimonia, apparentemente, il contrario. È l’inversione dell’onere reputazionale: il falso pesa più della smentita.

Milone indica che il nuovo articolo ha un raggio più ampio di quello riguardante il revenge porn (art. 612-ter c.p.): il bene tutelato è la dignità e la libertà morale della persona. E quando il falso colpisce una pubblica autorità a causa delle funzioni esercitate si procede d’ufficio — segno che il legislatore guarda anche alla propaganda politica e alla disinformazione.

Restano due confini scivolosi che Milone segnala e che valgono anche per noi. Il requisito dell’idoneità a ingannare rende labile la linea con la satira e la critica politica: un video palesemente comico non inganna nessuno. E il danno va non solo causato ma voluto; provarlo, vista l’imprevedibilità dei sistemi di IA, non è banale.

Vale la pena fermarsi sul perché si punisca la diffusione e non la generazione. C’è una ragione investigativa solida: chi crea un deepfake spesso lavora con modelli locali adottando tecniche di anonimizzazione, ed è difficile da raggiungere; chi lo diffonde, invece, si rende più facilmente rintracciabile.

Attenzione però a non leggerla come un “liberi tutti” sulla creazione. Milone ricorda che un deepfake denigratorio che inizia a circolare integra già la diffamazione, aggravata dall’uso di un mezzo di pubblicità (art. 595 c.p.); uno a sfondo sessuale il revenge porn (art. 612-ter c.p., applicabile anche al materiale artificiale purché verosimile); uno usato per ingannare banche o enti la truffa (art. 640 c.p.); e la propaganda può toccare i delitti contro l’ordine pubblico (artt. 656 e 658 c.p.).
Il nuovo 612-quater colpisce la diffusione; quello che resta davvero fuori è la mera generazione che non esce dal disco rigido del creatore — o, come segnala Milone, il caso di chi fabbrica “soltanto” il falso che poi viene diffuso, sfuggendo al nuovo reato.
Un vuoto di tutela, non un via libera.

Conclusioni

Il caso Kim Soo-hyun è molto significativo: mostra come una reputazione e la pace interiore possano essere distrutte in pochi secondi di audio verosimile e quanto sia difficile che vengano recuperate dopo che emerge la verità.

Anche se oramai non possiamo più fidarci solo dei nostri sensi, non siamo disarmati: pixel, metadati e pattern di diffusione, messi insieme, raccontano ancora la verità. Esistono dei processi, esistono degli strumenti, ma poter comunque dimostrare che un video sia generato da un LLM è sempre più difficile e non sempre è perseguibile per legge.

Se l’argomento ti interessa, continuiamo la chiacchierata nei commenti o sul nostro canale Telegram.