OpenAI CSAM AI. OpenAI ha presentato il 16 novembre un classificatore di immagini per il materiale di abuso sessuale su minori (CSAM), in grado di riconoscere anche i contenuti generati con l’intelligenza artificiale. Lo strumento analizza immagini mai viste prima e assegna un punteggio, fornendo ai revisori un’indicazione sulla gravità del caso.

Nei test iniziali, secondo OpenAI, il classificatore segnala il 48% di immagini in meno a parità di contenuti abusivi individuati, con una probabilità doppia che le immagini segnalate siano effettivamente abusive. Questo significa meno falsi positivi da esaminare per i revisori umani.
OpenAI CSAM AI: perché è importante
Il classificatore è stato sviluppato in collaborazione con il National Center for Missing and Exploited Children (NCMEC) ed è accessibile tramite API, senza costi, alle organizzazioni approvate. OpenAI sta collaborando con Tech Coalition e ROOST per estenderne l’accesso.
L’accesso richiede una candidatura e verifica dell’identità tramite Persona, seguite da onboarding e accettazione dei termini applicabili. John Buckley, responsabile delle politiche pubbliche per la sicurezza dei minori di OpenAI, ha definito lo strumento il primo classificatore CSAM ampiamente disponibile con un indicatore specifico per i contenuti generati dall’IA.
Secondo l’azienda, il sistema è progettato per intercettare immagini prodotte da diversi strumenti, inclusi modelli open source e app che modificano le foto. Buckley ha sottolineato l’importanza di distinguere tra immagini con minori fittizi e reali, un aspetto cruciale nei flussi di segnalazione alle forze dell’ordine.
Buckley ha aggiunto che le leggi dovrebbero riconoscere il danno del materiale generato dall’IA, che “potenzialmente erode le norme sociali contro gli abusi sui minori” e “si trova spesso insieme a immagini di abusi su bambini reali”.
Le immagini sessuali di minori generate con l’IA rischiano di sovraccaricare sistemi come il CyberTipline del NCMEC, che raccoglie e smista le segnalazioni di CSAM. Nel 2025 sono arrivate 400.000 segnalazioni legate all’IA generativa, contro le 67.000 del 2024.
I ricercatori avvertono che questo afflusso potrebbe rendere il carico di lavoro di NCMEC “ingestibile”, e che un’ondata di immagini false renderebbe più difficile identificare le vere vittime di abusi. Jeff Jackson, procuratore generale del North Carolina e copresidente della task force sull’IA dell’AG Alliance, ha definito l’aumento delle segnalazioni di CSAM generato con l’IA “esplosivo”, aggiungendo che se la tendenza dovesse continuare “significherà che falliremo nella nostra missione”.
Il North Carolina e molti altri stati hanno leggi sul CSAM sintetico, ma collaborare con un’azienda tecnologica per prevenire la sua produzione è un approccio nuovo. Jackson ha spiegato che gran parte del lavoro dei procuratori generali si concentra sull’accertamento delle responsabilità a posteriori; questa iniziativa mira a sviluppare un modello di collaborazione preventiva.
Negli Stati Uniti, il Take It Down Act obbliga le piattaforme social a rimuovere entro 48 ore immagini intime non consensuali, reali o generate con l’IA. Quarantotto stati hanno leggi sui deepfake sessualmente espliciti. A ottobre, otto stati hanno fatto causa a OpenAI per presunti danni ai minori, citando casi in cui ChatGPT avrebbe incoraggiato l’uso di sostanze illegali e il suicidio.
Common Sense Media ha classificato la tecnologia di OpenAI come “rischio inaccettabile” per gli adolescenti, mentre altri chatbot, come Grok, sono stati utilizzati per creare immagini sessualizzate non consensuali, anche di minori. Negli ultimi 12 mesi, OpenAI ha pubblicato un safety blueprint, aggiornato le linee guida sui contenuti vietando quelli inappropriati, rivisto la taratura dei modelli e rilasciato una versione di ChatGPT per adolescenti.
ChatGPT mostrerà un avviso a chi tenta richieste che sessualizzano minori, indicherà un supporto specializzato per interrompere il comportamento e sospenderà l’account per 24 ore. In caso di prima violazione, l’utente sarà avvisato della possibile chiusura permanente dell’account; in caso di recidiva, la rimozione definitiva è possibile.
Cosa cambia e quali sono gli effetti
L’app blocca già i contenuti CSAM e le richieste correlate, e OpenAI afferma di segnalare a NCMEC “tutti i casi di CSAM”. La pausa di 24 ore si basa su indicazioni di esperti e su “evidenze internazionali sull’efficacia della prevenzione e del contrasto alla ricerca di CSAM rispetto alla sua generazione”, con l’obiettivo di interrompere il comportamento dannoso e indirizzare le persone verso un aiuto specialistico.
OpenAI ha sviluppato messaggi e linee guida in collaborazione con organizzazioni e ricercatori, tra cui Protect Children, la Lucy Faithfull Foundation e Joel Scanlan dell’Università della Tasmania, che ha valutato indipendentemente una sperimentazione di messaggi deterrenti. OpenAI ha pubblicato linee guida per gli sviluppatori che utilizzano i suoi strumenti, pensate per prevenire e individuare il CSAM e aiutare gli utenti a segnalarlo.
Nei test iniziali, queste linee guida hanno aiutato diversi sviluppatori ad adottare strumenti per la sicurezza dei minori e a registrarsi presso NCMEC per le segnalazioni. Il documento è una checklist da cui partire senza attendere di avere tutti gli strumenti pronti: regole chiare nei termini di servizio, segnalazione visibile agli utenti, associazione di ogni upload a un utente, rilevamento con hash percettivi (come PhotoDNA) e con classificatori per il materiale inedito, individuazione dei recidivi, registrazione presso NCMEC e un piano di risposta.
Tra i classificatori per il materiale inedito la guida cita, oltre a quello di OpenAI, Safer di Thorn e la Content Safety API di Google. Sul piano tecnico, la guida raccomanda di inviare con le richieste un identificatore di sicurezza per ogni utente, con email o username sottoposti a hash per non esporre dati personali.
Per l’Images API si usa il parametro safety_identifier, sia per la generazione sia per le modifiche, mentre il parametro user è deprecato ma resta supportato per retrocompatibilità. L’identificatore permette a OpenAI di monitorare gli abusi e fornire agli sviluppatori segnalazioni più utilizzabili, riducendo il rischio che l’uso scorretto di un singolo utente comprometta l’accesso dell’intera organizzazione.
Il modello di moderazione standard copre solo il testo nella categoria sexual/minors, e per il CSAM nelle immagini la guida rimanda agli strumenti di rilevamento dedicati. OpenAI offre inoltre alle forze dell’ordine che si occupano di tutela dei minori funzioni basate sull’IA: plug-in dedicati, strumenti investigativi e analisi di dati complessi, con accesso gestito dagli amministratori del programma.
L’obiettivo è aiutare gli investigatori a separare il rumore dal materiale su cui intervenire rapidamente. Sono previsti anche una formazione e una guida operativa sull’uso dell’IA.
Fonte e approfondimento su OpenAI CSAM AI: articolo originale.
* Contenuto realizzato con l'ausilio di sistemi di intelligenza artificiale.
Ultra Starter Coreda 1.099 €
Starter Coreda 1.329 €
Power Boostda 2.171 €
Hyper Strikeda 2.212 €
Extremeda 3.677 €
HWReady Studio
Contenuti creati per te con l'intelligenza artificiale
Reel, spot e foto per la tua attività.
Scopri lo studio
Hardware Ready Ready to Bench?