Errori nelle annotazioni dei dataset. Sette tra i più diffusi dataset utilizzati per l’addestramento di sistemi di object detection, tra cui MS-COCO, Open Images, Pascal VOC, LVIS, DOTA, FSOD e Object365, presentano percentuali di errore nelle annotazioni che variano dallo 0,45% di LVIS al 2,73% di DOTA. Questi errori possono compromettere significativamente l’accuratezza dei modelli di visione artificiale.

È quanto emerge dal primo censimento sistematico del genere, condotto da un team di ricercatori dell’Università Sejong di Seul su un campione di circa 47.000 immagini. Le immagini sono state esaminate da quindici persone, suddivise in due gruppi: dieci individui incaricati di individuare gli errori e cinque responsabili della loro verifica.

Errori nelle annotazioni dei dataset: perché è importante

Lo studio ha identificato tra le tipologie di errore più frequenti etichette scorrette (riscontrate in 236 casi), annotazioni incoerenti (111 casi) ed errori nella localizzazione dei riquadri delimitatori degli oggetti (100 casi). Questi difetti, secondo i ricercatori, corrompono i segnali di addestramento e introducono incoerenze nelle annotazioni, con un impatto negativo sulle metriche di valutazione.

In particolare, l’analisi ha evidenziato che gli errori tendono a concentrarsi su oggetti piccoli, parzialmente occlusi o appartenenti a classi rare. Si tratta proprio dei casi in cui un sistema di visione artificiale dovrebbe garantire la massima affidabilità e precisione.

I modelli di intelligenza artificiale, infatti, tendono ad apprendere scorciatoie specifiche del dataset su cui sono stati addestrati. Queste scorciatoie, tuttavia, si rivelano spesso inefficaci quando il sistema viene applicato a immagini reali provenienti da contesti diversi.

L’analisi dettagliata dei singoli dataset ha mostrato una notevole variabilità nel livello di rumore presente nei dati. LVIS si conferma il più accurato, con 112 errori su 25.000 immagini ispezionate (0,45%), seguito da Pascal VOC con 46 errori su 8.000 immagini (0,57%). Open Images e DOTA occupano le posizioni inferiori della classifica, rispettivamente con 240 errori su 10.400 campioni (2,31%) e 51 errori su 1.869 immagini (2,73%). I dataset FSOD e Object365 sono stati inclusi nel censimento con 100 e 140 errori rilevati, ma senza una base campionaria sufficientemente ampia per calcolare un tasso di errore comparabile.

Lo studio propone quattro possibili approcci per la correzione degli errori presenti nei dataset. Il primo consiste nella revisione manuale delle annotazioni, considerata la soluzione più affidabile per i casi ambigui, ma anche la più dispendiosa in termini di tempo e risorse umane. All’estremo opposto si colloca un metodo automatico come MJ-COCO, che ha permesso di correggere il 42,7% delle immagini anomale presenti nel dataset MS-COCO (52.621 su 123.287). Un esperimento condotto su Mini6K ha dimostrato la capacità del metodo automatico di correggere oltre il 12% delle 6.000 immagini esaminate, evidenziando però una variabilità nell’efficacia a seconda del dataset utilizzato.

Cosa cambia e quali sono gli effetti

Le due soluzioni intermedie proposte prevedono l’utilizzo di tecniche di supervisione leggera e semi-supervisionata, che mirano a bilanciare i vantaggi dei due approcci precedenti. La supervisione leggera si basa sull’analisi di grandi quantità di immagini non etichettate, mentre la semi-supervisionata accetta un compromesso tra costo e precisione.

Ricerche precedenti avevano già evidenziato la presenza di errori nelle annotazioni dei dataset utilizzati per l’addestramento di modelli di intelligenza artificiale. Uno studio condotto da Curtis Northcutt e colleghi aveva rilevato una media del 3,4% di errori di etichettatura in dieci diversi dataset, con percentuali che variavano dal 6% nel test set di CIFAR-100 al 10% di QuickDraw.

Secondo i ricercatori, le aziende che addestrano o perfezionano sistemi di visione artificiale ereditano inevitabilmente questo rumore nei dati. Un problema spesso sottovalutato, considerando che si stima che un progetto AI su cinque fallisca proprio a causa della scarsa qualità dei dati utilizzati.

Il censimento condotto dall’Università Sejong fornisce una misurazione precisa degli errori presenti in ciascun dataset, rappresentando il primo passo fondamentale per valutare quale dei quattro metodi di correzione proposti sia più appropriato in base ai costi e ai benefici attesi. Comprendere la qualità dei dati è cruciale per lo sviluppo di sistemi di visione artificiale affidabili ed efficienti.

Fonte: approfondimento originale.

Per altri aggiornamenti su errori nelle annotazioni dei dataset, consulta anche le ultime news tecnologiche di HWReady.

* Contenuto realizzato con l’ausilio di sistemi di intelligenza artificiale.