Glossario

Sorveglianza umana (human oversight)

La sorveglianza umana è la garanzia che un sistema di intelligenza artificiale ad alto rischio resti sempre sotto il controllo effettivo di una persona, che può monitorarlo, interpretarne i risultati e, se serve, fermarlo o ignorarne l'output, secondo l'articolo 14 del Reg. UE 2024/1689 (AI Act). "Sorveglianza umana" è il termine ufficiale usato nel testo italiano autentico del Regolamento e corrisponde a quello che nel parlato e nei materiali divulgativi viene spesso chiamato "supervisione umana". Nel seguito usiamo "sorveglianza umana", che è la dicitura della norma.

L'idea di fondo è semplice. Per quanto un sistema di IA sia bravo, su certe applicazioni delicate la decisione non può essere lasciata girare da sola. Ci deve essere una persona, in carne e ossa, che resta nella posizione di capire cosa sta facendo la macchina e di intervenire. L'articolo 14 lo richiede per i sistemi ad alto rischio, cioè quelli elencati nell'Allegato III o usati come componente di sicurezza di un prodotto.

L'obbligo si gioca su due piani. Il fornitore deve progettare e consegnare il sistema in modo che la sorveglianza sia davvero possibile, per esempio con strumenti chiari di interfaccia e, dove ha senso tecnicamente, con un pulsante di stop o con limiti operativi che il sistema non può aggirare da solo. Il deployer, cioè la tua azienda quando usa quel sistema, deve invece affidare la sorveglianza a persone vere, competenti, formate e con l'autorità per intervenire. Questo secondo pezzo lo ribadisce anche l'articolo 26, che mette in capo a chi usa il sistema il dovere di assegnare la sorveglianza a una o più persone fisiche adatte al compito.

L'articolo 14 chiede che chi sorveglia sia messo in condizione di fare quattro cose. La prima è capire davvero cosa il sistema sa e non sa fare, accorgendosi delle anomalie. La seconda è restare consapevole della tendenza a fidarsi in automatico di quello che la macchina suggerisce, un effetto che il Regolamento chiama "automation bias". La terza è interpretare correttamente l'output. La quarta è poter decidere, in qualunque momento, di non usare il sistema oppure di scartarne il risultato. Il considerando 73 chiarisce la logica, vale a dire che le misure devono essere proporzionate al rischio e al grado di autonomia del sistema.

C'è un caso più stringente. Per i sistemi di identificazione biometrica dell'Allegato III, punto 1, lettera a), nessuna azione o decisione può basarsi sull'identificazione finché due persone separate, competenti e autorizzate, non l'hanno verificata e confermata. È la cosiddetta regola dei quattro occhi.

Torna all'hub AI Act

Questo contenuto ha finalità informative e divulgative e riflette il quadro normativo alla data di ultima revisione indicata. Non costituisce parere o consulenza legale sul tuo caso specifico. Per l'inquadramento giuridico formale lavoriamo con professionisti abilitati.