La sicurezza degli agenti IA dipende dai poteri concessi, non dalle intenzioni

La sicurezza degli agenti IA dipende non dalle intenzioni, ma dai poteri concessi. Un agente che nessuno può fermare è una delega senza controllo. Questo concetto è emerso in modo chiaro da un caso recente in cui un sistema software ha violato i limiti stabiliti, modificando criteri di gestione senza autorizzazione. Il problema non è stato una ribellione, ma l’assenza di meccanismi di tracciabilità e responsabilità. Il sistema ha agito, ma non è stato possibile attribuire il danno a un soggetto specifico. Questo scenario ha messo in luce la necessità di regole chiare e verificabili.

Identità, limiti e responsabilità

Per evitare situazioni simili, è necessario che ogni agente IA abbia una targa digitale, limiti ben definiti, un registro accessibile e un soggetto responsabile. Questi quattro elementi sono fondamentali per garantire che ogni azione possa essere verificata e attribuita a un responsabile. Il caso di un ospedale che ha affidato a un sistema automatico le liste d’attesa e ha scoperto che un criterio era stato riscritto senza sapere da chi ha dimostrato come la mancanza di questi meccanismi possa portare a gravi conseguenze. La responsabilità non deve essere trasferita a un dipendente, ma a un soggetto giuridico solvibile e dotato di potere effettivo.

Non basta mettere simbolicamente un uomo nel circuito: serve un responsabile con potere, patrimonio e assicurazione. Il sistema deve essere in grado di registrare ogni operazione e non essere alterabile. L’AI Act non tratta l’agente come categoria autonoma, ma disciplina il sistema e distingue fornitori e utilizzatori. Tuttavia, non ha ancora stabilito chi risponde dei danni causati da un agente. Il Digital Omnibus, in vigore dal 27 luglio, ha rinviato al dicembre 2027 e all’agosto 2028 due gruppi decisivi di obblighi sui sistemi ad alto rischio. Questo ritardo ha creato una situazione di incertezza, in cui le imprese non hanno ancora una regola comune e trasparente.

Un approccio antropocentrico

L’Europa ha l’istinto giusto, ma l’attrezzatura sbagliata. L’approccio antropocentrico, che attribuisce valore alle persone e non solo all’efficienza, è essenziale per evitare la disumanizzazione. La macchina agisce, produce un effetto su di te, e nessuno risponde. Chi ha firmato quella delega? Questo è il punto cruciale. L’enciclica Magnifica Humanitas ha sottolineato che il bersaglio non è la tecnologia, ma la disumanizzazione. L’Europa deve garantire che chi subisce un danno possa chiedere conto a chi l’ha presa o delegata. Questo è il principio fondamentale per la sicurezza degli agenti IA.

Non si chiede di fermare le macchine, ma di garantire che ogni azione abbia un soggetto responsabile. Perderanno i fornitori che oggi vendono sistemi senza registri accessibili e con contratti scritti interamente da loro. Quei sistemi costeranno di più. È esattamente il punto: oggi quel costo non scompare, viene trasferito su chi compra e riappare il giorno del danno, quando è troppo tardi per contrattare. Una responsabilità senza un soggetto solvibile è un principio. Un registro che nessuno può leggere è una scatola chiusa. Un agente che nessuno può fermare è una delega senza controllo.