Nel regolamento europeo AI Act, di recente approvazione, si definisce così un sistema di intelligenza artificiale:
“Sistema di IA”: un sistema automatizzato progettato per funzionare con livelli di autonomia variabili e che può presentare adattabilità dopo la diffusione e che, per obiettivi espliciti o impliciti, deduce dall’input che riceve come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtuali.
E, successivamente, si definisce il rischio sistemico come:
“Rischio sistemico”: un rischio specifico per le capacità di impatto elevato dei modelli di IA per finalità generali, avente un impatto significativo sul mercato dell’Unione a causa della sua portata o di effetti negativi effettivi o ragionevolmente prevedibili sulla salute pubblica, la sicurezza, i diritti fondamentali o la società nel suo complesso, che può propagarsi su larga scala lungo l’intera catena del valore.
L’articolo 9 e i successivi allegati, richiedono esplicitamente di attuare, documentare e mantenere un sistema di gestione dei rischi. Questo, in particolare, deve essere istituito per i sistemi ad alto rischio, ovvero che presentano impatti sulla salute, sicurezza e diritti fondamentali dei cittadini.
Dalle definizioni e requisiti qui riportate è già evidente la complessità che si incontra nell’affrontare un programma di risk management: dovremo occuparci di sistemi e dispositivi, ma anche dell’utilizzo dei dati, le tecnologie impiegate e la catena di fornitura, le modalità di registrazione e monitoraggio degli eventi e incidenti, le misure di sorveglianza da adottare (metriche).
Nel seguito cercheremo, dunque, di fare un po’ di ordine in questa complessità, partendo dal documento NIST AI 100-1 che è stato pubblicato a gennaio 2023 con lo scopo di realizzare un Risk Management Framework dedicato al mondo dell’AI.
Indice degli argomenti
Un framework di risk management
La gestione del rischio dovrebbe essere continua, tempestiva ed eseguita in tutto il ciclo di vita del sistema di intelligenza artificiale.
A differenza dei tradizionali sistemi software o ICT o anche OT, dove ormai esistono innumerevoli best practices e standard di riferimento, i rischi posti dall’utilizzo dei sistemi AI sono più specifici.
I sistemi di intelligenza artificiale, infatti, possono essere addestrati su dati che possono cambiare nel tempo, a volte in modo significativo e inaspettato, influenzando la funzionalità del sistema e affidabilità in modi difficili da prevedere.
I sistemi di AI e i contesti in cui vengono impiegati sono spesso complessi, rendendo difficile il rilevamento e la risposta alle anomalie che si verificano. Essi sono inoltre intrinsecamente di natura tecnica, ma fortemente influenzati da comportamenti umani.
Rischi e benefici dell’AI possono emergere anche dal modo in cui viene utilizzato un sistema, dalle sue interazioni con altri sistemi, a chi lo gestisce e al contesto sociale in cui si inserisce.
Dobbiamo di conseguenza cercare di trovare soluzioni per mitigare i rischi dell’AI, prevenendo tutti i possibili scenari di minaccia, valutando correttamente gli impatti a tutti i livelli e aumentando la fiducia complessiva nei sistemi AI.
Risk Management per i sistemi di AI: il framework del NIST
Il documento NIST AI 100-1, il Framework di gestione dei rischi AI (d’ora in poi “AI RMF”), intende essere un riferimento per tutte le organizzazioni che vogliono progettare, sviluppare, distribuire soluzioni di AI.
In particolare, nella seconda parte della linea guida NIST, vengono descritte (in analogia con il più noto CSF – Cyber security Framework, giunto come sappiamo alla versione 2.0) le 4 funzioni “Core”: Govern, Map, Measure, Manage.
A differenza dell’AI RMF, il CSF possiede 6 funzioni “Core”: Govern, Identify, Protect, Detect, Respond e Recover.
Ma veniamo ai dettagli pratici del AI RMF.
Le funzioni Core
Nel contesto dell’AI RMF, il rischio si riferisce, come sempre, alla misura composita della probabilità di un evento di verificarsi e l’entità dell’impatto dell’evento corrispondente. Gli impatti, o le conseguenze, dei sistemi di intelligenza artificiale possono essere positivi, negativi o entrambi comportare opportunità o minacce.
L’AI RMF è inoltre stato progettato per affrontare i nuovi rischi non appena emergono. Questa flessibilità è particolarmente importante laddove gli impatti non sono facilmente prevedibili e le applicazioni sono tuttora in evoluzione.
Vengono presi in considerazione i seguenti rischi:
- Rischi relativi alle parti Hw, Sw e terze parti in generale.
- Rischi connessi ai vari stadi di sviluppo dei sistemi AI.
- Rischi derivanti dall’imperscrutabilità dei sistemi AI.
- Rischi connessi all’utilizzo dei sistemi AI da parte degli essere umani.
- Nuovi futuri rischi che emergeranno durante lo sviluppo dei sistemi AI e necessità di tracciarli in modo flessibile e prepararsi adeguatamente.
L’AI RMF dovrà dare indicazioni per gestire tutti questi rischi, con l’obiettivo di preservare le caratteristiche di un sistema AI basato sulla fiducia: i sistemi IA devono essere validi e affidabili, sicuri, protetti e resilienti, responsabili e trasparenti, spiegabili e interpretabili, tutelati dalla privacy.
Sulla base di questi principi, arriviamo quindi alla parte delle funzioni Core, con cui potremo organizzare in maniera strutturata un piano di gestione dei rischi dei sistemi AI.
La funzione GOVERN
Lo scopo di questa funzione è quello di creare e implementare una cultura della gestione del rischio all’interno delle organizzazioni che iniziano a progettare, sviluppare, implementare, valutare o acquisire sistemi di intelligenza artificiale.
GOVERN è una funzione trasversale che è presente in tutta la gestione del rischio AI e abilita le altre funzioni del processo. Aspetti di GOVERN, soprattutto quelli legati a conformità o valutazione, dovrebbero essere integrate in ciascuna delle altre funzioni. L’attenzione alla governance è un requisito continuo e intrinseco per un’efficace gestione del rischio dell’AI nel corso della vita di un sistema di intelligenza artificiale.
La funzione è suddivisa in sei categorie, a loro volta suddivise in altre sottocategorie.
La categorie principali da considerare sono:
- Responsabilità dell’organizzazione.
- Diversità dei ruoli, equity, inclusione, and accessibilità.
- Gruppi di lavoro a livello organizzativo.
- Processi.
- Norme e procedure.
La Funzione MAP
Lo scopo di questa funzione è quello di stabilire il contesto per inquadrare i rischi legati a un sistema di AI, per decidere se e come progettare, sviluppare o implementare un sistema di intelligenza artificiale
La funzione è suddivisa in cinque categorie, a loro volta suddivise in altre sottocategorie.
La categorie principali da considerare sono:
- Il contesto dei sistemi AI.
- La categorizzazione dei sistemi AI.
- Costi e benefici nell’adottare sistemi di AI.
- Rischi e benefici includendo le terze parti.
- Impatti su individui, gruppi, comunità.
La Funzione MEASURE
Lo scopo di questa funzione è quello di utilizzare strumenti, tecniche, metodi quantitativi, qualitativi o misti e metodologie per analizzare, valutare, confrontare e monitorare il rischio dell’AI e correlati impatti.
Utilizza le conoscenze relative ai rischi dell’AI identificati nella funzione MAP e informa la funzione MANAGE. I sistemi di intelligenza artificiale dovrebbero essere testati prima della loro implementazione e regolarmente durante il funzionamento. Le misurazioni del rischio dell’IA includono la documentazione degli aspetti di funzionalità e affidabilità.
La funzione è suddivisa in quattro categorie, a loro volta suddivise in altre sottocategorie.
La categorie principali da considerare sono:
- Metodi e metriche.
- Affidabilità.
- Tracciamento dei rischi.
- Valutazione dell’efficacia delle misure.
La funzione MANAGE
La funzione MANAGE comporta l’allocazione delle risorse sui rischi mappati e misurati su base regolare e come definito dalla funzione GOVERN. Il trattamento del rischio comprende piani per rispondere, riprendersi e comunicare in merito a incidenti o eventi.
La funzione è suddivisa in quattro categorie, a loro volta suddivise in altre sottocategorie.
La categorie principali da considerare sono:
- Prioritizzazione dei rischi.
- Minimizzazione degli impatti negativi.
- Gestione dei rischi delle terze parti.
- Trattamento del rischio.
Gestione dei rischi di cyber security
In uno dei considerando del AI Act si esplicita il ruolo della cyber security nell’affrontare il tema di gestione dei rischi:
La cybersecurity svolge un ruolo cruciale nel garantire che i sistemi di AI siano resilienti ai tentativi compiuti da terzi con intenzioni malevole che, sfruttando le vulnerabilità del sistema, mirano ad alterarne l’uso, il comportamento, le prestazioni o a comprometterne le proprietà di sicurezza. Gli attacchi informatici contro i sistemi di AI possono far leva sulle risorse specifiche dell’AI, quali i set di dati di addestramento (ad esempio il data poisoning, “avvelenamento dei dati”) o i modelli addestrati (ad esempio gli adversarial attacks, “attacchi antagonisti” o la membership inference, “attacchi inferenziali”), o sfruttare le vulnerabilità delle risorse digitali del sistema di IA o dell’infrastruttura ICT sottostante. Al fine di garantire un livello di cybersecurity adeguato ai rischi, è pertanto opportuno che i fornitori di sistemi di IA ad alto rischio adottino misure adeguate, come controlli di sicurezza, anche tenendo debitamente conto dell’infrastruttura ICT sottostante.
I sistemi di AI dovranno essere sviluppati e utilizzati in modo da ridurre al minimo i danni involontari e inaspettati, nonché per essere robusti e resilienti ai tentativi di alterare l’uso o le prestazioni del sistema di AI da parte di terzi malintenzionati.
In maniera complementare all’AI RMF, il NIST a gennaio 2024 ha pubblicato un interessante documento, il AI 100-2e2023 “Adversarial Machine Learning A Taxonomy and Terminology of Attacks and Mitigations, che può essere di aiuto nel comprendere meglio i rischi Cyber da analizzare.
Come suggerisce il titolo, questo rapporto NIST sviluppa una tassonomia di concetti e definisce la terminologia nel campo dell’apprendimento automatico (AML).
La tassonomia è organizzata in una gerarchia concettuale che include le fasi del ciclo di vita dell’attacco, scopi e obiettivi dell’attaccante, capacità dell’attaccante e conoscenza del processo di apprendimento.
Il rapporto fornisce, inoltre, metodi per mitigare e gestire le conseguenze degli attacchi e sottolinea le sfide aperte rilevanti da tenere in considerazione nel ciclo di vita dei sistemi di intelligenza artificiale.
Nel loro insieme, la tassonomia e la terminologia hanno lo scopo di informare altri standard e future best practice per la valutazione e la gestione della sicurezza dei sistemi di intelligenza artificiale, stabilendo un linguaggio e una comprensione comuni.
Gli attacchi esaminati sono classificati in base a: Disponibilità, Integrità e Privacy.
Le principali categorie sono:
- Predictive AI attacks:
- Evasion attacks
- Poisoning attacks
- Privacy attacks
- Generative AI attacks:
- Supply chain attacks
- Prompt injection attacks
Attraverso lo studio delle principali tecniche di attacco, possiamo affrontare i rischi di AI anche in ottica Cybersecurity. Non solo, ma si dovrà anche armonizzare il processo e Framework di Risk Management in ottica di compliance non solo all’AI ACT europeo ma ad esempio al Cyber Resilience Act di prossima approvazione.
Infine, come riportato sul sito ACN, l’Agenzia per la cybersicurezza nazionale, si evidenzia che essa ha aderito alle “Linee guida per uno sviluppo sicuro dell’Intelligenza Artificiale”, promosse dal National Cyber Security Centre del Regno Unito.
Il documento, reso pubblico il 27 novembre 2023, è stato sottoscritto da 23 Agenzie di 18 Paesi. Si tratta del primo documento congiunto internazionale per un uso sicuro dell’Intelligenza Artificiale.
In questo documento si ribadiscono alcuni principi ben noti di Risk Management e si referenzia il NIST AI RMF.
Conclusioni
Con la pubblicazione delle prime linee guida e di recente anche dei primi standard ISO, nonché della Regolamentazione UE, si evidenzia la necessità di affrontare la tecnologia AI con un approccio basato sul rischio, soprattutto per la componente di cyber security.
Il documento AI RMF è il primo dedicato al tema della gestione dei rischi.
È disponibile online una seconda risorsa complementare all’AI RMF, il NIST AI RMF Playbook per aiutare le organizzazioni a orientarsi nell’AI RMF e a raggiungere i suoi risultati attraverso suggerimenti e azioni tattiche che si possono applicare nei propri contesti. Come l’AI RMF, l’adozione del Playbook è assolutamente volontaria.
Come è evidente, siamo ancora in una fase embrionale di studio di queste tematiche, ed è inevitabile ribadire che il mondo AI è in grande fermento e movimento.
Come è auspicabile e probabile, assieme alla rapida evoluzione dei sistemi di AI, nasceranno altri standard e linee guida, ma è urgente iniziare ad inquadrare il problema della gestione dei rischi connessi all’uso di queste tecnologie.
