Da qualche tempo, sul sito web del NIST è disponibile un interessantissimo “Playbook” dell’AI Risk Management Framework (RMF) 1.0, pubblicata nel gennaio del 2023.
Il NIST AI RMF Playbook include una serie di risorse, sia basate su uno strumento web di navigazione interattiva del Framework, sia di documenti liberamente scaricabili. Il Playbook è anche scaricabile in formato PDF, in formato Excel e JSON, consentendo in questo modo di preparare modelli basati sui controlli dell’AI RMF.
Inoltre, dopo un anno di sviluppo che ha visto la collaborazione di oltre 2.500 membri, il NIST ha reso disponibile qualche giorno fa un importantissimo documento guida per l’IA generativa basato sul NIST AI RMF che già sta destando interesse e attenzione particolare: si tratta dell’AI RMF Generative AI Profile (NIST AI 600-1).
Indice degli argomenti
L’AI Risk Management Framework (RMF) 1.0 del NIST
I Frameworks del NIST non hanno certo bisogno di presentazioni; l’Agenzia governativa statunitense di gestione delle tecnologie è nata nel 1901, ben 123 anni fa.
Da molti anni il NIST Cybersecurity Framework fornisce linee guida e best practices complete a cui le organizzazioni possono attenersi per migliorare la sicurezza delle informazioni e la gestione dei rischi per la sicurezza informatica.
Com’è ben noto, Il NIST, così come ENISA e i comitati per la normazione ISO, ISACA con i framework COBIT, ecc., svolgono un continuo lavoro di ricerca in ambito sicurezza, con attività di relativa pubblicizzazione e divulgazione, elaborando metodologie e controlli efficaci per la mitigazione dei rischi derivanti dalle nuove tecnologie.
Nel gennaio 2023, il NIST Trustworthy & Responsible Artificial Intelligence Resource Center (AIRC) ha pubblicato l’AI Risk Management Framework (RMF) 1.0, un Framework destinato a un uso volontario e a migliorare la capacità di incorporare considerazioni sull’affidabilità nella progettazione, nello sviluppo, nell’uso e nella valutazione di prodotti, servizi e sistemi di intelligenza artificiale.
L’AI RMF è stato sviluppato in modo aperto, trasparente, multidisciplinare e con il contributo di molteplici stakeholders, nel corso di un periodo di 18 mesi e in collaborazione con più di 240 organizzazioni provenienti dall’industria privata, dal mondo accademico, dalla società civile e dal governo.
Nella prima parte del documento (di agevole lettura, se ne raccomanda la comprensione per ogni addetto ai lavori), dopo un’introduzione di contesto, nella quale vengono fornite alcune definizioni, in linea con quelle dello standard ISO/IEC 22989:2022 – Information technology – Artificial intelligence – Artificial intelligence concepts and terminology – viene spiegato che i rischi e i benefici dell’IA hanno una loro “unicità”, in quanto possono emergere dall’interazione tra aspetti tecnici e fattori sociali legati alle modalità di utilizzo di un sistema, alle sue interazioni con altri sistemi di IA, a chi lo gestisce e al contesto sociale in cui viene impiegato.
La gestione del rischio dell’intelligenza artificiale è, quindi, una componente chiave dello sviluppo e dell’uso responsabile di tali sistemi.
Viene poi spiegato il motivo per il quale il Framework e i relativi controlli sono, come vedremo, a un livello abbastanza alto, nonostante la ricerca di un approccio il più “pratico” possibile: i rischi derivanti da tali tecnologie sono in continua evoluzione, quindi il Framework è destinato ad essere continuamente aggiornato e integrato.
L’AMF introduce poi i concetti chiave di rischio, di impatto, e i possibili danni; progettato per affrontare nuovi rischi man mano che emergono, giustifica la propria flessibilità come intenzionale e particolarmente importante quando gli impatti non sono facilmente prevedibili e le applicazioni sono in continua evoluzione.
Schema d’esempio sui danni liberamente tradotto da quello dell’AI RMF 1.0 e ridisegnato dall’autore.
Con umiltà, il NIST individua non poche difficoltà nella gestione dei rischi, soprattutto per la misurazione del rischio.
Individua infatti diverse aree di attenzione, quali una generale mancanza di consenso su metodi di misurazione solidi e verificabili per il rischio e l’affidabilità in diversi casi d’uso, oppure i diversi rischi nelle diverse fasi del ciclo di vita dell’IA, i rischi in contesti reali, l’imperscrutabilità della tecnologia, il fattore umano.
Secondo il NIST il successo di una gestione del rischio dipende dalla piena partecipazione degli attori dell’IA (con compiti descritti anche nell’Annex A del Framework), ovvero i soggetti che si occupano di AI Design, AI Development, AI Deployment, AI Operation and monitoring; importantissime sono le attività di test, valutazione, verifica e convalida (TEVV) – che vengono eseguite durante tutto il ciclo di vita dell’IA.
Ciclo di vita e dimensioni chiave di un sistema di IA (immagine tradotta e ridisegnata dall’Autore). Modificata da OECD (2022) OECD Framework for the Classification of AI systems – OECD Digital Economy Papers. I due cerchi interni mostrano le dimensioni chiave dei sistemi di IA e il cerchio esterno le fasi del ciclo di vita dell’IA. Idealmente, gli sforzi di gestione del rischio iniziano con la funzione di pianificazione e progettazione nel contesto dell’applicazione e vengono eseguiti durante tutto il ciclo di vita del sistema di IA.
Un ulteriore schema, più complesso e non rappresentato in questo articolo, aiuta poi a comprendere l’interazione fra i diversi attori con le diverse fasi dell’AI Lifecycle. Nella rappresentazione ci sono indicazioni più operative e dettagliate, e quindi fra le più interessanti per gli addetti ai lavori.
I diversi task degli attori AI sono poi descritti nell’Annex A, e sono:
- AI Design;
- AI Development;
- AI Deployment;
- Operation and Monitoring;
- Test, Evaluation, Verification, and Validation (TEVV);
- Human Factors;
- Domain Expert;
- AI Impact Assessment;
- Procurement;
- Governance and Oversight.
Vengono, inoltre, descritti gli attori ulteriori, ossia:
- le Third-party entities;
- gli End users;
- le Affected individuals/communities
e via dicendo.
Obiettivo è, quindi, garantire il più possibile una trustworthy artificial intelligence.
Nello schema che segue, tradotto da quello presente nell’AI RMF 1.0 e ridisegnato, vengono rappresentate le caratteristiche di una IA della quale dovremmo poterci fidare. La validazione sostiene in orizzontale tutte le caratteristiche, mentre l’accountability e la trasparenza sono in verticale perché si riferiscono a tutte le altre caratteristiche.
Schema tratto dall’AI RMF 1.0, tradotto e ridisegnato dall’autore.
Nella parte 2 dell’AI RMF vengono descritti il nucleo (Core) ed i profili.
Il Core è composto da quattro funzioni: GOVERNARE, MAPPARE, MISURARE e GESTIRE (Govern, Map, Measure, Manage).
Ciascuna di queste funzioni di alto livello è suddivisa in categorie e sottocategorie di controlli, suddivise per azioni e risultati specifici. Viene chiarito che le azioni non costituiscono una checklist, né sono necessariamente un insieme ordinato di step da seguire.
Immagine tratta dall’AI RMF 1.0 – tradotta e ridisegnata dall’autore. Lefunzioni organizzano le attività di gestione del rischio dell’IA al loro livello più alto per governare, mappare, misurare e gestire i rischi dell’IA. La governance è stata concepita come una funzione trasversale che informa e si diffonde nelle altre tre funzioni.
Gli utenti del framework possono applicare queste funzioni nel modo più adatto alle loro esigenze di gestione dei rischi di IA, in base alle loro risorse e capacità.
Alcune organizzazioni possono scegliere tra le categorie e le sottocategorie; altre possono scegliere e avere la capacità di applicare tutte le categorie e le sottocategorie. Ovvio che il Framework parte dal presupposto che esista una struttura di governance, ma poi indica che le funzioni possono essere eseguite in qualsiasi ordine lungo il ciclo di vita dell’IA, a seconda del valore aggiunto ritenuto da un utente del framework. Idealmente, comunque, dopo aver istituito il necessario commitment ed i risultati in GOVERN, la maggior parte degli utenti/organizzazioni interessati ad applicare l’AI RMF, inizierebbero con la funzione MAP e proseguirebbero poi con MEASURE o MANAGE.
A prescindere da come gli utenti integrino le funzioni, il processo dovrebbe essere comunque iterativo, con riferimenti incrociati tra le funzioni, se necessario. Analogamente, esistono categorie e sottocategorie con elementi che si applicano a più funzioni, o che logicamente dovrebbero essere prese prima di alcune decisioni relative alle sottocategorie.
Le funzioni Govern, Map, Measure e Manage dell’AI RMF prevedono:
- 6 categorie di controlli, per un totale di 17 controlli per la funzione Govern;
- 5 categorie di controlli, per un totale di 18 controlli per la funzione Map;
- 4 categorie di controlli, per un totale di 22 controlli per la funzione Measure;
- 4 categorie di controlli, per un totale di 13 controlli per la funzione Manage;
Grazie al Playbook disponibile sul sito web del NIST, Le funzioni ed i controlli sono scaricabili in formato Excel, e ci si possono ovviamente costruire strumenti per il monitoraggio di applicazione ed efficacia.
Ovvio però che per l’impiego dei controlli sulla mitigazione di specifici scenari di rischio, servano maggiori dettagli, perché a prescindere dal grado di applicazione di una certa misura, o controllo, organizzativo e/o tecnico, è l’efficacia sullo specifico rischio che rileva per la mitigazione.
Per questo motivo sono particolarmente utili i Nist Profiles basati sulle Frameworks.
Immagine tratta da un Excel creato con l’AI RMF 1.0 – elaborato dall’autore.
La tassonomia dell’affidabilità per l’intelligenza artificiale
L’UC Berkeley ha recentemente pubblicato la “Tassonomia dell’affidabilità per l’intelligenza artificiale” del CTLC. Questa pubblicazione del dicembre 2023, basata sull’AI Risk Management Framework del NIST, a cura di Jessica Newman, è particolarmente utile perché rispetto alle caratteristiche di una trustworthy AI, che sono, ricordiamo, con le dizioni in inglese del NIST:
- Valid and reliable
- Safe
- Fair with Harmful Bias Managed
- Secure and Resilient
- Explainable and Interpretable
- Privacy-Enhanced
- Accountable and Transparent
ne viene aggiunta un’altra: Responsible Practice and Use(Pratica e utilizzo responsabili) e mappa in una tabella, che costituisce in pratica il documento intero, ben 150 proprietà di affidabilità dell’AI, con domande da porsi, e per ciascuna proprietà indica i controlli dell’AI RMF 1.0 rilevanti.
Rappresenta una sorta di grande “Profile” molto utile, di aiuto nell’individuazione dei rischi, meno conosciuto, ma prezioso.
L’ AI RMF Generative AI Profile (NIST AI 600-1)
Il Profile del NIST per la gestione dei rischi relativi all’IA generativa, pubblicato il 29 aprile 2024, è tuttora in consultazione pubblica per commenti fino al prossimo 2 giugno.
Ci sono altre tre interessanti pubblicazioni aperte per i commenti – tra cui una panoramica di approcci tecnici per la trasparenza dei contenuti digitali:
- la NIST AI 100-4 Reducing Risks Posed by Synthetic Content, delle pratiche per lo sviluppo sicuro nell’IA Generativa;
- la NIST Special Publication SP 800-218A ipd – Secure Software Development Practices for Generative AI and Dual-Use Foundation Models;
- la pubblicazione NIST AI 100-5 – A Plan for Global Engagement on AI Standards, che rappresenta la necessità di un intesa di standardizzazione comune sul complesso mondo dell’IA, con occhio attento all’AI ACT Europeo, alla ISO/IEC 42001:2023 – Information technology – Artificial intelligence Management system, e alla ISO/IEC 23894:2023 – Information technology — Artificial intelligence — Guidance on risk management.
L’ AI RMF Generative AI Profile – che introduce controlli operativi di dettaglio ovviamente mappati sulle Funzioni dell’AI RMF 1.0 – cerca di fornire anche un elenco per la categorizzazione dei rischi derivanti dalle IA generative, che tradotto in italiano è il seguente:
- Accesso facilitato alle armi chimiche, biologiche, radiologiche o nucleari (CBRN);
- Confabulazione: Produzione di contenuti imprecisi;
- Raccomandazioni pericolose o violente: Facilitazione di contenuti e azioni dannose;
- Privacy dei dati;
- Ambientale: Impatto dell’addestramento del modello che richiede molte risorse;
- Configurazione essere umano – AI: Problemi nelle interazioni uomo-AI;
- Integrità delle informazioni;
- Sicurezza delle informazioni;
- Proprietà intellettuale;
- Contenuto osceno;
- Tossicità, distorsione e omogeneizzazione;
- Catena del valore e integrazione dei componenti.
Nelle tabelle dei controlli di dettaglio contenute in questo Profile per la gestione del rischio dell’IA generativa (il cui codice è NIST AI 600-1) , sono indicate le aree di rischio coperte, e gli attori dei processi del Ciclo di vita dell’Intelligenza Artificiale.
Un documento dunque importantissimo per i riferimenti relativi alle possibili azioni di mitigazione, o assessment di maturità delle iniziative basate su IA generative, che non potrà passare inosservato anche in Europa, dove molti esperti cercano di tracciare strumenti concreti a supporto del trattamento dei rischi nelle valutazioni di impatto, FRIA (fundamental rights impact assessment) e/o DPIA (data protection impact assessment) necessarie da AI Act.
Conclusioni
Mentre l’Europa persegue i propri intenti di regolazione (o iper-regolazione, a volte) dell’evoluzione tecnologica e della crescente datificazione della società moderna, le Agenzie statunitensi, che hanno da sempre un approccio più pragmatico e attento al coinvolgimento del mondo accademico e privatistico per lo sviluppo delle norme tecniche e degli standard volontari, continuano la produzione di riferimenti indispensabili.
Abbiamo già visto che ad esempio il Cybersecurity Framework del NIST è stato integrato dal CIS Sapienza e dal CINI per l’ormai ben noto Framework Nazionale per la Cybersecurity, e che le famose 5 funzioni Identify, Protect, Detect, Respond e Recover sono anche state accolte dal mondo ISO/IEC, ad esempio integrandole nei controlli della ISO/IEC 27002:2022; oggi il Framework Cybersecurity del NIST , che non riposa certo sugli allori, è alla versione 2.0, con una nuova funzione Govern che, come abbiamo visto, non poteva non essere inserita in modo trasversale anche nel Framework per la gestione dei rischi derivanti dalle tecnologie e sistemi di intelligenza artificiale.
In un contesto così complesso, l’importanza dei principi democratici e delle (pur ottime) idee, che formano in Europa strumenti regolatori di esempio per tutto il resto del mondo, non dovrebbe escludere dunque il supporto di strumenti e riferimenti puntuali come le pubblicazioni del NIST.
Note e Bibliografia
Le risorse menzionate nell’articolo riguardano il lavoro del NIST Trustworthy & Responsible Artificial Intelligence Resource Center (AIRC) e del Center for Long-term Cybersecurity (CTLC) dell’Università della California, Berkeley.
La versione 2.0 del Cybersecurity Framework del NIST, pubblicata il 26 febbraio 2024, è disponibile qui.
Le traduzioni presenti nell’articolo, a cura dell’autore, sono da intendersi di carattere divulgativo e non possono dunque essere considerate sempre fedeli.
Le immagini utilizzate nel presente Articolo sono state create dall’autore (con l’ausilio di Ms Powepoint) per riprodurre gli schemi originali in lingua inglese e sono concesse al NetworkDigital 360 per la pubblicazione con licenza Attribuzione 4.0 Non commerciale Internazionale (CC BY-NC 4.0) di Creative Commons. Questo articolo è stato interamente scritto dall’autore, essere umano, senza alcun impiego di intelligenza artificiale.
