La guida di Cloud Security Alliance suggerisce alle organizzazioni come sfruttare appieno il potenziale dell’intelligenza artificiale riducendo al minimo i rischi insiti in questa tecnologia
La cultura della responsabilità e della fiducia nello sviluppo, nell’implementazione e nell’utilizzo di modelli di intelligenza artificiale (AI) e ML, richiede una gestione del rischio di modello, consentendo alle organizzazioni di sfruttarne appieno il potenziale e ridurre, al contempo, al minimo i rischi.
La recente guida di Cloud Security Alliance (CSA), intitolata “Artificial Intelligence (AI) Model Risk Management Framework“, sottolinea il ruolo fondamentale del framework di Model Risk Management (MRM) per sbloccare il pieno potenziale dell’IA e mitigarne i rischi associati, in particolare quelli associati ai modelli stessi che – se non controllati – possono comportare significative perdite finanziarie, sanzioni normative e danni alla reputazione.
La Guida di CSA identifica diversi rischi intrinseci legati ai modelli di IA, tra cui distorsioni dei dati, inesattezze fattuali e potenziale uso improprio. Per affrontare questi rischi, il framework sostiene un approccio proattivo e completo all’MRM, strutturato attorno a quattro pilastri principali, quali: schede modello, schede dati, schede rischio e pianificazione degli scenari.
Indice degli argomenti
Identificazione dei rischi intrinseci legati ai modelli di IA
L’implementazione del framework MRM descritto nella guida di CSA è in grado di offrire diversi vantaggi chiave alle organizzazioni, tra cui: una maggiore trasparenza e spiegabilità dei modelli di IA; una mitigazione proattiva del rischio attraverso l’approccio security by design; processi decisionali informati; la creazione di un rapporto di fiducia con le parti interessate e gli enti regolatori.
È doveroso considerare che le distorsioni nei dati di addestramento, le imprecisioni fattuali negli output del modello (chiamate “hallucinations” o “fabrications“) e il potenziale di uso improprio, insieme ai rischi per la privacy e alle preoccupazioni sulla proprietà intellettuale (IP), richiedono un approccio proattivo alla gestione del rischio.
Ne consegue che l’MRM dell’IA emerge come una disciplina fondamentale per garantire lo sviluppo, l’implementazione e l’utilizzo responsabili e affidabili di questi modelli.
Inoltre, man mano che l’IA continua a evolversi e a permeare più settori, l’MRM svolgerà un ruolo sempre più vitale nel plasmare il futuro dell’implementazione responsabile dell’IA, a vantaggio delle organizzazioni e delle industrie.
Fonti di rischio per i modelli di IA
I rischi dei modelli derivano dalle limitazioni intrinseche dei modelli stessi. Di seguito si forniscono alcune delle fonti più frequenti di rischi per i modelli di IA.
Problemi di qualità dei dati – Dati imprecisi, incompleti o distorti possono portare a un modello difettoso, con conseguenti output inaffidabili e conclusioni errate.
Se un modello, ad esempio, viene addestrato per prevedere le insolvenze dei prestiti, utilizzando dati storici che sotto rappresentano i mutuatari ad alto rischio, potrebbe sottostimare il rischio di insolvenze future e causare potenzialmente perdite finanziarie.
Selezione del modello, ottimizzazione e difetti di progettazione – La scelta di un’architettura del modello sbagliata o l’utilizzo di algoritmi inappropriati per l’attività specificata possono influire in modo significativo sull’efficacia e l’affidabilità del modello.
L’utilizzo di un modello di regressione lineare per prevedere un fenomeno altamente non lineare come la volatilità del mercato azionario, ad esempio, potrebbe produrre risultati fuorvianti.
Senza contare che quanto sia importante garantire l’integrità del modello, in particolare quando si utilizzano modelli open source, poiché gli utenti finali dovrebbero essere in grado di verificare la firma del modello per assicurarsi che stiano utilizzando il modello corretto e che la scheda modello rappresenti accuratamente le capacità e i limiti del modello stesso.
Rischi intrinseci ai modelli performanti di categoria – È doveroso evidenziare che anche i modelli più performanti rilasciati da grandi player di settore possono comportare rischi intrinseci in base alle carenze del modello stesso, quali: allucinazioni, linguaggio dannoso, pregiudizi e perdita di dati.
Tali rischi possono avere impatti di vasta portata non solo sulle singole organizzazioni ma anche sulla società nel suo complesso.
Errori operativi e di implementazione – Un modello ben progettato può essere compromesso durante l’implementazione. Ovvero, codifica errata, controlli inadeguati o integrazione impropria con i sistemi esistenti possono introdurre errori di distribuzione del modello.
Un modello di credit scoring, ad esempio, può essere sviluppato correttamente, tuttavia, la sua implementazione nel sistema di elaborazione dei prestiti può essere difettosa e generare valutazioni imprecise e dinieghi ingiusti di prestiti.
La sicurezza è un altro insieme di rischi operativi chiave. Tali rischi possono essere sia consolidati – i.e. le vulnerabilità a livello di applicazione e di accesso – sia nuovi nell’era GenAI – i.e. le iniezioni tempestive.
Inoltre, i modelli di IA aumentano anche i rischi degli attori delle minacce che mirano a modificare il processo decisionale tramite cui gli utenti del modello mirano a utilizzare il modello.
Fattori esterni in evoluzione – I modelli sono spesso addestrati su dati storici, presupponendo un certo livello di stabilità nell’ambiente sottostante. Tuttavia, il mondo reale è in continua evoluzione. Recessioni economiche, nuove normative o eventi imprevisti possono rendere irrilevanti i dati storici, portando a previsioni inaffidabili da parte del modello. Un modello addestrato a prevedere l’abbandono dei clienti in base alle abitudini di acquisto passate, ad esempio potrebbe avere difficoltà se le preferenze dei consumatori cambiano a causa di una pandemia globale.
Allo stesso modo, un modello addestrato a prevedere le insolvenze dei prestiti sulla base di dati storici potrebbe riscontrare difficoltà se il comportamento dei consumatori cambia a causa di eventi imprevisti quali: una pandemia globale, cambiamenti nelle politiche economiche o cambiamenti imprevisti nell’attività di prestito (nuovo, rifinanziamento e rinegoziazione dei termini).
Gli esempi appena illustrati rivelano come i modelli possano essere vulnerabili a cambiamenti imprevisti nell’ambiente sottostante, evidenziando la necessità di monitorare e aggiornare i modelli per garantirne l’efficacia. Inoltre, è importante notare che i rischi specifici e la loro gravità (livello di rischio) variano a seconda della natura dell’organizzazione, del settore, della business unit e dell’uso previsto del modello.
Componenti essenziali
Di seguito i componenti essenziali da considerare per il framework MRM.
Governance
La governance dei modelli di AI e ML, all’interno di un’organizzazione, è fondamentale per garantire che essi siano gestiti in modo efficace e allineati a sia gli obiettivi strategici sia i requisiti normativi. La guida CSA, in termini di governance, invita a considerare diversi aspetti, qui di seguito descritti.
Approccio aziendale – Si tratta di definire la strategia generale di IA dell’organizzazione e gli obiettivi aziendali per identificare le aree in cui l’IA può essere sfruttata per migliorare la produttività, l’efficienza, il processo decisionale o offrire nuove esperienze utente.
Inventario dei modelli – È necessario stabilire un elenco completo di tutti i modelli utilizzati all’interno dell’organizzazione, classificandoli per scopo, complessità, livello di rischio e allineamento con l’approccio aziendale stabilito. Di fatto, un inventario dei modelli ben strutturato consente una valutazione mirata del rischio e il monitoraggio di modelli ad alto rischio o critici attraverso la categorizzazione in base al livello di rischio e all’impatto potenziale.
Gestione del ciclo di vita del modello – Si tratta di definire chiaramente ruoli e responsabilità per il ciclo di vita di ciascun modello, i.e.: dalla progettazione e test allo sviluppo e all’implementazione, al monitoraggio e alla manutenzione continui e all’obsolescenza. Una chiara titolarità consente un trasferimento efficiente delle conoscenze e della documentazione, riducendo il rischio di lacune o silos di conoscenza che potrebbero ostacolare sia la manutenzione sia l’evoluzione a lungo termine del modello.
Approvazioni dei modelli – È necessario stabilire un processo formale ed i criteri per l’approvazione dei modelli prima dell’implementazione, garantendo che soddisfino le esigenze aziendali, siano in linea con l’architettura aziendale oltre ad essere conformi ai requisiti normativi. Il processo di approvazione valuta anche i modelli per potenziali pregiudizi, preoccupazioni etiche e aderenza ai principi dell’IA responsabile, promuovendo equità, trasparenza e affidabilità.
Standard di sviluppo del modello
È essenziale stabilire solidi standard di sviluppo dei modelli per garantire che i modelli di IA siano costruiti su dati di alta qualità, aderiscano alle best practice e rispettino le normative pertinenti.
Ciò include la gestione della qualità dei dati, il rispetto di pratiche di progettazione e sviluppo standardizzate oltre all’implementazione di processi di convalida e test approfonditi.
Di seguito si fornisce un elenco delle attività chiave degli standard di sviluppo dei modelli.
Gestione della qualità dei dati – Si tratta di definire le procedure atte a garantire dati di alta qualità per l’addestramento dei modelli, richiedendo accuratezza, completezza, distorsioni minime e minimizzazione (i.e. i dati devono essere idonei allo scopo e limitati alle sole informazioni necessarie) attraverso la diversificazione dei dati e il rispetto delle misure di protezione della proprietà intellettuale e della privacy.
Progettazione e sviluppo di modelli – È necessario delineare gli standard per l’architettura dei modelli, le metodologie di sviluppo e le pratiche di documentazione. Inoltre, si devono allineare gli standard di sviluppo del modello ai framework di governance e conformità esistenti, comprese le linee guida normative.
Si consiglia di scaricare la guida e consultare l’ “Appendix 1: AI Frameworks, Regulations, and Guidance” della guida CSA fornisce un elenco dei vari quadri, regolamenti e documenti di orientamento che stabiliscono le best practice, delineano gli approcci di gestione del rischio e promuovono considerazioni etiche durante l’intero ciclo di vita dell’IA.
Convalida e test dei modelli – Si tratta di stabilire processi per testare rigorosamente i modelli per valutarne le prestazioni, l’accuratezza, la sicurezza e la robustezza.
Framework di governance e conformità – È necessario allineare gli standard di sviluppo dei modelli ai framework di governance e conformità esistenti, comprese le raccomandazioni delle linee guida normative (ad esempio, GDPR), gli standard di settore (ad esempio, ISO 27001, ISO 42001, NIST, ecc.) e le politiche organizzative.
Distribuzione e utilizzo del modello
La guida CSA fornisce, altresì, un elenco delle attività da svolgere in termini di distribuzione e utilizzo del modello, qui di seguito riportate.
Monitoraggio del modello – Si tratta di implementare procedure per il monitoraggio continuo delle prestazioni del modello in produzione, rilevando qualsiasi degrado in termini di accuratezza o di comportamento imprevisto.
Gestione delle modifiche ai modelli – È necessario definire un processo trasparente per la modifica dei modelli distribuiti, garantendo sia test sia convalida adeguati prima dell’implementazione, oltre a fornire meccanismi di rollback e di deprecation per i modelli non più in uso.
Comunicazione e formazione del modello – Si tratta di stabilire protocolli per comunicare le limitazioni e le capacità del modello alle parti interessate e, al contempo, fornire formazione per il corretto utilizzo del modello.
Valutazione del rischio del modello
La valutazione del rischio del modello è essenziale per identificare e mitigare i potenziali rischi nei modelli di IA e ML, sia sviluppati internamente sia acquisiti esternamente, permettendo una gestioni dei vari rischi.
Di seguito un elenco dei componenti chiave del modello di valutazione del rischio.
Ambito del rischio – È necessario ricordare che il processo di valutazione del rischio si applica non solo ai modelli sviluppati e utilizzati all’interno di un’organizzazione, ma anche ai modelli acquisiti da terze parti o da organizzazioni esterne.
Si tratta di definire i tipi di rischi che l’organizzazione vorrebbe affrontare a tutti i livelli, ad esempio, quello finanziario, della catena di approvvigionamento, legale e normativo, la fidelizzazione dei clienti e così via.
Identificazione dei rischi – Si tratta del passaggio iniziale per gestire efficacemente i rischi associati ai modelli di ML e che implica l’impiego di tecniche per scoprire sistematicamente potenziali problemi durante il ciclo di vita del modello.
Alcuni fattori chiave da considerare durante l’identificazione del rischio includono: la qualità dei dati, la complessità del modello, l’uso previsto, l’acquisizione dei dati di addestramento, l’uso dei dati personali e i meccanismi di protezione del modello.
Valutazione del rischio –È necessario valutare la gravità e la probabilità dei rischi identificati, consentendo di stabilire le priorità degli sforzi di mitigazione. Si possono utilizzare metodi sia qualitativi sia quantitativi per la valutazione del rischio.
Mitigazione del rischio – Si tratta di sviluppare strategie per affrontare i rischi identificati, tra cui la pulizia dei dati, il miglioramento dei modelli, l’implementazione di controlli di sicurezza e privacy e la protezione della proprietà intellettuale. Inoltre, è necessario dare priorità agli interventi basandosi sull’equilibrio tra la riduzione del rischio che tali interventi comportano, i costi associati e la loro fattibilità nel contesto dell’organizzazione.
Documentazione e reportistica
È doveroso ricordare che una documentazione approfondita e una reportistica regolare sono fondamentali per mantenere la trasparenza e la responsabilità nella gestione del rischio del modello.
Di fatto, queste procedure garantiscono che tutti gli aspetti del ciclo di vita del modello siano ben documentati e comunicati alle parti interessate. Segue un elenco dei componenti chiave riferiti alla documentazione e alla reportistica.
Documentazione del modello – È necessario mantenere una documentazione completa durante l’intero ciclo di vita del modello, acquisendo le fasi di sviluppo, le ipotesi, le limitazioni e le metriche delle prestazioni.
Reporting dei rischi del modello – Si tratta di segnalare regolarmente agli stakeholder i rischi identificati del modello, le strategie di mitigazione e le prestazioni complessive del modello.
La guida di CSA evidenzia che le organizzazioni, identificando, valutando e mitigando in modo proattivo questi rischi, possono sfruttare la potenza dei modelli e, al contempo, proteggere sé stesse, i propri clienti e gli utenti da potenziali insidie, oltre a garantire l’affidabilità e l’accuratezza delle decisioni basate sui modelli e a promuovere la fiducia e la trasparenza.
Risk Management Framework (RMF): i quattro pilastri
Il framework di risk management del modello della guida di CSA si basa sui seguenti quattro pilastri.
Le Model Card (schede modello) che forniscono una documentazione dettagliata dello sviluppo del modello di IA, dell’uso previsto e delle limitazioni, migliorando la trasparenza e la spiegabilità.
I Data Sheet (schede dati) che offrono informazioni complete sui set di dati utilizzati, comprese le loro fonti, i bias e le fasi di pre-elaborazione, garantendo l’integrità dei dati.
Le Risk Card (schede di rischio) che identificano i potenziali rischi associati ai modelli e delineano le strategie di mitigazione.
Lo Scenario Planning (pianificazione degli scenari) che implica la preparazione ai vari potenziali risultati e sfide che potrebbero derivare dall’uso di modelli di IA.
Di seguito l’illustrazione grafica del flusso di attività dei quattro pilastri, da cui si evince come gli elementi sopra descritti lavorino insieme per garantire un approccio olistico.
In poche parole, le informazioni contenute nelle Model Card alimentano le valutazioni del rischio basandosi sulle Model Card e i Data Sheet, fornendo un contesto aggiuntivo per comprendere i punti di forza e i limiti del modello.
Le Risk Card servono per gli esercizi di Scenario planning, mentre i risultati della pianificazione degli scenari vengono reinseriti nella gestione del rischio, creando un ciclo di feedback continuo.
Fonte immagine: CSA – Artificial Intelligence (AI) Model Risk Management Framework. Pilastri del quadro per un uso responsabile e ben informato dell’AI/ML.
A fronte di quanto sopra si crea un RMF che favorisce:
Trasparenza e spiegabilità – Le Model Card, i Data Sheet e una comunicazione chiara consentono alle parti interessate di comprendere le capacità e i limiti del modello. Tecniche quali LIME (Local Interpretable Model-Agnostic Explanations), SHapley (SHAP – SHapley Additive exPlanations), gli Integrated Gradient, CAV (Concept Activation Vectors) e la model distillation possono fornire spiegazioni locali, identificare concetti semantici di alto livello, oltre a creare modelli surrogati interpretabili per migliorare sia la trasparenza sia la spiegabilità di modelli complessi.
Gestione proattiva del rischio – È fondamentale un approccio multiforme per una gestione efficace del rischio, utilizzando sia le Model Card (per documentare potenziali distorsioni e limitazioni) sia le schede tecniche (per comprendere i dati di formazione) oltre ad eseguire valutazioni approfondite del rischio (basate sulle Risk Card) per identificare i rischi generali e garantire l’impegno nella pianificazione degli scenari per esplorare potenziali sfide future.
Inoltre, gli adversarial testing, gli stress test, l’edge-case analysis e le tecniche di regolarizzazione – i.e. dropout, L1/L2 regularization o adversarial training – possono aiutare a identificare le vulnerabilità, i punti ciechi e migliorare la robustezza del modello, consentendo una gestione proattiva del rischio.
Gestione coerente del rischio – La coerenza del processo di gestione del rischio si basa sulla garanzia che le valutazioni del rischio siano riproducibili e consentano, nel tempo, il confronto e il monitoraggio delle prestazioni e della sicurezza dei modelli di IA.
Inoltre, le valutazioni coerenti dei rischi aiutano a monitorare con precisione sia l’evoluzione sia l’efficacia delle strategie di mitigazione, favorendo il miglioramento continuo dei sistemi di IA.
Processo decisionale informato – Una comprensione completa dei rischi del modello consente alle parti interessate di prendere decisioni informate sull’implementazione e l’uso dello modello.
Costruire fiducia, credibilità e uso etico – La trasparenza e le pratiche di gestione responsabile del rischio creano fiducia e promuovono l’uso etico dei modelli di ML.
Inoltre, l’implementazione di tecniche di tutela della privacy, l’ottenimento di certificazioni per pratiche etiche di IA, la definizione di quadri di governance e di comitati etici di IA e l’esecuzione di audit di terze parti, possono contribuire a creare fiducia, credibilità e promuovere l’uso etico dei modelli di ML.
Monitoraggio e miglioramento continui – Il monitoraggio continuo e la capacità di adattarsi in base alle nuove informazioni garantiscono l’efficacia e la sicurezza del modello. Alcune tecniche includono l’adozione di procedure MLSecOps (Machine Learning, Security and Operations) che comporta la configurazione di pipeline di monitoraggio per tenere traccia delle prestazioni del modello, della deriva dei dati, dei cicli di feedback e delle conseguenze indesiderate.
Inoltre, è doveroso evidenziare l’importanza dell’implementazione di tecniche di apprendimento online o continuo. Ancora, la definizione di processi per incorporare il feedback degli utenti, i rapporti sugli incidenti e le lezioni apprese può garantire un’efficacia duratura, la sicurezza e il miglioramento continuo dei sistemi di IA.
Vantaggio di un RMF completo
Un RMF completo offre diversi vantaggi, qui di seguito riportati.
Maggiore trasparenza, spiegabilità e responsabilità – Le Model Card, i Data Sheet e le Risk Card sono fondamentali per la trasparenza, la spiegabilità e la responsabilità all’interno della gestione del MRM.
I Data Sheet documentano l’origine, la composizione dell’acquisizione e i metodi di pre-elaborazione dei dati, fornendo un contesto cruciale per comprendere gli input, le limitazioni e il ruolo di un modello. Ovvero, una documentazione che può aiutare a comprendere, in una certa misura, il funzionamento interno di un modello, consentendo una valutazione dei suoi punti di forza, di debolezza e dei potenziali pregiudizi.
Valutazione proattiva dei rischi e analisi degli scenari – I Data Sheet si integrano con lo Scenario Planning descrivendo in dettaglio le caratteristiche specifiche dei dati che potrebbero influenzare le prestazioni del modello in diversi scenari. Si tratta di informazioni fondamentali per condurre valutazioni approfondite del rischio e garantire che le analisi degli scenari prendano in considerazione la qualità dei dati e altri fattori rilevanti per l’organizzazione.
Sviluppo di strategie di mitigazione del rischio – L’integrazione delle informazioni ricavate dai Data Sheet nel processo di mitigazione del rischio consente di adottare strategie più mirate . Di fatto, comprendere i limiti e i bias dei dati aiuta a progettare strategie di mitigazione efficaci – i.e.: la pulizia, l’aumento o il ribilanciamento dei dati – che sono fondamentali per affrontare i potenziali rischi identificati dalle Risk Card.
Processo decisionale informato e governance del modello – I Data Sheet, che dettagliano le caratteristiche dei dati di addestramento e dei modelli, sono essenziali per le pratiche di governance, assicurando decisioni ben fondate, documentate e trasparenti riguardo al deployment dei modelli. È doveroso evidenziare che, anche se i dati di addestramento possono essere sostituiti, la loro qualità influisce direttamente sul comportamento del modello.
I Data Sheet, di fatto, supportano l’identificazione di potenziali limitazioni e bias nei dati e nelle caratteristiche del modello che potrebbero influenzare i risultati, garantendo così decisioni informate. Inoltre,, la comprensione dettagliata definisce le pratiche di governance, garantendo decisioni informate e giustificabili sul deployment dei modelli.
Convalida robusta del modello – Una solida convalida dei modelli è parte integrante del framework MRM, garantendo che i modelli funzionino come previsto e si adattino alle condizioni del mondo reale. Ciò comporta test rigorosi con diversi set di dati che riflettono scenari del mondo reale.
Le informazioni contenute Data Sheet – i.e. la distribuzione dei dati e le potenziali bias – contribuiscono alla selezione dei set di dati, garantendo un processo di convalida più completo.
Tecniche quali diversity testing, stress testing e generalizability metrics sono fondamentali per questo processo di convalida. Di fatto, il framework, incorporando le convalide, garantisce che i modelli mantengano l’efficacia ed evitino problemi di prestazioni impreviste o risultati distorti nelle applicazioni del mondo reale.
Costruire la fiducia e migliorare l’adozione del modello – I Data Sheet costituiscono la base per la fiducia, garantendo la chiarezza dei dati. Inoltre, le Model Card forniscono informazioni più approfondite sul funzionamento interno del modello; mentre le Risk Card affrontano in modo proattivo potenziali bias o limitazioni. Ciò promuove la trasparenza e lo sviluppo responsabile dell’IA, garantendo, quindi, una maggiore fiducia degli utenti e delle autorità di regolamentazione nell’adozione del modello.
Come si evince dalla guida di CSA, La documentazione garantisce, altresì, una comunicazione trasparente e onesta sulle capacità del modello e sulle aspettative di prestazioni, permettendo di guadagnare la fiducia degli utenti e delle autorità di regolamentazione di quei settori in cui la provenienza e l’integrità dei dati sono fondamentali.
Monitoraggio e miglioramento continuo – Il monitoraggio continuo è parte integrante del framework MRM in quanto garantisce che i modelli funzionino come previsto e si adattino ai cambiamenti nel tempo.
Ciò comporta aggiornamenti regolari delle Model Card, delle Risk Card e dei Data Sheet per riflettere i cambiamenti nelle prestazioni o nell’ambiente operativo del modello. Ad esempio, metriche come l’accuratezza, la precisione possono essere monitorate per misurare le prestazioni, mentre l’errore assoluto medio (MAE – Mean Absolute Error) e l’errore quadratico medio (MSE – Mean Squared Error) possono essere utilizzati per valutare la deviazione del modello.
Di fatto, il monitoraggio continuo consente di identificare quando un modello potrebbe discostarsi dalle prestazioni previste o quando le modifiche nell’ambiente esterno richiedano modifiche del modello o una strategia di distribuzione. Grazie alla vigilanza continua è possibile garantire la conformità, l’efficacia e la sicurezza dei modelli di ML in contesti operativi dinamici.
Impatto sociale ed etico positivo – I Data Sheet sono fondamentali per affrontare i pregiudizi sociali ed etici nei modelli di ML. Documentare l’origine, la composizione e i metodi di pre-elaborazione dei dati di addestramento garantisce una trasparenza cruciale per identificare potenziali bias, i.e. aspetto fondamentale per lo sviluppo di modelli di ML giusti ed equi. Di fatto, le organizzazioni, garantendo che le pratiche di gestione dei dati siano allineate agli standard etici, possono gestire meglio gli impatti più ampi delle loro tecnologie.
Governance e supervisione robuste – Una governance e una supervisione robuste – costruite su una base di controlli che assicurano l’allineamento con gli obiettivi dell’organizzazione – garantiscono lo sviluppo, l’uso e la manutenzione di modelli di IA trasparenti, spiegabili e responsabili, guidati da persone eticamente consapevoli e competenti, oltre a contribuire a stabilire solidi meccanismi di applicazione che garantiscono il rispetto di linee guida etiche e pratiche responsabili in materia di dati.
Inoltre, una governance efficace implica ruoli e responsabilità chiari, processi decisionali definiti e procedure di escalation per la risoluzione di conflitti o controversie. Ancora, audit regolari forniscono un livello di responsabilità, verificando l’impegno delle parti interessate nei confronti di questi principi.
La guida di CSA sottolinea come rigorose procedure di gestione delle modifiche, aggiornamenti dei controlli, riqualificazione e decisioni di distribuzione promuovono la supervisione e mitigano in modo proattivo i potenziali rischi.
Senza dimenticare che una comunicazione e una collaborazione chiare tra le parti interessate – tra cui utenti, data scientist, ingegneri e leader aziendali – sono fondamentali per una governance e una supervisione di successo.
Si consiglia di consultare la guida CSA per conoscere in maggior dettaglio come strutturare i quattro pilastri, considerando i vantaggi, i limiti e le problematiche di ciascuno di essi.
Approccio olistico del RMF
I quattro pilastri , integrandosi, contribuiscono a garantire un RMF olistico. Di fatto le informazioni provenienti dalle Model Card confluiscono direttamente nella creazione delle Risk Card, consentendo l’identificazione di potenziali problemi. Inoltre, l’identificazione dei rischi è alla base degli esercizi di Scenario Planning, garantendo così un processo iterativo che favorisce una valutazione approfondita del rischio e, in ultima analisi, consente lo sviluppo di strategie di mitigazione efficaci.
Di seguito la descrizione dell’integrazione dei quattro pilastri.
Utilizzo delle informazioni della Model Card per le Risk Card – Nell’MRM dell’IA, le Model Card fungono da ponte fondamentale tra lo sviluppo del modello e la gestione del rischio.
Le informazioni documentate nella Model Card, come la composizione dei dati di addestramento (inclusi i dati demografici e i potenziali pregiudizi), i metodi di acquisizione dei dati, le misure di protezione della privacy, i dettagli dell’architettura del modello (ad esempio, alberi decisionali rispetto al deep learning) e le metriche delle prestazioni (comprese le metriche di accuratezza e correttezza), forniscono input essenziali per un processo completo di valutazione del rischio. Ciò consente di creare Risk Card che riflettono accuratamente i punti di forza e di debolezza di ciascun modello.
Di fatto, sfruttando i dati della Model Card, le valutazioni dei rischi possono essere più mirate, concentrandosi su potenziali problemi rilevanti per la funzione del modello e il contesto della sua implementazione (i.e. rischi per la privacy associati a tipi di dati specifici o le limitazioni di spiegabilità dovute ad architetture di modelli complesse).
Le Model Card forniscono: informazioni critiche per i data scientist e i gestori del rischio per identificare e per mitigare in modo proattivo i potenziali rischi associati ai modelli di IA; informazioni essenziali che consentono ai gestori del rischio di valutare i potenziali rischi e pregiudizi associati a un modello, il che a sua volta li aiuta a determinare se il profilo di rischio del modello è in linea con la propensione al rischio della loro organizzazione, esplicitano così le decisioni sull’implementazione del modello in una soluzione di IA.
Utilizzo dei Data Sheet per garantire la comprensione del modello – I Data Sheet forniscono una panoramica concisa e accessibile del funzionamento interno di un modello, rendendo più semplice comprendere i suoi punti di forza e le sue limitazioni. Inoltre, offrono informazioni dettagliate su diversi aspetti del modello, come il suo scopo, il tipo di dati utilizzati per l’addestramento e le metriche di valutazione impiegate per valutarne le prestazioni.
Tali informazioni permettono agli utenti di superare la percezione del modello come una “scatola nera” e di ottenere preziose informazioni sui processi decisionali del modello stesso. In tal modo, gli utenti possono utilizzare il modello in modo più appropriato e identificare eventuali distorsioni presenti nel processo decisionale.
I Data Sheet consentono alle parti interessate di prendere decisioni informate sul deployment del modello. Di fatto, gli utenti, comprendendo i punti di forza e di debolezza di un modello attraverso il Data Sheet, possono determinarne l’idoneità per attività specifiche.
Ad esempio, se il Data Sheet rivela che il modello ha prestazioni scarse su un determinato tipo di dati, potrebbe essere necessario ristringere i casi d’uso per evitare output inaffidabili.
I Data Sheet forniscono informazioni di contesto vitali per l’identificazione dei potenziali rischi, consentendo così la creazione delle Risk Card. Ovvero, gli utenti, grazie alle informazioni sui dati di addestramento, possono condurre una valutazione dei rischi più approfondita e identificare potenziali scenari in cui il modello potrebbe essere fuorviato o interpretato erroneamente a causa di bias o limitazioni nei dati di addestramento.
I Data Sheet diventano fondamentali durante gli esercizi di scenario planning e, delineando l’architettura del modello, la composizione dei dati di addestramento e gli iper parametri, consentono sia di anticipare potenziali punti deboli sia di creare scenari mirati che esplorano il modo in cui il modello potrebbe reagire in situazioni impreviste.
Utilizzo delle Risk Card per lo Scenario Planning – La guida di CSA evidenzia quanto sia fondamentale per un’implementazione responsabile dell’IA comprendere e mitigare in modo proattivo il rischio del modello.
Gli ingegneri ML e i project manager dell’IA devono dare priorità alle misure di mitigazione del rischio durante sia lo sviluppo dei modelli sia la creazione di Model Card per garantire un ecosistema di IA sicuro e affidabile.
Inoltre, la comprensione dei vari rischi contribuisce a definire lo Scenario Planning. Pertanto, il team dovrebbe utilizzare il set iniziale di Risk Card definite per il modello e condurre esperimenti mentali ideati per esplorare concetti, teorie o dilemmi etici e filosofici relativi all’IA.
Questi esperimenti non vengono condotti fisicamente, ma sono elaborazioni teoriche che permettono di esaminare le implicazioni e le conseguenze di determinate ipotesi o situazioni, contribuendo ad anticipare le potenziali conseguenze.
Di fatto, gli input definiti dalla Risk Card possono “stimolare” lo Scenario Planning e contribuire al perfezionamento iterativo dei Data Sheet, rendendo il modello resiliente al rischio.
Di seguito la rappresentazione grafica dei flussi che garantiscono l’approccio olistico del RMF in termini di utilizzo delle Risk card per lo Scenario Planning.
Fonte immagine: CSA – Artificial Intelligence (AI) Model Risk Management Framework. Utilizzo delle Risk Card per lo Scenario Planning.
La simulazione degli scenari permette di affinare e completare le Risk Card con esempi specifici di input e output che generano rischi in modo tale da identificare le opportune le strategie di mitigazione del rischio residuo.
Di fatto, le Risk Card creano una base per la modellazione degli scenari, utilizzando le informazioni delle Model Card e dei Data Sheet; mentre lo Scenario Planning supporta nella selezione delle Risk Card con i tipi di danno più rilevanti ed impatto maggiore, oltre a contribuire a definire input e output specifici per dimostrare le condizioni in cui il rischio si realizza.
Fonte immagine: CSA – Artificial Intelligence (AI) Model Risk Management Framework. Utilizzo di Model Card, Data Sheet e Risk Card per lo Scenario Planning
Conclusione
La combinazione dei quattro pilastri del framework MRM descritto nella guida di CSA, garantisce uno sviluppo responsabile e mitiga rischi quali bias e problemi di qualità dei dati, consentendo un uso sicuro e vantaggioso del modello.
Si ritiene che, a fronte della continua evoluzione dell’IA e del ML, sarà sempre più necessario il continuo adattamento e perfezionamento delle best practice di MRM.
Inoltre, risulterà altrettanto importante monitorare i quadri normativi relativi ai modelli AI/ML ancora in fase di sviluppo e auspicare in una collaborazione continua tra l’industria, le autorità di regolamentazione e i responsabili politici per stabilire normative chiare ed efficaci che promuovano l’innovazione, mitigando i rischi.
Ancora, man mano che i modelli AI/ML diventeranno più diffusi, sarà quanto mai fondamentale affrontare le potenziali preoccupazioni sociali ed etiche in termini di bias, equità e responsabilità su base continuativa, senza dimenticare il focus sulla collaborazione uomo-IA a fronte di una maggiore integrazione dei modelli nei processi decisionali.
Concludendo, la guida di CSA, sottolineando l’importanza di MRM, mira a dotare le organizzazioni degli strumenti e delle conoscenze necessarie per orientarsi nelle complessità della gestione del rischio AI, promuovendo così un panorama tecnologico più sicuro e innovativo.
Su questo sito utilizziamo cookie tecnici necessari alla navigazione e funzionali all’erogazione del servizio.
Utilizziamo i cookie anche per fornirti un’esperienza di navigazione sempre migliore, per facilitare le interazioni con le nostre funzionalità social e per consentirti di ricevere comunicazioni di marketing aderenti alle tue abitudini di navigazione e ai tuoi interessi.
Puoi esprimere il tuo consenso cliccando su ACCETTA TUTTI I COOKIE. Chiudendo questa informativa, continui senza accettare.
Potrai sempre gestire le tue preferenze accedendo al nostro COOKIE CENTER e ottenere maggiori informazioni sui cookie utilizzati, visitando la nostra COOKIE POLICY.
ACCETTA
PIÙ OPZIONI
Cookie Center
ACCETTA TUTTO
RIFIUTA TUTTO
Tramite il nostro Cookie Center, l'utente ha la possibilità di selezionare/deselezionare le singole categorie di cookie che sono utilizzate sui siti web.
Per ottenere maggiori informazioni sui cookie utilizzati, è comunque possibile visitare la nostra COOKIE POLICY.
ACCETTA TUTTO
RIFIUTA TUTTO
COOKIE TECNICI
Strettamente necessari
I cookie tecnici sono necessari al funzionamento del sito web perché abilitano funzioni per facilitare la navigazione dell’utente, che per esempio potrà accedere al proprio profilo senza dover eseguire ogni volta il login oppure potrà selezionare la lingua con cui desidera navigare il sito senza doverla impostare ogni volta.
COOKIE ANALITICI
I cookie analitici, che possono essere di prima o di terza parte, sono installati per collezionare informazioni sull’uso del sito web. In particolare, sono utili per analizzare statisticamente gli accessi o le visite al sito stesso e per consentire al titolare di migliorarne la struttura, le logiche di navigazione e i contenuti.
COOKIE DI PROFILAZIONE E SOCIAL PLUGIN
I cookie di profilazione e i social plugin, che possono essere di prima o di terza parte, servono a tracciare la navigazione dell’utente, analizzare il suo comportamento ai fini marketing e creare profili in merito ai suoi gusti, abitudini, scelte, etc. In questo modo è possibile ad esempio trasmettere messaggi pubblicitari mirati in relazione agli interessi dell’utente ed in linea con le preferenze da questi manifestate nella navigazione online.
