Nel contesto dei sistemi di intelligenza artificiale, la mission creep si verifica quando un progetto di AI, originariamente limitato a uno scopo specifico, si espande gradualmente per includere nuove funzionalità, nuove applicazioni o nuovi obiettivi.
Questo processo può avvenire in modo intenzionale o non intenzionale e spesso comporta un aumento della complessità, dei costi e dei rischi per la salute, la sicurezza e i diritti fondamentali delle persone.
Per gestire questi rischi è imprescindibile seguire strategie rigorose e adottare misure adeguate nella gestione dei progetti di intelligenza artificiale.
Queste misure vanno definite sulla base di normative quali l’AI Act e standard internazionali come la norma ISO/IEC 42001:2023 e il NISTIR 8312 del NIST.
Indice degli argomenti
Cause della mission creep nei sistemi di AI
La mission creep nei sistemi di intelligenza artificiale (AI) può essere determinata dalle diverse sottonotate cause, spesso interconnesse tra di loro:
- obiettivi iniziali poco chiari;
- innovazione tecnologica rapida;
- pressioni del mercato;
- feedback degli utenti.
Approfondiamo di seguito questi fattori che contribuiscono all’espansione non pianificata delle funzionalità e degli obiettivi dei progetti.
Inizialmente, i progetti di AI con obiettivi vaghi o eccessivamente ambiziosi sono particolarmente esposti a questo fenomeno. Infatti, quando gli obiettivi non sono ben definiti, possono essere interpretati in modo diverso dai team di sviluppo. Questo porta a un’espansione non pianificata delle funzionalità del sistema che si va progettando.
Inoltre, sappiamo che l’intelligenza artificiale è un settore caratterizzato da una rapida innovazione tecnologica, con nuove scoperte e tecnologie che emergono continuamente. Ora, questo contesto dinamico può incentivare l’inclusione di nuove funzionalità o la revisione degli obiettivi nei progetti esistenti, superando spesso i limiti previsti inizialmente.
E ancora, le intense pressioni del mercato e la necessità di mantenere un vantaggio competitivo rappresentano un ulteriore fattore che spinge le organizzazioni a espandere le capacità dei loro sistemi di AI. Questa corsa per mantenersi nella prima linea del mercato può portare a un’estensione degli obiettivi originari, aumentando, così, il rischio di mission creep.
Infine, il feedback ricevuto dagli utenti e dalle altre parti interessate è essenziale per lo sviluppo di un progetto di successo. Tuttavia, rispondere a tutte le richieste di nuove funzionalità o miglioramenti può provocare un’espansione non pianificata degli obiettivi. Senza una gestione adeguata, queste richieste possono rapidamente trasformarsi in mission creep, complicando ulteriormente il progetto.
La mission creep è un fenomeno considerato da tempo nei contesti militari. Quindi un esempio concreto di mission creep nel mondo militare può aiutare a capire come tale fenomeno possa determinare un considerevole aumento dei rischi. Si consideri la guerra del Vietnam.
Inizialmente, l’impegno degli Stati Uniti era limitato a fornire assistenza e consiglieri militari al governo del Vietnam del Sud per aiutarli a combattere i ribelli Viet Cong. Tuttavia, col passare del tempo, la missione si è ampliata notevolmente. Gli Stati Uniti hanno iniziato a inviare un numero crescente di truppe da combattimento e hanno avviato una vasta campagna di bombardamenti nel Nord Vietnam.
L’obiettivo iniziale di assistenza e contenimento è così evoluto in un impegno militare diretto e massiccio, senza un chiaro piano di uscita, complicando ulteriormente la situazione e prolungando il conflitto.
Conseguenze della mission creep nei sistemi di AI
L’espansione non pianificata degli obiettivi nei progetti di predisposizione dei sistemi di AI comporta un significativo aumento dei rischi per la salute, la sicurezza e i diritti fondamentali delle persone. Quando i sistemi di AI si sviluppano oltre i loro scopi iniziali, talvolta senza un adeguato controllo, le conseguenze possono essere davvero gravi.
Uno dei principali rischi riguarda proprio la violazione dei diritti fondamentali e della protezione dei dati personali. L’aggiunta di nuove funzionalità senza un’adeguata valutazione può portare alla raccolta e all’elaborazione di dati personali in modi non previsti, esponendo gli individui a sorveglianza non autorizzata e violazioni della privacy.
L’espansione non regolamentata delle capacità dei sistemi di intelligenza artificiale può minacciare anche la salute e la sicurezza delle persone, attraverso diagnosi errate o trattamenti inadeguati che possono mettere a rischio la vita dei pazienti.
I principi democratici sono anch’essi a rischio quando la mission creep avviene senza trasparenza e responsabilità. L’espansione delle funzionalità dell’AI può condurre a un controllo centralizzato e opaco delle informazioni, minando la fiducia del pubblico nelle istituzioni democratiche.
Sappiamo bene quanto la manipolazione delle informazioni tramite gli algoritmi di AI possa influenzare l’opinione pubblica e i processi elettorali, compromettendo la democrazia stessa.
Strategie e misure per mitigare i rischi della mission creep
Per proteggere i diritti fondamentali, la salute, la sicurezza e i principi democratici, è quindi fondamentale adottare strategie rigorose e misure adeguate nella gestione dei progetti di AI che devono e possono essere definite sulla base di norme giuridiche prescrittive e norme tecniche volontarie.
Le prescrizioni dell’AI Act per gestire la mission creep
L’AI Act, cioè il Regolamento UE, approvato ma non ancora pubblicato in Gazzetta Ufficiale che stabilisce regole armonizzate sull’intelligenza artificiale, al n. 13) dell’art.3 che reca le definizioni, qualifica la mission creep come “uso improprio ragionevolmente prevedibile“.
Si tratta, quindi, dell’uso, ragionevolmente prevedibile, di un sistema di AI in un modo non conforme alla sua finalità prevista, che può derivare da un comportamento umano o da un’interazione con altri sistemi, ivi compresi altri sistemi di AI.
Ciò posto, il Considerando 65 e l’art. 13 dell’AI Act prescrivono che qualsiasi circostanza nota o prevedibile connessa all’uso del sistema di AI ad alto rischio in conformità della sua finalità prevista o in condizioni di uso improprio ragionevolmente prevedibile, che possa comportare rischi per la salute e la sicurezza o per i diritti fondamentali, deve essere inclusa nelle istruzioni per l’uso fornite dal fornitore.
Ancora, l’art. 14 dell’AI Act, rubricato “Sorveglianza umana”, stabilisce che i sistemi di AI ad alto rischio debbano essere progettati e sviluppati, anche con strumenti di interfaccia uomo-macchina adeguati, in modo tale da poter essere efficacemente supervisionati da persone fisiche durante il periodo in cui sono in uso.
Questo, perché la sorveglianza umana mira a prevenire o ridurre al minimo i rischi per la salute, la sicurezza o i diritti fondamentali che possono emergere quando un sistema di AI ad alto rischio è utilizzato conformemente alla sua finalità prevista o in condizioni di uso improprio ragionevolmente prevedibile (cioè in caso di mission creep).
I controlli della ISO 42001:2023
La norma tecnica ISO/IEC 42001:2023 “Information technology — Artificial intelligence — Management system” contiene un controllo che ben si presta alla gestione della mission creep.
Si tratta del controllo “A.9.4 Intended use of the AI system” (Uso previsto del sistema di AI), secondo il quale: “The organization shall ensure that the AI system is used according to the intended uses of the AI system and its accompanying documentation” ovvero “L’organizzazione deve garantire che il sistema di AI venga utilizzato secondo gli usi previsti e la documentazione di accompagnamento”.
La Guida all’implementazione del controllo – come indicato nell’allegato B della norma – specifica che:
- il sistema di AI dovrebbe essere implementato secondo le istruzioni e l’altra documentazione associata al sistema di AI (cfr. B.8.2 Documentazione del sistema e informazioni per gli utenti);
- l’implementazione può richiedere risorse specifiche per supportare l’implementazione, inclusa la necessità di garantire che una supervisione umana sia applicata come richiesto (cfr. B.9.3 Obiettivi per l’uso responsabile del sistema di AI). Può essere necessario che, per un uso accettabile del sistema di AI, i dati su cui viene utilizzato il sistema di AI siano allineati con la documentazione associata per garantire che le prestazioni siano accurate.
- Il funzionamento del sistema di AI dovrebbe essere monitorato (cfr. B.6.2.6 “Funzionamento e monitoraggio del sistema di AI”). Laddove la corretta implementazione del sistema di AI secondo le istruzioni ad esso associate suscitasse preoccupazioni in merito all’impatto sulle parti interessate rilevanti o sui requisiti legali dell’organizzazione, l’organizzazione dovrebbe comunicare le proprie preoccupazioni al personale interessato all’interno dell’organizzazione e a eventuali fornitori di terze parti del sistema di AI. L’organizzazione dovrebbe conservare registrazione degli eventi o altra documentazione relativa all’implementazione e al funzionamento del sistema di AI che può essere utilizzata per dimostrare che il sistema di AI viene utilizzato come previsto o per facilitare la comunicazione delle preoccupazioni relative all’uso previsto del sistema di AI. Il periodo di tempo durante il quale vengono conservati le registrazioni degli eventi e altra documentazione dipende dall’uso previsto del sistema di AI, dalle politiche di conservazione dei dati dell’organizzazione e dai requisiti legali pertinenti per la conservazione dei dati”.
Un aspetto interessante della citata linea guida a supporto del controllo risiede nel richiamo (quasi pedante) ad altri controlli, Ciò a dimostrazione e conferma di come le problematiche vadano viste in un contesto multidisciplinare e non come singoli elementi frammentati.
Caso pratico di applicazione dei controlli della ISO 42001:2023
In un’azienda che dispone di una rilevante flotta di automezzi è stato implementato un sistema di AI per pianificare, sulla base dei chilometri percorsi dalle autovetture affidate ai venditori e su tutta una serie di altre variabili, la manutenzione programmata in modo da ottimizzare i costi e limitare le conseguenze per la rete di vendita.
Tale sistema viene successivamente utilizzato per valutare le performance dei singoli agenti, eventualmente incrociando i dati previsti con altri dati quali, ad esempio, i risultati delle vendite riconducibili a ogni agente. I dati provenienti dal sistema contribuiscono in modo rilevante a determinare il premio di produttività.
Si tratta, evidentemente, in questo caso di un uso distorto di una componente di AI, nata per un fine ed utilizzata anche – o prevalentemente – per un altro diverso fine, non inizialmente dichiarato.
Pertanto, allineando il sistema a quanto richiesto dal controllo 9.4 è necessario che l’organizzazione:
- ad intervalli verifichi, garantendo una supervisione umana, che l’uso del sistema di AI sia congruente con quanto pianificato e documentato inizialmente;
- valuti e autorizzi eventuali ulteriori usi del sistema di AI, anche in relazione all’impatto sulle persone, in conformità alla normativa applicabile ed alle procedure previste. Tali usi ulteriori devono essere autorizzati da chi ha tale potere all’interno dell’organizzazione;
- laddove ne venisse fatto un uso diverso o non documentato, sospenda immediatamente tale utilizzo ed indaghi sulle cause per cui ciò è avvenuto;
- laddove sia previsto il coinvolgimento di uno o più fornitori, informi tali soggetti e definisca con questi le necessarie azioni da mettere in atto;
- se tale uso risultasse inaccettabile, successivamente ed in tempi brevi, sani la situazione e decida in merito ai dati raccolti/generati dai sistemi;
- documenti tutti i passaggi definiti, compresi i controlli di routine, anche al fine di dimostrare l’uso conforme del sistema e di comunicare eventuali preoccupazioni in relazione ai sistemi;
- alla dimissione dei sistemi e/o ad intervalli regolari, elimini i dati conservati, in base alle politiche di conservazione dei dati dell’organizzazione ed ai requisiti legali pertinenti.
Le indicazioni di cui al punto precedente possono diventare parte integrante della procedura per lo sviluppo, la sorveglianza e la manutenzione di sistemi di AI o con una componente di AI.
Esistono, peraltro, anche esempi virtuosi di sistemi di AI sviluppati per una finalità e successivamente ed efficacemente applicati ad altri contesti. È il caso, seppure datato, di IBM Watson che era stato originariamente sviluppato per competere nel quiz show televisivo “Jeopardy!” (una specie di “Rischiatutto”).
Il sistema era stato inizialmente progettato per comprendere e rispondere a domande con un linguaggio naturale, dimostrando una straordinaria capacità di elaborare enormi quantità di dati testuali e fornire risposte accurate in tempo reale.
Successivamente IBM ha adattato il sistema a molte altre applicazioni in svariati campi come nel settore sanitario. nei servizi finanziari, nell’istruzione per quanto per alcune di tali applicazioni siano state riscontrate delle criticità.
I principi del NIST per gestire la mission creep
In uno specifico paper (NISTIR 8312 “Quattro principi per un’intelligenza artificiale spiegabile”) il NIST ha introdotto i quattro principi, esemplificati nella tabella seguente, che sono funzionali a predisporre sistemi di “Intelligenza Artificiale Spiegabile” (la c.d. XAI: Explainable Artificial Intelligence).
Va evidenziato che questi principi sono utili non solo a migliorare la spiegabilità dei sistemi di AI ma anche a gestire la mission creep. Proprio per tale finalità, particolare rilevanza assume uno dei quattro principi fissati dal NISTIR 8312: il principio dei “Limiti della Conoscenza”. Secondo questo principio, i sistemi di AI devono identificare i casi per i quali non sono stati progettati o approvati (e non debbano pertanto funzionare) o i casi per i quali le loro risposte non sono affidabili.
Così, ad esempio, se un sistema è stato progettato per rispondere a domande su possibili diagnosi mediche, dovrebbe riconoscere una richiesta di rilevanza legale o finanziaria e contestualmente dovrebbe segnalare la sua incompetenza in quel contesto. Questo consente di gestire efficacemente la mission creep.
Conclusioni
La mission creep, concetto che proviene dai contesti militari, costituisce, oggi, una sfida significativa anche per i progetti di sviluppo, messa in servizio e utilizzo dei sistemi di AI, poiché può compromettere l’efficacia dei sistemi stessi, aumentando i rischi e i costi associati.
Abbiamo provato ad evidenziare come comprendere le cause e le conseguenze di questo fenomeno sia essenziale al fine di sviluppare strategie efficaci per prevenirlo e gestirlo.
L’adempimento delle prescrizioni dell’AI Act e l’adozione di misure previste dalla ISO/IEC 42001:2023 e dal NIST (NISTIR 8312) agevolano la definizione di tali strategie e la gestione dei connessi rischi per la salute, la sicurezza e i diritti fondamentali delle persone.
