Il fronte di animata discussione sugli algoritmi e loro portato nell’AI (così come in qualsiasi altra loro applicazione, a dire il vero) è sempre più acceso. Intervengono sempre più le autorità di controllo privacy, da ultimo quella olandese (Autoriteit Persoonsgegevens, “AP” – Dutch Personal Data Authority), per dare segnali e arginare certi eccessi, in attesa delle autorità che l’AI Act, tuttora in bozza, dovrebbe introdurre.
Recente frutto dell’AP è un importante e interessante report, focalizzato per la prima volta sul “rischio algoritmico” nei Paesi Bassi: una panoramica delle evoluzioni, dei rischi e delle sfide legate all’uso degli algoritmi e dell’IA in questo Paese.
Lo scopo è creare una prospettiva complessiva sui rischi che possa contribuire alle iniziative politiche, ai requisiti di dati e di segnalazione, alle strategie e alle valutazioni dei rischi delle autorità e dei supervisori (settoriali), al loro programma di lavoro e alla funzione di gestione dei rischi delle singole imprese e P.A.
Come si può facilmente intuire, le considerazioni svolte nel report ben possono essere “trapiantate” in altri Paesi europei – il fenomeno e le problematiche sono facilmente transfrontalieri – e, pertanto, il report si configura come un rilevante documento di sintesi, aggiornamento e indirizzo per chiunque in Europa.
Oltretutto si tenga conto che i Paesi Bassi intendono assumere un ruolo di guida internazionale in questo ambito, pubblicando ogni sei mesi proprio questo report, debitamente aggiornato, con relative valutazioni e indicazioni.
L’autorità olandese sa che negli anni a venire gli sforzi globali continueranno a tentare di standardizzare e coordinare le normative e la supervisione degli algoritmi e dell’IA, in forum e consessi come il G7, l’OCSE, l’UNESCO, il Consiglio d’Europa e l’Unione Europea.
I rapporti periodici sui rischi algoritmici, secondo l’AP, rappresentano pertanto “uno strumento cruciale in questo approccio di supervisione”. Tanto da avere creato un proprio “Dipartimento per il coordinamento della supervisione algoritmica”, deputato a fornire dati sulla situazione in corso e a proporre politiche in grado di mitigare i rischi così riconosciuti – oltre a rappresentare uno strumento di supporto per istituzioni pubbliche e imprese private nella gestione degli strumenti tecnologici.
Trattando di algoritmi non si deve pensare, sottolinea l’AP, a strumenti puramente “tecnici” e organizzativi, bensì di potenti e potenzialmente nocivi creatori di nuove complessità. Il che richiede una ferma accountability da parte degli utilizzatori tutti, in ogni fase di adozione e ciclo di vita, sin dal loro vaglio e analisi fino all’utilizzo vero e proprio – processo che andrà costantemente monitorato e aggiornato.
Ciò significa procedure e garanzie nella fase di sviluppo degli algoritmi, così come “un ecosistema di gestione del rischio e responsabilità una volta che gli algoritmi vengono utilizzati attivamente”.
I rischi e le sfide dei chatbot tra privacy, sicurezza e legge
Indice degli argomenti
Tutela dei diritti fondamentali: opportunità ma anche rischi elevati
La ricerca dell’AP muove da due presupposti:
- la presa di coscienza dei rischi – oltre che delle opportunità – gemmati dall’uso degli algoritmi usati dall’AI; a titolo esemplificativo, si ricorda che possono riguardare la violazione di diritti e libertà di cittadini (ma anche di persone giuridiche, a ben vedere), garantiti dalle Costituzioni nazionali e dalla Carta fondamentale dei diritti UE: diritto alla non discriminazione, alla trasparenza e alla correlata spiegabilità, libertà di espressione e pari opportunità, diritto all’informazione con la prevenzione di informazioni ingannevoli o fuorvianti, ecc.; per un raffronto, sia il GDPR che il Digital Services Act (Reg. UE 2065/2022), tra gli altri atti normativi, si occupano del temperamento dei rischi derivanti anche dall’uso di soluzioni algoritmiche, proprio a tutela dei predetti diritti sia in capo agli individui che dei gruppi e della società in generale, pur ritagliando la tutela attorno a contesti e soggetti specifici (interessati, destinatari ecc.);
- di ciò pubblico e privato devono tenere debitamente conto, specie quanto agli impatti sulla vita civile, portando ad azioni utili e coordinate per limitarne i rischi, per non frustrare le stesse opportunità offerte dagli strumenti tecnologici.
Azioni, in ultima analisi, di governance, di controllo della situazione, per quanto possibile. In linea, si evince leggendo il report, con quanto invocato da molti anni da più parti, per es. nelle numerose proposte di linee guida sull’etica nell’AI.
Tanto più, come afferma il report, che i rischi aumenteranno negli anni, con l’escalation di potenza computazionale e di strumenti sempre più sofisticati a disposizione, oltre ai nuovi utilizzi e contesti in cui potranno trovare applicazione (pensiamo alla corrente esplosione nell’uso di ChatGPT e simili strumenti generativi di dati e contenuti).
Il documento richiama l’attenzione per esempio sui c.d. deepfake: l’impatto sociale di questi sofisticati frutti della computazione tramite AI è già evidente. Minando la fiducia stessa delle persone nella veridicità di ciò che si fruisce, con effetti dirompenti anche a livello generale di tenuta sociale. Tale è questo impatto che – se usati in modo errato – la fiducia negli stessi algoritmi può essere seriamente compromessa.
E proprio nel report, in merito, si cita uno studio di KPMG per cui – sebbene la consapevolezza degli algoritmi sia aumentata tra il pubblico negli ultimi anni – il grado di fiducia negli algoritmi è diminuito più di quanto sia aumentata tale consapevolezza. Solo il 20-30% delle persone avrebbe fiducia nell’uso degli algoritmi, in generale.
Secondo gli intervistati, il modo di gran lunga migliore per aumentare questa fiducia sarebbe essere più trasparenti e concentrare gli algoritmi sul miglioramento della società.
Senza trasparenza, individui e gruppi perdono il controllo, hanno una capacità limitata di contestare le decisioni, i risultati e gli impatti, oltre a subire occultamente delle manipolazioni.
Si possono subire subdoli c.d. “chilling effect” dall’uso di algoritmi: le persone cioè possono cambiare il loro comportamento se sanno o sentono che saranno giudicate non da un essere umano ma da un algoritmo. Per es. chi è in cerca di lavoro può interrompere un processo di candidatura, se viene a conoscenza che un algoritmo ne valuterà la candidatura.
L’effetto è di influenzare fino a mutare il comportamento delle persone, senza che verifichi una violazione diretta dei diritti.
La governance di algoritmi e AI
Il Presidente dell’autorità olandese – Aleid Wolfsen – ha affermato che per favorire la necessaria “ondata” di governance saranno fondamentali gli standard e le normative, cioè la condivisione dei mezzi di misurazione e di organizzazione, i requisiti e le regole.
Oltre alla necessità del fondamentale apporto umano: impiego del personale e della formazione per poter supervisionare il funzionamento algoritmico. Ancor più precisamente, a mitigazione dei rischi il report distingue tre piani di azione:
- l’introduzione – celere – di idonei e completi obblighi di trasparenza (ritenuti dall’AP finora parziali e insufficienti in base alle norme vigenti; inoltre, si tiene conto dei lunghi tempi di adozione ed entrata in applicazione della proposta di AI Act che potrebbero frustrare molte delle speranze enunciate nel report);
- una regolamentazione chiara del fenomeno (ora parcellizzata, oltre tutto, in più fonti e livelli – si attende l’approvazione dell’AI Act che l’AP plaude per la sua tutela dei diritti fondamentali, sebbene non possa essere considerato una panacea, per es. a causa dei meccanismi di auto-valutazione di conformità comunque previsti per applicazioni ad alto rischio); si invoca una regolazione transnazionale (europea o addirittura internazionale), dato atto della portata del fenomeno; comunque sia, l’AP si spinge a consigliare di incorporare fin d’ora i principi delle leggi e dei regolamenti imminenti (come l’AI Act o, in ottica internazionale, i dieci principi etici sull’IA dell’UNESCO, oppure ancora la bozza “zero” di Convenzione internazionale per la regolamentazione dell’IA, condivisa dal Consiglio d’Europa nel gennaio scorso) nello sviluppo e nella distribuzione di sistemi e applicazioni;
- il rafforzamento della supervisione interna ed esterna;
- l’investimento in programmi di formazione e l’allocazione di più risorse umane per gestire i rischi degli algoritmi (l’AP arriva a caldeggiare il sostegno statale per aiutare le imprese in tal senso).
Peraltro, l’AP lamenta la difficoltà di osservare e determinare lo stato generale di gestione del rischio degli algoritmi, offuscata dalla mancanza di una visione strutturata del modo in cui i vari tipi di organizzazioni, nei vari settori sociali, hanno implementato la loro gestione del rischio (o non l’hanno nemmeno valutato).
Le proposte: dal registro algoritmico al framework di risk assessment
L’uso e la condivisione di best practices da parte dei soggetti più all’avanguardia possono essere utili anche alle organizzazioni in cui la gestione del rischio è ancora in fase di sviluppo.
Tanto più perché nelle fasi di test, trasparenza e valutazione “i rischi si materializzano in modo diverso attraverso algoritmi complessi, rispetto agli algoritmi semplici” e quindi i meccanismi di controllo devono essere strutturati in modo differente. Basti segnalare che per gli algoritmi basati su reti neurali, il risultato di offrire una sempre invocata “Explainable AI” è tuttora in fase di ricerca e sviluppo, non è affatto scontato.
Si incoraggia un dialogo continuo con la società su questi rischi e impatti, per es. consultando le parti interessate da parte degli utilizzatori durante lo sviluppo e il monitoraggio dei rischi.
Oltretutto, l’aumento dell’uso e della dipendenza dagli algoritmi può andare di pari passo con l’aumento del potere di mercato per le grandi aziende tecnologiche, già monopoliste od oligopoliste nella realtà attuale in vari settori. Ciò a scapito delle funzioni statali, spesso rivoluzionate se non stravolte dai nuovi strumenti.
È importante, in tal senso, educare adeguatamente i cittadini per renderli non solo digitalmente competenti (“digital literacy”), ma anche consapevoli di come funzionano gli algoritmi e dei rischi che possono rappresentare nella società.
In direzione di una auspicata governance si muove la creazione, da parte dell’AP per l’Olanda, di un registro obbligatorio degli algoritmi per gli enti governativi, seppure da impostare in modo proporzionato – sì che l’attenzione sia focalizzata sull’identificazione e sulla gestione efficace degli algoritmi ad alto rischio, concedendo un anno di tempo per la loro registrazione obbligatoria (entro la prima metà del 2024). Per l’AP “in assenza di una panoramica di tutti gli algoritmi in uso, è impossibile determinare quali attualmente pongano le maggiori preoccupazioni per quanto riguarda i valori pubblici e i diritti fondamentali”.
Si ribadisce allora che le innovazioni vanno gestite in maniera controllata, per bilanciare la tentazione di lasciare totalmente a briglia sciolta il loro utilizzo (che, a ben vedere, è solo una forma di abbandono a decisioni e impostazioni decisi da altri), magari in nome di una maggiore efficienza. In merito, è sicuramente allettante ma fallace “cadere preda dell’idea che le innovazioni tecnologiche siano fondamentalmente neutrali”.
Il principio di precauzione dovrebbe sempre presiedere alla scelta e all’uso di strumenti che possono violare i predetti diritti fondamentali.
Come richiesto dall’AP, le imprese e la P.A. dovrebbero anzitutto classificare i propri algoritmi più importanti, valutandone il rischio, applicando (per quelli ad elevato rischio) test sul rispetto dei diritti umani e farne seguire una corretta implementazione (se possibile – nel caso, abbandonando strumenti non sicuri).
L’AP promette, a sostegno, di finalizzare e pubblicare entro la fine del 2023 un proprio framework per la valutazione del rischio algoritmico.
Alcuni casi reali e negativi ad alto rischio
Possibili casi d’uso ad alto rischio enumerati dall’autorità e già molto diffusi includono: valutazioni dei dipendenti, rilevamento delle frodi, valutazioni dei clienti per acquisti o prestiti, valutazioni dei pazienti sanitari, ecc. D’altra parte, è anche vero che molti algoritmi hanno pochi rischi, funzionano bene e hanno un impatto positivo: “è quindi importante concentrarsi sugli algoritmi che pongono specificamente rischi per gli interessi pubblici e i diritti fondamentali”.
Un esempio ad alto rischio viene esplicitato dall’AP nel report, ovvero il Crime Anticipation System (CAS) della Polizia, un sistema algoritmico diffuso in tutta la società olandese e che opera su scala nazionale per la prevenzione del crimine.
Le informazioni tecniche pubblicamente note su questo algoritmo sono limitate e non aggiornate, afferma l’AP, oltre a dare atto che la Polizia non starebbe monitorando adeguatamente eventuali bias e altri rischi del sistema (basato su dati storici e statistiche pregresse), specie di tipo discriminatorio.
Peraltro, sistemi di giustizia predittiva come questo sono persino stati dichiarati incostituzionali da altri Paesi, come la Germania.
Un primo passo per l’uso controllato del sistema CAS sarebbe, pertanto, l’aggiornare e mantenere periodicamente nel registro pubblico algoritmico le variabili utilizzate nel CAS e la loro calibrazione (pesi ecc.).
Un altro esempio riguarda le istituzioni finanziarie olandesi che utilizzano algoritmi per adempiere al loro dovere legale di monitorare le transazioni, come parte dei propri controlli antiriciclaggio e antifrode.
Questi algoritmi – basati su modelli di detection di transazioni insolite – comportano il rischio di contribuire a effetti discriminatori indesiderati. Le istituzioni finanziarie dovrebbero quindi usare strumenti di valutazione tecnica per testare i loro modelli, alla luce di potenziali bias, ma ancora una volta vi è una mancanza di trasparenza riguardo a quali esatti strumenti di valutazione utilizzino.
Una maggiore informazione e spiegazioni comprensibili e complementari all’uso possono aumentare la fiducia del pubblico (possibile preda del “chilling effect” visto sopra), contribuendo altresì a migliorare la qualità di questi strumenti.
In tal senso, il report segnala che in Olanda il Ministro dell’istruzione ha immediatamente interrotto l’uso di un algoritmo di rilevamento delle frodi presso il proprio ministero alla fine di giugno, in risposta alle indagini giornalistiche sui possibili effetti discriminatori.
Ciò confermerebbe che l’identificazione e il controllo dei rischi interni all’interno delle organizzazioni governative (e non solo) non siano ancora sufficientemente solidi per poter essere considerati affidabili (in caso contrario, non sarebbe stato utilizzato quello strumento con quegli effetti).
Anche sistemi e applicazioni semplici, in cui gli algoritmi svolgono solo un ruolo limitato, possono avere effetti profondi su individui, gruppi e società, afferma l’AP. Gli esempi includono il noto scandalo olandese dei sussidi “Toeslagenaffaire” nel 2022.
Si tratta spesso di sistemi e applicazioni basati su dati storici o ipotesi implicite utilizzate per ricavare fattori di rischio da tali dati: “in realtà non identificano frodi o altri comportamenti identificabili, ma si limitano a ricavare il rischio di tale comportamento dai dati relativi a predeterminati comportamenti passati”.
E così comportamenti senza precedenti, correlazioni pretestuose o supposizioni ingiustificate portano spesso a un’immagine distorta della realtà. Recando un rischio significativo di discriminazione, di mancanza di trasparenza e di arbitrarietà non intenzionali.
Conclusioni
Il report dell’autorità olandese si pone come autorevole e utile strumento di consapevolezza e analisi. A parte far tesoro di quanto riportato, viene da chiedersi se possa essere uno spunto anche per il nostro Paese (magari assieme alla notizia che la Spagna ha lanciato una propria Agenzia di supervisione dell’AI).
L’impressione è che – soprattutto a livello politico – il nostro Paese per ora stia alla finestra, mentre quanto sta accadendo in altri Paesi europei testimonia vive preoccupazioni e tentativi di abbracciare, capire e governare il fenomeno fin dal livello locale (date le attese e complicazioni a livello europeo).
Oltre allo stanziamento di somme utili ma non certo decisive per l’AI, l’Italia potrebbe prendere spunto dai nostri vicini d’Europa per lanciare iniziative che stiano più al passo con il dilagare algoritmico e delle soluzioni AI, e che soprattutto mirino alla governance del fenomeno.
Diversamente, subiremo le decisioni di altri.
