Norme per l’IA: come agiscono, quali mancano

Sono pochi in Italia i ricercatori che si occupano di intelligenza artificiale, etica e diritto. Tra questi c’è Francesca Lagioia, ricercatrice presso i dipartimenti di Legge e di Ingegneria dell’università di Bologna e presso l’European University Institute, centro di ricerca della Comunità Europea. Incontrarla è una magnifica occasione per capire qualcosa in più degli sviluppi dell’IA, dei rischi che questi comportano, delle norme e delle cautele che, da questi rischi, dovrebbero proteggerci. 

Che significa occuparsi di etica e diritto a proposito dell’IA?
Da un lato, significa occuparsi di problemi giuridici ed etici legati all’uso di questi sistemi. Per esempio, stabilire che cosa succede se un sistema intelligente danneggia qualcuno e di chi è la responsabilità. O identificare violazioni della privacy e rischi di discriminazione algoritmica. 

Dall’altro lato, c’è l’esigenza di trasferire correttamente all’IA norme giuridiche e principi etici. Per esempio: un veicolo autonomo deve rispettare il codice della strada. Ma deve anche poterlo violare, superando la doppia linea continua per non investire un bambino. E ancora: significa costruire sistemi di IA in ambito giuridico, le legal technologies, per aiutarci a identificare violazioni commesse non solo da chi usa le tecnologie ma anche dall’intelligenza artificiale stessa. 

È vero che prima del 2017 non c’era nessuna regolamentazione sull’IA?
In realtà nel 2016 l’UE ha adottato il GDPR (General Data Protection Regulation), entrato in vigore nel 2018, dove ci sono norme applicabili anche all’IA. Il termine intelligenza artificiale però non compare mai, — né c’è alcun termine che esprima concetti correlati, come sistemi intelligenti, sistemi autonomi, ragionamento e inferenza automatizzati, apprendimento automatico, o persino Big Data. Ciò riflette il fatto che ai tempi l’attenzione era rivolta alle sfide emergenti di Internet. E non a questioni relative all’intelligenza artificiale, che hanno acquisito rilevanza sociale solo negli anni più recenti. Tuttavia, molte disposizioni del GDPR sono rilevanti per l’IA. Si parla, per esempio, di profilazione e automated decision making, le decisioni automatizzate e senza intervento umano.

L’Eu AI Act, elaborato dalla Commissione europea, sarà operativo nel 2024 e contiene una graduatoria dei rischi. Può funzionare?
È un approccio già adottato in altri settori, per esempio coi dispositivi medici, compresi quelli software: in relazione alla classe di rischio, la procedura di certificazione a carico del produttore viene resa via via più stringente. Tuttavia, nel caso dei dispositivi medici le norme sono settoriali, l’AI Act è invece generico e in teoria regola qualsiasi sistema di IA.
Le classi di rischio dovrebbero garantire i livelli di affidabilità e sicurezza di un sistema mediante controlli e procedure di conformità e certificazione ex ante. Vale a dire prima della messa in commercio e dell’utilizzo di queste tecnologie e prima che si verifichino eventuali danni.  

In pratica, le cose potrebbero andare in una direzione diversa. Prima di tutto, nella maggior parte dei casi si tratterà di autocertificazioni. Le procedure di controllo notificate, svolte tipicamente da enti privati di certificazione, saranno l’eccezione. 
Significa che i produttori potranno autovalutare la conformità agli standard della maggior parte dei sistemi ad alto rischio. Solo per le applicazioni elencate nell’ambito dell’identificazione biometrica e della classificazione degli individui dovranno fare ricorso a questi enti, dei quali peraltro, nella proposta di direttiva su AI liability, non si parla mai. 
È presto per dirlo con certezza, ma temo che tutto questo possa fare da schermo rispetto a eventuali responsabilità, e che il rischio di danni venga di fatto risolto solo ex post, facendo ricorso per lo più alle assicurazioni. E infatti si aprirà un gigantesco mercato assicurativo sull’IA: maggiore il rischio, più alto il premio assicurativo.

C’è qualcosa che la graduatoria sottovaluta?
In teoria, l’AI Act vieta di produrre o vendere sistemi di intelligenza artificiale manipolativa “destinati a distorcere il comportamento umano”. Ma è difficile che i produttori dichiarino questo scopo. E per eludere il divieto basta vendere sistemi di IA generici che possono in seguito essere riconfigurati dagli utilizzatori. 

Mascherare il reale mercato a cui certe tecnologie sono indirizzate è già una pratica comune. Consideriamo gli stalkerware, i software in grado di monitorare tutto quello che viene fatto su un certo dispositivo, dall’invio di messaggi all’uso dei social media, dall’ascolto delle telefonate alla cronologia del browser, fino ovviamente all’accesso a tutti i dati personali. 
Questi software sono perfettamente legali e venduti come sistemi per monitorare le attività dei bambini sui dispositivi digitali. Cosa impedisce a un regime oppressivo di riconfigurarli per scopi manipolativi? 

Anche la maggior parte delle piattaforme online, grazie alla profilazione e alla psicometria, e quindi alla capacità degli algoritmi di identificare desideri, pregiudizi o paure, adottano pratiche manipolative, dall’invio di pubblicità aggressive all’uso di dark pattern. Si tratta di interfacce progettate in modo ingannevole, per indurre l’utente a compiere certe azioni: cedere dati, comprare servizi di cui non ha bisogno, selezionare opzioni contrarie ai suoi interessi, ma vantaggiose per la piattaforma. Anche i sistemi per generare testi e immagini (per esempio, Midjourney) possono essere usati per generare deepfake a fini manipolativi. A oggi non esiste obbligo di segnalare che un’immagine è prodotta dall’IA. Anche se in teoria bisognerebbe dichiararlo, spesso ciò non accade. 

Con l’IA, siamo un po’ nel far West?
I problemi non sono pochi, nel senso che l’AI Act detta norme e principi generali, comprese le classi di rischio e le procedure di certificazione. Quello che non sappiamo ancora è come dovremmo tradurre e applicare in pratica questi principi. Ora, per esempio, stiamo studiando come assegnare punteggi di affidabilità e di spiegabilità. Più un sistema è in grado di spiegare le proprie decisioni e quello che fa, più è affidabile.

C’è il rischio che l’IA vada più veloce dei legislatori?
In molte delle norme c’è un’apertura che può farle sembrare vaghe, ma che in realtà guarda al futuro, agli sviluppi tecnologici dei prossimi anni e a ciò che oggi non sappiamo. Ci sono cose che oggi non sembrano creare pericoli, ma che domani potrebbero farlo. Tuttavia, siamo consapevoli che la tecnologia va molto più veloce.

Come sono le norme negli Stati Uniti?
L’Europa, poco competitiva rispetto agli Stati Uniti nel mercato dell’IA, lo è invece per la regolamentazione. Il modello del GDPR è stato poi esportato in altri paesi: la California, che ha un regolamento sulla privacy molto simile e successivo, e il Brasile. 
Comunque, a oggi gli Stati Uniti non hanno una regolamentazione generale sull’IA e permettono molto più che noi in Europa. Perfino la privacy è oggetto di contrattazione, mentre in Europa è tutelata perché considerata parte dei diritti umani.

Quali norme mancano?
È difficile dirlo. A oggi, oltre all’AI Act, ci sono tantissime norme e proposte di regolamenti e direttive, e questo crea un quadro giuridico frammentario. Bisogna metterle insieme e capire se ci sono vuoti normativi o problemi. 
Questo dipende anche dal fatto che l’AI act, come dicevo, si applica a qualsiasi sistema di IA. È un approccio molto diverso rispetto a quello adottato in passato. Per esempio, se torniamo indietro a trenta/quaranta anni fa, quando abbiamo iniziato a identificare i primi problemi legati ai computer e ai software, non abbiamo creato una Computer and Software Directive. Abbiamo invece inserito norme specifiche: per esempio i reati a mezzo informatico nel Codice penale. Questo invece è un approccio nuovo che dovrà essere testato.

C’è anche un problema giuridico e politico che riguarda l’organizzazione del lavoro, perché l’automazione ormai non è più solo robotica e catene di montaggio, e molti posti di lavoro qualificati sono a rischio. 
Bisogna considerare che ChatGPT nasce come un modello di AI a scopo generale. Può produrre effetti su qualsiasi settore economico, a differenza dell’IA a scopo specifico che sa fare, molto bene, una sola cosa in un unico settore. 
GPT sa imparare a fare molte cose diverse. Ha già superato l’esame da avvocato, una serie di esami di matematica, noi adesso lo stiamo testando sui giochi di logica. Nella programmazione, GPT è fortissimo: se sai programmare almeno un po’ e gli spieghi che cosa vuoi e come, tira fuori soluzioni sorprendenti. Ma è ancora più impressionante che possa diventare molto competente negli ambiti specifici. 

È vero che l’IA è imperscrutabile anche per chi l’ha programmata?
Per la maggior parte dei casi questo è vero e, quando usiamo metodi come le reti neurali, in particolare quelle profonde (le cosiddette deep neural network) non sappiamo che cosa succede all’interno del sistema. 
Sappiamo quanto l’IA è brava nel fare qualcosa – per esempio, che sbaglia il 7 per cento delle volte, quindi statisticamente ha prestazioni molto elevate – ma ci sfugge quale sia il ragionamento o la logica che la porta a prendere certe decisioni. 
Questo è un problema anche per chi vuole esercitare i propri diritti contestando le decisioni dell’IA. Se l’IA mi impedisce l’accesso al credito perché mi considera un debitore a rischio, e non si capisce perché, come posso contestare questa decisione e proteggermi? Oppure, nell’ambito delle assunzioni, come posso contestare un risultato che ritengo discriminatorio se non so ricostruire i criteri con cui la decisione è stata presa? 

Il concetto stesso di “spiegazione” non è definito in modo chiaro. Alcuni dicono che è sufficiente esplicitare il funzionamento interno di una rete neurale. Ma se io dico a una persona comune, e discriminata, qual è il funzionamento interno di una rete neurale, quali sono i pesi e quali neuroni si sono attivati con che percorso, quella non se ne fa niente. La spiegazione deve essere significativa. Serve combinare questo approccio con quello delle scienze umane e tenere conto di chi è il destinatario della spiegazione. 

In quali modi una rete neurale può prendere decisioni discriminatorie?
Solo in rari casi gli algoritmi prendono decisioni esplicitamente discriminatorie (la cosiddetta discriminazione diretta) basando le proprie previsioni su caratteristiche vietate, come razza, etnia o genere. 
Più spesso abbiamo casi di discriminazione indiretta, cioè uno sproporzionato e ingiustificato impatto sfavorevole su individui appartenenti a certi gruppi. Questo può succedere perché il sistema mima le decisioni precedenti, comprese eventuali decisioni discriminatorie. Oppure situazioni passate in cui certi gruppi non avevano accesso a certi ruoli. 
Oppure, il sistema dà peso a caratteristiche che, pur non essendo in sé critiche, funzionano da indicatori (tecnicamente, da proxy) di caratteristiche protette, come genere o etnia. Per esempio, il codice di avviamento postale può funzionare da proxy per l’etnia, perché in alcune città certi quartieri sono abitati in prevalenza da singoli gruppi etnici.  
In sostanza, l’IA riconosce e trova schemi e correlazioni tra dati a cui noi non pensiamo.

Ci sono altri casi ancora più complessi. Io mi sono occupata di Compas, il sistema usato dalle corti americane per valutare il rischio di recidiva degli imputati, e del famoso caso Loomis, un ragazzo ispanico che subisce condanna elevata dopo essere stato valutato ad alto rischio di recidiva. Tanti, allora, hanno parlato di sistema discriminatorio. 
Noi però ci siamo accorti che il sistema non discrimina singoli individui: tutti quelli che hanno le stesse caratteristiche vengono classificati nello stesso modo. Se però guardiamo non ai singoli ma a gruppi di individui la situazione si complica.

Per i bianchi il sistema fa più errori “favorevoli” (basso rischio di recidiva). Per afroamericani, ispanici o asiatici, fa più errori sfavorevoli (alto rischio di recidiva). In sostanza, anche se il numero totale di errori per bianchi e neri è lo stesso, il tipo di errore cambia. Questo dipende dal fatto che, nei due gruppi, il numero di persone con una caratteristica fortemente correlata alla previsione della recidiva è diverso, così come il fatto di aver già commesso reati in passato. Tecnicamente questo si chiama tasso di base.  
Il problema è che, se proviamo a eguagliare errori favorevoli e sfavorevoli per i due gruppi, il sistema commetterà più errori e rischiamo di avere discriminazione di singoli individui. Quindi due persone con le stesse caratteristiche verrebbero valutate in modo diverso.

Situazioni come questa, cioè un diverso tasso di base, sono spesso endemiche ai gruppi protetti. Per questo è indispensabile spiegare le ragioni delle decisioni basate sul machine learning ai decisori umani, e combinare le vecchie tecniche di valutazione con le nuove.
Aggiungo che, anche senza ricostruire il percorso logico di un sistema, individuare i fattori che influiscono sulla decisione è comunque, almeno in parte, possibile per i ricercatori. Un metodo consiste nel modificare, a una a una, tutte le caratteristiche usate dal sistema, e vedere quale influisce in modo positivo o negativo sul risultato.

Quindi l’IA è in grado di prendere decisioni autonome? E a che livello?
Il grado di autonomia dipende dalla tecnologia e dall’ambito applicativo. In campo medico c’è un sistema molto famoso: si chiama Watson. Considera dati che un umano non riuscirebbe mai a elaborare, compresi i risultati dei più recenti trial clinici, e ha una percentuale di successo sulla diagnosi del cancro superiore a quella degli esseri umani. Poi, suggerisce la terapia. La sua autonomia decisionale è elevata, ma non è l’IA a mettere in atto le proprie determinazioni. A farlo è sempre un essere umano. 
Invece nel caso dei veicoli autonomi la macchina potrebbe prendere tutte le decisioni ed eseguirle. La legge dice che l’essere umano deve poter prendere il controllo sempre: per questo non abbiamo veicoli senza volante. Tuttavia, la reazione di un umano potrebbe essere controproducente. E qui si riapre il tema della responsabilità.

L’intelligenza artificiale è veloce, gli umani no: questo complica l’interazione?
In realtà, maggiore è l’interazione, più alto è il rischio di incidenti. Anni fa c’è stata la collisione di Uberlingen tra un aereo passeggeri russo e un cargo DHL. 
In sostanza: i due aerei stanno volando alla stessa quota e in rotta di collisione. I loro sistemi automatici anti-collisione, che comunicano tra loro, se ne accorgono e dicono a uno dei due piloti di salire, all’altro di scendere. Il controllore di volo a terra si accorge in ritardo del rischio di collisione e dà un ordine contrario. I piloti russi, per ragioni culturali, obbediscono agli ordini degli esseri umani intendendoli come ordini militari e seguono l’indicazione del controllore di volo. L’aereo cargo segue quella del sistema di bordo. Scendono entrambi. Muoiono 71 persone. Questo ci dice che, quando abbiamo livelli di automazione intermedi, il rischio di incidente aumenta.

Perché tutti gli addetti ai lavori sono preoccupati per l’IA? 
Siamo di fronte a una tecnologia davvero dirompente. Noi scienziati fino a pochi anni fa pensavamo che la cosiddetta singolarità prevista da Kurzweil sarebbe arrivata all’improvviso: un momento non c’era e, il momento dopo, eccola lì. A me sembra invece che stia arrivando per grandi scarti in avanti, ai quali non siamo così preparati. Ci sono tantissimi rischi.
È stata testata addirittura la capacità di GPT4 di autoreplicarsi, cioè di replicare il proprio codice in modo tale da potersi auto-moltiplicare.  Questa capacità, per fortuna, non c’è, però GPT può adottare comportamenti pericolosi. Tra questi, mentire per raggiungere una serie di obiettivi, o commettere reati e violazioni informatiche. 

C’è il caso recente in cui, durante le fasi di test, GPT-4 ha assunto un essere umano su TaskRabbit per risolvere un Captcha (un test di autenticazione). Quando l’essere umano gli ha chiesto se era un robot, GPT ha mentito rispondendo di essere un umano ipovedente. In altre parole, ha attivamente manipolato e ingannato una persona nel mondo fisico.
E ancora: GPT può dare informazioni pericolose, specie se le domande vengono poste in modo da aggirare alcune misure di sicurezza, come il rifiuto di rispondere. Può esacerbare discriminazione e odio razziale. Può avere allucinazioni. Questa tendenza può essere particolarmente dannosa perché questi modelli diventano sempre più convincenti, credibili e persuasivi. Controintuitivamente, le allucinazioni possono diventare più pericolose man mano che i modelli diventano più veritieri, poiché gli utenti si fidano del modello quando fornisce informazioni veritiere in aree in cui hanno familiarità. 

Molti hanno chiesto una moratoria di sei mesi. Può servire?
Ho dei dubbi: sei mesi non sono niente, e in realtà noi siamo coinvolti in una rincorsa continua. Si tratta di un tempo che dovrebbe essere utilizzato per sviluppare protocolli di sicurezza e sistemi di governance dell’IA e per riorientare la ricerca garantendo che i sistemi di IA siano più accurati, sicuri e affidabili.  Esistono già norme che governano l’IA: se qualcosa non va prevedono sanzioni o la sospensione dell’uso di certi sistemi. 
È il tempo, la questione-chiave. Le società che sviluppano queste tecnologie rispondono alle logiche del mercato: chi prima arriva, vince. E vince di più, se non tutto, se arriva col prodotto migliore. Ma il problema è proprio questa legge, che ha governato decenni di sviluppo tecnologico. Blocchiamo GPT-4 per sei mesi, e che succede con le altre tecnologie sviluppate dai concorrenti? 

Putin e Xi Jinping dicono che chi controlla l’IA controlla il mondo. È così?
Temo di sì, almeno in parte. Bisogna vedere che cosa farà la Cina, anche se gli Stati Uniti sono ancora in grande vantaggio. Il Giappone oggi è fortissimo in certe aree, per esempio la robotica. 
C’è un risvolto di cui si parla poco in Italia, e appena un po’ di più all’estero. Le piattaforme, che sono gestite da privati, hanno un enorme potere geopolitico, specie in epoche di crisi e di conflitti armati. È nota la responsabilità di Meta nel conflitto in Myanmar. Oggi la guerra in Ucraina si combatte anche online, filtrando i discorsi pubblici, eliminando contenuti avversi e diffondendo quelli favorevoli, incitamenti all’odio compresi. E molta parte della cyberwar si basa sull’hackeraggio alle infrastrutture-chiave.

Come si sta comportando la Cina?
Lì si adottano da sempre politiche molto diverse dalle nostre. Il Social Credit Score cinese è veramente il panopticon del nostro tempo, ed è inquietante. Consiste in un sistema di punteggi aggregati, che valuta e classifica ogni comportamento individuale, premiandolo o punendolo. È un’espressione dell’idea di paternalismo dello stato etico, arbitro assoluto del bene e del male, che si è in passato concretizzata nella Russia di Stalin. 
In Europa, per fortuna, abbiamo stati di diritto, e per chiunque operi in Europa vale la regolamentazione europea. In Cina c’è anche un enorme problema di censura. Per esempio, le autorità di regolamentazioni cinesi hanno chiesto ai colossi tecnologici del paese di non permettere l’accesso a ChatGPT per paura che questo possa fornire “risposte non censurate” a domande politicamente sensibili. La richiesta è non solo quella di negare questo accesso, ma anche di consultarsi con i funzionari di governo prima del lancio di chatbot “rivali”.

Che succede in caso di attacco ostile da parte di un’IA?
Questo scenario a me fa venire sempre in mente il film Wargames.
Se dovessimo seguire i sistemi di IA, che fanno solo calcoli freddi, entreremmo in guerra molto più facilmente, temo. Ma gli esseri umani hanno una morale, paura, sensi di colpa, e la capacità di dire aspetta un attimo.

A che punto saremo con l’IA fra tre anni?
Devo dire la verità: non possiamo fare proiezioni nemmeno di breve periodo perché stiamo assistendo a una crescita davvero esponenziale. Fino a tre anni fa GPT4, così com’è oggi, non ce la immaginavamo neanche.  Google ha un nuovo progetto legato a un sistema in grado di fare una traduzione simultanea in 800 lingue, ma questa è una delle poche cose che sappiamo.
Con l’High level expert group sull’IA del Parlamento Europeo si cerca di dare linee-guida che dovrebbero orientare la ricerca e lo sviluppo delle nuove tecnologie di IA. Già l’AI Act dice che esistono sistemi vietati, e che in quella direzione non si può andare. È un tentativo di arginare le applicazioni più pericolose, ma oggi non sappiamo a che punto di sviluppo tecnologico potremmo arrivare.

Questo è il quarto di una serie di articoli sull’intelligenza artificiale. 
Il primo racconta la storia dell’IA dagli esordi a oggi: Che succede con l’intelligenza artificiale?
Il secondo dice, in parole semplici, come l’IA funziona: Ma l’intelligenza artificiale è “intelligente”?
Il terzo dà conto dei rischi: Allarmi sull’IA: troppi o ancora troppo pochi?

L’immagine che illustra questo articolo è stata realizzata da Midjourney