Bias algoritmici e fairness: quando le reti neurali incontrano i nostri pregiudizi

L’ambiente (e quindi i dati) plasma l’agency artificiale in modo simile a come influenza il comportamento e la cognizione umana: le modalità di presentazione delle informazioni possono determinare diverse modalità e opzioni di scelta per gli agenti (sia umani che artificiali), al punto che si dice che un’azione è framed quando dipende dal modo in cui viene formulato il problema. Non a caso, il ruolo dell’ambiente e gli effetti del contesto nell’agency sono codificati nel concetto di framing o framing effect (si vedano Kahneman e i fratelli Dreyfus), un fenomeno per cui si danno risposte differenti a uno stesso problema in base al modo in cui il problema stesso è inquadrato ed espresso. Il limite che si osserva quando un sistema di AI non riesce a identificare tutti i fattori rilevanti in una determinata situazione, finendo per prendere decisioni subottimali o addirittura errate, è noto come frame problem e rappresenta la controparte del framing nella computer science. Esso consiste nell’apparente impossibilità di scrivere un programma che, oltre ad incorporare le conoscenze che una persona ordinaria possiede, sia anche in grado di applicare in modo appropriato tali conoscenze nelle diverse circostanze. La soluzione di questo problema sembra richiedere necessariamente la realizzazione di macchine che apprendono dall’esperienza, come si è tentato di fare nel passaggio dalla Symbolic AI al machine e deep learning, ma la formalizzazione matematica del frame problem è stata un punto di partenza per discussioni più generali sulla difficoltà della rappresentazione della conoscenza nei sistemi intelligenti (come incorporare assunzioni predefinite razionali e senso comune in un ambiente virtuale).

Anche nel caso dell’Intelligenza Artificiale, quando un sistema che funziona bene nella fase di test (come Tay prima di essere reso accessibile al pubblico) viene inserito in un ambiente reale, l’ambiente viene perturbato e l’agente può cessare di operare come previsto. Esattamente come gli agenti cognitivi umani, la cui capacità di giudizio e il cui decision making sono affetti da bias in parte determinati dall’ambiente (o meglio, dalla relazione cognitiva, attentiva e percettiva agente-ambiente), neanche i sistemi intelligenti sfuggono al problema delle distorsioni operative e “cognitive”. Il caso che più vigorosamente ha evidenziato il problema delle discriminazioni algoritmiche è indubbiamente il caso Compas(2013). COMPAS era un algoritmo di evidence-based risk assessment sviluppato dalla società Equivant che valutava il rischio di recidiva e la pericolosità sociale di un individuo e, sulla base di dati statistici, precedenti giudiziari, un questionario somministrato all’imputato stesso e una serie di altre variabili coperte da proprietà intellettuale, suggeriva una classificazione in varie categorie di rischio, da “molto basso” a “molto alto”. La sentenza State vs Loomis vide protagonista Erik Loomis, un cittadino americano arrestato per non essersi fermato all’ordine di un poliziotto e alla guida di un autoveicolo senza il consenso del proprietario, ma ingiustamente condannato a 6 anni di prigione e 5 di libertà vigilata in seguito alle analisi del tool COMPAS.

Fortunatamente, da un'indagine condotta su più di 10.000 imputati da parte dell’organizzazione non governativa ProPublica emerse che il sistema era estremamente parziale: il tasso di falsi positivi, cioè di persone a cui veniva attribuito un rischio di recidiva senza poi commettere effettivamente altri crimini, era maggiore in relazione al colore della pelle e all’ambiente sociale di riferimento: arrivava infatti al 45% nel caso di persone afroamericane, mentre per i bianchi si attestava sul 23%, addirittura rilevando un maggiore tasso di falsi negativi (quindi sovrastimando i bianchi non recidivi). COMPAS forniva quindi in molti casi inaccettabili indicazioni che conducevano a scelte “razziste” e discriminatorie, un chiaro esempio di base-rate fallacy. Come nel caso di Joy, anche in quella circostanza il problema era nei dati di allenamento sullo storico delle decisioni dei giudici americani che erano evidentemente sbilanciate, inducendo l’algoritmo a replicare tale comportamento (col benestare degli stessi giudici che, invece, lo ritenevano imparziale). L’opacità dei dati di COMPAS non permetteva di capire a fondo i motivi di questi effetti discriminatori, ma fu questo episodio a incentivare la ricerca in quelli che oggi sono noti come machine bias o bias algoritmici. Per un ulteriore esempio, nel 2023 NeuroSama, una VTuber di proprietà dell’azienda di game developing Vedal, che ha ricevuto un ban temporaneo su Twitch dopo aver usato termini discriminatori e pericolosi. Allenata sulle domande e le frasi scritte dal pubblico, la streamer virtuale ha negato la verità dell’olocausto, consigliato l’inno sovietico (un tema sensibile negli anni dell’invasione russa in Ucraina e della conseguente guerra russo-ucraina) e confessato l’uccisione di 20 persone.

Problemi etici e metodi di debiasing

Senza toccare il grande capitolo degli LLM (che meriterebbe un articolo dedicato), un grosso settore sensibile ai bias dell’AI è quello bancario e assicurativo: tutte le grandi istituzioni finanziarie dispongono di enormi dataset sui profili finanziari dei clienti che, integrati con operazioni data-driven basate sull’AI, possono permettergli di variare in modo dinamico i costi dei prodotti, suggerire promozioni e offerte personalizzate, concedere prestiti o assicurazioni e tanti altri task in modo automatico. Tuttavia, se i dataset sono inquinati da bias negli input, produrranno bias anche in output, come a questo punto è evidente: un esempio fu un algoritmo di reclutamento sperimentale di Amazon (ora dismesso), che aveva dimostrato di essere più favorevole nei confronti degli uomini, penalizzando i candidati donna per i ruoli tecnici. Nel settore bancario questo fenomeno è ancor più problematico, perché può limitare l’accesso al credito o ai servizi per specifiche categorie secondo distorsioni presenti nel training. Alcuni ricercatori di Intesa Sanpaolohanno pubblicato uno studio su Nature in cui identificano due tipi di bias:

• il bias statistico include le distorsioni che derivano da dati non rappresentativi del fenomeno. Ad esempio, un algoritmo per la concessione di prestiti viene addestrato solo su dati di clienti che hanno ricevuto effettivamente il prestito, escludendo così informazioni su potenziali candidati idonei ma non selezionati;
• il bias storico deriva invece da decisioni di classificazione dei dati tendenziose o da pregiudizi socialmente radicati e stabilisce differenze sistematiche tra i gruppi. Questo tipo di bias identifica il problema da risolvere in direzione della fairness algoritmica, cioè la sostanziale equità dell'outcome dei modelli.

L’ambiente è dunque determinante per l’agency cognitiva umana e per l’agency artificiale: così come il modo in cui noi lo riceviamo cognitivamente è affetto da bias e distorsioni di molti generi, gli agenti artificiali necessitano di un certo grado di avvolgimento anche per mansioni che riterremmo a scarso effort e lo specifico spazio digitale/fisico e paniere di dati in cui le AI sono immerse o di cui si nutrono produce degenerazioni che è necessario comprendere per risolvere. In alcuni casi, tuttavia, il problema non risiede nei dati, ma negli algoritmi stessi: è il caso del collaborative filtering, un algoritmo che sceglie i contenuti adatti agli utenti sulla base dei loro dati di utilizzo e delle loro preferenze di consumo. Dietro l’angolo, c’è sempre la possibilità che questo tipo di modelli esibisca un comportamento discriminatorio, ad esempio nel momento in cui vengono consigliati certi contenuti (come un film di Natale su una piattaforma di streaming) ad utenti sensibili e non in target (persone della comunità musulmana), ottenendo così un mismatch di matrice algoritmica e socialmente indesiderabile. Un’altra condotta esecrabile è la profilazione degli utenti al fine di raccomandare un contenuto sulla base dell’appartenenza a una certa categoria (es. comunità LGBT): in questo modo la discriminazione può essere sia negativa che positiva, ma è un problema in entrambi i casi.

Ma se la presenza di pregiudizi nelle decisioni umane è accettata (in quanto inevitabile e in quanto configura il funzionamento ordinario della cognizione umana), perché non si dovrebbe accettarla anche negli algoritmi?

• Un primo ordine di risposte sta nella presunta utilità di questa tecnologia: se commette gli stessi errori in cui incappano gli umani, ma addirittura su scale maggiori, il trade-off rispetto ai vantaggi si abbassa, riducendo l’interesse verso lo sviluppo della tecnologia stessa: in sostanza, a che serve un sistema intelligente che svolge male i task per cui è pensato, perché è distorto come un essere umano, ma senza la sua flessibilità cognitiva?
• Un secondo ordine di risposte risiede nell’attribuzione di responsabilità, che è un capitolo molto grosso dell’etica dell’Intelligenza Artificiale su cui ci soffermeremo in un articolo dedicato.
• Un terzo ordine di risposte è nei meccanismi di trust: la fiducia negli esperti è infatti un aspetto fondamentale dell’expertise e della scienza dal punto di vista sociologico. Un esperto che non sia riconosciuto come un’autorità epistemica non è in grado di esercitare influenza sulle policy e sulle decisioni, né di persuadere e governare i problemi a cui è interessato, perdendo così la sua validità di esperto. Se nessuno si fida di lui, cosa gli resta da fare e come è in grado di mettere in gioco la propria competenza utilmente? Ebbene, sistemi automatici più o meno efficaci in certi task, ma che producono risultati biased, parziali, errati o discriminatori rischiano la stessa china: la perdita di fiducia nell’AI, conseguente alla reputazione che rischia di farsi allo stato attuale, non solo disincentiverà gli investimenti nel settore (con tutti i conseguenti costi opportunità in termini produttivi, industriali, economici e professionali), ma impedirà a questa tecnologia di configurarsi come “esperta” e “affidabile” nei ristretti domini di sua competenza.
• Un quarto e dirimente ordine di risposte è nella retroattività del problema: il circolo vizioso legato ai bias algoritmici è osservabile nella relazione biunivoca tra i bias umani incorporati nei dati di addestramento (e nei big data in generale), che sono la causa della discriminazione algoritmica, e i bias algoritmici che, reiterando pregiudizi e distorsioni, inducono a loro volta bias nei dati che producono. In particolare nel caso della generative AI, che ha come caratteristica fondamentale la generazione di nuovi dati (detti dati sintetici), il rischio è un loop in cui i dati di cui si nutre la rete sono biased e gli output statistici che restituisce come nuovi dati specchiano tale caratteristica, producendo e immettendo su Internet grandi volumi di dati sintetici a loro volta biased, che saranno poi usati per trainare i futuri modelli o consultati da utenti umani per ogni tipo di task e ricerca. Questo problema è riassunto nelle 4 fasi dell’Ethical AI: i real world bias si riflettono nei data bias, che si traducono in algorithmic bias, impattando sui business bias che retroagiscono sui real world bias.

La terza risposta, in definitiva, implica una minore neutralità e una minore adozione di soluzioni di questo tipo, un maggiore effort necessario per ristrutturare il sistema economico e ripristinare precedenti modelli produttivi ormai obsoleti, e una perdita generalizzata di interesse e di influenza nel discorso pubblico e nel policy making. Per nostra fortuna, esistono un filone di ricerca noto come AI alignment, che si occupa di capire come sviluppare agenti AI che non siano nocivi per gli umani, e un filone di ricerca che tenta di mitigare i bias algoritmici e implementare metodi di debiasing applicando dei correttivi e delle restrizioni pre o post-processing o cercando nuove strade per sviluppare AI che risultino sempre meno biased e sempre più fair, sia al netto dei dati che in virtù di database meglio selezionati.

---

Bibliografia

Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the dangers of stochastic parrots: Can language models be too big?. In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610-623).

Casonato, C. (2020). Intelligenza artificiale e giustizia: potenzialità e rischi. DPCE online, 44(3).

Castelnovo, A., Crupi, R., Greco, G., Regoli, D., Penco, I.G., Cosentini, A.C. (2022). A clarification of the nuances in the fairness metrics landscape. Scientific Reports, 12(1), 4209.

Caton, S., & Haas, C. (2024). Fairness in machine learning: A survey. ACM Computing Surveys, 56(7), 1-38.

Donati, F. (2020). Intelligenza artificiale e giustizia. Rivista AIC, 1.

Dreyfus, H.L. (1992). What Computers Still Can’t Do: A Critique of Artificial Reason (3^a ed.). MIT Press, Cambridge, London.

Floridi, L. (2022). Etica dell’intelligenza artificiale: Sviluppi, opportunità, sfide. Raffaello Cortina Editore.

Garcia, M. (2016). Racist in the Machine. World Policy Journal, 33(4), 111-117.

Kahneman, D. (2011). Pensieri lenti e veloci. Mondadori, 2021.

Larson, J., Mattu, S., Kirchner, L., Angwin, J. (2016). How We Analyzed the COMPAS Recidivism Algorithm. ProPublica, www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm, 23 maggio 2016.

Mehrabi, N., Morstatter, F., Saxena, N., Lerman, K., & Galstyan, A. (2021). A survey on bias and fairness in machine learning. ACM computing surveys (CSUR), 54(6), 1-35.

Oneto, L., & Chiappa, S. (2020). Fairness in machine learning. In Recent trends in learning from data: Tutorials from the inns big data and deep learning conference (innsbddl2019) (pp. 155-196). Springer International Publishing.

Quintarelli, S., Corea, F., Ferrauto, C.G., Fossa, F., Loreggia, A., Sapienza, S. (2020). Intelligenza artificiale. Cos’è davvero, come funziona, che effetti avrà. Bollati Boringhieri.

Rossi, F. (2019). Il confine del futuro. Possiamo fidarci dell’intelligenza artificiale?. Feltrinelli Editore.

Simoncini, A. (2019). L’algoritmo incostituzionale: intelligenza artificiale e il futuro delle libertà. BioLaw Journal-Rivista di BioDiritto, (1), 63-89.