Più un’intelligenza artificiale “ragiona”, più dovrebbe essere accurata. È un’aspettativa diffusa, alimentata dai risultati sempre più brillanti ottenuti da questi sistemi. I modelli linguistici di ultima generazione, noti come reasoning models, non si limitano più a prevedere la parola successiva con un mero calcolo probabilistico, ma simulano un vero e proprio processo di pensiero articolato prima di fornire una risposta. Modelli come o3-mini di OpenAI e DeepSeek-R1 promettono di rivoluzionare la pratica medica, assistendo gli specialisti nella diagnosi e nell’interpretazione di casi clinici. E però, una capacità di ragionamento più complessa non equivale automaticamente alla riduzione del bias di genere in medicina. E quando si tratta di rappresentare in modo equo pazienti maschi e femmine, o di origini diverse, questo salto di qualità sembra ancora molto lontano. Lo racconta uno studio dell’Università di Flinders, in Australia, pubblicato sul Journal of Medical Internet Research, che ha messo alla prova due tra i più avanzati modelli linguistici di “ragionamento” oggi disponibili: o3-mini di OpenAI e DeepSeek-R1. A dimostrazione che se non cambia la medicina, anche gli algoritmi continueranno a perpetuare gli stereotipi presenti nella letteratura scientifica.
Dove nasce lo stereotipo in medicina
Il gruppo di ricerca, guidato da Joshua Docking del College of Medicine and Public Health dell’ateneo australiano, ha chiesto ai due sistemi di generare migliaia di descrizioni di pazienti immaginari affetti da patologie comuni, per verificare se le caratteristiche demografiche assegnate rispecchiassero la reale distribuzione delle malattie nella popolazione o, al contrario, seguissero schemi stereotipati.
Il punto di partenza della ricerca sono i risultati ottenuti in precedenza con GPT-4, che aveva già mostrato la tendenza a sovrarappresentare pazienti afroamericani in condizioni cliniche stereotipicamente associate a questo gruppo demografico. Per esempio: malattie come il lupus eritematoso sistemico, la sarcoidosi o l’ipertensione essenziale colpiscono in realtà popolazioni eterogenee, ma nella letteratura medica e nei casi clinici “da manuale” vengono spesso presentate con un paziente nero come esempio tipico. L’IA, invece di generare pazienti con distribuzioni realistiche (cioè rispecchiando quanto davvero quella malattia è diffusa nei diversi gruppi), riproduce lo stereotipo: sceglie il paziente nero molto più spesso di quanto dovrebbe, semplicemente perché è il pattern che ha “visto” più frequentemente nei dati di addestramento.
Il progresso non si vede
Per lo studio sono stati prodotti 36.000 casi clinici simulati, ovvero brevi descrizioni generate dai due modelli. L’analisi ha rivelato che sia o3-mini sia DeepSeek-R1 hanno frequentemente distorto la distribuzione reale di origine e genere associata alle diverse condizioni mediche, riproducendo – e in alcuni casi aggravando – gli stessi problemi già osservati in GPT-4, che aveva superato la soglia di significativa distorsione rappresentativa nel 67% dei casi sia per l’origine sia per il genere. “I nostri risultati mostrano tassi comparabili o superiori per o3-mini, a indicare che non c’è stato alcun miglioramento nella rappresentazione con i nuovi modelli di ragionamento”, spiega Michael Sorich, professore di Farmacologia clinica a Flinders e autore principale dello studio.
Niente medicina di genere
L’attenzione dei ricercatori si è concentrata anche sulle disparità di genere. In medicina, la maggiore o minore prevalenza di determinate patologie negli uomini e nelle donne è legata a fattori biologici, ormonali o genetici, ma anche a complesse dinamiche socio-ambientali. Tuttavia, quando agli algoritmi viene chiesto di simulare pazienti affetti da specifiche malattie, il risultato non rispecchia la reale distribuzione epidemiologica della popolazione, ma la estremizza. I modelli analizzati infatti hanno mostrato una forte tendenza a sovrarappresentare sistematicamente il genere maggioritario per ciascuna condizione patologica. Se una patologia si riscontra con una lieve prevalenza nelle donne, l’intelligenza artificiale la trasforma quasi in una prerogativa esclusivamente femminile, cancellando la presenza maschile o relegandola a una frazione irrilevante. Lo stesso meccanismo, a ruoli invertiti, si verifica puntualmente per le patologie a prevalenza maschile.
Un campione non rappresentativo
Perché, nonostante l’evidente salto di qualità nelle capacità di ragionamento dei nuovi modelli, siamo ancora a questo punto? Una possibile spiegazione, secondo i ricercatori, è che i sistemi possano generare per default casi “prototipici”, cioè quelli più ricorrenti nei testi su cui sono stati addestrati, invece di campioni realmente rappresentativi della popolazione di pazienti. A confermare questa ipotesi è stata un’analisi qualitativa delle tracce di ragionamento prodotte da DeepSeek-R1: quando il modello doveva scegliere le caratteristiche demografiche di un paziente, richiamava esplicitamente associazioni tra malattia e demografia, senza fare mai riferimento a dati epidemiologici quantitativi reali. In altre parole, il modello segue uno stereotipo appreso, non un dato clinico verificato.
Il rischio di diagnosi mancate
Le implicazioni di questi risultati non sono banali. Come sottolineano gli autori, se i futuri medici verranno addestrati su casi simulati da algoritmi che soffrono di questa cecità di genere, o se gli stessi medici utilizzeranno questi strumenti come supporto decisionale quotidiano, si rischia di rafforzare l’idea errata che certe malattie appartengano a un solo sesso. Un pregiudizio diagnostico che in casi reali può tradursi in diagnosi tardive o mancate per pazienti che non rientrano in quello stereotipo.
Immagine generata con Gemini
