i tre rischi nascosti dell’IA in medicina

Gentile direttore,
l’intelligenza artificiale in medicina difficilmente si impone con la drammaticità di un evento acuto. Non somiglia a un’epidemia improvvisa né a un errore terapeutico clamoroso. Tende piuttosto a insinuarsi silenziosamente nelle pieghe della pratica clinica quotidiana, ridefinendo passo dopo passo ciò che conta, ciò che viene misurato, ciò che può essere trascurato, senza che la maggior parte degli operatori sanitari ne abbia piena consapevolezza. In questo senso, l’Enciclica Magnifica Humanitas di Papa Leone XIV rappresenta un documento utile non perché offra indicazioni tecniche dirette, non è un manuale di bioingegneria né una linea guida per la validazione di algoritmi, ma perché mette in evidenza tre rischi sistemici che la medicina contemporanea, immersa nell’entusiasmo per l’innovazione algoritmica, rischia di sottovalutare: la riduzione del paziente a profilo statistico, l’opacità della responsabilità clinica e la nuova disuguaglianza nell’accesso alle cure potenziate dall’IA. Tre rischi che non sono indipendenti l’uno dall’altro, ma si alimentano reciprocamente, costruendo una cornice entro cui la relazione di cura rischia di trasformarsi silenziosamente in un processo amministrativo governato da scatole nere.

Primo rischio: il paziente come profilo, non come persona

Il primo rischio, forse il più insidioso perché opera silenziosamente all’interno di promesse di precisione e personalizzazione, è la graduale riduzione del paziente a un insieme di dati elaborabili. L’Enciclica dedica ampio spazio alla dignità della persona umana (nn. 48-53), ricordando che essa non dipende dalle performance, dall’utilità sociale o dalla “produttività” in termini di salute. La dignità è un dono che precede ogni valutazione funzionale: “nessun peccato, nessun fallimento, nessuna umiliazione, nessuna esclusione può intaccare il valore profondo di una vita umana che Dio ha voluto e chiamato all’essere” (n. 52). Ma è esattamente il modello opposto, la valutazione funzionale come criterio di accesso alle cure, che molti sistemi di IA tendono a incorporare, non per malvagità esplicita ma per inerzia progettuale.

Nella pratica clinica, ciò si traduce in una forma di razionamento implicito che non passa attraverso una deliberazione trasparente, ma attraverso la soglia opaca di un modello predittivo. Prendiamo il caso degli algoritmi di triage nei pronto soccorso. Sempre più ospedali adottano sistemi di supporto decisionale che, sulla base di parametri vitali, parametri laboratoristici e dati anamnestici, assegnano un punteggio di priorità. In linea di principio, è un vantaggio: standardizza l’urgenza, riduce i tempi di attesa, migliora l’allocazione delle risorse. Ma cosa succede quando l’algoritmo è stato addestrato su dati storici che riflettono pregiudizi preesistenti? È stato documentato che alcuni sistemi di triage sottostimano la gravità delle condizioni in pazienti di etnie minoritarie o in donne con sintomi di infarto, semplicemente perché i dati di addestramento contenevano meno casi di quella popolazione o perché la presentazione atipica dei sintomi non era stata adeguatamente codificata. Il risultato è che un paziente riceve un codice di priorità più basso non perché qualcuno abbia deciso che la sua vita vale meno, ma perché l’algoritmo, addestrato su dati storici che riflettono disuguaglianze preesistenti, ha imparato che “storicamente” quei pazienti hanno esiti peggiori e quindi, in una logica di ottimizzazione statistica, investire risorse su di loro è meno “efficiente”. L’ingiustizia non è il frutto di una scelta esplicita, ma l’esito di una catena di mediazioni opache: dalla raccolta dei dati alla loro etichettatura, dalla scelta delle variabili alla definizione della funzione obiettivo, dalla validazione del modello al suo dispiegamento clinico.

L’Enciclica è netta: “Se un sistema viene concepito o impiegato in modo da trattare alcune vite come meno degne, o da escluderle senza possibilità di appello, esso non è un semplice strumento ‘da usare bene’: introduce già un criterio che contraddice la dignità inalienabile della persona” (n. 104). Il riferimento alla “possibilità di appello” è cruciale in medicina. Quando un paziente viene ricoverato o dimesso, quando una terapia viene avviata o sospesa, quando una priorità viene assegnata sulla base di un punteggio algoritmico, il diritto a contestare quella decisione, a chiedere a un medico di rivedere il caso, a spiegare le circostanze che l’algoritmo non può cogliere, a essere ascoltato come persona e non come profilo, è il presidio fondamentale contro l’arbitrio tecnocratico. In un sistema sanitario sempre più automatizzato, questo diritto rischia di diventare puramente nominale, perché il tempo per la contestazione è scarso, la trasparenza dell’algoritmo è limitata, e la responsabilità è diffusa al punto da non essere più attribuibile a nessuno in particolare.

Secondo rischio: l’opacità e la dissoluzione della responsabilità clinica

Il secondo rischio riguarda la catena della responsabilità. In medicina, tradizionalmente, il medico risponde delle proprie decisioni. Può essere chiamato a spiegare perché ha scelto una terapia piuttosto che un’altra, perché ha interpretato un esame in un certo modo, perché ha deciso di non seguire un protocollo. La responsabilità non è un optional: è il fondamento della fiducia nella relazione terapeutica. Il paziente si affida al medico non solo perché il medico sa più di lui, ma perché il medico è disposto a rispondere delle proprie scelte. Questa responsabilità è personale, non solo formale: implica coscienza, giudizio, capacità di riconoscere l’errore e di ripararlo.

L’IA, però, complica radicalmente questo quadro. Un sistema di deep learning che fornisce una raccomandazione diagnostica, ad esempio, l’identificazione di un nodulo polmonare sospetto in una TC toracica, o la segmentazione automatica di una lesione cerebrale in una risonanza magnetica, opera spesso in modalità “scatola nera”. Produce un output, ma non è in grado di spiegare i passaggi che hanno portato a quella conclusione. Le reti neurali profonde, soprattutto nei modelli di grandi dimensioni, sono caratterizzate da ciò che gli esperti chiamano “opacità epistemica”: non solo l’utente finale non comprende il ragionamento, ma spesso nemmeno gli sviluppatori possono ricostruire in modo deterministico perché un determinato input ha prodotto un determinato output. Il medico si trova così in una posizione paradossale: se segue la raccomandazione, non può veramente spiegare perché; se la rifiuta, deve avere argomenti per farlo, ma spesso non dispone di informazioni sufficienti sull’affidabilità del modello in quel specifico contesto, su quella particolare macchina, su quella popolazione di pazienti, con quella prevalenza di malattia.

L’Enciclica affronta questo problema con chiarezza. “In molti casi, i processi interni che conducono a un risultato possono essere poco trasparenti, e ciò rende più difficile attribuire responsabilità e correggere gli errori. È qui che diventa decisivo ciò che chiamiamo accountability: la possibilità di identificare chi deve ‘rendere conto’ delle decisioni, motivarle, controllarle e, quando necessario, contestarle e rimediare ai…