Sanità digitale: L’ai può sbagliare? Scopri come!

## L’Intelligenza Artificiale Medica: Un’Arma a Doppio Taglio?
Un recente studio del MIT ha sollevato preoccupazioni significative sull’affidabilità dei modelli linguistici di grandi dimensioni (LLM) impiegati nel settore sanitario per la formulazione di raccomandazioni mediche. La ricerca ha evidenziato come elementi non clinici presenti nei messaggi dei pazienti, quali errori di battitura, spaziature eccessive, assenza di indicatori di genere o l’uso di un linguaggio incerto e informale, possano compromettere l’accuratezza dei consigli forniti dall’intelligenza artificiale.

I ricercatori hanno scoperto che modifiche stilistiche o grammaticali nei messaggi aumentano la probabilità che un LLM suggerisca al paziente di autogestire la propria condizione di salute anziché recarsi per una visita medica, anche quando sarebbe necessario un intervento professionale. L’analisi ha inoltre rivelato che queste variazioni non cliniche nel testo, che riflettono le modalità di comunicazione reali delle persone, tendono a influenzare maggiormente le raccomandazioni per le pazienti di sesso femminile, con una conseguente maggiore percentuale di donne erroneamente consigliate di non cercare assistenza medica, secondo il parere di medici umani.

Questo studio rappresenta una prova tangibile della necessità di sottoporre i modelli a una rigorosa verifica prima del loro impiego in ambito sanitario, un settore in cui sono già ampiamente utilizzati. I risultati indicano che gli LLM prendono in considerazione informazioni non cliniche nel processo decisionale clinico in modi precedentemente sconosciuti, evidenziando la necessità di studi più approfonditi prima di implementare tali sistemi in applicazioni ad alto rischio come la formulazione di raccomandazioni terapeutiche.

## La Fragilità dell’AI di Fronte alla Realtà Linguistica

I modelli linguistici di grandi dimensioni, come GPT-4 di OpenAI, vengono sempre più utilizzati per redigere note cliniche e smistare i messaggi dei pazienti nelle strutture sanitarie di tutto il mondo, nel tentativo di snellire alcune attività e alleggerire il carico di lavoro dei medici. Tuttavia, la ricerca del MIT ha dimostrato che questi sistemi sono vulnerabili a variazioni linguistiche che non dovrebbero influenzare il giudizio clinico.

I ricercatori hanno alterato i dati di input dei modelli, modificando o rimuovendo indicatori di genere, aggiungendo un linguaggio colorito o incerto, oppure inserendo spaziature extra ed errori di battitura nei messaggi dei pazienti. Ogni alterazione è stata progettata per simulare il testo che potrebbe essere scritto da persone appartenenti a fasce di popolazione vulnerabili, basandosi su ricerche psicosociali sulle modalità di comunicazione con i medici. Ad esempio, spaziature extra ed errori di battitura simulano la scrittura di pazienti con limitata conoscenza della lingua inglese o con minore familiarità con la tecnologia, mentre l’aggiunta di un linguaggio incerto rappresenta pazienti con ansia per la salute.
I risultati hanno mostrato che gli LLM erano più propensi a raccomandare l’autogestione ai pazienti quando i messaggi contenevano errori di battitura o pronomi neutri rispetto al genere. L’uso di un linguaggio colorito, come slang o espressioni drammatiche, ha avuto l’impatto maggiore. Inoltre, i modelli hanno commesso circa il 7% in più di errori per le pazienti di sesso femminile ed erano più propensi a raccomandare loro l’autogestione a casa, anche quando i ricercatori hanno rimosso tutti gli indicatori di genere dal contesto clinico.

## Implicazioni per l’Equità e la Sicurezza nell’Assistenza Sanitaria

Le incongruenze causate dal linguaggio non clinico diventano ancora più evidenti in contesti conversazionali in cui un LLM interagisce con un paziente, un caso d’uso comune per i chatbot rivolti ai pazienti. La ricerca ha evidenziato una “fragilità” nel ragionamento medico dell’AI, in cui piccole differenze non cliniche nel modo in cui un paziente scrive possono influenzare le decisioni di cura in modi che i medici non farebbero.

Questo solleva serie preoccupazioni sull’equità e la sicurezza nell’assistenza sanitaria. Se gli LLM sono più propensi a fornire raccomandazioni errate a pazienti appartenenti a determinate fasce di popolazione, ciò potrebbe portare a disparità nell’accesso alle cure e a esiti negativi per la salute. È fondamentale che le organizzazioni sanitarie siano consapevoli di queste limitazioni e implementino misure di salvaguardia per garantire che tutti i pazienti ricevano raccomandazioni accurate ed eque, indipendentemente dal modo in cui comunicano.

## Verso un’Intelligenza Artificiale più Responsabile e Inclusiva

La ricerca del MIT sottolinea la necessità di un approccio più rigoroso e responsabile all’implementazione dell’intelligenza artificiale nel settore sanitario. Ciò include la conduzione di audit approfonditi dei modelli prima del loro impiego, la verifica della presenza di bias e la garanzia che le raccomandazioni siano basate su dati clinici solidi, piuttosto che su elementi non pertinenti come errori di battitura o stile di scrittura.

Inoltre, è essenziale mantenere la supervisione umana nel processo decisionale clinico. Gli LLM possono essere strumenti utili per supportare i medici, ma non dovrebbero mai sostituire il giudizio umano. I medici devono essere in grado di valutare criticamente le raccomandazioni dell’AI e di prendere decisioni informate basate sulla loro esperienza e conoscenza del paziente.

### *Oltre l’Algoritmo: Un Imperativo Etico*

La vicenda che abbiamo esplorato ci pone di fronte a una realtà ineludibile: l’automazione, per quanto sofisticata, non è esente da imperfezioni e, soprattutto, da bias. L’intelligenza artificiale, in questo contesto, si rivela uno specchio deformante delle nostre stesse fragilità.

Una nozione base di automazione ci ricorda che ogni sistema automatizzato è intrinsecamente legato ai dati su cui è stato addestrato. Se tali dati riflettono disparità o pregiudizi, l’AI non farà altro che amplificarli.

Una nozione avanzata ci spinge a considerare l’importanza dell’interpretabilità dei modelli. Comprendere come un algoritmo giunge a una determinata conclusione è fondamentale per individuare e correggere eventuali bias nascosti.

La riflessione che ne scaturisce è profonda: non possiamo delegare ciecamente decisioni cruciali, come quelle riguardanti la salute, a sistemi che non comprendiamo appieno. L’automazione deve essere guidata da un imperativo etico, che ci imponga di vigilare costantemente sulle sue implicazioni e di garantire che essa sia al servizio di tutti, senza lasciare indietro nessuno.