Il punto di vista

L’Intelligenza Artificiale in Medicina e il paradosso di HAL9000

L’AI potrà mai indossare il camice? I medici sanno perfettamente che le applicazioni di AI possono processare una quantità enorme di informazioni in un batter di ciglia, e sono ben contenti di utilizzarle come “assistenti”, delegando loro il lavoro di routine. Senza mai “perderli di vista”, però…

Pubblicato il 19 Lug 2023

Paolo Colli Franzone

Presidente IMIS, Istituto per il Management dell’Innovazione in Sanità

intelligenza-artificiale-HAL9000

Accade piuttosto frequentemente – quando si parla di Intelligenza Artificiale – di sentire evocato HAL9000, il supercomputer di “2001 Odissea nello spazio”.
E sono in molti a sostenere che la “vera” Intelligenza Artificiale l’avremo solamente quando riusciremo a costruire per davvero un HAL9000 o qualcosa che gli somigli molto, e che quella che vediamo oggi non è che un primo timido passo in avanti in una direzione ancora abbondantemente inesplorata.

Altri, gli iscritti al “partito” degli apocalittici, ritengono che l’Intelligenza Artificiale sia il diavolo in persona, l’anticamera dell’Armageddon, il nemico da uccidere in culla prima che dispieghi i suoi tentacoli contro l’umanità.

Temo che entrambe le posizioni siano profondamente sbagliate, e provo a spiegarne il perché.

Intelligenza Artificiale: per ognuno di noi è qualcosa di diverso

Il problema è che, probabilmente, ciascuno di noi ha in mente un modello, un archetipo di Intelligenza Artificiale: chi pensa che AI voglia dire “eguagliare e superare le capacità cognitive e intellettive umane, chi immagina una AI “capace di pensare e di provare sentimenti”, e così via attraverso una gamma quasi infinita di passaggi intermedi.

Proviamo a rimanere nel mainstream: un algoritmo “è” AI se supera il test di Turing, ossia se è impossibile individuare differenze tra il suo comportamento e quello di un essere umano.
Questo è il “minimo sindacale”, per così dire, dell’Intelligenza Artificiale: una macchina che si comporta “come se pensasse”, e non si fa scoprire mentre lo fa.

Il suo livello di perfezione cresce col crescere della quantità e della qualità di conoscenza che accumula durante la sua carriera, tanto che possiamo arrivare a dire che il vero test cui sottoporre questi algoritmi dovrebbe essere basato sulla sottoposizione della medesima domanda in tempi successivi, ottenendo risposte diverse.
Una “vera” Intelligenza Artificiale modifica nel tempo la sua risposta ad una stessa domanda, proprio perché “impara” mentre funziona. Non “pensa”, non prova sentimenti né emozioni, non è questo il suo mestiere né è giusto che lo sia.

Un’AI che pensa davvero, con emozioni e sentimenti: ma è davvero quello che vogliamo?

HAL9000 è qualcosa di più di una “semplice Intelligenza Artificiale”. Ma non è necessariamente un modello a cui tendere, tutt’altro!

Arthur C. Clarke, nel suo capolavoro, “progetta e costruisce” HAL immaginandolo dotato di un patrimonio cognitivo e intellettivo enorme: lui “sa” tutto, ed è capace di fare tutto. Persino di portare da solo un’astronave su Giove sovraintendendo a tutte le operazioni di bordo.

HAL passerebbe tranquillamente il test di Turing, e quindi è AI.

Però è anche molto altro, perché Clarke gli dà la capacità di pensare davvero, non di “fare come se pensasse”. E, così facendo, gli dà la capacità di provare emozioni e sentimenti. E con questo, di fatto, lo condanna.

Ma torniamo a “2001 Odissea nello spazio”.
Tralasciamo (esclusivamente perché non hanno nulla a che fare col nostro argomento) le due parti di apertura e la chiusura del film, concentrandoci esclusivamente su “Missione Giove”.
Facendolo, ci diamo l’obiettivo di capire se l’Intelligenza Artificiale “superdotata” di HAL9000 è qualcosa a cui dobbiamo tendere o se, invece, ce ne dobbiamo preoccupare.

Intelligenza Artificiale: il peccato originale di HAL9000

Come sanno tutti quelli che hanno visto il film (ma davvero c’è qualcuno che non lo ha mai visto?), HAL viene addestrato a portare la Discovery 1 su Giove, inseguendo le tracce del segnale radio lanciato dal monolito scoperto un anno e mezzo prima dal personale di una base lunare in corrispondenza del cratere Tycho.

Ad HAL viene impartita un’ultima istruzione: nessuno dell’equipaggio deve essere messo al corrente dell’obiettivo della missione.
Attenzione, perché qui entriamo nel bello della vicenda: HAL, progettato per “ragionare” in termini rigorosamente euristici, viene “contaminato” dalla menzogna. Deve mentire, deve far finta di non sapere perché si va su Giove.

HAL ha un virus dentro di sé. Ed è qualcosa che assomiglia maledettamente al peccato originale di Adamo ed Eva nell’Eden: esseri “perfetti” che si lasciano turlupinare da un serpentello qualsiasi.
HAL ha un virus, e la cosa provoca inevitabilmente qualche guaio.

L’emozione che gioca un brutto scherzo

A un certo punto della missione, HAL avvisa il comandante Bowman che un componente di una delle antenne esterne del Discovery è in avaria.
Non è vero, ma Bowman e il suo vice Poole lo scopriranno soltanto dopo aver rimosso e sostituito il componente sospetto.
HAL, che per definizione non deve sbagliare, ha sbagliato!

Bowman e Poole, giustamente interdetti, traggono la loro conclusione: se HAL può sbagliare, la missione è in pericolo. Quindi HAL va “ucciso”.
Peccato che HAL riesce a intercettare la discussione dei due astronauti.

E qui arriva il secondo virus: quello della paura. HAL teme di morire, non vuole assolutamente morire, deve fare qualcosa. E lo fa nel peggiore dei modi: uccidendo Poole e tentando di far fuori anche Bowman, salvo poi non riuscirci.
Nell’epilogo, HAL raggiunge il fondo dell’abiezione tentando di farsi perdonare quando capisce che Bowman lo sta spegnendo per sempre.

E se invece l’errore fosse stato calcolato?

E se HAL avesse sbagliato appositamente? Se la sua morale gli avesse impedito di sottostare al ricatto della bugia cui era stato sottoposto in fase di progettazione della missione?

Lo scenario è verosimile: HAL si rifiuta di portare a compimento una missione basata sulla bugia, sul peccato di omissione, e compie scientemente una serie di azioni che – lui lo sa bene perché è intelligente – porteranno Bowman a “ucciderlo”.

Un piccolo indizio a favore di questa ipotesi: Bowman sopravvive al tentativo di omicidio soltanto perché riesce a rientrare nel Discovery agendo sul portello di emergenza, ma se ci pensiamo bene questa operazione non avrebbe mai potuto andare a buon fine se HAL non l’avesse in qualche modo favorita. Impossibile credere che uno stupido maniglione di apertura manuale non possa essere bloccato dall’interno, non vi pare?

Chi ipotizza un’AI capace di superare l’uomo, ne decreta la fine

Ancora una volta, un altro importante segno di umanità. HAL ha sentimenti, emozioni, contraddizioni, fallimenti. Ma ha anche il senso del sacrificio estremo in nome del “bene”.

In questa ipotesi di finale (quella del “computer buono” che si suicida scientemente per castigare chi l’ha obbligato a mentire), ancora una volta usciamo dai binari dell’Intelligenza Artificiale “vera”, addentrandoci lungo un percorso che ovviamente non può verificarsi nella vita reale.

Il verdetto è semplice: HAL non è intelligenza artificiale. È una pessima applicazione che usa l’Intelligenza Artificiale applicandola a un paradigma tipicamente umano, e pertanto fallibile.
Di fatto, HAL tratta Bowman e Poole come due colleghi d’ufficio: quando capisce che la sua carriera è compromessa, decide di farli fuori. Lui si sente il migliore, lui “sa” di essere il migliore.

E siamo di nuovo nel Paradiso Terrestre, in pieno peccato di presunzione…

Chi ipotizza una AI capace di superare l’uomo, compie il peccato originale. Decretando la fine dell’AI medesima.

Il fatto vero, anche ammesso che HAL abbia agito con un fine “nobile”, è che Clarke di tutto voleva parlarci tranne che di Intelligenza Artificiale. Oppure, all’estremo opposto, voleva firmare il manifesto degli apocalittici descrivendo in anticipo il pericolo insito in sistemi che possono sfuggire al controllo umano.

Se a far danni è l’uomo e non l’AI…

È recente la notizia del drone che si ribella al suo pilota remoto quando si rende conto che egli sta compromettendo la sua missione (simulata, almeno secondo la versione ufficiale della Difesa USA).

Qui, a differenza della vicenda di HAL, il drone “fa il suo lavoro”: gli hanno affidato una missione, e nel set di istruzioni (sempre secondo la Difesa) era chiaro che lui avrebbe dovuto eliminare qualsiasi cosa potesse rischiare di comprometterla.
Il drone era quindi stato mal istruito. L’istruzione generica “elimina qualsiasi cosa…” avrebbe dovuto comprendere l’istruzione accessoria “tranne che si tratti del tuo pilota se ti dovesse ordinare di interrompere”.
Con buona pace degli apocalittici, a far danni non è l’Intelligenza Artificiale quanto piuttosto chi scrive istruzioni incomplete od omissive di condizioni di “uscita d’emergenza”.
Anche chi ha istruito HAL ha compiuto il medesimo errore, dando alla sua creatura un potere smisurato senza controllo.

L’Intelligenza Artificiale e il paradosso di HAL9000

Ricapitoliamo: HAL racconta una balla a Bowman e Poole perché non gli va giù la storia della missione segreta e cerca quindi di compromettere la missione.

Quindi NON è in errore. Lui sa benissimo che il componente AE35 non è difettoso e non andrà mai in avaria. Quando si comporta da algoritmo, HAL funziona benissimo.

Le cose cambiano quando si comporta da umano, quando prevale la presunzione. La quale, ovviamente, non è di HAL quanto, piuttosto, del suo programmatore. Diciamo che, in fase di sviluppo, nei laboratori HAL qualcuno si è allargato troppo e quello che doveva essere un algoritmo euristico (HAL = Heuristic ALgorithm) alla fine è diventato una sorta di pallone gonfiato digitale. Nella sequenza della disattivazione di HAL, una voce registrata descrive il supercomputer dicendo che “è stato progettato per IMITARE il comportamento umano”.
Vi prego di notare che, per la terza volta, Clarke ci riporta in pieno Libro della Genesi…

Siamo al paradosso: HAL non sbaglia, ma arriva a una conclusione inaccettabile dall’etica corrente.

Il filosofo Mark Sainsbury definisce il paradosso come “una conclusione inaccettabile che deriva da premesse apparentemente accettabili per mezzo di un ragionamento apparentemente accettabile”.
E, nel film, le cose stanno esattamente così: la premessa accettabile è che HAL si rifiuta di mentire ai suoi colleghi-amici, e il ragionamento accettabile è quello che parte dalla ricerca di “diversivi” (il componente guasto) utilizzati per instillare dubbi in Bowman e Poole, finendo quindi per mettere in discussione la missione.
Essendo inaccettabile, la conclusione non può essere che nefasta. Specialmente se stiamo parlando di un algoritmo “nato male”.

La bella notizia è che stiamo parlando di un film. La vita vera, per nostra fortuna, è un’altra cosa.

Morale della favola: l’AI potrà mai indossare il camice?

Ma abbandoniamo HAL e il Discovery e torniamo alla nostra quotidianità.

Siamo in ospedale, in radiologia. Abbiamo il nostro “piccolo HAL”, un’applicazione di intelligenza artificiale che ci aiuta a leggere e interpretare immagini complesse come, ad esempio, una TAC.
Il medico radiologo che la utilizza sa perfettamente che il suo “piccolo HAL”, in realtà, è uno strumento come se ne usano tanti, né più né meno. E mette in conto l’errore.

Il processo di refertazione supportato dall’Intelligenza Artificiale non è un automatismo (caratteristica di HAL, che “fa tutto da solo”) e nessun medico delegherà mai a una macchina il compito di “stilare un verdetto” in totale autonomia.

L’algoritmo che referta da solo esiste solamente nella fantasia di qualche ufficio marketing.
Per assurdo, potrebbe persino esistere. Ma le cose non cambierebbero: in un contesto maledettamente serio (e la Medicina lo è abbondantemente), a nessuno verrebbe mai in mente di delegare a un pacchetto di zero e uno la vita di un paziente.

Il bello della Medicina è che qui le chiacchiere di marketing “stanno a zero”: qui funzionano solamente le evidenze, i protocolli accettati e riconosciuti, l’attenzione per il soggetto in trattamento.
E l’industria del software medicale lo sa benissimo, per fortuna.

Dall’altra parte della “barricata”, i medici sanno perfettamente che le applicazioni di intelligenza artificiale possono processare una quantità enorme di informazioni in un batter di ciglia, e sono ben contenti di utilizzarle come “assistenti”, delegando loro il lavoro di routine (senza mai “perderli di vista”, però…).

Watson, non Holmes…

Il futuro dell’Intelligenza Artificiale in Medicina

Nei decenni a venire, nasceranno migliaia di applicazioni di intelligenza artificiale applicata al supporto diagnostico e terapeutico, e questa è un’ottima notizia.
Saranno (dovranno essere) dispositivi medici, e questa è una garanzia.
Saranno (dovranno essere) sottoposti ad HTA, e questa è un’ulteriore garanzia.

Parallelamente, i vari ChatGPT e compagnia potranno aiutare il personale amministrativo a gestire le liste d’attesa, le prenotazioni, il pagamento dei ticket, e via di seguito. Potranno persino “potenziare” i percorsi di telemedicina, trasformandosi in assistenti virtuali dei pazienti, agendo da promemoria o da “coach digitale”.
Qui, ovviamente, le maglie di accesso al mercato sono decisamente più larghe. E le prospettive di mercato più che buone.

L’importante è che la linea di confine tra il versante clinico e quello sanitario sia controllata con una certa severità.

HAL, non avertela a male: purtroppo a te il camice non lo daranno mai…

Valuta la qualità di questo articolo

La tua opinione è importante per noi!

Articoli correlati

Articolo 1 di 5