decidere non è mai facile

Il direttore scientifico della Wada (l’agenzia mondiale antidoping) Olivier Rabin, da quotidiano.net:

Nel caso di Contador la quantità di clenbuterolo riscontrata nel campione di urina era trascurabile “ma -ha spiegato Rabin- non si può dire che non si tratti di una positività perché la quantità è piccola. E’ proprio questa la difficoltà della situazione: potrebbe essere doping ma anche un’altra cosa.

Il caso (più o meno) controverso del doping di Contador è ben riassunto da Guido Tedoldi, mentre Martin Budden ne offre una discussione prettamente matematica.
A me interessa invece rimarcare che dopo i recenti titoli sui cellulari che potrebbero provocare il cancro, questa dichiarazione rappresenta un altro esempio di banalità lapalissiana: è difficile giudicare un caso di doping, perché potrebbe non trattarsi di doping. A mio avviso si tratta tuttavia di due ovvietà differenti: la prima sembra il frutto di una certa dose di superficialità e del desiderio della notizia sensazionale; la seconda invece pare un alibi per giustificare una prossima decisione dove la politica peserà molto più dei dati.

L’episodio specifico mi offre però l’occasione per discutere in termini generali cosa significa decidere in condizioni di incertezza, evidenziando gli aspetti razionali e quelli arbitrari che sottendono a ogni processo decisionale. Ciascuno di noi è chiamato, in continuazione, a fare delle scelte: da quelle più ordinarie (il tempo volge al brutto, è meglio che esca con l’ombrello? il mio stomaco è debole, posso mangiare una pizza piccante senza star male stanotte?) a quelle più impegnative (i prezzi forse non scenderanno più, è il momento giusto per acquistare casa?), esponendosi inevitabilmente al rischio di sbagliare. Un discorso esaustivo sarebbe molto lungo, impossibile da esaurire in un solo articolo di blog, e pertanto mi devo limitare a esporre qualche concetto fondamentale che spero di approfondire in futuro.

In tanti casi concreti (come anche negli esempi precedenti) decidere significa giudicare (come risultato di un procedimento o ragionamento logico) vero o falso un fatto presunto o una condizione, e quindi eseguire l’azione conseguente. Ovviamente si assume che l’esistenza della condizione o il verificarsi del fatto sia incerto, che altrimenti si dovrebbe parlare di semplice constatazione e non di decisione. Di solito viene fatto l’esempio del test medico diagnostico per determinare la presenza di una malattia in un paziente, ma io vorrei considerare tre altri casi che si conformano a questa situazione:

  1. la marcatura di un messaggio di posta elettronica come spam o non-spam in un algoritmo antispam;
  2. la certificazione di positività o negatività in un test antidoping;
  3. la sentenza di colpevolezza o assoluzione a conclusione di un processo;

Denotando con + la dichiarazione che il fatto è vero, e con – quella che il fatto è falso, tutte le eventualità di una decisione sono descritte dal seguente schema:

fatto
no
dichiarazione+VPFP
FNVN

Se il fatto è vero e si dichiara +, e se il fatto è falso e si dichiara –, la decisione (vero positivo, VP, e vero negativo, VN) è corretta. Le altre due eventualità denotano invece degli errori: il caso in cui il fatto è vero e si dichiara – si chiama falso negativo (FP), mentre il caso in cui il fatto è falso e si dichiara + si chiama falso positivo (FP).

Nei tre ultimi esempi, se vero indica lo status di spam, la sussistenza del doping e la colpevolezza dell’imputato e falso l’alternativa opposta, tali errori rappresentano:

  1. FP è il messaggio normale marcato come spam e FN è il messaggio di spam marcato come normale;
  2. FP è il test di un atleta onesto che risulta positivo e FN è il test di un atleta drogato che risulta negativo;
  3. FP è il caso dell’innocente condannato e FN quello del colpevole assolto;

Ora è importante capire che in generale in una qualunque serie di prove (siano esse rappresentate da marcature di messaggi, test antidoping o sentenze processuali) non è possibile azzerare contemporaneamente la probabilità di avere un falso positivo e un falso negativo. Nel caso estremo in cui si decidesse di dichiarare sempre +, non ci sarebbe nessun falso negativo ma tanti falsi positivi quanti sono i messaggi ordinari, o gli atleti onesti, o gli imputati innocenti. Nell’altro caso estremo in cui si decidesse di dichiarare sempre –, non ci sarebbe nessun falso positivo ma tanti falsi negativi quanti sono i messaggi di spam, gli atleti disonesti o gli imputati colpevoli. In un qualunque caso intermedio, invece, si ha a che fare con entrambi i rischi. Spostarsi verso il primo estremo, cioè tendere a dichiarare + con maggiore frequenza (come succede in un algoritmo antispam aggressivo o in un sistema processuale giustizialista), fa diminuire la possibilità di avere un falso negativo ma accresce la possibilità di un falso negativo. Viceversa spostarsi verso il secondo estremo, cioè tendere a dichiarare – con maggiore frequenza (come succede in un algoritmo antispam prudente o in un sistema processuale garantista) diminuisce la possibilità di avere un falso positivo ma accresce la possibilità di un falso negativo.

Nella maggior parte delle situazioni i falsi positivi sono considerati errori più gravi dei falsi negativi. In effetti, è così in tutti e tre gli esempi considerati: cestinare un messaggio buono è più grave che inoltrare un messaggio di spam, squalificare un atleta onesto è più grave che ignorare un atleta disonesto, e condannare un innocente è più grave che assolvere un colpevole.
Ecco perché è importante calibrare il processo decisionale, cioè scegliere la soglia che discriminando tra dichiarazioni + e – determina il miglior compromesso tra incidenza percentuale di falsi positivi e falsi negativi. La calibrazione è sempre un’operazione per così dire politica, perché presuppone l’attribuzione di un peso o importanza relativa ai falsi positivi e ai falsi negativi. Ma non sempre ci sono statistiche a supportare scelte dettate da criteri come convenienza, opportunità, necessità di credibilità ed etica del sistema. E’ da questo punto di vista che i tre esempi precedenti si distinguono nettamente l’uno dall’altro.

  • Un algoritmo antispam può essere testato andando a verificare manualmente la correttezza della classificazione di tutti i messaggi filtrati, o, per essere più brevi, solo di un campione di mille o n-mila messaggi, e ottenere per esempio una statistica del genere:

    spamnon-spam
    +780  1
     20199

    Le percentuali ricavate passando dai numeri assoluti a quelli relativi possono essere quindi usate per stimare i tassi di errore effettivi. Se l’incidenza dei falsi positivi (1 su 200 messaggi buoni, cioè il 5 per mille) è considerata eccessiva, allora si può rendere l’algoritmo più prudente (generalmente alzando il punteggio minimo assegnato dall’algoritmo oltre il quale un messaggio viene classificato come spam) controllando nel contempo l’aumento di falsi negativi. Se, viceversa, si è disposti a correre un rischio di falsi positivi maggiore, si può aumentare l’aggressività dell’algoritmo e abbassare così il numero di falsi negativi.
  • Nel caso delle procedure antidoping non è possibile ricavare una statistica analoga a quella precedente, perché, tranne che nei rarissimi casi di confessioni per lo più tardive, la liceità del comportamento degli atleti testati rimane ignota. Sono noti al più i risultati di alcune simulazioni di laboratorio, in cui i test antidoping vengono effettuati su atleti che volontariamente si sottopongono a trattamenti leciti e proibiti. Tuttavia, mentre la percentuale di falsi positivi tra i primi può ragionevolmente stimare quella reale, la percentuale di falsi negativi tra i secondi appare largamente sottostimata, perché è facile immaginare che nel doping reale, dove gli interessi economici sono fortissimi, si seguano pratiche di offuscamento e circonvenzione molto più raffinate di quelle usate in uno studio di laboratorio. Nell’impostare una procedura antidoping si può intervenire dunque solo sul livello dei falsi positivi, senza peraltro poter misurare come la variazione di tale livello incida sul numero dei falsi negativi.
  • In un qualsiasi sistema giudiziario è sia difficile se non impossibile ricavare statistiche esaustive ed affidabili sulla giustezza delle sentenze, sia immaginare di condurre esperimenti simulando processi al solo scopo di classificarne l’esito. Anche in questo caso le confessioni tardive sono in numero troppo limitato per consentire calcoli convincenti, e del resto, studi approfonditi mostrano come le confessioni siano prove tutt’altro che solide per giudicare la colpevolezza degli imputati. Dunque un sistema giudiziario può essere regolato solo attraverso un insieme di meccanismi la cui modifica (per esempio, l’introduzione di nuove garanzie a favore dell’imputato o di maggiori prerogative a favore della pubblica accusa) è coerente con la diminuzione o dei falsi positivi o dei falsi negativi, sebbene in maniera non misurabile quantitativamente.

A conclusione di questa incompleta trattazione, ribadisco il concetto più importante: non esiste un metodo infallibile per decidere in condizioni di incertezza, qualunque sia il contesto in cui si agisca.
In questo senso la scena del confronto televisivo nel film The life of David Gale, che pure è molto avvincente, rappresenta una finzione di comodo (e anche un po’ ipocrita): si sostiene lì che non esiste la prova di un falso positivo tra i condannati a morte negli Stati Uniti. A prescindere dal fatto che dubito fortemente che sia così, il fatto che non esiste la prova non significa che non esiste l’oggetto della prova, cioè un falso positivo. Di più, se non esiste la prova (che una sentenza sia sbagliata) non esiste nemmeno la prova contraria (cioè, che tutte le sentenze siano giuste).
Come contraltare, la dichiarazione del direttore scientifico della Wada, o almeno quella che è stata tradotta e riportata in italiano, è ovvia ma è forse anche altrettanto finta, perché ingigantisce e distorce la percezione dell’onere insito in un certo ruolo: chi deve decidere sa di poter sbagliare, e non può nascondersi dietro questa scusa, anche in un caso dove le pressioni politiche esterne sono state evidenti fin dal primo momento.

5 pensieri su “decidere non è mai facile

  1. Pingback: sei-uno-zero-nove » Blog Archive » da capo a piedi

  2. Pingback: sei-uno-zero-nove » Blog Archive » pronostici elettorali

  3. Pingback: sei-uno-zero-nove » Blog » una questione di percentuali

  4. Pingback: casi allarmanti | sei-uno-zero-nove

  5. Pingback: e poi dicono le vite degli altri | sei-uno-zero-nove

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *