due su tre non per sfortuna ma per forzatura


Da La Repubblica del 2 gennaio 2015:

cortesia di crafty_dame

In molti casi ammalarsi di cancro è solo un fatto di sfortuna e non di stile di vita. […]
Due terzi dei tumori sarebbero infatti dovuti a mutazioni legate al puro caso […], piuttosto che a stili di vita sbagliati come il fumo. Solo un terzo sarebbe invece legato a fattori ambientali o predisposizioni ereditarie. In sintesi, il 66% dei tumori è pura sfortuna, ossia sembrano apparentemente incomprensibili perché si verificano in assenza di comportamenti a rischio.

Così vengono riassunti i risultati della ricerca condotta alla Johns Hopkins School of Medicine del Maryland cui negli ultimi giorni la stampa ha dato tanta eco. Tutti i siti informativi si esprimono in modo praticamente identico, riportando che due tumori su tre sarebbero da attribuire alla sfortuna. E la cosa, almeno fuori dall’Italia, ha generato non poche discussioni.

i mondiali di calcio nell’era dei big data

Percentuale di possesso di palla, numero di tiri in porta e distanza percorsa sul campo da ciascun giocatore: sono solo alcune delle statistiche mostrate in sovraimpressione durante le telecronache delle partite di calcio, grazie alle numerose telecamere che scandagliano il campo da gioco senza soluzione di continuità.

L’enorme abbondanza di dati che le nuove tecnologie mettono a disposizione consente di confrontare anche graficamente i profili dei giocatori più famosi secondo le metriche più disparate, di costruire indici per valutare la loro forza, quella dei club di loro appartenenza e delle nazionali che partecipano ai mondiali di calcio.

Alcuni di questi indici sono stati e sono impiegati per prevedere i risultati delle partite dei mondiali di calcio in corso di svolgimento interattivamente, man mano che questo procede: tanto per citare qualche esempio, l’indice SPI sul sito FiveThirthyEight di Nate Silver, lo statistico che ha predetto esattamente il risultato delle ultime presidenziali statunitensi, l’algoritmo Power Rank di chartball, da cui è tratta l’immagine di fianco, e il progetto dell’Università di Berlino che è interessante anche perché consente di personalizzare i criteri in base ai quali simulare le partite.

Tutte queste iniziative mi hanno fatto tornare alla mente un racconto che ho scritto per diletto eoni fa, quando ero ancora un adolescente, proprio sull’impiego di quelli che oggi chiameremmo big data nella previsione del risultato dei mondiali. Mi sono messo a cercarlo e l’ho ritrovato nei meandri dei miei archivi. Lo ripropongo tale e quale, pur con i mille difetti che ha e tutta l’ingenuità che può dimostrare a distanza di tanto tempo (insomma, tanto per intenderci, si era ai tempi dei primi personal computer). Ho cambiato solo il nome di due squadre in modo che possa essere letto, nel limite del possibile, come attuale anche in questi giorni, a mondiale brasiliano ancora in corso. Perdonate il mio gesto nostalgico. :)

Chi vincerà i mondiali di calcio

Chiamò l’ascensore che doveva portarlo al diciottesimo piano, ai laboratori di ricerca di cui era direttore. Quella mattina si sentiva particolarmente stanco, più del solito; del resto, la sera precedente aveva anche fatto molto tardi in ufficio. Il lavoro negli ultimi tempi lo attraeva poco, non riusciva più a suscitare in lui gli entusiasmi che in gioventù lo rendevano così attivo e infaticabile. E poi, ancora tre mesi e sarebbe andato in pensione. Ormai aspettava solo quel momento.

analisi dei commenti spam su WordPress

Nella sezione in inglese: launch of wordpress spam analytics, la descrizione di un pannello a tre sezioni che rappresentano graficamente dimensioni (provenienza, distribuzione termporale e destinazione) dei commenti spam su questo blog, interattivamente e in tempo reale.

E’ possibile accedere direttamente alla pagina del pannello all’indirizzo http://www.antoniorinaldi.it/spam-analytics/.

anatomia di un identikit

cortesia di Stuart Heath

Da La Repubblica del 30 agosto 2013:

Ha conseguito un voto di maturità alto, è di genere maschile e ha frequentato il liceo. È l’identikit della matricola di Medicina e Chirurgia. A rivelarlo è uno studio condotto dall’Università degli Studi di Bari “Aldo Moro” e finanziato dal Ministero dell’Istruzione. La ricerca ha analizzato i candidati ai test di ammissione dal 2005 al 2011.

[…] i tassi di successo sono correlati in modo statisticamente significativo con il genere e qui c’è il paradosso: i ragazzi sono favoriti rispetto alle ragazze pur essendo il voto di maturità delle donne sempre maggiore, mediamente di circa 5-6 punti, rispetto a quello degli uomini.

Sempre più spesso, quando vengono presentati i risultati di una ricerca, viene proposto un qualche genere di identikit, cioè viene descritto il profilo di una persona “tipo”, elencandone alcuni dei suoi principali tratti caratteristici. A differenza dell’identikit di un ricercato che tante volte abbiamo visto nei telefilm polizieschi, questa immagine non ha lo scopo di identificare uno e un solo individuo, bensì di descrivere un intero insieme di persone o un sottoinsieme di persone delle quali la ricerca si è occupata.

Evidentemente l’identikit di un individuo e quello di un gruppo non vanno intesi allo stesso modo. Dunque, come interpretare quest’ultimo? Come il profilo più rappresentativo rappresentato (no, è meglio non usare il primo termine che in statistica ha un diverso significato), ovvero più comune, nell’insieme dei soggetti considerati? O come il profilo più vicino, mediamente, a tutti i soggetti, secondo un certo criterio? O secondo qualche altro significato ancora?

Cerchiamo di capirlo, prendendo spunto proprio dall’indagine del pezzo citato sulle matricole della facoltà di medicina e chirurgia, ed esaminando qualche ipotetica situazione con numeri scelti ad hoc.

il paradosso di Simpson da vedere

Nella sezione in inglese: visualizing Simpson’s paradox. E’ possibile che il tasso di disoccupazione sia più basso tra i diplomati e laureati, sia nei giovani che negli anziani, e che però il tasso di disoccupazione sia più alto tra i diplomati e laureati, nella popolazione che comprende sia i giovani che gli anziani? Sì. Wikipedia cerca di spiegare questo fenomeno conosciuto come paradosso di Simpson, e nel mio articolo propongo un grafico per aiutare a capire dove sta l’apparente inghippo.

un grafico a bolle di intensità per tabelle a doppia entrata

Avrei dovuto scrivere questo articolo subito dopo il suo naturale predecessore. E invece tante idee, tanti progetti si sono confusi, sovrapposti e scavalcati tra loro, così che sul blog ho finito per occuparmi d’altro, senza peraltro la continuità e l’approfondimento desiderati. Detto in altre parole, soffro di procrastinazione cronica.

Anche se a distanza di tre anni è inevitabile riprendere l’argomento in maniera un po’ diversa da quella iniziale, la premessa rimane sempre valida: grafici diversi rispondono a esigenze di analisi diverse e interpretano viste diverse di una tabella a doppia entrata.

Mentre allora ho discusso di grafici che interpretano la lettura di una tabella a sezioni orizzontali, ovvero per righe, e a sezioni verticali, ovvero per colonne, ora mi propongo di illustrare le rappresentazioni grafiche simmetriche, cioè quelle che non vengono alterate invertendo il ruolo di righe e colonne e quindi le variabili che le intestano sono trattate alla pari.

aspettando il nuovo Papa

Carl Cialik su The Wall Street Journal il 15 febbraio 2013:

cortesia di Wikimedia commons

Age is also a factor in papal selection. […]
Younger popes typically follow older popes, perhaps as cardinals react to the previous papacy’s unusually short duration. David M. Cheney, who works in information technology at a U.S. government agency and maintains his own papal database at the website Catholic Hierarchy, said the oft-stated trend proves to be “quite accurate, with a few exceptions.”

Di previsioni sul prossimo Papa se ne fanno tante. Oltre alla nazionalità, anche l’età è diventata oggetto di discussione, e non solo per un invito attribuito allo stesso Benedetto XVI. L’ipotesi de The Wall Street Journal è interessante. In sostanza a Papi anziani succederebbero più frequentemente Papi giovani, come risposta all’emergere nel tempo della necessità di realizzare progetti e politiche di ampio respiro e lungo periodo, cose fuori dalle possibilità, per limiti anagrafici e caratteriali, di un Papa anziano.
Ma è davvero così? Il grafico che riporta, in base ai dati dell’archivio dei pontificati citato nello stesso articolo, l’età all’elezione e la durata del pontificato per gli ultimi 50 Papi (mi sono fermato a 50 soltanto per limiti di spazio e di tempo), non sembra charire la questione.

da tabella a grafico in WordPress

Qualche settimana fa ho scoperto HighCharts, una libreria Javascript per la creazione di grafici che mi ha colpito più di altre per la semplicità di scrittura del codice e per la sua elegante resa. Così ho cominciato a fare qualche esperimento e progettarne altri per il blog, ancora in cantiere. Di più, mi è venuta l’idea di sviluppare un piccolo programma per permettere a tutti, soprattutto a chi non conosce nulla di PHP e JavaScript, di inserire negli articoli del proprio blog WordPress dei semplici ma accattivanti grafici a partire da tabelle di dati numerici qualunque.

Alla fine ho partorito il plugin che, con un mostruoso sforzo di immaginazione, ho chiamato Table2Chart.

Post scriptum: è in linea la nuova pagina con la descrizione aggiornata del plugin (in inglese).

radiografia di una crisi

Pieter Bruegel, particolare di
Lotta tra carnevale e quaresima

La disponibilità dei dati sulla qualità della vita che Il sole 24 Ore pubblica annualmente in libera consultazione e dei quali ho parlato nel mio ultimo articolo mi ha fatto nascere l’idea di sfruttare alcuni indicatori usati in quell’indagine per rappresentare graficamente la situazione economica nelle province italiane e il trend in atto.

Si tratta in sostanza di un semplice esercizio per sperimentare se e quanto un certo grafico riesca a esplicitare in termini intuitivi e immediati una serie di numeri la cui lettura integrale risulterebbe molto lunga e difficlmente produttiva.