domenica 28 febbraio 2010

Sempre sull'analisi dei dati

Ciao a tutti,
   so che siete trepidanti e che non vedete l'ora che pubblichi il resoconto del CCD di febbraio dopo questo mese di esami, ma su quell'argomento ho ancora bisogno di tempo per schiarirmi le idee, tanto l'organizzazione di un corso di laurea può essere tramutata in un'impresa titanica. Nel frattempo vi segnalo un articolo che spero troverete interessante.

   L'articolo in questione è stato pubblicato su Le Scienze di marzo con il titolo "Sesso, bellezza e statistica", e mostra come spesso da un'analisi superficiale dei dati si traggano conclusioni perentorie (e abbastanza fantasiose) senza che queste siano suffragate da prove statisticamente significative.

  In particolare gli autori del pezzo "prendono di mira" una serie di articoli pubblicati sul Journal of Theoretical Biology da Satoshi Kanazawa con titoli quali I genitori alti e robusti hanno più figli maschi, Gli uomini più violenti hanno più figli maschi, Gli ingegneri hanno più figli maschi, le infermiere più femmine e I genitori belli hanno più figlie femmine. Queste tesi sono poi state esposte anche in un articolo intitolato  Dieci verità politicamente scorrette sulla natura umana per la rivista Psychology Today, e in un libro scritto in collaborazione con Alan S. Miller pubblicato in Italia con il titolo  Perché agli uomini piacciono le curve e le donne adorano i diamanti. Nell'articolo si mostrano alcuni errori (direi abbastanza grossolani) commessi nell'analisi dei dati che hanno portato a queste tesi, e come questi risultati siano stati ingigantiti da diversi "passaparola" prima di finire sulla stampa "non accademica".

  Non ho intenzione di ricopiare l'articolo per filo e per segno, quindi mi limito a consigliarvelo caldamente. Da studente però sono stupito dal fatto che diverse riviste soggette a peer-review non si siano avvedute degli errori nella presentazione dei dati, visto che qualche sospetto avrebbe potuto essere facilmente destato dal fatto che le tesi degli articoli erano dalle 10 alle 100 volte più grandi di tutti gli effetti sul rapporto tra i sessi alla nascita mai riportati nella letteratura scientifica. Se a ciò aggiungiamo che l'autore di questi articoli è anche professore di metodologie della ricerca, la faccenda assume un che di surreale.

  Tutto questo per ribadire, come già si faceva da questo blog tempo fa, che i dati statistici vanno usati con cautela e soprattutto presentati in modo corretto; citando l'articolo di Le Scienze:
[...]Questo articolo affronta soprattutto l'interpretazione di risultati non significativi, e tratta brevemente le distorsioni dei risultati ambigui veicolate dai mezzi di informazione, Se si pensa alle precauzioni e ai tecnicismi con cui gli statistici e i ricercatori sociali più scrupolosi argomentano le loro conclusioni, non c'è da sorprendersi del fatto che i giornalisti siano influenzati da chi magnifica e sopravvaluta i propri risultati. Uno dei motivi per cui è importante affrontare questo argomento è proprio che certi errori sistematici, come la sopravvalutazione delle dimensioni di effetti che in realtà sono molto modesti, possono fuorviare gli scienziati e, con loro, il grande pubblico.

Un altro pezzo interessante su alcuni nefasti effetti delle statistiche mal condotte, e più in generale sulla pazza corsa all'affibbiare a qualsiasi cosa un valore numerico lo trovate qui.

Ciao a tutti, prossimamente il resoconto del CCD.

Daniele

3 commenti:

  1. Ecco perchè sono giunta alla conclusione (ma il pensiero è ancora in fase di elaborazione) che sia necessario rifondare il giornalismo, o meglio: dotare il giornalismo di un approccio scientifico. Ipotesi - tesi - verifica delle ipotesi - conclusioni. Al bando le opinioni non giustificate, i dati non contestualizzati, i numeri non spiegati, le conclusioni senza un dato di partenza. L'informazione sta diventando troppo importante nelle scelte di un Paese, sta acquisendo un'influenza troppo rilevante per la vita dello stato, perchè decidendo di pubblicare un articolo piuttosto che un altro, un giornale veicola un punto di vista che, se messo in chiaro, è riconoscibile; altrimenti rimane una parzialità occulta e fraintendibile, che può venire ritenuta a torto la verità dei fatti.
    Applicare un metodo scientifico all'informazione significherebbe dover inquadrare adeguatamente il valor medio della gaussiana, ma anche la sua sigma; tracciare la linea di correlazione, ma aggiungere a margine anche il coefficiente. Fittare le opinioni degli italiani con una curva, ma poi verificarne anche il chi quadro, e dare ragione del fatto che non sia corretto.

    In fondo il giornalismo, un po', è come la fisica: parti con le tue idee e le tue ipotesi sulla realtà, ma se vuoi che la tua ricerca abbia un seguito, devi essere disposto a mettere in crisi quegli schemi mentali, e ritornare a cercare.
    Certo, questo presuppone la mancanza di ideologia da parte del giornalista.

    p.s. Purtroppo, però, ho in mente una frase, che sono quasi certa di attribuire a un famoso giornalista anche se non ricordo più a chi, che fotografa bene la predisposizione della categoria ai numeri. Suonava circa così:
    "Se hai la possibilità di aggiungere dei numeri al tuo articolo, toglili."

    RispondiElimina
  2. Personalmente non sono molto convinto della possibilità di dare al giornalismo un approccio scientifico. Un approccio di questo tipo funziona bene con le scienze naturali, ma applicarlo fuori da questo contesto mi sembra molto difficile. Sfido a dimostrare una tesi (ad esempio politica) come si dimostrerebbe un teorema; sono due linguaggi diversi, dovremmo prenderne atto. La filosofia neo-positivista ha incontrato non pochi problemi, anche solo per stabilire se una proposizione fosse sensata o meno. Ricostruire il giornalismo con un metodo del genere mi sembra "abbastanza impossibile".

    RispondiElimina
  3. Ma non nel senso di applicare un approccio "quantitativo"-matematico. Intendo: dò un'informazione? Bene. Quest'informazione porta in sè una tesi: prima di poterla mettere nero su bianco, la devo verificare (parte "sperimentale", che però non è per forza quantitativa). In realtà sarebbe il metodo normale per operare, ma non mi pare che ciò accada sempre. Secondo me andrebbe applicato soprattutto alle opinioni, che sono quelle che influenzano di più la gente. E poi, appunto, alle statistiche: va bene riportare i risultati degli studi, ma contestualizzarli non saebbe male...
    Io ho presente soprattutto discorsi del tipo: "negli ultimi anni è cresciuto a Como il numero dei delitti", oppure "negli ultimi anni si è verificato un crollo delle immatricolazioni di ragazzi provenienti da famiglie a basso reddito" (vedi Le Scienze -art. di Bellone): verificare, gente! Cercare le cause, bitte, perchè magari il crollo degli iscritti a basso reddito può essere causato anche semplicemente da un restringimento dei parametri con cui calcolare l'ISEEU...!!

    RispondiElimina