Konsten att bygga bra prognoser

Nate Silvers logoHur en bok om statistisk metod hamnade på bestsellerlistorna och varför det är bra.
Nate Silver (född 1978) är amerikansk statistiker, valanalytiker, baseballanalytiker, halvprofessionell pokerspelare och författare. Direkt efter examen i ekonomi arbetade han som konsult, under tiden utvecklade han matematiska metoder att förutsäga baseballspelares prestationer (PECOTA, som senare såldes) och nådde framgång som pokerspelare. Efter fyra år slutade Silver konsultjobbet för att spela poker och jobba med baseball. Han fortsatte bygga prognoser och har sedan 2008 publicerat träffsäkra förutsägelser av amerikanska val på webbsiten fivethirtyeight.

Silver gör inte enkäterna själv, fivethirtyeight är en sk. ”poll agregator”, dvs förutsägelser fås genom viktad sammanslagning av andras enkäter, något som ger bättre resultat än enstaka enkäter: 2008 förutspådde Silver korrekt valutgång i 49 av 50 stater, valet 2012 förutspådde han 100% korrekt.

Parallellt skrev Silver The Signal and the Noise: Why Most Predictions Fail – But Some Don’t, en bok om konsten att bygga bra prognoser, och under hösten 2012 hamnade alltså en teknisk (men lättläst) bok om statistisk metod på bestsellerlistorna.

Silver har intervjuat mängder med forskare och analytiker, och han illustrerar mycket pedagogiskt problemen med olika prognosbyggen. Det hela presenteras strukturerat, en prognosdomän per kapitel; t ex finans, väder, jordbävningar, smittspridning, poker, schack, terror och säkerhetsfrågor och klimatdebatt. Och det blir överraskande lättläst.

Silver har kritiserats (inte helt förvånande då han ju sticker ut hakan rätt ordentligt) för att dels ha fel (han har haft rätt om två amerikanska presidentval, men fel om det engelska parlamentsvalet 2010), dels för att inte ta nog hänsyn till motiven hos prognosmakarna (”men folk tjänade ju stora pengar fram till finanskraschen”). Nu är ”the Signal…” inte primärt en bok om finanskris och till Silvers försvar får sägas att han i boken är mycket tydlig med t ex hur banker tjänade pengar. Han är också mycket tydlig när han genom att jämföra risk för regn i väderprognoser med verklig förekomst av regn visar hur kommersiella väderstationer överdriver risk för regn vid låg risk (TV-kanalerna antar att deras tittare blir surare över att överraskas av regn än av solsken och överdriver risken för regn när risken är låg).

Och Silvers poäng är viktig. Boken inleds av illustrationer av hur mängden text och data runtom oss ständigt ökar, men ökar verkligen mängden användbar information? Och om vi inte förstår att tolka (eller ifrågasätta tolkningar) kan vi skilja användbar information från oanvändbart strunt? Som titeln antyder – poängen är skillnaden mellan signal och brus. Alla som hört en dåligt inställd radiostation vet att när bruset låter lika högt som musiken kan man ta fel på brus och musik.

Silver visar i exempel med jorbävningsforskning hur det går när man tolkar brus som signal. Själva källan till jordbävningarna (spänningar och rörelser i tektoniska plattor) finns miltals under jordytan, dit har ingen borrat, man har aldrig mätt direkt. Istället har man fört mycket noga bok över alla skakningar på ytan. Men en rörelse hos en tektonisk platta femton mil under jordytan hinner förändras av många faktorer innan den blir en ytskakning. Brus överlagras, vilket man försökt komma runt med komplicerade matematiska modeller. Men aldrig så fina modeller bygger inga bra prognoser om de slingrat sig runt en tolkning av brus, vilket sannolikt är varför man fortfarande inte säkert kan förutsäga jordbävningar. Vilket inte hindrar nyhetsmedia från att rapportera dramatiskt.

Silver kritiserar nyhetsmedia för att hellre vilja skapa rubriker än rapportera korrekt risk. I sin bok sätter han själv snarare ett vetenskapligt ideal, poängen med en prognos är att den ska stämma. Genomgående lever boken också upp till idealet: Silver skriver vetenskapligt, i princip allt backas upp med källor och fotnötter.

För vår egen vardag, där olika ”tredje största parti” hyllas med månatlig regelbundenhet, där kvällstidningars enkäter presenteras som fakta och där risken får lånebubblor regelbundet förnekas, kan nog Silvers bok ha sina poänger.

Oavsett vad man tycker om att tjäna pengar på lånepaket, att inte veta om det kommer att regna, eller om man vill sätta jordbävningsforskare i fängelse (som nyligen i Italien): Silvers grundkurs i statistik ger enkla verktyg att hitta fakta i brus – eller i alla fall misstänka att mängden brus är för stor för att någon ska hitta fakta.
Som Silver själv säger i sitt förord: ”We think we want information when we really want knowledge. The signal is the truth. The noise is what distracts us from the truth. This is a book about the signal and the noise.”
En god bok att starta ett nytt år med.

bokomslag

Nate Silver
The Signal and the Noise:
Why Most Predictions Fail – But Some Don’t
Penguin Press 2012


Länkar:
Nate Silvers FiveThirtyEight blog

PECOTA
Player Empirical Comparison and Optimization Test Algorithm