Hoe onwaarschijnlijk zijn onwaarschijnlijke gebeurtenissen?
Enkele jaren geleden was er veel media aandacht voor de mogelijkheid dat de Large Hadron Collider van het CERN bij Genève onbedoeld mini zwarte gaten kon produceren als bijproduct van een experiment, die vervolgens de Aarde zouden kunnen vernietigen. Na onderzoek kwamen enkele commissies van deskundigen tot de conclusie dat de kans op deze catestrofe verwaarloosbaar was, onder andere omdat men overtuigt is van de realiteit van Hawkingstraling en omdat de natuur al miljarden jaren hoogenergetische kosmische deeltjes op de Aarde laat botsen, zonder rampzalige gevolgen. De kans op een catastrofale afloop van het experiment werd niet gekwantificeerd, maar stel nu dat deze 1 op een miljard per jaar zou zijn. Erg klein, maar als het misgaat zijn de gevolgen enorm; er is een verwachtingswaarde van 7 slachtoffers per jaar. Velen zouden het uitvoeren van een experiment dat naar verwachting jaarlijks 7 mensen doodt moreel onverantwoord vinden. En dan zijn toekomstige generaties en dieren nog buiten beschouwing gelaten.
Een foute beredenering
Het echte probleem met deze kans is echter een stuk zorglijker. Hoe betrouwbaar is een inschatting van zo’n kleine kans? De waarde van 1 op een miljard is de uitkomst van een berekening die gebaseerd is op een redenatie, een model en mogelijk meerdere theorieën, en geldt enkel als deze allemaal volledig correct zijn. Als men ergens in het onderzoek een redenatiefout of rekenfout heeft gemaakt is deze inschatting waardeloos en zou de werkelijke kans wel eens veel groter kunnen zijn. Om de werkelijke kans op een catastrofe te bepalen moet je dus inzicht hebben in de kans dat je berekening fout is. Dit is vooral relevant als de kans op een redenatiefout groter is dan de berekende kans op de catastrofe. Een zeer kleine ingeschatte kans, zoals 1 op een miljard, impliceert dat de onderzoekers enorm zeker van zichzelf zijn. Als een miljard onderzoekers heel zeker zijn van hun resultaat, hoeveel zouden er in werkelijkheid toch een fout hebben gemaakt?
Hoe zeker zijn wetenschappers van hun resultaten?
De wetenschapsgeschiedenis is bezaaid met fouten, ook bij belangrijke projecten. Enrico Fermi, niet de minste, vond het idee van Leó Szilárd van een nucleaire kettingreactie belachelijk. In 1954 bleek de Castle Bravo atoombom 15 megaton te halen in plaats van de geschatte 4 à 8 megaton, wegens een buiten beschouwing gelaten reactie met lithium-7, wat leidde tot een sterfgeval. Een ander type fout (of beter gezegd, blunder) was de verwarring tussen metrische en Engelse eenheden in een NASA Mars ruimtevaartuig in 1999, waardoor deze onbestuurbaar werd. Een klassieke vergissing bij de inschatting van de leeftijd van de Aarde werd gemaakt door Lord Kelvin in de 19e eeuw. Hij kwam uit op 20-40 miljoen jaar. Valt hem dit te verwijten? Nee, want hij baseerde zich op de toen bekende natuurkunde, zoals warmtegeleiding en de temperatuur van de Aarde. Radioactief verval was nog onbekend, en later werd ontdekt dat het verval van bijvoorbeeld kalium-40 veel warmte produceert, waardoor Kelvin’s berekening in het water viel.
In de praktijk blijkt de kans op een fout in een onderzoek circa 0,1 to 1% te zijn. Deze kans domineert de berekende kans volledig als deze erg klein is, en dan is de werkelijke kans onbekend. Deze zou heel makkelijk een stuk hoger kunnen liggen dan 1 op een miljard.
Een getallenvoorbeeld
Gebaseerd op het bovenstaande blijven we aan de veilige kant en kiezen we een kans van 0,999 dat het onderzoek klopt en de berekende kans op een catastrofe inderdaad 10-9 is. Dit betekent dat er een kans van 10-3 is dat de 10-9 niet klopt. Stel nu dat de kans op een catastrofe in het geval van een redenatiefout 10-4 is. Dit getal is erg lastig in te schatten, maar zonder goede argumenten is er geen enkele reden aan te nemen dat dit getal zeer klein is, dus 10-4 is een aardig conservatieve keuze. Nu is de nieuwe beste inschatting van de kans op een catastrofe 0,999 * 10-9 + 10-3 * 10-4 ~= 10-7, honderd keer zo groot als eerder gedacht. Voor elke redelijke variatie op de bovenstaande getallen geldt dat de oorspronkelijk berekende kans (veel) te klein blijkt te zijn, en het geïmpliceerde zelfvertrouwen onterecht was.
Moeten we dan maar stoppen met elke activiteit waarbij we niet absoluut zeker zijn van een goede afloop? Meer voorzichtigheid is wellicht op zijn plaats, maar het nemen van risico kan ook leiden tot een grote wetenschappelijke sprong voorwaarts. De eerste vaccinatie was erg riskant, maar vaccins hebben uiteindelijk erg veel goeds gebracht.
Bron
Ord, T., Hillerbrand, R. & Sandberg, A. 2008. (arXiv)
