'Het rapport van minister Hennis over PX-10 deugt niet'

Na de recente uitzendingen over het kankerverwekkende wapenreinigingsmiddel PX-10 komt er meer en meer kritiek op een RIVM-rapport uit 2011 op basis waarvan claims van ziek geworden militairen worden afgewezen. Diverse binnenlandse en buitenlandse experts maken gehakt van het rapport en de gebruikte methoden.  Promovenda High Risk Politics Dieuwertje Kuijpers (VU) bestudeerde het RIVM-rapport en stelt dat het wetenschappelijk onvoldoende onderbouwd is. Onderstaande blog verscheen eerder op Oneworld.nl.

GASTBLOG – Nederlandse militairen hebben decennia lang moeten werken met het kankerverwekkende PX-10. Schandalig, vindt veiligheidsexpert en wetenschapper Dieuwertje Kuijpers, hoe minister Hennis van Defensie een rammelend rapport gebruikt om schadeclaims van militairen weg te wuiven. 

Duizenden militairen zeggen ziek te zijn geworden door het onbeschermd werken met kankerverwekkende wapenreinigingsolie PX-10. Vrijwel iedereen in de krijgsmacht, zowel beroepsmilitairen als dienstplichtigen, moest er vanaf de jaren vijftig tot medio jaren negentig mee werken.

Klinkklare onzin

Claims van ziek geworden militairen die hebben gewerkt met het giftige middel PX-10, worden door Defensie afgewezen op basis van een RIVM rapport uit 2011. Hierin wordt geconcludeerd dat een er geen associatie bestaat tussen het gebruik onbeschermde gebruik van PX-10 en bepaalde ziektebeelden (zoals leukemie) bij oud medewerkers van Defensie. De minister van Defensie, Jeanine Hennis, stelde dat er “geen direct causaal verband” bestaat. Klinkklare onzin.

Statistiek voor Dummies

Allereerst de claim van de minister. Elke eerstejaars student statistiek leert het verschil tussen associatie (correlatie) en causatie, vaak door middel van de gevleugelde zin “correlation is no causation”. Wat is het verschil en waarom maakt dit uit? Het rapport heeft gekeken naar de associatie, dus of twee variabelen een relatie met elkaar hebben. Dat is heel wat anders dan causatie, waarbij de onderzoeker kijkt welke kant deze relatie op gaat en of het een door het ander wordt veroorzaakt. Voorbeeld: zo kunnen kinderen die blowen later gemiddeld een slechtere baan hebben. Dit wil niet zeggen dat dit wordt veroorzaakt door het blowen. Het zou kunnen zijn dat zij blowen onder schooltijd, en dus door het spijbelen slechter presteren op school. Je zou dit kunnen controleren door deze groep te vergelijken met niet-blowende spijbelaars. Daarom is het heel knap dat de minister van Defensie zo snel is om een causale relatie uit te sluiten. Tegelijkertijd is het begrijpelijk zo snel mogelijk elke verantwoordelijkheid van je af te schuiven wanneer er mogelijke schadeclaims boven het departement hangen.

Ten tweede is er het nodige aan te merken op het rapport zelf. Het RIVM gebruikt een zogeheten life expectancy table, een bepaalde techniek voor survival analysis. Het RIVM heeft gekeken naar een groep militairen die hebben gewerkt met PX10 en deze vergeleken met een hypothetische groep gemiddelde Nederlanders die sterven aan PX10 gerelateerde ziektes, op basis van CBS gemiddelden. Uiteraard steggelen wetenschappers graag over methodes, zijn er altijd heerlijke discussies te voeren of er geen betere modellen bestaan om de hypothese te toetsen maar in principe is het geen heel raar idee om hiervoor een survival analysis te gebruiken. Hoewel de tabellen qua informatievoorziening “kaal” aandoen voor een politicoloog (mogelijk gelden in de public health – tak van academische sport andere regels voor rapporteren van resultaten), kun je er op het eerste gezicht van uit gaan dat de analyse zelf prima is uitgevoerd.

Een onderzoek is pas valide wanneer je daadwerkelijk meet wat je wilt weten

Toch is hiermee de kous allesbehalve af. Je kunt namelijk nog zo een mooie analyse draaien, als je aannames (en achterliggende ontwerp) niet kloppen zeggen deze resultaten vrij weinig. Met andere woorden: een analyse kan statistisch gezien kloppen, maar tegelijkertijd niet valide zijn. Het is bijvoorbeeld heel goed mogelijk om aan te tonen dat er een associatie bestaat tussen het aantal films die Nicholas Cage uitbrengt en het aantal mensen die verdrinken in een zwembad. Statistisch gezien een puike analyse, toch voelt iedere lezer direct aan zijn theewater dat wij er verder weinig aan hebben. En terecht: een onderzoek is pas valide wanneer je daadwerkelijk meet wat je wilt weten.

Dat is het grootste probleem van het RIVM-rapport: de opzet van het onderzoek deugt niet, waardoor het zeer lastig is om grootste conclusies (if any) aan de resultaten te verbinden.

Wetenschappelijk geflater

De groep militairen die zijn opgenomen in het onderzoek bestaat uit 23 militairen van de Koninklijke Marine die twee keer bijeen zijn gekomen in een focus group. Belangrijke vraag voor elk onderzoek: hoe kwamen de onderzoekers aan deze personen? Zo is er te lezen dat er ondanks herhaaldelijke pogingen vanuit de onderzoekers, het niet is gelukt militairen uit andere krijgsmachtonderdelen te betrekken bij het onderzoek. Dit suggereert dat er in ieder geval geen willekeurige steekproef is gehouden. De vraag die overblijft is of de militairen zijn voorgeselecteerd (door Defensie zelf) of dat zij zichzelf hebben aangemeld (en de deelnemers dus zichzelf hebben geselecteerd). Hoe dan ook: er is een selection bias. Als je hier als wetenschapper mee wordt geconfronteerd moet je het op zijn minst adresseren, en het liefst hier (1) een oplossing voor vinden of (2) een hele grote slag om de arm houden in je conclusies. Geen van beiden is het geval.

Tegelijkertijd is er een probleem met de omvang van de groep militairen: 23 militairen zouden representatief moeten zijn voor 1.7 miljoen militairen. Dit klinkt op zijn zachts gezegd magertjes, maar het probleem wordt groter wanneer je je beseft dat deze 23 militairen worden vergeleken met gemiddelden uit het CBS (op basis van 16 miljoen Nederlanders). Hierbij komen wij op het laatste belangrijke punt van kritiek: er is gekeken op groepsniveau. Dus een “groep militairen” is vergeleken met een hypothetische “groep gemiddelde Nederlanders”. Het is vreemd om groepen met elkaar te vergelijken, wanneer je juist geïnteresseerd bent wat de doorslaggevende factoren waren voor de militairen die ziek zijn geworden. Pas dan zou je kunnen concluderen of PX10 een van deze doorslaggevende factoren zou zijn geweest. Ook hier is de vraag: wordt er eigenlijk wel gemeten wat wij willen weten?

Schandalig dat dit rapport al vier jaar lang wordt gebruikt om schadeclaims van militairen weg te wuiven. 

De stelligheid van het RIVM rapport dat een associatie tussen PX-10 en ziekte onder militairen “essentially excluded” is opmerkelijk.  Schandaliger wellicht is dat wetenschappers hun primaire taak, namelijk kritische bevraging, opzij zetten uit angst Defensie als opdrachtgever te verliezen – zoals bleek uit een reportage van EenVandaag. Gooi daar nog eens de causale inferenties van onze minister van Defensie overheen en een zeer nare smaak in de mond blijft achter. Het is schandalig dat dit rapport al vier jaar lang wordt gebruikt om (mogelijk zeer gegronde) schadeclaims van militairen weg te wuiven. 

Onze militairen zijn bereid hun leven te geven, het minste wat wij als samenleving terug kunnen doen is er zeker van zijn dat de middelen die zij tot hun beschikking krijgen hen helpen te overleven in plaats van te sterven. 

Dieuwertje Kuijpers is promovenda High Risk Politics aan de VU