Duidelijke alarmsignalen compleet negeren. Hoe kan het? Op 10 april 2010 stortte het Poolse presidentiële toestel neer. De president en zijn delegatie, op slag dood. En dat op nog geen kilometer van de luchthaven.
National Geographic heeft er een hele aflevering van Aircrash Investigations aan gewijd. De onderzoekers stootten op een zeer intrigerend feit. Tijdens de afdaling loeide in de cockpit het hoogteverliesalarm. Vreemd genoeg reageerde daar niemand op. Sterker nog. De bemanning heeft het alarm handmatig uit gezet.
Ik leg je uit waarom ze dat deden. Vliegt een toestel te laag én is er geen luchthaven in de buurt? Dan gaat het alarm af. Het Poolse presidentiële toestel is een passagiersvliegtuig dat vaak landt op militaire luchthavens. Doordat deze luchthavens niet opgenomen zijn in de database van de passagiersvliegtuigen, lijkt het of er geen luchthaven is. En dus gaat het alarm vrijwel altijd af wanneer men op een militaire luchthaven wil landen. Piloten zijn dit gewoon. Zo gewoon dat ze helemaal niet meer opschrikken van die loeiende sirene. Het blijft natuurlijk wel een enorm lastig geluid. Daarom resetten ze hun hoogtemeter. En dat is exact wat er op deze vlucht gebeurde.
Alarmen negeren? Het gebeurt vaker. Vooral in bedrijven. Een alarmsignaal op een dashboard gaat bijna altijd gepaard met: “Ja, maar dat is maar tijdelijk hoor, want …” of “De meting houdt geen rekening met …, dus …”. Het gevolg?
Niet alleen de waarde van het alarmsignaal wordt tenietgedaan, ook de andere meetgegevens verliezen een groot deel van hun geloofwaardigheid.
Vaak denken we de realiteit te weerspiegelen in onze meting. Dat klopt niet helemaal. Meten we iets? Dan hebben we altijd een mogelijke meetfout. En dan moeten we beslissen: is wat we meten juist of fout? Om die beslissing te nemen, leggen we arbitrair een cutoff score vast. Deze score bepaalt of het positief of negatief is. Of het dashboard groen of rood kleurt.
Deze cutoff score, in combinatie met onze meetfout geeft ons 4 mogelijke uitkomsten. We doen bijvoorbeeld kankerscreenings.
- Onze meting was juist en we hebben een positieve score (true positive) vb we meten kanker en de patiënt heeft kanker.
- Onze meting was juist en we hebben een negatieve score (true negative) vb we meten geen kanker en de patiënt heeft geen kanker
- Onze meting was fout en we hebben een positieve score (false positive) vb we meten geen kanker, maar de patiënt heeft kanker
- Onze meting was fout en we hebben een negatieve score (false negative) vb we meten kanker, en de patiënt heeft geen kanker
Hoe scherp stellen we de cutoff score in? Dat beslissen we zelf. De plaats van de cutoff score bepaalt de verhouding tussen de vals negatieve en de vals positieve uitkomsten. In het voorbeeld dat we geven, hebben we duidelijk liever een vals negatieve uitkomst, dan een vals positieve. Liever verkeerdelijk denken dat iemand kanker heeft en hem verder onderzoeken, dan hem naar huis te sturen, terwijl hij eigenlijk ziek is. Om dat te vermijden leggen we de cutoff score hoger. Leggen we deze drempel fout? Dan hebben we constant vals negatieve uitkomsten en dan is onze meting niets meer waard.
Bij het voorbeeld van het Poolse vliegtuig, was het aantal vals positieve uitkomsten te hoog. Het alarm verloor zijn effect.
In deze voorbeelden staan steeds mensenlevens op spel. Dat is gelukkig niet zo in het bedrijfsleven. Maar in geen geval mag het dashboard veranderen in een nutteloos kleurenplaatje.