Wat is het valse ontdekkingspercentage?
Het valse ontdekkingspercentage (FDR) is een statistische voorspelling van het aantal resultaten dat naar verwachting fout-positief is. Hiermee kunnen onderzoekers gegevens analyseren om te bepalen of deze statistisch zinvol of waardeloos zijn. Afhankelijk van het type project kan er een hoge tolerantie zijn voor een hoog percentage valse ontdekkingen, omdat de andere bevindingen nog steeds geldig zijn en nuttig kunnen zijn. Onderzoekers presenteren meestal statistische analyses van hun bevindingen en bespreken dit in de presentatie van hun werk.
Dit concept is gerelateerd aan de p-waarde, een schatting van de kans op een betekenisvol en geldig resultaat. Kleine p-waarden suggereren dat de gegevens niet zo betekenisvol zijn, omdat er een lage statistische waarschijnlijkheid is dat ze uniek zijn. Als iemand bijvoorbeeld gekleurde ballen uit een zak trekt die ballen van drie kleuren bevat, zou die persoon verwachten ongeveer dezelfde aantallen van elke kleur te trekken. Als 20 ballen worden getrokken en 10 daarvan dezelfde kleur hebben, is dit statistisch onwaarschijnlijk. Om de p-waarde te vinden, zou de onderzoeker een statistische analyse kunnen uitvoeren om te bepalen hoe waarschijnlijk het is om 10 ballen van dezelfde kleur te trekken in een 20-ballen draw.
In het geval van het percentage verkeerde ontdekkingen is er meer mildheid dan met een p-waarde. In plaats van te kijken naar de statistische waarschijnlijkheid dat de resultaten daadwerkelijk uniek zijn, wordt het aantal valse positieven onderzocht dat waarschijnlijk in de resultaten wordt gevonden. Een groot aantal valse positieven kan nog steeds bruikbare gegevens opleveren. De onderzoekers moeten de valse positieven kunnen identificeren en uitsluiten van hun resultaten, maar de resterende informatie kan erg belangrijk zijn.
Talrijke berekeningen kunnen worden gebruikt om het aantal valse ontdekkingen te bepalen. Als onderzoekers vinden dat dit percentage hoog is bij het opzetten van een experiment, kunnen ze enkele aanpassingen maken om het te controleren. Dit kan veranderingen in de methodologie van de studie omvatten, zoals het verkrijgen van een grotere steekproef om het aantal valse positieven te verlagen. Een nauwgezet onderzoeksontwerp is erg belangrijk, omdat fouten in dit proces problemen met het experiment kunnen veroorzaken.
Computerprogramma's om te helpen bij het berekenen van valse ontdekkingspercentages zijn beschikbaar. Het is ook mogelijk om ze met de hand uit te voeren. Tijdens het ontwikkelen van een studiemethode kunnen onderzoekers enkele berekeningen uitvoeren om duidelijke fouten in het ontwerp te identificeren voordat het experiment doorgaat. Dit kan hen helpen zwakke punten te vinden en aan te pakken om het experiment zo sterk en zo nuttig mogelijk te maken.