Comparaciones Múltiples
- problema de las pruebas múltiples
- efecto de mirar en otro lado
- dragado de datos
Se prueban muchas variables hasta que alguna da significativa por azar, y ese resultado se publica como si hubiera sido la pregunta original.
Culpable de insuficiencia
Forma lógica
- 1Se hacen N comparaciones sobre el mismo conjunto de datos.
- 2Alguna da un resultado llamativo, como era esperable por azar.
- ∴ Se reporta ese resultado y se omiten las otras N−1.
Con un umbral del 5 %, veinte pruebas independientes producen en promedio un falso positivo. El hallazgo no es raro: es el resultado esperado de mirar veinte veces.
Evidencia
Titular de divulgación
«Un estudio encontró que quienes duermen con medias tienen más riesgo cardíaco.» El estudio comparó 60 hábitos contra 12 indicadores de salud.
Por qué falla
Con 720 comparaciones, unas treinta y seis dan significativas por puro azar. La que llegó al titular es una de ésas, y las otras 719 no se cuentan.