Jardín de Senderos que se Bifurcan
- el análisis que se decidió mirando
- grados de libertad del que analiza
- un solo corte entre muchos posibles
Un solo análisis parece limpio, pero se eligió después de ver los datos: las decisiones que se habrían tomado distinto cuentan igual, aunque nunca se hayan ejecutado.
Culpable de error probabilístico
Forma lógica
- 1Se corre un único análisis A y da significativo.
- 2No se corrió ningún otro análisis.
- ∴ El resultado no depende de la cantidad de intentos.
Si con datos distintos se habría cortado distinto, hubo muchos análisis posibles aunque se ejecutara uno solo. Los senderos no recorridos inflan la chance de encontrar algo exactamente igual que los recorridos.
Evidencia
Revisión de un estudio
—Nosotros no probamos mil cosas: corrimos un solo modelo.
—¿Y las franjas de edad las definieron antes o después de ver la distribución?
Por qué falla
Definir las franjas mirando los datos ya es elegir entre muchas opciones. El modelo se corrió una vez; la decisión que lo determinó se tomó con todos los caminos abiertos.