Pesca de Significancia
- p-hacking
- dragado de datos
- torturar los datos hasta que confiesen
- probar hasta que dé
Se prueban muchos cortes, variables y filtros sobre los mismos datos y se publica el único que dio significativo, como si hubiera sido el que se buscaba desde el principio.
Culpable de error probabilístico
Forma lógica
- 1Se corren N análisis sobre los mismos datos.
- 2El análisis k da un resultado significativo.
- ∴ El efecto es real.
Con suficientes análisis siempre aparece uno significativo por puro azar. El número que se reporta supone un solo intento y hubo N: el cálculo publicado no es el cálculo que se hizo.
Evidencia
Informe de resultados
«Probamos por región, por edad, por dispositivo y por día de la semana. Los martes en escritorio la conversión sube 30 %.»
Por qué falla
Cuatro variables cruzadas dan decenas de cortes. Que uno se despegue es lo esperable aunque no esté pasando nada, y «martes en escritorio» no se eligió antes de mirar.