Falacia del tirador de Texas en el análisis exploratorio de datos


23

Estaba leyendo este artículo en Nature en el que se explican algunas falacias en el contexto del análisis de datos. Noté que la falacia del tirador de Texas era particularmente difícil de evitar:

La fábula del francotirador de Texas ilustra una trampa cognitiva que espera durante el análisis de datos: un tirador inepto que dispara un patrón aleatorio de balas al costado de un granero, dibuja un objetivo alrededor del mayor grupo de agujeros de bala y señala con orgullo a Su éxito.

Su tiro al blanco es obviamente ridículo, pero la falacia no es tan obvia para los jugadores que creen en una 'mano caliente' cuando tienen una racha de victorias, o para las personas que ven un significado sobrenatural cuando aparece un sorteo de lotería como números impares.

Tampoco es siempre obvio para los investigadores. "Simplemente obtienes algo de aliento de los datos y luego piensas, bueno, este es el camino a seguir", dice Pashler. “No se da cuenta de que tenía 27 opciones diferentes y eligió la que le dio los resultados más agradables o interesantes, y ahora está involucrado en algo que no es en absoluto una representación imparcial de los datos. "

Creo que ese tipo de trabajo de exploración es común y, a menudo, las hipótesis se construyen en función de esa parte del análisis. Hay un enfoque completo ( EDA ) dedicado a este proceso:

El análisis exploratorio de datos fue promovido por John Tukey para alentar a los estadísticos a explorar los datos, y posiblemente formular hipótesis que podrían conducir a la recopilación de nuevos datos y experimentos.

Parece que cualquier proceso exploratorio realizado sin tener una hipótesis previa es propenso a generar hipótesis espurias.

Tenga en cuenta que la descripción de EDA anterior realmente habla new data collection and experiments. Entiendo que después de que se hayan recopilado nuevos datos, es apropiado un análisis de datos confirmatorio (CDA). Sin embargo, no creo que esta distinción se haga con mucha claridad, y aunque una separación de EDA y CDA sería ideal, seguramente hay algunas circunstancias en las que esto no es factible. Diría que seguir esta separación estrictamente es poco común y la mayoría de los profesionales no se suscriben al paradigma EDA.

Entonces mi pregunta es: ¿EDA (o algún proceso informal de exploración de datos) hace que sea más probable que caiga en la falacia del tirador de Texas?


3
No sé exactamente qué quieres decir con "hipótesis espuria". El espíritu del análisis exploratorio de datos es mirar los datos y estar abierto a una variedad de patrones, incluidos los patrones que no esperaba. No menos y no mucho más. Nada en el análisis exploratorio de datos garantiza buenas ideas y nada descarta o le permite prescindir de pensar críticamente o vincular lo que hace con la ciencia subyacente (sentido amplio). Por lo tanto, existe cierto riesgo de criticar a EDA por cosas que nadie experimentado niega. o nadie lo apoya.
Nick Cox

3
Lo que es más difícil de aprender y enseñar en EDA es precisamente en qué se supone que ayudan las pruebas de significación (en las cuentas más optimistas): acostumbrarse a no interpretar en exceso los detalles en los datos que no son lo suficientemente importantes como para merecer atención . Yo diría que muchas cuentas de EDA no presionan lo suficiente la idea de que para que un patrón se tome en serio debe ser identificable en diferentes conjuntos de datos, pero esa negligencia es común en la ciencia estadística.
Nick Cox

1
Gracias. El problema es que generar muchas hipótesis y probarlas en el mismo conjunto de datos es realmente peligroso porque es probable que confirmes una de ellas incluso si es falsa. Como describe Creosote, se necesitaría una corrección en los valores p. Desafortunadamente, nunca he visto esto hecho en la práctica.
Robert Smith

2
Al aprender EDA (francés) a principios de la década de 1980, tuve la impresión de que en realidad era mucho más fácil desviar su análisis hacia la (s) conclusión (es) prevista (s) que con una estructura estadística más sólida ...
Xi'an

Respuestas:


12

Si uno ve el rol de EDA estrictamente como la generación de hipótesis, entonces no se aplica la falacia del francotirador. Sin embargo, es muy importante que los ensayos confirmatorios posteriores sean de hecho independientes. Muchos investigadores intentan "conciliar las diferencias" con cosas como análisis agrupados, metaanálisis y métodos bayesianos. Esto significa que al menos parte de la evidencia presentada en dicho análisis incluye "el círculo alrededor de los agujeros de bala al azar".


55
Exactamente. El problema con tanto análisis de datos exploratorios es que se usa el mismo conjunto tanto para el entrenamiento (identificando dónde aterrizaron las balas) como para la prueba (dibujando el círculo a su alrededor).
Michael K

11

Esto pinta una visión muy negativa del análisis exploratorio de datos. Si bien el argumento no es incorrecto, en realidad dice "¿qué puede salir mal cuando uso una herramienta muy importante de manera incorrecta?"

La aceptación de valores p no ajustados de los métodos EDA conducirá a tasas de error tipo I muy infladas. Pero creo que Tukey no estaría contento con que alguien haga esto. El objetivo de la EDA no es sacar conclusiones definitivas sobre las relaciones en los datos, sino buscar posibles nuevas relaciones en los datos a seguir.

Dejar de lado este paso en el proceso científico más amplio es esencialmente obstaculizar a la ciencia para que nunca pueda encontrar nuevos aspectos interesantes de nuestros datos, fuera de la deducción lógica pura. ¿Alguna vez trató de deducir lógicamente cómo la sobreexpresión de un conjunto de genes afectará la supervivencia de una célula? Sugerencia: no es muy fácil (uno de nuestros chistes favoritos entre el personal de bioinformática en mi trabajo fue cuando un físico preguntó "¿Por qué no simulan las propiedades físicas de las diferentes interacciones genéticas? Es un espacio de parámetros finitos").

Personalmente, creo que la confusión sobre esto puede conducir a una gran desaceleración en el progreso científico. Conozco a muchos investigadores no estadísticos que afirman que no quieren realizar procedimientos de EDA en datos preliminares , porque "saben que EDA puede ser malo".

En conclusión, es absolutamente cierto que usar métodos EDA y tratarlos como métodos de análisis de datos confirmatorios conducirá a resultados no válidos. Sin embargo, la falta de uso adecuado de EDA puede conducir a casi ningún resultado.


Gracias. No me preocuparía demasiado por tener pocas personas participando en algún tipo de análisis exploratorio. Yo pienso que lo opuesto es verdadero; muchas personas están haciendo ese trabajo exploratorio, pero probablemente sin tomar las precauciones adecuadas para evitar errores de tipo I como usted describió. Sin embargo, es interesante que conozca personas que tienen una opinión negativa sobre EDA. Si no quieren hacerlo en datos preliminares, ¿cuándo se sienten cómodos haciendo un trabajo EDA (o similar a EDA)?
Robert Smith

Mi experiencia es que los investigadores no estadísticos están acostumbrados a escuchar "las comparaciones múltiples son problemáticas" y, por lo tanto, cuando se acercan a mí con datos, están ansiosos por decir que quieren evitar hacer comparaciones múltiples, incluso con datos preliminares. Por supuesto, una comprensión más completa del problema sería que desea evitar comparaciones múltiples en un estudio CDA.
Cliff AB

Entiendo. Eso tiene más sentido.
Robert Smith

5

Parece que cualquier proceso exploratorio realizado sin tener una hipótesis previa es propenso a generar hipótesis espurias.

Yo atenuaría esta afirmación y la expresaría de manera un poco diferente: elegir una hipótesis para probar basada en los datos socava la prueba si no se usa la hipótesis nula correcta. El objetivo del artículo de Nature es, esencialmente, que es fácil para los analistas engañarse a sí mismos para ignorar todas las comparaciones múltiples que están haciendo implícitamente durante la exploración.

Nature cita a Andrew Gelman, pero no menciona su trabajo con Eric Loken sobre este tema. Un experto:

Cuando han surgido críticas de comparaciones múltiples con respecto a algunos de los documentos que discutimos aquí, los investigadores nunca responden que hayan elegido todos los detalles de su procesamiento y análisis de datos con anticipación; más bien, afirman que seleccionaron solo un análisis para los datos particulares que vieron . Por muy intuitiva que parezca esta defensa, no aborda la preocupación fundamentalista de las comparaciones múltiples.

Otro:

No es que los investigadores hayan realizado cientos de comparaciones diferentes y hayan elegido otras que fueran estadísticamente significativas. Más bien, comienzan con una idea algo formada en su mente de qué comparación realizar, y refinan esa idea a la luz de los datos. Vieron un patrón en rojo y rosa, y combinaron los colores.

Sucintamente:

Hay un mapeo de uno a muchos de hipótesis científicas a estadísticas.

Y uno más, énfasis mío:

En todos los casos que hemos discutido, el análisis publicado tiene una historia que es consistente con las hipótesis científicas que motivaron el trabajo, pero otros patrones de datos (que, dados los tamaños de las muestras, podrían haber ocurrido fácilmente por casualidad) naturalmente habrían llevado a diferentes análisis de datos (por ejemplo, un enfoque en los efectos principales en lugar de las interacciones, o una selección diferente de subconjuntos de datos para comparar) que igualmente podrían haberse utilizado para respaldar las hipótesis de investigación. El resultado sigue siendo, como hemos escrito en otra parte, una especie de máquina para producir y publicitar patrones aleatorios.

En resumen, no es que EDA conduzca a una "hipótesis espuria"; Es que probar una hipótesis con el mismo conjunto de datos que provocó la hipótesis puede llevar a conclusiones espurias.

Si está interesado en vencer este obstáculo, Gelman tiene otro documento que argumenta que muchos de estos problemas desaparecen en un marco bayesiano, y el documento con Loken hace referencia a la "replicación previa a la publicación" como se describe anecdóticamente en la primera sección de este documento .


Gracias. Muy interesante. Echaré un vistazo al artículo de Gelman sobre comparaciones múltiples.
Robert Smith

3

Casi por definición, sí, por supuesto, EDA sin CDA atrae a francotiradores de Texas.

pagspags


Gracias. Sí, se requeriría una corrección. No creo que tener esto en cuenta sea muy común.
Robert Smith

3

Solo para agregar a las respuestas ya excelentes: hay un punto medio entre un CDA completo y simplemente aceptar los resultados de su EDA al pie de la letra. Una vez que haya encontrado una posible característica de interés (o hipótesis), puede tener una idea de su robustez mediante la validación cruzada (CV) o simulaciones de arranque. Si sus hallazgos dependen de unas pocas observaciones clave, entonces CV o Bootstrap mostrarán que muchos de los pliegues (CV) o muestras boostrap no pueden reproducir la característica observada.

Este no es un método infalible, pero es una buena comprobación intermedia antes de buscar un CDA completo (o mantener a propósito un "conjunto de validación" de su grupo de datos inicial).


Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.