¿Sobre George Box, Galit Shmueli y el método científico?


16

(Esta pregunta puede parecer más adecuada para la Filosofía SE. Espero que los estadísticos puedan aclarar mis ideas erróneas sobre las declaraciones de Box y Shmueli, por lo tanto, la estoy publicando aquí).

George Box (de la fama de ARIMA) dijo:

"Todos los modelos están equivocados, pero algunos son útiles".

Galit Shmueli en su famoso artículo "Explicar o predecir" , argumenta (y cita a otros que están de acuerdo con ella) que:

Explicar y predecir no son lo mismo, y que algunos modelos hacen un buen trabajo de explicación, a pesar de que hacen un mal trabajo al predecir.

Siento que estos principios son de alguna manera contradictorios.

Si un modelo no predice bien, ¿es útil?

Más importante aún, si un modelo explica bien (pero no necesariamente predice bien), entonces debe ser cierto (es decir, no incorrecto) de una forma u otra. Entonces, ¿cómo encaja eso con "todos los modelos están mal" de Box?

Finalmente, si un modelo explica bien, pero no predice bien, ¿cómo es incluso científico? La mayoría de los criterios de demarcación científica (verificacionismo, falsacionismo, etc.) implican que una declaración científica debe tener poder predictivo, o coloquialmente: una teoría o modelo es correcto solo si se puede probar empíricamente (o falsificar), lo que significa que tiene que predecir resultados futuros.

Mis preguntas:

  • ¿La afirmación de Box y las ideas de Shmueli son realmente contradictorias, o me falta algo, por ejemplo, puede un modelo no tener poder predictivo y aún ser útil?
  • Si las declaraciones de Box y Shmueli no son contradictorias, ¿qué significa para un modelo estar equivocado y no predecir bien, y aún así tener poder explicativo? Dicho de otra manera: si uno elimina tanto la corrección como la capacidad de predicción, ¿qué queda de un modelo?

¿Qué validaciones empíricas son posibles cuando un modelo tiene poder explicativo, pero no poder predictivo? Shmueli menciona cosas como: use el AIC para la explicación y el BIC para la predicción, etc., pero no veo cómo eso resuelve el problema. Con los modelos predictivos, puede usar el AIC, o el BIC, o la regularización de R2 , o L1 , etc. pero, en última instancia, las pruebas de muestra y el rendimiento en la producción es lo que determina la calidad del modelo. Pero para los modelos que explican bien, no veo cómo alguna función de pérdida pueda realmente evaluar un modelo. En filosofía de la ciencia, existe el concepto de subdeterminaciónlo que parece pertinente aquí: para cualquier conjunto de datos dado, uno siempre puede elegir juiciosamente alguna distribución (o combinación de distribuciones) y la función de pérdidaL de tal manera que se ajusten a los datos (y, por lo tanto, puede afirmarse que lo explican) Además, el umbral por el queL debería estar debajo para que alguien afirme que el modelo explica adecuadamente los datos es arbitrario (algo así como valores p, ¿por qué esp<0.05 y nop<0.1 op<0.01 ?).

  • Con base en lo anterior, ¿cómo se puede validar objetivamente un modelo que explique bien, pero que no prediga bien, ya que no es posible realizar pruebas fuera de la muestra?


3
Hasta donde puedo recordar a Shmueli, que ella explique bien significa obtener la forma funcional correcta (pero posiblemente tenga una gran imprecisión de estimación cuando se trata de parámetros de esa forma funcional), mientras que predecir bien significa obtener el equilibrio de sesgo-varianza derecha (compromiso en la forma funcional para aumentar la precisión de la estimación). Además, la etiqueta filosófica podría ser útil aquí.
Richard Hardy

1
No creo que el "o" deba ser exclusivo. La simplicidad y la unificación son criterios de selección no controvertidos para teorías de igual valor predictivo, y si es así, sacrificar la precisión por ellas puede estar justificado en muchos contextos. El lema de Box refleja una visión diferente de la ciencia, avanzada, por ejemplo, en la Imagen científica de Van Fraassen (y volviendo a Kant): es construir descripciones adecuadas / útiles de lo observado, no contar historias literalmente verdaderas sobre la "realidad" no observable. La adecuación aproximada puede ser suficiente para muchas tareas, y "el único modelo correcto" puede ser una invención ingenua.
Conifold

2
@Conifold De hecho, el análisis de bucle de Richard Levins de sistemas causales complejos (no es un método estadístico, aunque existen aplicaciones que se relacionan directamente con las predicciones estadísticas) sacrifica casi toda la precisión a favor del realismo del modelo (variables y relaciones entre ellos) y la generalidad. (aplicabilidad de resultados analíticos en un modelo a todas las variables que comparten la misma estructura causal). Ver Levins, R. (1966). La estrategia de construcción de modelos en biología de poblaciones . Científico estadounidense , 54 (4), 421–431.
Alexis

(+1. Todavía espero encontrar tiempo para publicar una respuesta aquí ...)
ameba dice Reinstate Monica

Respuestas:


9

Permítanme comenzar con la concisa cita de George Box, que "todos los modelos están equivocados, pero algunos son útiles". Esta afirmación es una encapsulación del enfoque metodológico del "positivismo", que es un enfoque filosófico que tiene una gran influencia en las ciencias. Este enfoque se describe en detalle (en el contexto de la teoría económica) en el ensayo metodológico clásico de Friedman (1966) . En ese ensayo, Friedman argumenta que cualquier teoría científica útil constituye necesariamente una simplificación de la realidad y, por lo tanto, sus suposiciones siempre deben apartarse de la realidad hasta cierto punto, e incluso pueden apartarse sustancialmente de la realidad. Argumenta que el valor de una teoría científica no debe juzgarse por la cercanía de sus supuestos a la realidad, sino que debe juzgarse por supara reducir la complejidad del mundo a un conjunto manejable de principios, y precisiónpara hacer predicciones sobre la realidad y generar nuevas hipótesis comprobables sobre la realidad. Por lo tanto, Friedman argumenta que "todos los modelos están equivocados" en la medida en que contienen supuestos que simplifican (y, por lo tanto, se apartan) de la realidad, pero que "algunos son útiles" en la medida en que proporcionan un marco simple para hacer predicciones útiles sobre la realidad.

Ahora, si lees Box (1976) (el artículo donde primero dice que "todos los modelos están equivocados"), verás que no cita a Friedman, ni menciona el positivismo metodológico. Sin embargo, su explicación del método científico y sus características es extremadamente cercana a la desarrollada por Friedman. En particular, ambos autores enfatizan que una teoría científica hará predicciones sobre la realidad que se pueden probar contra los hechos observados, y el error en la predicción se puede usar como base para la revisión de la teoría.

Ahora, a la dicotomía discutida por Galit Shmueli en Shmueli (2001) . En este documento, Shmueli compara la explicación causal y la predicción de los resultados observados y argumenta que estas son actividades distintas. Específicamente, ella argumenta que las relaciones causales se basan en construcciones subyacentes que no se manifiestan directamente en resultados medibles, por lo que "los datos medibles no son representaciones precisas de sus construcciones subyacentes" (p. 293). Por lo tanto, argumenta que hay un aspecto del análisis estadístico que implica hacer inferencias sobre relaciones causales subyacentes no observables que no se manifiestan en diferencias medibles contrafactuales en los resultados.

A menos que esté malinterpretando algo, creo que es justo decir que esta idea está en tensión con los puntos de vista positivistas de Box y Friedman, como se representa en la cita de Box. El punto de vista positivista dice esencialmente que no hay "construcciones" metafísicas admisibles más allá de las que se manifiestan en resultados medibles. El positivismo se limita a la consideración de datos observables y conceptos construidos sobre estos datos; excluye la consideración de a prioriConceptos metafísicos. Por lo tanto, un positivista argumentaría que el concepto de causalidad solo puede ser válido en la medida en que se define en términos de resultados medibles en la realidad, en la medida en que se define como algo distinto de esto (como lo trata Shmueli), esto se consideraría una especulación metafísica y se trataría como inadmisible en el discurso científico.

Así que creo que tienes razón: estos dos enfoques están esencialmente en conflicto. El enfoque positivista utilizado por Box insiste en que los conceptos científicos válidos se basen completamente en sus manifestaciones en la realidad, mientras que el enfoque alternativo utilizado por Shmueli dice que hay algunas "construcciones" que son conceptos científicos importantes (que queremos explicar) pero que no pueden estar perfectamente representados cuando están "operacionalizados" relacionándolos con resultados medibles en la realidad.


¡¡¡Exactamente!!! Shmueli parece estar contradiciendo las definiciones más positivistas (y falsacionistas) de lo que es una declaración científica, y me pregunto si su intención es realmente hacer una declaración filosófica tan audaz. ¿o si ella, como estadística, no es consciente de cuán audaces son realmente sus declaraciones?
Skander H. - Restablece a Monica el


1
Aunque el positivismo y el pragmatismo comparten rasgos antirrealistas, el enfoque de Box es el último, y el positivismo no influye en las ciencias al menos desde finales de los años sesenta. Es por eso que Box no menciona a Friedman u otros positivistas. El pragmatismo no se limita a datos observables, y no tiene problemas con conceptos a priori o construcciones metafísicas. Simplemente no los ve aproximándose a la "realidad" y, por lo tanto, apuntando a características únicas "correctas", pueden ser plurales, dependientes de tareas y revisables. Las relaciones causales son tales construcciones, por lo que no hay conflicto entre Box y Shmueli.
Conifold

Si Box fue o no un pragmatista, la cita particular que da aquí es, en mi opinión, más propicia para el positivismo que el pragmatismo. La última filosofía adopta una visión pluralista de la metafísica, que sostiene que existen múltiples formas coherentes de conceptualizar la realidad, y que todas estas son "verdaderas" en el sentido de que son conceptualizaciones útiles de la realidad. Así, el positivismo diría, "todos los modelos están equivocados, pero algunos son útiles", mientras que la máxima del pragmatismo estaría más cerca de "muchos modelos tienen razón, porque son útiles".
Vuelva a instalar a Monica el

La identificación de verdadero con útil es solo un error popular sobre el pragmatismo. Todos los modelos están equivocados porque "correcto" sugiere que tienen algo con lo que corresponderse, lo que los pragmáticos niegan. Y el principio de tolerancia, "los modelos tienen razón siempre y cuando tengan un propósito", se debe a Carnap, el padre del positivismo lógico.
Conifold

4

Un modelo, cuando se usa para explicar cosas, es una simplificación de la realidad. Simplificación es solo otra palabra para "mal de alguna manera útil". Por ejemplo, si redondeamos el número 3.1415926535898 a 3.14 estamos cometiendo un error, pero este error nos permite a los humanos concentrarnos en la parte más importante de ese número. Así es como se usan los modelos para explicar, proporciona información sobre algún problema, pero por necesidad tiene que abstraerse de muchas otras cosas: los humanos simplemente no somos muy buenos para mirar miles de cosas simultáneamente. Si nos interesa principalmente predecir, queremos incluir esas miles de cosas siempre que sea posible, pero explicar las compensaciones es diferente.


1
"Pero este error nos permite a los humanos concentrarnos en la parte más importante de ese número". Esto tiene sentido y me ayuda a entender lo que significa "explicación", pero también confirma mi punto de que la explicación es más un concepto artístico / estético que científico. Basado en ustedπPor ejemplo, considere lo siguiente: una técnica novedosa de reducción de dimensionalidad permite trazar gráficos muy elegantes e intuitivos de datos de alta dimensión, lo que constituye una buena explicación, pero no hay forma de evaluar objetivamente la precisión de esta técnica, su valor es puramente subjetivo.
Skander H. - Restablece a Monica el

1
@SkanderH. En la medida en que los "gráficos elegantes e intuitivos" facilitan las aplicaciones de ingeniería o el desarrollo de nuevas teorías, su valor no es puramente subjetivo o no científico, es pragmático. La unificación, el poder explicativo, la simplicidad y la coherencia son ampliamente reconocidos como valores epistémicos , no estéticos . La elección entre la teoría del éter de Lorentz y la relatividad especial se hizo en base a tales consideraciones, que son predictivamente equivalentes.
Conifold

3

Un ejemplo de un modelo que es excelente en la predicción pero que no explica nada se da en el artículo de Wikipedia “ Todos los modelos están equivocados ". El ejemplo es el modelo de gravitación de Newton. El modelo de Newton casi siempre da predicciones que no se pueden distinguir de las observaciones empíricas. Sin embargo, el modelo es extremadamente inverosímil: porque postula una fuerza que puede actuar instantáneamente en distancias arbitrariamente grandes.

El modelo de Newton ha sido suplantado por el modelo dado en la teoría general de la relatividad de Einstein. Con la relatividad general, las fuerzas gravitacionales viajan a través del espacio a una velocidad finita (la velocidad de la luz).

El modelo de Newton no es una simplificación del modelo general-relativista. Para ilustrar eso, considere una manzana que cae de un árbol. Según la relatividad general, la manzana cae sin que la Tierra ejerza ninguna fuerza sobre la manzana. (La razón principal por la que la manzana cae es que la Tierra deforma el tiempo, por lo que los relojes cerca de la base del árbol funcionan más lentamente que los relojes en lo alto del árbol). Por lo tanto, como señala el artículo de Wikipedia, el modelo de Newton es completamente equivocado por una explicación perspectiva.

El artículo de Shmueli [2010] supone que hay dos propósitos para un modelo: predicción y explicación. De hecho, varios autores han declarado que hay tres propósitos (ver, por ejemplo, Konishi & Kitagawa [ Criterios de información y modelado estadístico , 2008: §1.1] y Friendly & Meyer [ Análisis de datos discretos , 2016: §11.6]). Los tres propósitos corresponden a los tres tipos de razonamiento lógico:

  • predicción (correspondiente a la deducción);
  • estimación de parámetros (correspondiente a la inducción);
  • Descripción de la estructura (correspondiente a la abducción).

Decir que el modelo de gravitación de Newton "no explica nada" es, francamente, ridículo. -1.
ameba dice Reinstate Monica

ameba, el modelo de Newton no explica nada acerca de cómo funciona la gravitación, bajo el supuesto de que la relatividad general es precisa. Si una manzana cae, el modelo de Newton postula que la Tierra ejerce una fuerza sobre la manzana y ese postulado es completamente falso. Te pido que consideres más mi respuesta. Si aún no comprende, dígame qué no está claro.
SolidPhase

Lo que dices es bastante claro, pero estoy totalmente en desacuerdo con eso.
ameba dice Reinstate Monica

ameba, te pido que expliques por qué no estás de acuerdo: ¿tienes una razón? (Tenga en cuenta que he agregado una oración adicional a la respuesta).
SolidPhase

Gracias. Buscaré las referencias que mencionas. Entiendo cómo un modelo puede predecir, incluso si no explica. Lo que no entiendo es la dirección opuesta: ¿cómo puede explicar un modelo sin predecir? Los ejemplos de Newton vs. Einstein enturbian aún más todo: la razón por la cual la teoría de Einstein suplantó a la de Newton fue porque predijo mejor. Míralo de otra manera: si tenemos modelos explicativos competitivos, ¿cómo podemos evaluarlos a menos que probemos cuál tiene el mayor poder predictivo?
Skander H. - Restablece a Monica el

1

Soy estudiante de Estadística, así que no me llamaré un experto, pero aquí están mis dos centavos.

Las modelos no se explican por sí mismas; los humanos los interpretan. Los modelos lineales son más fáciles de entender que las redes neuronales y los bosques aleatorios porque están más cerca de cómo tomamos decisiones. De hecho, los ANN imitan el cerebro humano, pero no decides a qué restaurante ir mañana haciendo una serie de multiplicaciones matriciales. En cambio, pondera algunos factores en su mente por su importancia, que es esencialmente una combinación lineal.

El "poder explicativo" mide qué tan bien un modelo se lleva bien con la intuición humana, mientras que el "poder predictivo" mide qué tan bien se alinea con el mecanismo subyacente del proceso de interés. La contradicción entre ellos es esencialmente la brecha entre lo que es el mundo y cómo podemos percibirlo / entenderlo. Espero que esto explique por qué "algunos modelos hacen un buen trabajo de explicación, a pesar de que hacen un mal trabajo al predecir".

Ian Stewart dijo una vez: "Si nuestros cerebros fueran lo suficientemente simples como para que los entendiéramos, seríamos tan simples que no podríamos". Desafortunadamente, nuestros pequeños cerebros humanos son realmente muy simples en comparación con el universo, o incluso un mercado de valores (que involucra muchos cerebros :). Hasta ahora, todos los modelos son productos de cerebros humanos, por lo que debe ser más o menos inexacto, lo que lleva a Box's "Todos los modelos están equivocados". Por otro lado, un modelo no tiene que ser técnicamente correcto para ser útil. Por ejemplo, las leyes de movimiento de Newton han sido refutadas por Einstein, pero sigue siendo útil cuando un objeto no es ridículamente grande o rápido.

Para responder a su pregunta, sinceramente, no puedo ver la incompatibilidad entre los puntos de Box y Shmueli. Parece que considera que el "poder explicativo" y el "poder predictivo" son propiedades binomiales, pero creo que se encuentran en los dos extremos de un espectro.

Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.