Inferencia estadística bajo especificación errónea del modelo

Tengo una pregunta metodológica general. Es posible que se haya respondido antes, pero no puedo localizar el hilo relevante. Apreciaré los punteros a posibles duplicados.

( Aquí hay una excelente, pero sin respuesta. Esto también es similar en espíritu, incluso con una respuesta, pero esta última es demasiado específica desde mi perspectiva. Esto también está cerca, descubierto después de publicar la pregunta).

El tema es cómo hacer una inferencia estadística válida cuando el modelo formulado antes de ver los datos no describe adecuadamente el proceso de generación de datos . La pregunta es muy general, pero ofreceré un ejemplo particular para ilustrar el punto. Sin embargo, espero que las respuestas se centren en la pregunta metodológica general en lugar de analizar los detalles del ejemplo en particular.

Considere un ejemplo concreto: en una configuración de series de tiempo, supongo que el proceso de generación de datos es con . Mi objetivo es probar la hipótesis del tema que . Lanzo esto en términos del modelo para obtener una contraparte estadística viable de mi hipótesis de tema, y ​​esto es Hasta ahora tan bueno. Pero cuando observo los datos, descubro que el modelo no describe adecuadamente los datos. Digamos que hay una tendencia lineal, por lo que el verdadero proceso de generación de datos es con

¿Cómo puedo hacer una inferencia estadística válida en mi hipótesis de tema ?$\frac{dy}{dx}=1$

• Si uso el modelo original, se violan sus suposiciones y el estimador de no tiene la distribución agradable que de otro modo tendría. Por lo tanto, no puedo probar la hipótesis usando la prueba .$\beta_1$$t$

• Si, después de ver los datos, cambio del modelo a y cambio mi hipótesis estadística de a , se cumplen los supuestos del modelo y yo obtenga un estimador de buen comportamiento de y pueda probar sin dificultad usando la prueba . Sin embargo, el cambio de a( 2 ) H 0 : β 1 = 1 H ′ 0 : γ 1 = 1 γ 1 H ′ 0 t ( 1 ) ( 2 $(1)$$(2)$$H_0\colon \ \beta_1=1$$H'_0\colon \ \gamma_1=1$$\gamma_1$$H'_0$$t$
  $(1)$$(2)$está informado por el conjunto de datos en el que deseo probar la hipótesis. Esto hace que la distribución del estimador (y por lo tanto también la inferencia) esté condicionada al cambio en el modelo subyacente, que se debe a los datos observados. Claramente, la introducción de tal condicionamiento no es satisfactoria.

¿Hay una buena salida? (Si no es frecuentista, ¿quizás alguna alternativa bayesiana?)

La salida está literalmente fuera de la prueba de muestra, una verdadera. No en el que divide la muestra en entrenamiento y aguanta como en la validación cruzada, sino la predicción verdadera. Esto funciona muy bien en ciencias naturales. De hecho, es la única forma en que funciona. Construye una teoría sobre algunos datos, luego se espera que pronuncies algo que aún no se haya observado. Obviamente, esto no funciona en la mayoría de las ciencias sociales (llamadas así) como la economía.

En la industria esto funciona como en ciencias. Por ejemplo, si el algoritmo de negociación no funciona, eventualmente perderá dinero y luego lo abandonará. Los conjuntos de datos de validación cruzada y capacitación se usan ampliamente en el desarrollo y la decisión de implementar el algoritmo, pero después de que esté en producción, se trata de ganar dinero o perder. Muy simple de prueba de muestra.

Podría definir un "procedimiento combinado" e investigar sus características. Supongamos que comienza con un modelo simple y permite que se ajusten uno, dos o tres modelos más complejos (o no paramétricos) en caso de que el modelo simple no se ajuste. Debe especificar una regla formal según la cual decide no ajustarse al modelo simple sino a uno de los otros (y cuál). También debe tener pruebas para que su hipótesis de interés se aplique en todos los modelos involucrados (paramétricos o no paramétricos).

Con tal configuración, puede simular las características, es decir, con qué porcentaje su hipótesis nula finalmente se rechaza en caso de que sea cierta y en caso de varias desviaciones de interés. También puede simular a partir de todos los modelos involucrados y observar cosas como el nivel condicional y la potencia condicional dado que los datos provienen del modelo X, Y o Z, o dado que el procedimiento de prueba de especificación incorrecta del modelo seleccionó el modelo X, Y o Z.

Puede encontrar que la selección del modelo no hace mucho daño en el sentido de que el nivel alcanzado todavía está muy cerca del nivel que buscaba, y el poder está bien si no es excelente. O puede encontrar que la selección de modelo dependiente de datos realmente arruina las cosas; dependerá de los detalles (si el procedimiento de selección de su modelo es muy confiable, es probable que el nivel y la potencia no se vean muy afectados).

Ahora, esto no es lo mismo que especificar un modelo y luego mirar los datos y decidir "oh, necesito otro", pero probablemente sea lo más cercano que pueda llegar a investigar cuáles serían las características de dicho enfoque. No es trivial porque necesita tomar una serie de opciones para que esto funcione.

Comentario general: creo que es engañoso clasificar la metodología estadística aplicada binariamente en "válida" e "inválida". Nada es 100% válido porque los supuestos del modelo nunca se cumplen con precisión en la práctica. Por otro lado, aunque puede encontrar razones válidas (!) Para llamar a algo "inválido", si uno investiga en profundidad las características del enfoque supuestamente inválido, puede descubrir que todavía funciona bastante bien.