¿Cuál es la diferencia entre 'prueba de hipótesis' y 'selección de modelo'?

En la literatura, ambos términos a menudo se usan como sinónimos o entretejidos. Ahora estoy tratando de encontrar una distinción clara entre ambos términos. Desde mi punto de vista, una hipótesis generalmente se expresa a través de un modelo. Entonces, incluso si probamos una hipótesis nula versus alternativa, desde mi perspectiva, estamos haciendo la selección del modelo. ¿Alguien puede darme una descripción intuitiva de esta distinción?

hypothesis-testing model-selection regression-strategies

— fsociety
fuente

Al pasar el mouse sobre las etiquetas, puede ver los extractos de wiki para la prueba de hipótesis y la selección de modelos . A pesar de su brevedad, parecen hacer un buen trabajo respondiendo a su pregunta.

— whuber

Para mí, la distinción es que con la prueba de hipótesis uno está considerando los contrastes de los parámetros del modelo y no está entreteniendo la idea de cambiar el modelo. Por ejemplo, en ANOVA, la gente es lo suficientemente inteligente como para no convertir un grado de libertad 4 -test a un 3 df -test al comparar los grupos 5 y encontrar que dos de los grupos tienen medios similares. Las personas que formulan modelos a menudo cometen el error básico de seleccionar qué parámetros deben estar en el modelo sobre la base de pruebas / comparaciones estadísticas, sin darse cuenta de que esto sesga las cosas (especialmente ). El ejemplo al que acabo de aludir, la estimación imparcial de $F$ $F$ $\sigma^2$ $\sigma^2$ proviene del modelo que tiene 5 parámetros de regresión (intercepción general + 4 variables indicadoras).

La selección del modelo a menudo implica (peligrosamente) elegir

entre un conjunto de familias o distribuciones modelo competidoras
cuales deben estar en el modelo $X$
cómo debe modelarse cada (p. ej., consideración de términos no lineales) $X$

— Frank Harrell
fuente

Gracias por la respuesta. Déjame darte un ejemplo donde todavía no estoy seguro. Suponga que desea comparar modelos anidados con algo así como una prueba de razón de probabilidad. ¿Estás comparando modelos o también estás probando hipótesis? Sus modelos pueden basarse en hipótesis después de todo.

— fsociety

@ph_singer Estás haciendo ambas cosas: la prueba de razón de probabilidad para modelos anidados es en sí misma una prueba de hipótesis. Para hacer una analogía, al cocinar la cena, puede usar un horno, pero usar un horno no significa que siempre esté cocinando la cena. El horno, como una prueba de hipótesis, es una herramienta; cocinar la cena, como la selección de modelos, es un objetivo facilitado por el uso de herramientas.

— Heropup

Buena pregunta y respuesta. Una cuestión es si un no rechazo de la hipótesis debería conducir a la adopción del modelo más simple. Creo que no, en la mayoría de las situaciones. Una excepción es cuando se compara un modelo flexible con un modelo completamente lineal y la prueba de no linealidad con, por ejemplo, 10 df, produce . Me sentiría seguro al adoptar el modelo totalmente lineal.

P = .05

$P=.05$

— Frank Harrell

Lo sentimos, debería ser no .

P = 0.50

$P=0.50$

P = 0.05

$P=0.05$

— Frank Harrell