Definición y delimitación del modelo de regresión.

Una pregunta vergonzosamente simple, pero parece que no se ha hecho antes en Cross Validated:

¿Cuál es la definición de un modelo de regresión?

También una pregunta de soporte,

¿Qué no es un modelo de regresión?

Con respecto a esto último, estoy interesado en ejemplos difíciles donde la respuesta no es inmediatamente obvia, por ejemplo, ARIMA o GARCH.

— Richard Hardy
fuente

Respuestas:

Diría que "modelo de regresión" es una especie de metaconcepto, en el sentido de que no encontrará una definición de "modelo de regresión", sino conceptos más concretos como "regresión lineal", "regresión no lineal", "regresión robusta" y así sucesivamente. De la misma manera que en matemática, generalmente no definimos "número", sino "número natural", "enteros", "número real", "número p-adic", etc., y si alguien quiere incluir el cuaterniones entre los números que así sea! en realidad no importa, lo que importa es qué definiciones usa el libro / artículo que está leyendo en este momento.

Las definiciones son herramientas , y el esencialismo, que es discutir cuál es la esencia de ..., lo que realmente significa una palabra , rara vez vale la pena.

Entonces, ¿qué distingue un "modelo de regresión" de otros tipos de modelos estadísticos? Principalmente, que hay una variable de respuesta , que desea modelar como influenciada por (o determinada por) un conjunto de variables predictoras . No estamos interesados en influir en la otra dirección, y no estamos interesados en las relaciones entre las variables predictoras. Principalmente, tomamos las variables predictoras como dadas y las tratamos como constantes en el modelo, no como variables aleatorias.

La relación mencionada anteriormente puede ser lineal o no lineal, especificada de forma paramétrica o no paramétrica, y así sucesivamente.

Para delinear a partir de otros modelos, es mejor que echemos un vistazo a algunas otras palabras que a menudo se toman para denotar algo diferente para "modelos de regresión", como "errores en variables", cuando aceptamos la posibilidad de errores de medición en las variables predictoras. Bien podría incluirse en mi descripción del "modelo de regresión" anterior, pero a menudo se toma como un modelo alternativo.

Además, lo que se entiende puede variar entre los campos, consulte ¿Cuál es la diferencia entre condicionar los regresores y tratarlos como fijos?

Para repetir: lo que importa es la definición utilizada por los autores que está leyendo ahora, y no alguna metafísica sobre lo que "realmente es".

— kjetil b halvorsen
fuente

Estoy de acuerdo con la esencia de tu respuesta. Mi pregunta fue motivada por haber encontrado declaraciones sobre modelos de regresión que me hicieron preguntarme a qué se aplica realmente la declaración (y a qué no se aplica). Por supuesto, ahora podría decir: "use su mejor criterio y verifique los detalles cuidadosamente", pero a veces me gustaría rechazar la afirmación hipotética de inmediato diciendo que no es cierta en general (tal vez sea cierta solo en un caso muy específico) . Entonces necesito una definición para referirme. Por supuesto, hay más situaciones en las que es útil tener una definición precisa.

— Richard Hardy

Luego debe hacer preguntas específicas sobre los usos que ha encontrado, con referencias.

— kjetil b halvorsen

No pretendo ser exigente, pero piénselo: alguien le pregunta qué está haciendo, usted dice "Estoy analizando / pronosticando / probando [algo] usando modelos de regresión". - "¿Qué es un modelo de regresión?" -- (Silencio). O una situación en una clase introductoria de econometría: "Profesor, ¿qué es un modelo de regresión?" -- (Sin respuesta). Creo que estas son preguntas muy naturales, por lo que sería bueno tener una respuesta.

— Richard Hardy

Sí, sería bueno tener una respuesta, pero no estoy seguro de que haya una respuesta canónica en la que todos puedan estar de acuerdo. Tengo una idea muy diferente de la regresión de un libro de estadística como Seber: "Análisis de regresión lineal" como de un texto en econometría. Pero algunas ideas pueden estar de acuerdo. Supongo que es realmente una familia de modelos. Entonces podemos preguntar cuál es el núcleo común de todos estos modelos.

— kjetil b halvorsen

Quizás le interese una pregunta mía relacionada: la definición de un modelo de regresión lineal simple .

— Richard Hardy

Ya se dieron dos buenas respuestas, pero me gustaría agregar mis dos centavos.

$Y$ $X_1,\dots,X_k$ $Y$

μ = mi (y El | X_{1}, ..., X_{k}) = F (X_{1}, ..., X_{k})

$\mu = E(y|x_1,\dots,x_k) = f(x_1,\dots,x_k)$

$f$ $\mu$ $\mu$ $L_1$ $\mu$

$Y$

— Tim
fuente

Gracias. La intuición no duele, aunque estoy buscando una definición más formal que pueda arrojar a alguien que me preguntó: ¿Qué es un modelo de regresión de todos modos? y luego trató de elegir los detalles.

— Richard Hardy

@ Richard Hardy Creo que esta es la característica clave de los modelos de regresión que comparten todos ellos.

— Tim

Creo que esta respuesta es un enfoque correcto y útil, pero debe generalizarse para que pueda aplicarse a situaciones comúnmente consideradas como "regresión" (incluidos GLM, errores multiplicativos, regresión con respuestas transformadas, regresión cuantil, etc.). En términos más generales, un modelo de regresión especifica una o más propiedades de la distribución completa de la respuesta.

y

$y$ en términos de los valores de los regresores (dentro de rangos específicos, aleatorios o fijos). En particular, puede ir mucho más allá de simplemente especificar la expectativa o asumir un error aditivo.

— Whuber

Algunas reflexiones basadas en la literatura:

F. Hayashi en el Capítulo 1 de su clásico libro de texto de posgrado "Econometría" (2000) afirma que los siguientes supuestos comprenden el modelo clásico de regresión lineal:

Linealidad
Estricta exogeneidad
Sin multicolinealidad
Varianza de error esférico
Regresores "fijos"

Wooldridge, en el Capítulo 2 de su clásico libro introductorio de econometría "Econometría introductoria: un enfoque moderno" (2012) afirma que la siguiente ecuación define el modelo de regresión lineal simple:

y = β_{0 0} + β_{1} X + tu .

$y=\beta_0+\beta_1 x+u.$

Greene en el Capítulo 2 de su popular libro de texto de econometría "Análisis econométrico" (2011) afirma

El modelo de regresión lineal clásico consiste en un conjunto de suposiciones sobre cómo se producirá un conjunto de datos mediante un "proceso generador de datos" subyacente.

y posteriormente da una lista de supuestos similares a los de Hayashi.

Con respecto al interés del OP en el modelo GARCH, Bollerslev "Heterosedasticidad condicional autorregresiva generalizada" (1986) incluye una frase "el modelo de regresión GARCH" en el título de la sección 5 y también en la primera oración de esa sección. Así que al padre del modelo GARCH no le importó llamar a GARCH un modelo de regresión.

— Richard Hardy
fuente

Sus tres referencias están todas restringidas al modelo de regresión lineal , pero su pregunta es más amplia que eso. (Por lo tanto, usar esto como argumento en su respuesta a otra publicación, que supongo generó el interés en este tema, creo que no es completamente válido). Si diría que los modelos de variables latentes no son modelos de regresión, entonces use el método inmediato En relación con los errores de medición, los modelos de regresión con errores de medición ya no serían modelos de regresión. Me parece extraño Wiki solo dice que un modelo reg relaciona indep vars con dep en el sentido de que

Y \approx f (X, β)

$Y\approx f(X, \beta)$ .

— hejseb

Es cierto, mis ejemplos son para modelos de regresión lineal ; eso es lo que pude encontrar en fuentes confiables como estos libros de texto que son ampliamente utilizados y se han convertido en clásicos. No confío tanto en Wikipedia para preguntas estadísticas y econométricas. De todos modos, incluso en Wikipedia hay un capítulo "Suposiciones subyacentes" que es similar a lo que he citado de los libros de texto. Con respecto a la otra publicación, ¿podría publicar la parte relevante de su comentario allí para que yo pueda responder allí? En esta publicación no dije nada sobre modelos variables latentes, pero es bueno escuchar tu opinión.

— Richard Hardy

¿Por qué el punto 3, "sin multicolinealidad"? ¡Nunca he visto eso usado como una suposición en la prueba de algún resultado!

— kjetil b halvorsen

@kjetilbhalvorsen, por favor no me hagas responsable de lo que está escrito en un libro de texto del que no soy autor. ¡Pero gracias por el comentario, por supuesto, y aún más por la respuesta!

— Richard Hardy