¿La probabilidad de registro en GLM ha garantizado la convergencia a máximos globales?

Mis preguntas son:

¿Se garantiza que los modelos lineales generalizados (GLM) converjan a un máximo global? Si es así, ¿por qué?
Además, ¿qué restricciones hay en la función de enlace para asegurar la convexidad?

Mi comprensión de los GLM es que maximizan una función de probabilidad altamente no lineal. Por lo tanto, me imagino que hay varios máximos locales y el conjunto de parámetros al que converge depende de las condiciones iniciales para el algoritmo de optimización. Sin embargo, después de investigar un poco, no he encontrado una sola fuente que indique que hay múltiples máximos locales. Además, no estoy tan familiarizado con las técnicas de optimización, pero sé que el método Newton-Raphson y el algoritmo IRLS son muy propensos a los máximos locales.

¡Por favor explique si es posible, tanto de forma intuitiva como matemática!

EDITAR: dksahuji respondió mi pregunta original, pero quiero agregar la pregunta de seguimiento [ 2 ] anterior. ("¿Qué restricciones hay en la función de enlace para asegurar la convexidad?")

— DankMasterDan
fuente

Creo que se deben exigir algunas restricciones antes de que pueda ser así. ¿Cuál es la fuente de la declaración?

— Glen_b: reinstala a Monica

Varios sitios parecían implicarlo, sin embargo, no pude encontrar nada que lo mencionara directamente, ¡así que también agradezco su prueba!

— DankMasterDan

siempre y cuando la probabilidad esté bien definida en todas partes en el dominio (e ignorando algunos problemas numéricos tangenciales), creo que sí. En esas condiciones, el hessian es <0 en todas partes en el dominio, por lo que la similitud es globalmente cóncava. Por cierto, la función no es 'altamente no lineal' en los parámetros y eso es lo que importa.

— usuario603

@ user603 ¿cuál es su fuente / prueba de que el hessian es <0 en todas partes?

— DankMasterDan

Las regresiones logísticas, de Poisson y gaussianas a menudo son convexas dada una función de enlace "buena". Sin embargo, con la función de enlace arbitrario, no son convexos.

— Memming

La definición de familia exponencial es:

p (x | θ) = h (x) \exp (θ^{T} ϕ (x) - A (θ)),

$p(x|\theta) = h(x)\exp(\theta^T\phi(x) - A(\theta)),$

donde es la función de partición de registro. Ahora se puede demostrar que las siguientes tres cosas son válidas para el caso 1D (y se generalizan a dimensiones más altas; puede examinar las propiedades de las familias exponenciales o la partición de registro): $A(\theta)$

$\frac{dA}{d\theta} = \mathbb{E}[\phi(x)]$
$\frac{d^2A}{d\theta^2} = \mathbb{E}[\phi^2(x)] -\mathbb{E}[\phi(x)]^2 = {\rm var}(\phi(x))$
$\frac{ \partial ^2A}{\partial\theta_i\partial\theta_j} = \mathbb{E}[\phi_i(x)\phi_j(x)] -\mathbb{E}[\phi_i(x)] \mathbb{E}[\phi_j(x)] = {\rm cov}(\phi(x)) \Rightarrow \Delta^2A(\theta) = {\rm cov}(\phi(x))$

El resultado anterior demuestra que es convexo (como es semidefinido positivo). Ahora echamos un vistazo a la función de probabilidad para MLE: $A(\theta)$ ${\rm cov}(\phi(x))$

\begin{aligned} p (D | θ) & = [\prod_{i = 1}^{N} h (x_{i})] \exp (θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ)) \\ \log (p (D | θ)) & = θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ) \\ = θ^{T} [ϕ (D)] - N A (θ) \end{aligned}

$\begin{align} p(\mathcal{D}|\theta) &= \bigg[\prod_{i=1}^{N}{h(x_i)}\bigg]\ \exp\!\big(\theta^T[\sum_{i=1}^{N}\phi(x_i)] - NA(\theta)\big) \\ \log\!\big(p(\mathcal{D}|\theta)\big) &= \theta^T\bigg[\sum_{i=1}^{N}\phi(x_i)\bigg] - NA(\theta) \\ &= \theta^T[\phi(\mathcal{D})] - NA(\theta) \end{align}$

Ahora es lineal en theta y es cóncavo. Por lo tanto, hay un máximo global único. $\theta^T[\phi(\mathcal{D})]$ $-A(\theta)$

Hay una versión generalizada llamada familia exponencial curva que también sería similar. Pero la mayoría de las pruebas están en forma canónica.

— dksahuji
fuente

Entonces, ¿esto significa que GLM tiene un nomatter de mínimos globales único qué función de enlace se elige (incluidas las no canónicas)?

— DankMasterDan

Trataré de responder hasta donde lo perciba.

es el caso del que estás hablando. Esto todavía es cóncavo en

pero puede no estar en

por lo que

debería ser tal que toda la probabilidad de registro sea cóncava en

p (x | θ) = h (x) e x p (η (θ)^{T} ϕ (x) - A (η (θ)))

$p(x|\theta) = h(x)exp(\eta(\theta)^T\phi(x) - A(\eta(\theta)))$

η

$\eta$

θ

$\theta$

η

$\eta$

θ

$\theta$

— dksahuji

Tenga en cuenta que la pregunta se refiere a la convergencia, en lugar de solo la existencia, pero con algunas restricciones, eso también puede ser factible.

— Glen_b: reinstala a Mónica

@Glen_b ¿Puedes dar más detalles? No conozco tales restricciones. Tal vez algo como restricciones en el tamaño de pasos en un optimizador basado en gradiente para garantizar la convergencia en caso de función cóncava.

— dksahuji

@Glen_b Eso podría ser cierto en general, pero no puedo ver ninguna razón para que la función cóncava no converja con los valores óptimos dentro de un pequeño valor tolerable. Pero diría que no tengo ninguna experiencia práctica con estos y que acabo de comenzar. :)

— dksahuji