¿Por qué la familia exponencial no incluye todas las distribuciones?

Estoy leyendo el libro:

Obispo, reconocimiento de patrones y aprendizaje automático (2006)

que define la familia exponencial como distribuciones de la forma (Ec. 2.194):

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

Pero no veo restricciones impuestas a o . ¿No significa esto que cualquier distribución se puede poner de esta forma, mediante la elección adecuada de y (de hecho, solo una de ellas debe elegirse correctamente!)? Entonces, ¿cómo es que la familia exponencial no incluye todas las distribuciones de probabilidad? ¿Qué me estoy perdiendo? $h(\mathbf x)$ $\mathbf u(\mathbf x)$ $h(\mathbf x)$ $\mathbf u(\mathbf x)$

Finalmente, una pregunta más particular que me interesa es esta: ¿la distribución de Bernoulli está en la familia exponencial ? Wikipedia dice que sí, pero dado que obviamente estoy confundido acerca de algo aquí, me gustaría ver por qué.

mathematical-statistics exponential-family

— llamar
fuente

para la prueba de que la distribución de Bernoulli está en la familia exponencial, intente usar el hecho de que

f (x; μ) = \exp (\log (f (x; μ)))

$f(x; \mu) = \exp (\log( f(x; \mu)))$ y vea a dónde lo lleva

— jld

Solo para aclarar, ¿está preguntando si se puede escribir alguna distribución en este formulario, o si se puede escribir alguna familia de distribuciones en este formulario? Parece que has obtenido respuestas a la última pregunta.

— Owen

@ Owen Sí, ahora veo que este es el punto crucial. Aunque cualquier distribución se puede escribir de esta forma (estableciendo apropiadamente, y ), eso no implica que ninguna familia se pueda escribir de esta forma.

h (x)

$h(\mathbf x)$

g = 1, u = 0

$g=1,\mathbf u= 0$

— becko

@becko, eso es exactamente correcto. La redacción en el texto, "la familia exponencial", es algo engañosa, porque no hay una sola familia exponencial; más bien, cada elección de da lugar a una familia. En cambio, muchos autores dicen "una familia exponencial", lo que lo hace más claro; por ejemplo, vea la página de Wikipedia: en.wikipedia.org/wiki/Exponential_family

(h, g, u)

$(h, g, \mathbf u)$

— Brent Kerby

@becko Creo que su argumento muestra que cualquier distribución dada puede ser un miembro de una familia exponencial, pero no que cualquier familia de distribuciones puede ser una familia exponencial.

— Matthew Drury el

Respuestas:

Bueno, una consecuencia de su definición: es que el soporte de la familia de distribución indexada por el parámetro no depende de . (El soporte de una distribución de probabilidad es el (cierre de) el menor conjunto con probabilidad uno, o en otras palabras, donde vive la distribución .) Por lo tanto, es suficiente dar un contraejemplo de una familia de distribución con soporte dependiendo del parámetro, El ejemplo más fácil es la siguiente familia de distribuciones uniformes:

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

η

$\eta$

η

$\eta$

U (0, η), η > 0

$\text{U}(0, \eta), \quad \eta > 0$ . (la otra respuesta de @Chaconne da un contraejemplo más sofisticado).

— kjetil b halvorsen
fuente

Considere la distribución no central de Laplace

f (x; μ, σ) \propto \exp (- | x - μ | / σ) .

$f(x; \mu, \sigma) \propto \exp \left(-| x - \mu | / \sigma \right).$

A menos que no pueda escribircomo un producto interno entre y alguna función de . $\mu = 0$ $|x - \mu|$ $\mu$ $x$

La familia exponencial incluye la gran mayoría de las distribuciones con nombre agradable que comúnmente encontramos, por lo que al principio puede parecer que tiene todo de interés, pero de ninguna manera es exhaustiva.

— jld
fuente