¿Qué es exactamente el alfa en la distribución de Dirichlet?

Soy bastante nuevo en las estadísticas bayesianas y me encontré con una medida de correlación corregida, SparCC , que utiliza el proceso Dirichlet en el back-end de su algoritmo. He estado tratando de pasar por el algoritmo paso a paso para comprender realmente lo que está sucediendo, pero no estoy seguro de qué hace exactamente el alphaparámetro vectorial en una distribución Dirichlet y cómo normaliza el alphaparámetro vectorial.

La aplicación está en Pythonuso NumPy: https://docs.scipy.org/doc/numpy/reference/generated/numpy.random.dirichlet.html

Los documentos dicen:

alpha: array Parámetro de la distribución (dimensión k para muestra de dimensión k).

Mis preguntas:

¿Cómo alphasafecta la distribución ?;
¿Cómo se alphasnormalizan? y
¿Qué pasa cuando alphasno son enteros?

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# Reproducibility
np.random.seed(0)

# Integer values for alphas
alphas = np.arange(10)
# array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

# Dirichlet Distribution
dd = np.random.dirichlet(alphas) 
# array([ 0.        ,  0.0175113 ,  0.00224837,  0.1041491 ,  0.1264133 ,
#         0.06936311,  0.13086698,  0.15698674,  0.13608845,  0.25637266])

# Plot
ax = pd.Series(dd).plot()
ax.set_xlabel("alpha")
ax.set_ylabel("Dirichlet Draw")

distributions bayesian dirichlet-distribution

— O.rka
fuente

¿Tienes problemas con la entrada de Wikipedia en esta distribución ?

— Xi'an

Disculpas, no creo que lo haya redactado correctamente. Entiendo qué es una distribución de probabilidad / pdf / pmf pero estaba confundido sobre cómo estaba ocurriendo la normalización. Desde la wikipedia, parece que la normalización se produce a través de las funciones gamma después de

. He escuchado que se conoce como una distribución sobre distribuciones y es difícil ver eso en las ecuaciones de wikipedia.

\prod {x_{i}}^{α - 1}

${\prod}{x_i}^{\alpha - 1}$

— O.rka

Si normaliza los alfa, obtiene la media de la distribución. Si normaliza la distribución, se asegura de que su integral sobre su soporte sea igual a 1 y que, por lo tanto, sea una distribución de probabilidad válida.

— Eskapp

La distribución de Dirichlet es una distribución sobre el simplex, por lo tanto, una distribución sobre distribuciones de soporte finito. Si apunta a una distribución sobre distribuciones continuas, debe mirar el proceso de Dirichlet.

— Xi'an

Respuestas:

La distribución de Dirichlet es una distribución de probabilidad multivariada que describe variables , de modo que cada $k\ge2$ $X_1,\dots,X_k$ y , que está parametrizado por un vector de parámetros con valores positivos . Los parámetrosno $x_i \in (0,1)$ $\sum_{i=1}^N x_i = 1$ $\boldsymbol{\alpha} = (\alpha_1,\dots,\alpha_k)$ tienen que ser enteros, solo necesitan ser números reales positivos. No están "normalizados" de ninguna manera, son parámetros de esta distribución.

La distribución de Dirichlet es una generalización de la distribución beta en múltiples dimensiones, por lo que puede comenzar aprendiendo sobre la distribución beta. Beta es una distribución univariada de una variable aleatoria parametrizada por los parámetros y . La buena intuición al respecto surge si recuerdas que es un conjugado anterior para la distribución binomial y si asumimos un beta previo parametrizado por y para el parámetro de probabilidad la distribución binomial , entonces la distribución posterior de $X \in (0,1)$ $\alpha$ $\beta$ $\alpha$ $\beta$ $p$ $p$ también es una distribución beta parametrizada por y . Por lo tanto, puede pensar en y como pseudocuentas (no necesitan ser enteros) de éxitos y fracasos (consulte también este hilo ). $\alpha' = \alpha + \text{number of successes}$ $\beta' = \beta + \text{number of failures}$ $\alpha$ $\beta$

En el caso de la distribución de Dirichlet, es un conjugado previo para la distribución multinomial . Si en el caso de la distribución binomial podemos pensar en ella en términos de dibujar bolas blancas y negras con reemplazo de la urna, entonces en el caso de la distribución multinomial estamos dibujando con bolas de reemplazo que aparecen en colores, donde cada uno de los colores de las bolas se pueden dibujar con probabilidades . La distribución de Dirichlet es un conjugado anterior para probabilidades y $N$ $k$ $p_1,\dots,p_k$ $p_1,\dots,p_k$ parámetros pueden considerarse comopseudocuentasde bolas de cada color asumidasa priori(pero también debe leer sobre lastrampas de dicho razonamiento). En el modelo de Dirichlet-multinomial se actualizan sumándolos con recuentos observados en cada categoría: de manera similar a la del modelo beta-binomial. $\alpha_1,\dots,\alpha_k$ $\alpha_1,\dots,\alpha_k$ $\alpha_1+n_1,\dots,\alpha_k+n_k$

A mayor valor de , mayor "peso" de $\alpha_i$ y la mayor cantidad de la "masa" total se le asigna (recuerde que en total debe ser ). Si todos los son iguales, la distribución es simétrica. Si , puede pensarse como anti-peso que empuja hacia los extremos, mientras que cuando es alto, atrae hacia algún valor central (central en el sentido de que todos los puntos se concentran a su alrededor,no $X_i$ $x_1+\dots+x_k=1$ $\alpha_i$ $\alpha_i < 1$ $x_i$ $x_i$ en el sentido de que es simétricamente central). Si , entonces los puntos están distribuidos uniformemente. $\alpha_1 = \dots = \alpha_k = 1$

Esto se puede ver en los gráficos a continuación, donde puede ver distribuciones trivariadas de Dirichlet (desafortunadamente, podemos producir gráficos razonables solo hasta tres dimensiones) parametrizados por (a) , (b) $\alpha_1 = \alpha_2 = \alpha_3 = 1$ , (c) , (d) $\alpha_1 = \alpha_2 = \alpha_3 = 10$ $\alpha_1 = 1, \alpha_2 = 10, \alpha_3 = 5$ . $\alpha_1 = \alpha_2 = \alpha_3 = 0.2$

La distribución de Dirichlet a veces se denomina "distribución sobre distribuciones" , ya que puede considerarse como una distribución de probabilidades en sí. Observe que dado que cada y , entonces son consistentes con el primer y segundo axiomas de probabilidad . Por lo tanto, puede usar la distribución de Dirichlet como una distribución de probabilidades para eventos discretos descritos por distribuciones como categóricas o multinomiales . Es $x_i \in (0,1)$ $\sum_{i=1}^k x_i = 1$ $x_i$ no es cierto que sea una distribución sobre cualquier distribución, por ejemplo, no está relacionada con las probabilidades de variables aleatorias continuas, o incluso algunas discretas (por ejemplo, una variable aleatoria distribuida de Poisson describe las probabilidades de observar valores que son números naturales, por lo tanto, para usar una distribución de Dirichlet sobre sus probabilidades, necesitaría un número infinito de variables aleatorias ). $k$

— Tim
fuente

Explicación increíble

— O.rka

Descargo de responsabilidad: nunca antes había trabajado con esta distribución. Esta respuesta se basa en este artículo de Wikipedia y mi interpretación del mismo.

La distribución de Dirichlet es una distribución de probabilidad multivariada con propiedades similares a la distribución Beta.

El PDF se define de la siguiente manera:

{x_{1}, \dots, x_{K}} \sim \frac{1}{B (α)} \prod_{i = 1}^{K} x_{i}^{α_{i} - 1}

$\{x_1, \dots, x_K\} \sim\frac{1}{B(\boldsymbol{\alpha})}\prod_{i=1}^Kx_i^{\alpha_i - 1}$

con , $K \geq 2$ $x_i \in (0,1)$ y . $\sum_{i=1}^Kx_i = 1$

Si nos fijamos en la distribución Beta estrechamente relacionada:

{x_{1}, x_{2} (= 1 - x_{1})} \sim \frac{1}{B (α, β)} x_{1}^{α - 1} x_{2}^{β - 1}

$\{x_1, x_2 (=1-x_1)\} \sim \frac{1}{B(\alpha,\beta)}x_1^{\alpha-1}x_2^{\beta-1}$

Podemos ver que estas dos distribuciones son iguales si . Entonces basemos nuestra interpretación en eso primero y luego generalicemos a . $K=2$ $K>2$

En las estadísticas bayesianas, la distribución Beta se usa como conjugado antes de los parámetros binomiales (Ver distribución Beta ). El prior puede definirse como un conocimiento previo sobre y (o en línea con la distribución de Dirichlet y ). Si algún ensayo binomial tiene éxitos y fracasos , la distribución posterior es la siguiente: $\alpha$ $\beta$ $\alpha_1$ $\alpha_2$ $A$ $B$ y $\alpha_{1,pos} = \alpha_1 + A$ . (No resolveré esto, ya que esta es probablemente una de las primeras cosas que aprende con las estadísticas bayesianas). $\alpha_{2,pos}=\alpha_2 + B$

Entonces, la distribución Beta representa una distribución posterior en y , que puede interpretarse como la probabilidad de éxitos y fracasos, respectivamente, en una distribución binomial. Y cuantos más datos ( y ) tenga, más estrecha será esta distribución posterior. $x_1$ $x_2 (=1-x_1)$ $A$ $B$

$K=2$ $K$ $K=2$ $K$ $x_i$

$\alpha_i$ $\alpha_1$ $\alpha_2$ $x_i$

Así que ahora para llegar a sus preguntas:

¿Cómo alphasafecta la distribución?

$x_i \in (0,1)$ $\sum_{i=1}^Kx_i = 1$ $\alpha_i$ $K$ $\sum_{i=1}^K\alpha_i$ $x_i$ , o las probabilidades para cada uno de los resultados. Esto significa que la densidad estará más concentrada.

¿Cómo se alphasnormalizan?

$B(\boldsymbol{\alpha})$

B (α) = \frac{\prod_{i = 1}^{K} Γ (α_{i})}{Γ (\sum_{i = 1}^{K} α_{i})}

$B(\boldsymbol{\alpha}) = \frac{\prod_{i=1}^K\Gamma(\alpha_i)}{\Gamma(\sum_{i=1}^K\alpha_i)}$

$K=2$

B (α_{1}, α_{2}) = \frac{Γ (α_{1}) Γ (α_{2})}{Γ (α_{1} + α_{2})}

$B(\alpha_1, \alpha_2) = \frac{\Gamma(\alpha_1)\Gamma(\alpha_2)}{\Gamma(\alpha_1+\alpha_2)}$

Esto se extiende a

si (α) = \frac{Γ (α_{1}) Γ (α_{2}) ... Γ (α_{K})}{Γ (α_{1} + α_{2} + \dots + α_{K})}

$B(\boldsymbol{\alpha}) = \frac{\Gamma(\alpha_1)\Gamma(\alpha_2)\dots\Gamma(\alpha_K)}{\Gamma(\alpha_1+\alpha_2+\dots+\alpha_K)}$

¿Qué sucede cuando los alfas no son enteros?

The interpretation doesn't change for $\alpha_i>1$ , but as you can see in the image I linked before, if $\alpha_i < 1$ la masa de la distribución se acumula en los bordes del rango para $x_i$ . $K$ por otro lado tiene que ser un número entero y $K\geq2$ .

— JAD
fuente

Thanks for this. Your explanation was super useful. I wish I could have marked both of them as correct.

— O.rka