Preguntas etiquetadas con dirichlet-distribution

Estoy empezando a incursionar con el uso de glmnetla LASSO regresión donde mi resultado de interés es dicotómica. He creado un pequeño marco de datos simulados a continuación: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) …

78 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

En el algoritmo de modelo de tema LDA, vi esta suposición. Pero no sé por qué eligió la distribución Dirichlet? No sé si podemos usar la distribución uniforme sobre Multinomial como un par.

36 bayesian  dirichlet-distribution  conjugate-prior 

Soy bastante nuevo en las estadísticas bayesianas y me encontré con una medida de correlación corregida, SparCC , que utiliza el proceso Dirichlet en el back-end de su algoritmo. He estado tratando de pasar por el algoritmo paso a paso para comprender realmente lo que está sucediendo, pero no estoy …

26 distributions  bayesian  dirichlet-distribution 

Digamos que tenemos una distribución de Dirichlet con vector de parámetro dimensional → α = [ α 1 , α 2 , . . . , α K ] . ¿Cómo puedo extraer una muestra (un vector K- dimensional) de esta distribución? Necesito una explicación (posiblemente) simple.KKKα⃗ = [ α1, …

25 sampling  dirichlet-distribution 

Entonces esta pregunta es un poco desordenada, ¡pero incluiré gráficos coloridos para compensar eso! Primero los antecedentes y luego la (s) pregunta (s). Fondo Digamos que tiene una distribución multinomial dimensional con probailitas iguales sobre las categorías. Sea los recuentos normalizados ( ) de esa distribución, es decir:nnnnnnπ=(π1,…,πn)π=(π1,…,πn)\pi = (\pi_1, …

24 distributions  bayesian  bootstrap  multinomial  dirichlet-distribution 

Deje que un palo de longitud 1 se rompa en fragmentos uniformemente al azar. ¿Cuál es la distribución de la longitud del fragmento más largo?k + 1k+1k+1 Más formalmente, sea ser IID , y sea las estadísticas de pedido asociadas, es decir , simplemente ordenamos la muestra de tal manera …

21 distributions  uniform  order-statistics  dirichlet-distribution  maximum 

Supongamos que X1,…,Xk+1X1,…,Xk+1X_1,\dots,X_{k+1} son variables aleatorias mutuamente independientes, cada una con una distribución gamma con parámetros αi,i=1,2,…,k+1αi,i=1,2,…,k+1\alpha_i,i=1,2,\dots,k+1 muestra que Yi=XiX1+⋯+Xk+1,i=1,…,kYi=XiX1+⋯+Xk+1,i=1,…,kY_i=\frac{X_i}{X_1+\cdots+X_{k+1}},i=1,\dots,k, tienen una distribución conjunta comoDirichlet(α1,α2,…,αk;αk+1)Dirichlet(α1,α2,…,αk;αk+1)\text{Dirichlet}(\alpha_1,\alpha_2,\dots,\alpha_k;\alpha_{k+1}) PDF conjunto de Luego para encontrar la articulación pdf de No puedo encontrar jacobian, es decir,(X1,…,Xk+1)=e−∑k+1i=1xixα1−11…xαk+1−1k+1Γ(α1)Γ(α2)…Γ(αk+1)(X1,…,Xk+1)=e−∑i=1k+1xix1α1−1…xk+1αk+1−1Γ(α1)Γ(α2)…Γ(αk+1)(X_1,\dots,X_{k+1})=\frac{e^{-\sum_{i=1}^{k+1}x_i}x_1^{\alpha_1-1}\dots x_{k+1}^{\alpha_{k+1}-1}}{\Gamma(\alpha_1)\Gamma(\alpha_2)\dots \Gamma(\alpha_{k+1})}(Y1,…,Yk+1)(Y1,…,Yk+1)(Y_1,\dots,Y_{k+1})J(x1,…,xk+1y1,…,yk+1)J(x1,…,xk+1y1,…,yk+1)J(\frac{x_1,\dots,x_{k+1}}{y_1,\dots,y_{k+1}})

18 self-study  multivariate-analysis  gamma-distribution  dirichlet-distribution 

Cuando se usa el modelado de temas (Asignación de Dirichlet latente), el número de temas es un parámetro de entrada que el usuario debe especificar. ¿Me parece que también deberíamos proporcionar una colección de conjunto de temas candidatos que el proceso de Dirichlet tiene que probar? ¿Es correcto mi entendimiento? …

17 machine-learning  bayesian  clustering  text-mining  dirichlet-distribution 

Entonces, en el modelado de texto (sin supervisión), la asignación de Dirichlet latente (LDA) es una versión bayesiana del análisis semántico latente probabilístico (PLSA). Esencialmente, LDA = PLSA + Dirichlet antes de sus parámetros. Tengo entendido que LDA es ahora el algoritmo de referencia y se implementa en varios paquetes, …

15 bayesian  multinomial  prior  naive-bayes  dirichlet-distribution 

Es fácil producir una variable aleatoria con distribución de Dirichlet usando variables Gamma con el mismo parámetro de escala. Si: Xi∼Gamma(αi,β)Xi∼Gamma(αi,β) X_i \sim \text{Gamma}(\alpha_i, \beta) Luego: (X1∑jXj,…,Xn∑jXj)∼Dirichlet(α1,…,αn)(X1∑jXj,…,Xn∑jXj)∼Dirichlet(α1,…,αn) \left(\frac{X_1}{\sum_j X_j},\; \ldots\; , \frac{X_n}{\sum_j X_j}\right) \sim \text{Dirichlet}(\alpha_1,\;\ldots\;,\alpha_n) Problema ¿Qué sucede si los parámetros de la escala no son iguales? Xi∼Gamma(αi,βi)Xi∼Gamma(αi,βi) X_i \sim …

14 expected-value  dirichlet-distribution  gamma-distribution  integral 

En el artículo de Wikipedia sobre el suavizado de Laplace (o suavizado aditivo), se dice que desde un punto de vista bayesiano, esto corresponde al valor esperado de la distribución posterior, utilizando una distribución de Dirichlet simétrica con el parámetro como previo.αα\alpha Estoy desconcertado acerca de cómo eso es realmente …

11 bayesian  smoothing  dirichlet-distribution  laplace-smoothing 

Tengo una pregunta sobre la distribución posterior de Dirichlet. Dada una función de probabilidad multinomial, se sabe que el posterior es , donde es el número de veces que hemos visto observación.Dir(αi+Ni)Dir(αi+Ni)Dir({\alpha_i + N_i})NiNiN_iithithi^{th} ¿Qué sucede si comenzamos a disminuir s para un dato fijo ? Parece por la forma …

11 dirichlet-distribution 

Trataré de describir el problema en cuestión de la manera más general posible. Estoy modelando observaciones como una distribución categórica con un vector de probabilidad de parámetro theta. Entonces, supongo que el vector de parámetros theta sigue una distribución previa de Dirichlet con los parámetros .α1,α2,…,αkα1,α2,…,αk\alpha_1,\alpha_2,\ldots,\alpha_k ¿Es posible también imponer …

10 categorical-data  multinomial  dirichlet-distribution  hierarchical-bayesian  dirichlet-process 

En los documentos AlphaGo Zero y AlphaZero de DeepMind , describen la adición de ruido Dirichlet a las probabilidades previas de acciones desde el nodo raíz (estado del tablero) en Monte Carlo Tree Search: Se logra una exploración adicional al agregar ruido de Dirichlet a las probabilidades anteriores en el …

10 machine-learning  neural-networks  dirichlet-distribution 

Actualmente estoy viendo un documento del modelo de efectos aleatorios del proceso de Dirichlet y la especificación del modelo es la siguiente: dondeαes el parámetro de escala yG0es la medida base. Más adelante en el artículo, sugiere que integremos una función sobre la medida baseG0como ∫f(y j |θ,ψ j )yyoψyosol= …

9 bayesian  dirichlet-distribution  dirichlet-process  nonparametric-bayes  measure-theory