Preguntas etiquetadas con maximum-likelihood

Leí esta página: http://neuralnetworksanddeeplearning.com/chap3.html y dijo que la capa de salida sigmoidea con entropía cruzada es bastante similar a la capa de salida softmax con log-verosimilitud. ¿Qué sucede si uso sigmoide con log-verosimilitud o softmax con entropía cruzada en la capa de salida? ¿está bien? porque veo que solo hay …

31 neural-networks  maximum-likelihood  softmax 

Explicaré mi problema con un ejemplo. Suponga que desea predecir el ingreso de un individuo dados algunos atributos: {Edad, Sexo, País, Región, Ciudad}. Tienes un conjunto de datos de entrenamiento como este train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

Supongamos que tenemos una variable aleatoria . Si fuera el parámetro verdadero, la función de probabilidad debería maximizarse y la derivada igual a cero. Este es el principio básico detrás del estimador de máxima verosimilitud.X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta)θ0θ0\theta_0 Según tengo entendido, la información de Fisher se define como I(θ)=E[(∂∂θf(X|θ))2]I(θ)=E[(∂∂θf(X|θ))2]I(\theta) = \Bbb …

29 bayesian  maximum-likelihood  likelihood  intuition  fisher-information 

Considere muestras independientes obtiene a partir de una variable aleatoria que se supone que sigue una distribución truncada (por ejemplo, un truncado distribución normal ) de mínimo conocido (finito) y los valores máximos de y pero de parámetros desconocidos y . Si seguía una distribución no truncada, los estimadores de …

28 distributions  estimation  mathematical-statistics  maximum-likelihood  truncation 

He oído hablar de la probabilidad empírica de Owen, pero hasta hace poco no le presté atención hasta que lo encontré en un documento de interés ( Mengersen et al. 2012 ). En mi esfuerzo por comprenderlo, deduje que la probabilidad de los datos observados se representa como , donde …

28 bayesian  maximum-likelihood  nonparametric  likelihood  empirical-likelihood 

La estimación de máxima verosimilitud a menudo se traduce en estimadores sesgados (por ejemplo, su estimación de la varianza muestral está sesgada para la distribución gaussiana). ¿Qué lo hace tan popular? ¿Por qué exactamente se usa tanto? Además, ¿qué lo hace en particular mejor que el enfoque alternativo: método de …

25 normal-distribution  maximum-likelihood  method-of-moments 

Tengo una confusión sobre los estimadores sesgados de máxima verosimilitud (ML). La matemática de todo el concepto es bastante clara para mí, pero no puedo entender el razonamiento intuitivo detrás de él. Dado un determinado conjunto de datos que tiene muestras de una distribución, que en sí misma es una …

25 maximum-likelihood  bias 

Me he encontrado con un par de guías sugiriendo que use R's nlm para la estimación de máxima probabilidad. Pero ninguno de ellos (incluida la documentación de R ) da mucha orientación teórica sobre cuándo usar o no usar la función. Por lo que puedo decir, nlm solo está haciendo …

25 r  maximum-likelihood 

Recién comencé a estudiar sobre estadísticas y modelos. Actualmente, entiendo que usamos MLE para estimar los mejores parámetros para un modelo. Sin embargo, cuando trato de entender cómo funcionan las redes neuronales, parece que comúnmente usan otro enfoque para estimar los parámetros. ¿Por qué no usamos MLE o es posible …

23 maximum-likelihood  neural-networks 

Me pregunto si siempre hay un maximizador para cualquier problema de estimación de probabilidad máxima (log). En otras palabras, ¿hay alguna distribución y algunos de sus parámetros, para los cuales el problema MLE no tiene un maximizador? Mi pregunta proviene de la afirmación de un ingeniero de que la función …

23 maximum-likelihood  optimization 

¿Cuáles son los estimadores de máxima verosimilitud para los parámetros de la distribución t de Student? ¿Existen en forma cerrada? Una búsqueda rápida en Google no me dio ningún resultado. Hoy estoy interesado en el caso univariante, pero probablemente tendré que extender el modelo a múltiples dimensiones. EDITAR: en realidad …

23 estimation  maximum-likelihood  t-distribution 

Sé que para problemas regulares, si tenemos un mejor estimador imparcial regular, debe ser el estimador de máxima verosimilitud (MLE). Pero, en general, si tenemos un MLE imparcial, ¿también sería el mejor estimador imparcial (o tal vez debería llamarlo UMVUE, siempre que tenga la varianza más pequeña)?

22 mathematical-statistics  maximum-likelihood  unbiased-estimator 

Según Miller and Freund's Probability and Statistics for Engineers, 8ed (pp.217-218), la función de probabilidad de maximizar la distribución binomial (ensayos de Bernoulli) se da como L(p)=∏ni=1pxi(1−p)1−xiL(p)=∏i=1npxi(1−p)1−xiL(p) = \prod_{i=1}^np^{x_i}(1-p)^{1-x_i} ¿Cómo llegar a esta ecuación? Me parece bastante claro con respecto a las otras distribuciones, Poisson y Gaussian; L(θ)=∏ni=1PDF or PMF …

22 estimation  maximum-likelihood  bernoulli-distribution  point-estimation 

Dado un resultado de optim con una matriz de arpillera, ¿cómo calcular los intervalos de confianza de los parámetros utilizando la matriz de arpillera? fit<-optim(..., hessian=T) hessian<-fit$hessian Estoy principalmente interesado en el contexto del análisis de máxima verosimilitud, pero tengo curiosidad por saber si el método puede expandirse más allá.

22 r  maximum-likelihood 

Supongamos que tengo el siguiente modelo yi=f(xi,θ)+εiyi=f(xi,θ)+εiy_i=f(x_i,\theta)+\varepsilon_i donde yi∈RKyi∈RKy_i\in \mathbb{R}^K , xixix_i es un vector de variables explicativas, θθ\theta es los parámetros de la función no lineal fff y εi∼N(0,Σ)εi∼N(0,Σ)\varepsilon_i\sim N(0,\Sigma) , donde ΣΣ\Sigma naturalmente es K×KK×KK\times K matriz. El objetivo es el habitual para estimar θθ\theta y ΣΣ\Sigma . …

22 maximum-likelihood  optimization  covariance