Estadísticas y Big Data

En una pregunta reciente y bien recibida, Tim pregunta cuándo los datos desequilibrados son realmente un problema en Machine Learning . La premisa de la pregunta es que hay mucha literatura de aprendizaje automático que discute el equilibrio de la clase y el problema de las clases desequilibradas . La …

25 machine-learning  classification  predictive-models  unbalanced-classes 

¿Qué es un estudio de ablación? ¿Y hay una forma sistemática de realizarlo? Por ejemplo, tengo predictores en una regresión lineal que llamaré como mi modelo.nortenorten ¿Cómo realizaré un estudio de ablación para esto? ¿Qué métricas debo usar? Se agradecería una fuente completa o un libro de texto.

25 regression  machine-learning  neural-networks 

Tanto la entropía cruzada como la divergencia KL son herramientas para medir la distancia entre dos distribuciones de probabilidad. ¿Cuál es la diferencia? Además, la minimización de KL es equivalente a la minimización de la entropía cruzada.H( P, Q ) = -∑XPAGS( x ) registroQ ( x )H(P,Q)=−∑xP(x)log⁡Q(x) H(P,Q) = …

25 entropy  kullback-leibler  cross-entropy 

Estoy un poco confundido acerca de las ventajas de los modelos mixtos con respecto al modelado predictivo. Dado que los modelos predictivos generalmente están destinados a predecir valores de observaciones previamente desconocidas, me parece obvio que la única forma en que un modelo mixto puede ser útil es a través …

24 mixed-model  predictive-models 

Así que acabo de leer un gran libro Introducción a Empirical Bayes . Pensé que el libro era genial, pero construir anteriores a partir de los datos se sintió mal. Fui entrenado para que elabore un plan de análisis, luego recopile datos y luego pruebe la hipótesis que previamente determinó …

24 machine-learning  hypothesis-testing  bayesian  empirical-bayes 

Estoy tratando de entender la regresión cuantil, pero una cosa que me hace sufrir es la elección de la función de pérdida. ρτ( u ) = u ( τ- 1{ u &lt; 0 })ρτ(u)=u(τ−1{u&lt;0})\rho_\tau(u) = u(\tau-1_{\{u<0\}}) Sé que el mínimo de la expectativa de es igual al -quantile, pero ¿cuál …

24 quantiles  loss-functions  quantile-regression 

La distribución binomial negativa (NB) se define en enteros no negativos y tiene una función de masa de probabilidad F( k ; r , p ) = ( k + r - 1k) pk( 1 - p )r.f(k;r,p)=(k+r−1k)pk(1−p)r.f(k;r,p)={\binom {k+r-1}{k}}p^{k}(1-p)^{r}.¿Tiene sentido considerar una distribución continua en reales no negativos definidos por …

24 distributions  negative-binomial  count-data  continuous-data  bioinformatics 

Según esta y esta respuesta, los autoencoders parecen ser una técnica que utiliza redes neuronales para la reducción de dimensiones. También me gustaría saber qué es un autoencoder variacional (sus principales diferencias / beneficios sobre los autoencoders "tradicionales") y cuáles son las principales tareas de aprendizaje para las que se …

24 machine-learning  bayesian  deep-learning  autoencoders  variational-bayes 

Estoy escribiendo un breve ensayo teórico para un curso de Estadística Bayesiana (en un M.Sc. de Economía) sobre antecedentes no informativos y estoy tratando de entender cuáles son los pasos en el desarrollo de esta teoría. En este momento, mi cronograma consta de tres pasos principales: el principio de indiferencia …

24 bayesian  references  prior  history 

Actualmente estoy trabajando en un problema, donde necesito desarrollar un algoritmo de Monte Carlo de cadena de Markov (MCMC) para un modelo de espacio de estado. Para poder resolver el problema, se me ha dado la siguiente probabilidad de : p ( ) = 2I ( &gt; 0) / (1+ …

24 distributions  bayesian  prior  state-space-models  cauchy 

Estoy tratando de rastrear quién inventó la estructura de datos del árbol de decisión y el algoritmo. En la entrada de Wikipedia sobre el aprendizaje del árbol de decisión hay una afirmación de que "ID3 y CART se inventaron de forma independiente aproximadamente al mismo tiempo (entre 1970 y 1980)". …

24 cart  history 

Estaba leyendo sobre el optimizador Adam para Deep Learning y encontré la siguiente oración en el nuevo libro Deep Learning de Bengio, Goodfellow y Courville: En general, se considera que Adam es bastante robusto para la elección de hiperparámetros, aunque a veces la tasa de aprendizaje debe cambiarse del valor …

24 neural-networks  deep-learning  optimization  hyperparameter  adam 

¿Hay algo significativo acerca de una media geométrica y una media aritmética que se acerquen mucho, digamos ~ 0.1%? ¿Qué conjeturas se pueden hacer sobre ese conjunto de datos? He estado trabajando en el análisis de un conjunto de datos, y noto que, irónicamente, los valores están muy, muy cerca. …

24 descriptive-statistics  mean  geometric-mean 

La inspiración para esta pregunta proviene del conocido artículo de Leo-Breiman, Estadística: Las dos culturas (acceso abierto disponible). El autor compara lo que ve como dos enfoques dispares para analizar datos, tocando ideas clave en estadística clásica y aprendizaje automático. Sin embargo, el artículo es inteligible para una amplia audiencia, …

24 references 

Sabemos que debemos aplicar correcciones tipo Benjamini Hochberg para pruebas de hipótesis múltiples a experimentos basados ​​en un solo conjunto de datos, para controlar la tasa de descubrimiento falso, de lo contrario, todos los experimentos que den un resultado positivo podrían ser falsos. Pero, ¿por qué no aplicamos este mismo …

24 hypothesis-testing  multiple-comparisons  bonferroni  false-discovery-rate