Estadísticas y Big Data

Nota: Sé que L1 tiene una propiedad de selección de características. Estoy tratando de entender cuál elegir cuando la selección de funciones es completamente irrelevante. ¿Cómo decidir qué regularización (L1 o L2) usar? ¿Cuáles son los pros y los contras de cada una de las regularizaciones L1 / L2? ¿Se …

30 regression  lasso  regularization  ridge-regression 

Las distribuciones muy sesgadas, como el log-normal, no dan como resultado intervalos de confianza de arranque precisos. Aquí hay un ejemplo que muestra que las áreas de cola izquierda y derecha están lejos del 0.025 ideal, sin importar qué método de arranque intente en R: require(boot) n <- 25 B …

30 confidence-interval  nonparametric  mean  bootstrap  median 

Sé que esta pregunta se ha hecho con el caso mean = mediana, pero no encontré nada relacionado con mean = mode. Si el modo es igual a la media, ¿puedo concluir siempre que se trata de una distribución simétrica? ¿Me veré obligado a conocer también la mediana de esta …

30 distributions  mean  skewness  mode  symmetry 

Últimamente he estado pensando mucho en el "problema de desequilibrio de clase" en el aprendizaje automático / estadístico, y me estoy adentrando cada vez más en un sentimiento de que simplemente no entiendo lo que está sucediendo. Primero déjame definir (o intentar) definir mis términos: El problema del desequilibrio de …

30 classification  predictive-models  unbalanced-classes  scoring-rules 

En el libro Modelos y métodos estadísticos para datos de por vida , está escrito: Censura: cuando una observación está incompleta debido a alguna causa aleatoria. Truncamiento: cuando la naturaleza incompleta de la observación se debe a un proceso de selección sistemática inherente al diseño del estudio. ¿Qué se entiende …

30 self-study  censoring  truncation 

Aprendizaje supervisado 1) Un humano construye un clasificador basado en entrada y salida de datos 2) Ese clasificador está entrenado con un conjunto de datos de entrenamiento 3) Ese clasificador se prueba con un conjunto de datos de prueba 4) Despliegue si el resultado es satisfactorio Para usarse cuando, "Sé …

30 machine-learning  unsupervised-learning  supervised-learning  reinforcement-learning 

¿Cuáles son las diferencias en las inferencias que se pueden hacer de un análisis de clase latente (LCA) versus un análisis de conglomerados? ¿Es correcto que un LCA asuma una variable latente subyacente que da lugar a las clases, mientras que el análisis de conglomerados es una descripción empírica de …

30 clustering  latent-variable  latent-class 

La fórmula para la probabilidad condicional de que ocurra dado que ha sucedido es:AA\text{A}BB\text{B}P(A | B)=P(A∩B)P(B).P(A | B)=P(A∩B)P(B). P\left(\text{A}~\middle|~\text{B}\right)=\frac{P\left(\text{A} \cap \text{B}\right)}{P\left(\text{B}\right)}. Mi libro de texto explica la intuición detrás de esto en términos de un diagrama de Venn. Dado que ha ocurrido, la única manera de que ocurra es que …

30 probability  conditional-probability  intuition 

¿Cuáles son las diferencias entre "inferencia" y "estimación" en el contexto del aprendizaje automático ? Como novato, siento que inferimos variables aleatorias y estimamos los parámetros del modelo. ¿Es correcto este entendimiento? Si no es así, ¿cuáles son exactamente las diferencias y cuándo debo usar cuáles? Además, ¿cuál es el …

30 machine-learning  inference  terminology 

Estoy jugando el Álbum de pegatinas en línea de FIFA Panini , que es una adaptación a Internet de los álbumes clásicos de Panini que generalmente se publican para la copa mundial de fútbol, ​​el campeonato europeo y posiblemente otros torneos. El álbum tiene marcadores de posición para 424 pegatinas …

30 probability  coupon-collector-problem 

En esta publicación de blog de Andrew Gelman, hay el siguiente pasaje: Los modelos bayesianos de hace 50 años parecen irremediablemente simples (excepto, por supuesto, por problemas simples), y espero que los modelos bayesianos de hoy parezcan irremediablemente simples, dentro de 50 años. (Solo por un ejemplo simple: probablemente deberíamos …

30 distributions  bayesian  normal-distribution  model  robust 

[Esta pregunta también se planteó en el desbordamiento de la pila] La pregunta en resumen Estoy estudiando redes neuronales convolucionales, y creo que estas redes no tratan a cada neurona de entrada (píxel / parámetro) de manera equivalente. Imagine que tenemos una red profunda (muchas capas) que aplica convolución en …

30 machine-learning  neural-networks  convolution 

Estoy buscando una distribución donde la densidad de probabilidad disminuya rápidamente después de un punto alejado de la media, o en mis propias palabras, una "distribución en forma de meseta". Algo entre el gaussiano y el uniforme.

30 distributions  normal-distribution  uniform 

Entiendo que la correlación no es causalidad . Supongamos que obtenemos una alta correlación entre dos variables. ¿Cómo se verifica si esta correlación se debe realmente a la causalidad? O, ¿bajo qué condiciones, exactamente, podemos usar datos experimentales para deducir una relación causal entre dos o más variables?

30 correlation  mathematical-statistics  causality 

Espero que alguien pueda proporcionar una visión general intuitiva de qué es la distribución cuasibinomial y qué hace. Estoy particularmente interesado en estos puntos: Cómo el cuasibinomio difiere de la distribución binomial. Cuando la variable de respuesta es una proporción (los valores de ejemplo incluyen 0.23, 0.11, 0.78, 0.98), un …

30 r  generalized-linear-model  binomial  overdispersion  quasi-likelihood