Estadísticas y Big Data

Si donde el soporte de es . Entonces, . Luego, supongo que tiene momentos finitos. Cuando , sé que porque los medios de donde es la densidad asociada de . ¿Cuál es el equivalente matemático de suponer que tiene momentos finitos cuando ?X∼FX∼FX \sim FXXXRpRp\mathbb{R}^pX=(X1,X2,…,Xp)X=(X1,X2,…,Xp)X = (X_1, X_2, \dots, X_p)XXXkkkp=1p=1p …

9 probability  random-variable  expected-value  moments 

Dados dos conjuntos de datos multidimensionales, e , algunas personas realizan análisis multivariables mediante la construcción de una variable dependiente sustituta mediante el análisis de componentes principales (PCA). Es decir, ejecute PCA en el conjunto , tome puntajes a lo largo del primer componente , y ejecute una regresión múltiple …

9 regression  multiple-regression  pca  canonical-correlation 

Tengo la siguiente pregunta a mano: Supongamos que son variables aleatorias iid que siguen a Unif . ¿Cuál es la distribución condicional de dada ?U,VU,VU,V(0,1)(0,1)(0,1)UUUZ:=max(U,V)Z:=max(U,V)Z:=\max(U,V) Traté de escribir Z=I⋅V+(1−I)⋅UZ=I⋅V+(1−I)⋅UZ=\Bbb{I}\cdot V+(1-\Bbb{I})\cdot U donde I={10U<VU>VI={1U<V0U>V\Bbb{I}=\begin{cases}1&U;V\end{cases} Pero no estoy llegando a ninguna parte.

9 probability  distributions  uniform  conditioning 

Hay tantas técnicas de regularización que no es práctico probar todas las combinaciones: l1 / l2 norma máxima abandonar parada temprana ... Parece que la mayoría de las personas están contentas con una combinación de abandono escolar y parada temprana: ¿hay casos en los que tenga sentido usar otras técnicas? …

9 neural-networks  regularization  dropout 

Dejar XXXsea, por ejemplo, la cantidad de días que le quedan de vida. Un médico 1 evalúa la distribución deXXX como gaussiano: P(X)∼N(μ1,σ1)P(X)∼N(μ1,σ1)P(X)\sim\mathcal{N}(\mu_1,\sigma_1). Otro médico independiente 2 evalúaP(X)∼N(μ2,σ2)P(X)∼N(μ2,σ2)P(X)\sim\mathcal{N}(\mu_2,\sigma_2). Ambos doctores son igualmente confiables. ¿Cómo combinar ambas informaciones? En este artículo de blog , el autor dice que Si tenemos dos …

9 probability  normal-distribution 

Siempre me he suscrito a la sabiduría popular de que la disminución de la tasa de aprendizaje en un gbm (modelo de árbol impulsado por gradiente) no perjudica el rendimiento de la muestra fuera del modelo. Hoy no estoy tan seguro. Estoy ajustando modelos (minimizando la suma de los errores …

9 machine-learning  boosting  out-of-sample 

Dadas 3 variables aleatorias , y . y son independientes. y son independientes. Intuitivamente supondría que y son independientes. ¿Es este el caso y cómo puedo probarlo formalmente?X1X1X_1X2X2X_2YYYYYYX1X1X_1YYYX2X2X_2YYYX1+X2X1+X2X_1+X_2

9 independence 

Actualmente estoy estimando un modelo de volatilidad estocástica con los métodos de Markov Chain Monte Carlo. De este modo, estoy implementando los métodos de muestreo de Gibbs y Metropolis. Suponiendo que tomo la media de la distribución posterior en lugar de una muestra aleatoria, ¿es esto lo que comúnmente se …

9 mcmc  monte-carlo  gibbs  point-estimation  rao-blackwell 

¿Es posible calcular la expectativa de una función de una variable aleatoria con solo el CDF del rv? Digamos que tengo una función que tiene la propiedad y la única información que tengo sobre la variable aleatoria es el CDF.g(x)g(x)g(x)∫∞−∞g(x)dx≤∞∫−∞∞g(x)dx≤∞\int_{-\infty}^{\infty}g(x)dx \leq \infty Por ejemplo, tengo un escenario donde hay tres …

9 random-variable  expected-value 

Considera la función r(x)=E(Y∣X=x)r(X)=mi(Y∣X=X) r(x) = \mathbb{E}(Y \mid X = x) Esto se ha llamado la función de regresión en un libro de texto que estoy usando. Estoy tratando de descubrir la relación entre esta función y el modelo clásico de regresión lineal. Entonces, sé que es un teorema * …

9 regression  linear-model 

Esta pregunta surgió en el trabajo cuando alguien me preguntó cuál era la relación entre un percentil y un intervalo de confianza, y me costó mucho articular mis pensamientos. El contexto era una pregunta muy simple con respecto a la estimación de un intervalo de confianza del 95% en una …

9 confidence-interval  quantiles  mean 

Un valor p es la probabilidad de obtener una estadística que sea al menos tan extrema como la observada en los datos de la muestra cuando se asume que la hipótesis nula ( ) es verdadera.H0H0H_0 Gráficamente esto corresponde al área definida por el estadístico de muestra bajo la distribución …

9 hypothesis-testing  confidence-interval  p-value 

Supongamos que reemplazamos la función de pérdida de la regresión logística (que normalmente es log-verosimilitud) con el MSE. Es decir, que la razón de probabilidad logarítmica sea una función lineal de los parámetros, pero minimice la suma de las diferencias al cuadrado entre la probabilidad estimada y el resultado (codificado …

9 logistic  maximum-likelihood  unbiased-estimator  mse 

Tengo dificultades para interpretar algunos resultados. Estoy haciendo una regresión jerárquica relacionada con ecoreg. Si ingreso el código, recibo resultados con odds ratios, relaciones de confianza y una probabilidad de registro maximizada 2x. Sin embargo, no entiendo completamente cómo interpretar la probabilidad de registro maximizada 2x. Hasta donde yo sé, …

9 r  interpretation 

Sé que la prueba de la transformación integral de probabilidad se ha dado varias veces en este sitio. Sin embargo, las pruebas que encontré utilizan la hipótesis de que el CDF está aumentando estrictamente (junto, por supuesto, con la hipótesis de que es una variable aleatoria continua). Sé que en …

9 probability  cdf