Estadísticas y Big Data

Así que tuve una prueba de probabilidad y realmente no pude responder esta pregunta. Simplemente preguntó algo como esto: "Teniendo en cuenta que es una variable aleatoria, 0 , use la desigualdad correcta para demostrar qué es mayor o igual, E (X ^ 2) ^ 3 o E (X ^ …

9 probability  self-study  probability-inequalities 

Deje que X1,…,Xn∼U(0,1)X1,…,Xn∼U(0,1)X_1,\dots,X_n \sim U(0,1) sea independiente y identicallly distribuido variables aleatorias uniformes estándar. Let Yn=∑inX2iI seek: E[Yn−−√]Let Yn=∑inXi2I seek: E[Yn]\text{Let }\quad Y_n=\sum_i^nX_i^2 \quad \quad \text{I seek: } \quad \mathbb{E}\big[\sqrt{Y_n } \big] La expectativa de es fácil:YnYnY_n E[X2]E[Yn]=∫10y2y√=13=E[∑inX2i]=∑inE[X2i]=n3E[X2]=∫01y2y=13E[Yn]=E[∑inXi2]=∑inE[Xi2]=n3\begin{align} \mathbb{E}\left[X^2\right] &=\int_0^1\frac{y}{2\sqrt{y}}=\frac{1}{3}\\ \mathbb{E}\left[Y_n\right] &=\mathbb{E}\left[\sum_i^nX_i^2\right] = \sum_i^n\mathbb{E}\left[X_i^2\right]=\frac{n}{3} \end{align} Ahora para la parte aburrida. …

9 probability  expected-value  uniform  central-limit-theorem  mgf 

Casella y Berger establecen la propiedad de invariancia del estimador de ML de la siguiente manera: Sin embargo, me parece que definen la "probabilidad" de de una manera completamente ad hoc y sin sentido:ηη\eta Si aplico las reglas básicas de la teoría de la probabilidad al caso simple donde , …

9 self-study  bayesian  maximum-likelihood  frequentist  invariance 

P1: ¿Existen métodos comunes o aceptados para tratar el entorno no estacionario en el aprendizaje por refuerzo en general? P2: en mi gridworld, la función de recompensa cambia cuando se visita un estado. Cada episodio, las recompensas se restablecen al estado inicial. Todo lo que quiero que mi agente aprenda …

9 markov-process  reinforcement-learning  stationarity  q-learning 

¿ implica independencia de X e Y ?Cov(f(X),Y)=0∀f(.)Cov(f(X),Y)=0∀f(.)\mathbb{Cov} \left(f(X),Y\right) = 0 \; \forall \; f(.)XXXYYY No soy más que familiarizado con la siguiente definición de independencia entre e Y .XXXYYY Fx , y( x , y) = fX( x ) fy( y)FX,y(X,y)=FX(X)Fy(y) f_{x,y}(x,y) = f_x(x)f_y(y)

9 random-variable  independence 

En 'Los elementos del aprendizaje estadístico', la expresión para la descomposición de la variación de sesgo del modelo lineal se da como donde es la función objetivo real, es la varianza del error aleatorio en el modelo y es el estimador lineal de .f ( x 0 ) σ 2 …

9 regression  linear-model  bias-variance-tradeoff 

Tengo un conjunto de datos con aproximadamente 5,000 características / covariables a menudo correlacionadas y una respuesta binaria. Me dieron los datos, no los recolecté. Utilizo Lasso y el refuerzo de gradiente para construir modelos. Utilizo validación cruzada anidada iterada. Reporto los 40 coeficientes más grandes (absolutos) de Lasso y …

9 machine-learning  multiple-comparisons  regression-coefficients  lasso  high-dimensional 

Me gustaría clasificar los puntos de datos como que necesitan un modelo más complejo o que no necesitan un modelo más complejo. Mi pensamiento actual es ajustar todos los datos a un modelo lineal simple y observar el tamaño de los residuos para hacer esta clasificación. Luego leí un poco …

9 regression  multiple-regression  residuals  bias-variance-tradeoff 

Tengo algunas preguntas con respecto a la especificación e interpretación de GLMM. 3 preguntas son definitivamente estadísticas y 2 son más específicamente sobre R. Estoy publicando aquí porque, en última instancia, creo que el problema es la interpretación de los resultados de GLMM. Actualmente estoy tratando de ajustar un GLMM. …

9 r  lme4-nlme  poisson-distribution  negative-binomial  glmm 

Deje que sea ​​IID y . Parece obvio, pero tengo problemas para derivarlo formalmente.ˉ X = ∑ n i = 1 X i E [ X iXyoXyoX_iX¯= ∑nortei = 1XyoX¯=∑yo=1norteXyo\bar{X} = \sum_{i=1}^{n} X_imi[ XyoX¯] =? mi[XyoX¯]= ? E\left[\frac{X_i}{\bar{X}}\right] = \ ?

9 probability  random-variable  expected-value 

Necesito asegurarme de que mi mapa del sitio XML tenga menos del basura (enlaces rotos). La lista de URL está en los cientos de miles, e incluso si pudiera ser factible probarlos todos 1 por 1, preferiría no hacerlo, por muchas razones:1 %1%1\% 1 - Saved bandwidth 2 - Faster …

9 probability  confidence-interval  sample-size 

Considere la siguiente gráfica en la que simulé datos de la siguiente manera. Observamos un resultado binario para el cual la probabilidad real de ser 1 se indica mediante la línea negra. La relación funcional entre una covariable y es un polinomio de tercer orden con enlace logístico (por lo …

9 regression  logistic  bayesian  confidence-interval  credible-interval 

Bueno, no podemos, ver por ejemplo https://en.wikipedia.org/wiki/Subindependence para un contraejemplo interesante. Pero la verdadera pregunta es: ¿hay alguna forma de fortalecer la condición para que siga la independencia? Por ejemplo, ¿hay algún conjunto de funciones modo que si para todo entonces, la independencia siga? Y, ¿qué tan grande debe ser …

9 probability  mathematical-statistics  references  random-variable  independence 

¿Es posible ajustar un GAMM (Modelo mixto aditivo generalizado) para datos inflados a cero en R? Si no, ¿es posible ajustar un GAM (Modelo Aditivo Generalizado) para datos inflados a cero con una distribución binomial negativa o cuasi Poisson en R? (Encontré COZIGAM :: zigam y mgcv: funciones ziP para …

9 poisson-distribution  negative-binomial  gam  zero-inflation 

Cerrada . Esta pregunta está basada en la opinión . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que pueda ser respondida con hechos y citas editando esta publicación . Cerrado hace 2 años . A pesar de los importantes esfuerzos de los individuos por …

9 correlation  methodology  publication-bias