Estadísticas y Big Data

Necesito resolver un problema de regresión complicado sobre la unidad de disco. La pregunta original atrajo algunos comentarios interesantes, pero desafortunadamente no hubo respuestas. Mientras tanto, aprendí algo más sobre este problema, por lo que intentaré dividir el problema original en subproblemas y ver si tengo más suerte esta vez. …

9 regression  spatial  circular-statistics 

He visto muchas cosas que discuten si una regresión de Poisson básica es una versión anidada de una regresión de Poisson inflada a cero. Por ejemplo, este sitio argumenta que lo es, ya que este último incluye parámetros adicionales para modelar ceros adicionales, pero por lo demás incluye los mismos …

9 poisson-regression  zero-inflation 

Cerrada . Esta pregunta necesita estar más centrada . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que se centre en un problema solo editando esta publicación . Cerrado hace 3 años . Me gustaría aprender sobre la teoría de la probabilidad, la teoría de …

9 machine-learning  probability  references  measure-theory 

Considere 3 muestras de iid extraídas de la distribución uniforme , donde es el parámetro. Quiero encontrar donde es la estadística de orden .u(θ,2θ)u(θ,2θ)u(\theta, 2\theta)θθ\thetaE[X(2)|X(1),X(3)]E[X(2)|X(1),X(3)] \mathbb{E}\left[X_{(2)}| X_{(1)}, X_{(3)}\right] X(i)X(i)X_{(i)}iii Esperaría que el resultado sea Pero la única forma en que puedo mostrar este resultado parece ser también largo, no puedo …

9 uniform  conditional-expectation  order-statistics 

Supongamos que queremos calcular algunas expectativas: EYEX|Y[f(X,Y)]EYEX|Y[f(X,Y)]E_YE_{X|Y}[f(X,Y)] Supongamos que queremos aproximar esto usando la simulación de Monte Carlo. EYEX|Y[f(X,Y)]≈1RS∑r=1R∑s=1Sf(xr,s,yr)miYmiXEl |Y[F(X,Y)]≈1RS∑r=1R∑s=1SF(Xr,s,yr)E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r) Pero supongamos que es costoso para extraer muestras de ambas distribuciones, por lo que sólo podemos darnos el lujo de dibujar un número fijo . KKK ¿Cómo debemos …

9 optimization  conditional-probability  simulation  expected-value  monte-carlo 

Creé una página web que muestra los resultados de medallas olímpicas en vivo de Thompson Reuters y los recuentos de la población mundial de la CIA. Los resultados son interesantes para mí: Hungría tiene una ventaja de dos dígitos en medallas de oro sobre el resto del mundo. Además, EE. …

9 statistical-significance 

Cerrada . Esta pregunta necesita detalles o claridad . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Agregue detalles y aclare el problema editando esta publicación . Cerrado hace 3 años . Por lo que he leído y por las respuestas a otras preguntas que he hecho aquí, muchos …

9 bayesian  frequentist  philosophical 

Estoy tratando de averiguar la distribución de donde , iid sé que, tomando cada uno de los términos por separado, y Pero no estoy seguro acerca de la distribución de (*)(n−1)∑i=1nZ2i−(∑i=1nZi)2(∗)(n−1)∑i=1nZi2−(∑i=1nZi)2(∗) (n-1) \sum_{i=1}^n Z_i^2 - \left( \sum_{i=1}^n Z_i \right)^2 \qquad (*) Zi∼N(0,1)Zi∼N(0,1)Z_i \sim \mathcal{N}(0,1)∑i=1nZ2i∼χ2(n)∑i=1nZi2∼χ2(n) \sum_{i=1}^n Z_i^2 \sim \chi^2(n) 1n(∑i=1nZi)2∼χ2(1).1n(∑i=1nZi)2∼χ2(1). \frac{1}{n}\left( …

9 probability  distributions  normal-distribution 

Sé cómo implementar la función objetivo lineal y los aumentos lineales en XGBoost. Mi pregunta concreta es: cuando el algoritmo se ajusta al residual (o al gradiente negativo), ¿está usando una característica en cada paso (es decir, modelo univariante) o todas las características (modelo multivariado)? Cualquier referencia a la documentación …

9 regression  machine-learning  boosting  xgboost 

Teniendo en cuenta la cantidad constante de características, Barnes-Hut t-SNE tiene una complejidad de , las proyecciones aleatorias y PCA tienen una complejidad de hace "asequibles" para conjuntos de datos muy grandes.O(nlogn)O(nlog⁡n)O(n\log n)O(n)O(n)O(n) Por otro lado, los métodos que se basan en el escalamiento multidimensional tienen una complejidad .O(n2)O(n2)O(n^2) ¿Existen …

9 pca  dimensionality-reduction  large-data  multidimensional-scaling  tsne 

Actualmente estoy trabajando para tratar de implementar un método utilizado en un artículo popular titulado "Acabo de ejecutar dos millones de regresiones". La idea básica detrás de esto es que hay ciertos casos en los que no es obvio qué controles deben incluirse en el modelo. Una cosa que puede …

9 likelihood-ratio 

Digamos que tengo una arquitectura de modelo de aprendizaje profundo, así como un tamaño de mini lote elegido. ¿Cómo obtengo de estos los requisitos de memoria esperados para entrenar ese modelo? Como ejemplo, considere un modelo (no recurrente) con entrada de dimensión 1000, 4 capas ocultas completamente conectadas de dimensión …

9 deep-learning 

Tengo un conjunto de datos que detalla una gran cantidad de juegos de cricket (unos pocos miles). En el "cricket", los "jugadores de bolos" lanzan repetidamente una pelota a una sucesión de "bateadores". El jugador de bolos está tratando de sacar al bateador "fuera". A este respecto, es bastante similar …

9 probability  modeling  games 

Supongamos que ajusto una regresión binomial y obtengo las estimaciones puntuales y la matriz de varianza-covarianza de los coeficientes de regresión. Eso me permitirá obtener un IC para la proporción esperada de éxitos en un experimento futuro, , pero necesito un IC para la proporción observada. Se han publicado algunas …

9 confidence-interval  binomial  beta-binomial  beta-regression  gamlss 

Sé que lo he visto en ambos sentidos, entonces, ¿hay alguna diferencia entre los dos, y a cuál se hace referencia más comúnmente?

9 logistic  terminology  logarithm  loss-functions