Estadísticas y Big Data

Hay muchas preguntas (como esta ) sobre cierta ambigüedad con la fórmula bayesiana en caso continuo. p(θ|x)=p(x|θ)⋅p(θ)p(x)p(θ|x)=p(x|θ)⋅p(θ)p(x)p(\theta | x) = \frac{p(x | \theta) \cdot p(\theta)}{p(x)} A menudo, la confusión surge del hecho de que la definición de distribución condicional se explica como siendo función de la dada un fijo .f(variable|parameter)f(variable|parameter)f(variable …

10 distributions  bayesian  conditional-probability  likelihood 

La colinealidad puede plantear ciertos problemas en varios tipos de problemas de regresión. En particular, puede hacer que las estimaciones de los parámetros tengan una alta varianza y sean inestables. Se han propuesto varios métodos para tratar esto, incluida la regresión de crestas, la regresión de mínimos cuadrados parciales, la …

10 multicollinearity 

Antecedentes Primero, algunos antecedentes para medir el nivel de comprensión que podría tener. Actualmente completando la tesis de maestría, las estadísticas han sido una parte insignificante de esto, aunque tengo una comprensión básica. Mi pregunta actual me hace dudar de lo que puedo / debo hacer en la práctica, leer …

10 r  time-series  variance  descriptive-statistics  structural-change 

Deje que y sean variables aleatorias exponenciales independientes y distribuidas idénticamente con rate . Deje .X1X1X_1X2X2X_2λλ\lambdaS2=X1+X2S2=X1+X2S_2 = X_1 + X_2 P: Muestre que tiene PDF .S2S2S_2FS2( x ) =λ2Xmi- λ x,x ≥ 0fS2(x)=λ2xe−λx,x≥0f_{S_2}(x) = \lambda^2 x \text{e}^{-\lambda x},\, x\ge 0 Tenga en cuenta que si los eventos ocurrieron de acuerdo …

10 self-study  distributions  convolution  exponential-distribution 

Desde el curso de probabilidad elemental, las distribuciones de probabilidad como Gaussian, Poisson o exponencial tienen una buena motivación. Después de observar la fórmula de las distribuciones familiares exponenciales durante mucho tiempo, todavía no tengo ninguna intuición. FX( x ∣ θ ) = h ( x ) exp( η(θ)⋅T(x)-A(θ) )fX(x∣θ)=h(x)exp⁡(η(θ)⋅T(x)−A(θ))f_{X}(x\mid …

10 exponential-family 

Durante el año pasado, he estado escuchando mucho sobre los marcos de programación probabilística (PP) como PyMC3 y Stan , y qué tan bueno es el PP. Y hoy, alguien compartió este enlace conmigo: Pyro: un lenguaje de programación probabilístico profundo Sin embargo, realmente no sigo lo que tiene de …

10 bayesian  modeling  inference  software 

Esta pregunta ya tiene una respuesta aquí : ¿Cómo umbral de predicción de probabilidad multiclase para obtener una matriz de confusión? (1 respuesta) Cerrado hace 3 meses . Lo anterior es un ejemplo muy simple de tener una salida de clasificador de probabilidad para un caso de clase binaria, ya …

10 probability  classification  precision-recall  multi-class 

Tengo experiencia previa con validación cruzada K-fold 'normal' para el ajuste del modelo y estoy un poco confundido por la aplicación en modelos de series temporales. Tengo entendido que para los modelos de series temporales, el corolario de la validación cruzada es el procedimiento de "origen progresivo" descrito por Hyndman …

10 time-series  forecasting  cross-validation 

Estoy leyendo un libro "Aprendizaje automático con chispa" de Nick Pentreath, y en la página 224-225 el autor discute sobre el uso de K-means como una forma de reducción de dimensionalidad. Nunca he visto este tipo de reducción de dimensionalidad, ¿tiene un nombre o / y es útil para formas …

10 clustering  k-means  dimensionality-reduction 

Necesito obtener algún tipo de "promedio" entre una lista de variaciones, pero tengo problemas para encontrar una solución razonable. Hay una discusión interesante sobre las diferencias entre los tres medios pitagóricos (aritmética, geométrica y armónica) en este hilo ; Sin embargo, todavía no creo que ninguno de ellos sea un …

10 variance  average 

Cuando hacemos clasificación y regresión, generalmente establecemos conjuntos de pruebas y capacitación para ayudarnos a construir y mejorar modelos. Sin embargo, cuando hacemos clustering, ¿también necesitamos establecer conjuntos de prueba y entrenamiento? ¿Por qué?

10 machine-learning  clustering  unsupervised-learning 

Considere la función de densidad posterior dada (como de costumbre) por π(θ)∏i=1nf(xi;θ),π(θ)∏i=1nf(xi;θ), \pi(\theta) \prod_{i=1}^n f(x_i;\theta), con densidad previa ππ\pi y distribución f(⋅;θ)f(⋅;θ)f(\cdot;\theta) del nnn observaciones x1,…,xnx1,…,xnx_1, \dots, x_n, condicional en el valor del parámetro θθ\theta. Bajo ciertas condiciones, la distribución posterior es asintóticamente normal (un resultado conocido como el teorema …

10 bayesian  asymptotics 

Para una tabla , dos formas de hacer inferencia en la tabla es a través de la prueba exacta de Fisher y también una regresión logística.2 × 22×22 \times 2 Me dijeron que usando una prueba exacta de Fisher, solo estamos interesados ​​en la presencia de asociación. Pero eso con …

10 regression  logistic  inference  contingency-tables  fishers-exact 

Para poner mi pregunta en contexto, soy un físico pero con una exposición limitada a las estadísticas y lo que aprendí al respecto fue hace más de 30 años. Estoy tratando de aprender sobre el arranque de bloques ya que esa técnica podría ser adecuada para resolver un problema en …

10 time-series  bootstrap 

¿Cuál es la diferencia básica entre el filtrado colaborativo basado en artículos y el análisis basado en el mercado? ¿Es este último un caso especializado del primero?

10 machine-learning  recommender-system