Estadísticas y Big Data

Me gustaría simular un proceso de excursión browniana (un movimiento browniano que está condicionado siempre será positivo cuando 0<t<10<t<10 \lt t \lt 1 a 000 en t=1t=1t=1 ). Dado que un proceso de excursión browniana es un puente browniano que está condicionado a ser siempre positivo, esperaba simular el movimiento …

11 r  gaussian-process  brownian 

Estoy usando PyMC3 para ejecutar modelos bayesianos en mis datos. Soy nuevo en el modelado bayesiano, pero según algunas publicaciones de blogs , Wikipedia y QA de este sitio, parece ser un enfoque válido utilizar el factor Bayes y el criterio BIC para poder elegir qué modelo representa mejor mis …

11 bayesian  model-selection  pymc 

Estoy revisando la sección LAB §6.6 sobre Regresión de cresta / lazo en el libro 'Una introducción al aprendizaje estadístico con aplicaciones en R' de James, Witten, Hastie, Tibshirani (2013). Más específicamente, estoy tratando de aplicar el Ridgemodelo scikit-learn al conjunto de datos 'Hitters' del paquete R 'ISLR'. He creado …

11 r  machine-learning  scikit-learn  regression 

Proporcione pruebas de que es convexo . Aquí, y son los PDF y CDF normales estándar, respectivamente.Q(x)=x2+xϕ(x)Φ(x)Q(x)=x2+xϕ(x)Φ(x)Q\left(x\right)=x^{2}+x\frac{\phi\left(x\right)}{\Phi\left(x\right)}∀x>0∀x>0\forall x>0 ϕϕ\phiΦΦ\mathbf{\Phi} PASOS INTENTADOS 1) MÉTODO DE CÁLCULO He probado el método de cálculo y tengo una fórmula para la segunda derivada, pero no puedo demostrar que sea positiva . Avíseme si necesita …

11 probability  self-study 

Esto es similar a Bootstrap: la estimación está fuera del intervalo de confianza Tengo algunos datos que representan recuentos de genotipos en una población. Quiero estimar la diversidad genética usando el índice de Shannon y también generar un intervalo de confianza usando bootstrapping. Sin embargo, he notado que la estimación …

11 r  confidence-interval  bootstrap  bias  diversity 

He ajustado un modelo lineal general cuya probabilidad de registro es .y=β0+β1x1+β2x2+β3x3,y=β0+β1x1+β2x2+β3x3,y=\beta_0+\beta_1x_1+\beta_2x_2+\beta_3x_3,LuLuL_u Ahora deseo probar si los coeficientes son los mismos. Primero, prueba general : la probabilidad de registro del modelo reducido es . Mediante la prueba de razón de probabilidad, el modelo completo es significativamente mejor que el modelo …

11 hypothesis-testing 

Aquí les pregunto qué hacen comúnmente los demás para usar la prueba de ji cuadrado para la selección de características wrt resultado en el aprendizaje supervisado. Si entiendo correctamente, ¿prueban la independencia entre cada característica y el resultado, y comparan los valores p entre las pruebas para cada característica? En …

11 hypothesis-testing  chi-squared  feature-selection  independence  scikit-learn 

Estoy leyendo el documento de teoría de Doug Bates sobre el paquete lme4 de R para comprender mejor la esencia de los modelos mixtos, y encontré un resultado intrigante que me gustaría entender mejor, sobre el uso de la máxima verosimilitud restringida (REML) para estimar la varianza . En la …

11 maximum-likelihood  mixed-model  unbiased-estimator  hierarchical-bayesian  reml 

Estoy trabajando en la derivación de un Normal-Wishart posterior, pero estoy atascado en uno de los parámetros (el posterior de la matriz de escala, ver en la parte inferior). Solo por contexto e integridad, aquí está el modelo y el resto de las derivaciones: xiμΛ∼N(μ,Λ)∼N(μ0,(κ0Λ)−1)∼W(υ0,W0)xi∼N(μ,Λ)μ∼N(μ0,(κ0Λ)−1)Λ∼W(υ0,W0)\begin{align} x_i &\sim \mathcal{N}(\boldsymbol{\mu}, \boldsymbol{\Lambda})\\ \boldsymbol{\mu} …

11 bayesian  posterior 

¿Por qué es tan raro encontrar intervalos de confianza reportados en artículos de ciencias aplicadas? Trabajo principalmente en informática, pero a menudo leo artículos de psicología (social), sociología y planificación urbana. No recuerdo haber visto un IC para la mediana informada. Al mismo tiempo, mientras estudiaba los intervalos de confianza …

11 median  confidence  reporting 

Estoy buscando un método de agrupamiento óptimo (discretización) de una variable continua con respecto a una variable binaria de respuesta (objetivo) dada y con un número máximo de intervalos como parámetro. ejemplo: tengo un conjunto de observaciones de personas con variables de "altura" (numeral continuo) y "has_back_pains" (binario). Quiero discretizar …

11 r  dataset  optimization  discrete-data  binning 

Este es un diagrama de mosaico del conjunto de datos de la tabla de contingencia HairEyeColordescrito aquí . ¿Cómo interpreto los colores que representan los residuos? ¿Cuál es la diferencia entre los residuos de Pearson altos y positivos (que se muestran en azul) y los bajos y negativos que se …

11 data-visualization  chi-squared  residuals  contingency-tables 

He ajustado un modelo de lmer con lo siguiente (aunque con salida impresa): Random effects: Groups Name Std.Dev. day:sample (Intercept) 0.09 sample (Intercept) 0.42 Residual 0.023 Realmente me gustaría construir un intervalo de confianza para cada efecto usando la siguiente fórmula: (n−1)s2χ2α/2,n−1,(n−1)s2χ21−α/2,n−1(n−1)s2χα/2,n−12,(n−1)s2χ1−α/2,n−12 \frac{(n-1)s^2}{\chi^2_{\alpha/2, n-1}},\frac{(n-1)s^2}{\chi^2_{1-\alpha/2,n-1}} ¿Hay alguna manera de obtener convenientemente …

11 lme4-nlme  mixed-model 

Suponga que dos clases y tienen un atributo tienen distribución y . si tenemos igual para la siguiente matriz de costos:C1C1C_1C2C2C_2xxxN(0,0.5)N(0,0.5) \cal{N} (0, 0.5)N(1,0.5)N(1,0.5) \cal{N} (1, 0.5)P(C1)=P(C2)=0.5P(C1)=P(C2)=0.5P(C_1)=P(C_2)=0.5 L=[010.50]L=[00.510]L= \begin{bmatrix} 0 & 0.5 \\ 1 & 0 \end{bmatrix} ¿Por qué, es el umbral para el clasificador de riesgo mínimo (costo)?x0&lt;0.5x0&lt;0.5x_0 < …

11 machine-learning  classification  bayesian  normal-distribution  bivariate 

Tengo un conjunto de datos que consta de 717 observaciones (filas) que se describen mediante 33 variables (columnas). Los datos se estandarizan mediante la calificación z de todas las variables. No hay dos variables que sean linealmente dependientes ( ). También he eliminado todas las variables con muy baja varianza …

11 matlab  factor-analysis  covariance  covariance-matrix