Estadísticas y Big Data

Tenía un par de preguntas sobre la interpretación de las razones de probabilidades para las variables continuas en la regresión logística. Siento que estas son preguntas básicas sobre la regresión logística (y probablemente sobre la regresión en general), y aunque me da un poco de vergüenza no saber las respuestas, …

11 regression  logistic 

Estoy tratando de averiguar qué SVR es adecuado para ese tipo de datos. Conozco 4 tipos de SVR: épsilon nu mínimos cuadrados y lineal. Entiendo que SVR lineal es más o menos como lazo con L1 Reg, pero ¿cuál es la diferencia entre las 3 técnicas restantes?

11 regression  svm 

Estoy trabajando en el desarrollo de un modelo predictivo de riesgo de seguro. Estos modelos son de "eventos raros" como predicción de ausencia de aerolínea, detección de fallas de hardware, etc. Mientras preparaba mi conjunto de datos, traté de aplicar la clasificación, pero no pude obtener clasificadores útiles debido a …

11 classification  predictive-models  scikit-learn  poisson-process 

Tengo 100,000 observaciones (9 variables indicadoras ficticias) con 1000 positivos. La regresión logística debería funcionar bien en este caso, pero la probabilidad de corte me desconcierta. En la literatura común, elegimos 50% de corte para predecir 1s y 0s. No puedo hacer esto ya que mi modelo da un valor …

11 regression  logistic  classification  generalized-linear-model  roc 

He estado estudiando estadísticas durante los últimos dos años. Casi todo lo que he aprendido es sobre estadísticas paramétricas. Ahora me gustaría aprender más sobre estadísticas no paramétricas. ¿Alguien puede sugerir alguna introducción concisa (tal vez legible también) en esta área?

11 self-study  nonparametric  references 

Tengo una matriz grande de datos binarios (650K filas * 62 columnas) (solo 0-1 entradas). La matriz es principalmente escasa: aproximadamente el 8% está lleno. Me gustaría agruparlo en 5 grupos, digamos nombrado del 1 al 5. He intentado el agrupamiento jerárquico y no pude manejar el tamaño. También he …

11 clustering  dataset  k-means  binary-data 

Parece que no puedo encontrar un método general para derivar errores estándar en ningún lado. He buscado en google, este sitio web e incluso en libros de texto, pero todo lo que puedo encontrar es la fórmula de los errores estándar para la media, la varianza, la proporción, la relación …

11 standard-error 

Habiendo encontrado esta discusión , estoy planteando la pregunta sobre las convenciones de los intervalos de confianza transformados hacia atrás. De acuerdo con este artículo, la cobertura nominal transformada por CI para la media de una variable aleatoria logarítmica normal es: UCL(X)=exp(Y+var(Y)2+zvar(Y)n+var(Y)22(n−1)−−−−−−−−−−−−√) UCL(X)=exp⁡(Y+var(Y)2+zvar(Y)n+var(Y)22(n−1))\ UCL(X)= \exp\left(Y+\frac{\text{var}(Y)}{2}+z\sqrt{\frac{\text{var}(Y)}{n}+\frac{\text{var}(Y)^2}{2(n-1)}}\right) LCL(X)=exp(Y+var(Y)2−zvar(Y)n+var(Y)22(n−1)−−−−−−−−−−−−√) LCL(X)=exp⁡(Y+var(Y)2−zvar(Y)n+var(Y)22(n−1))\ LCL(X)= \exp\left(Y+\frac{\text{var}(Y)}{2}-z\sqrt{\frac{\text{var}(Y)}{n}+\frac{\text{var}(Y)^2}{2(n-1)}}\right) / …

11 confidence-interval  data-transformation  back-transformation 

¿Cuáles son las estimaciones de parámetros formulados para el sesgo normal? Si puedes, la derivación a través de MLE o mamá también sería genial. Gracias Editar . Tengo un conjunto de datos para el que puedo ver visualmente por parcelas que está ligeramente sesgado a la izquierda. Quiero estimar la …

11 normal-distribution  maximum-likelihood  skewness  skew-normal 

Descargo de responsabilidad: si considera que esta pregunta es demasiado similar a otra, me alegra que se fusione. Sin embargo, no encontré una respuesta satisfactoria en ningún otro lugar (y todavía no tengo la "reputación" de comentar o votar), así que pensé que sería mejor hacer una nueva pregunta yo …

11 correlation  statistical-significance  fisher-transform 

Si tengo un modelo de regresión: Y= Xβ+ εY=Xβ+ε Y = X\beta + \varepsilon donde V[ε]=Id∈Rn×nV[ε]=Id∈Rn×n\mathbb{V}[\varepsilon] = Id \in \mathcal{R} ^{n \times n} y E[ε]=(0,…,0)E[ε]=(0,…,0)\mathbb{E}[\varepsilon]=(0, \ldots , 0) , ¿Cuándo usar βOLSβOLS\beta_{\text{OLS}} , el estimador de mínimos cuadrados ordinario de ββ\beta , sería una mala elección para un estimador? Estoy …

11 regression  distributions  least-squares 

SurveyMonkey tiene pasos y una tabla para que pueda determinar qué tamaño de muestra necesita para un margen de error o intervalo de confianza dado, en función del tamaño de su población. Tamaño de muestra de SurveyMonkey ¿Este gráfico simplemente ignora el hecho de que no obtendrá una muestra aleatoria, …

11 confidence-interval  sample-size  survey  sample 

Estoy reproduciendo un ejemplo de modelos generalizados, lineales y mixtos . Mi MWE está abajo: Dilution <- c(1/128, 1/64, 1/32, 1/16, 1/8, 1/4, 1/2, 1, 2, 4) NoofPlates <- rep(x=5, times=10) NoPositive <- c(0, 0, 2, 2, 3, 4, 5, 5, 5, 5) Data <- data.frame(Dilution, NoofPlates, NoPositive) fm1 <- …

11 r  logistic  generalized-linear-model  likelihood-ratio  z-test 

Ejecuté PCA en 17 variables cuantitativas para obtener un conjunto más pequeño de variables, es decir, componentes principales, que se utilizarán en el aprendizaje automático supervisado para clasificar las instancias en dos clases. Después de PCA, PC1 representa el 31% de la variación en los datos, PC2 representa el 17%, …

11 machine-learning  classification  pca  dimensionality-reduction 

Estoy tratando de descubrir cómo reproducir en Python algunos trabajos que hice en SAS. Usando este conjunto de datos , donde la multicolinealidad es un problema, me gustaría realizar análisis de componentes principales en Python. He visto scikit-learn y statsmodels, pero no estoy seguro de cómo tomar su salida y …

11 pca  python  scikit-learn