Estadísticas y Big Data

Hola, estoy tomando un curso de postgrado en Estadística y hemos estado cubriendo estadísticas de exámenes y otros conceptos. Sin embargo, a menudo puedo aplicar las fórmulas y desarrollar una especie de intuición sobre cómo funcionan las cosas, pero a menudo me queda la sensación de que tal vez si …

11 r  hypothesis-testing  sas  simulation  computational-statistics 

Estoy tratando de aplicar una serie temporal a los datos muestreados trimestralmente (biomasa animal) durante un período de 10 años con 3 repeticiones por trimestre. Entonces 40 fechas pero 120 observaciones totales. Leí a SARIMA'a en Shumway y Stoffer's Time Series Analysis y sus aplicaciones, así como hojeé Woodward, et. …

11 r  time-series 

Tengo datos que tienen la forma . Para la estimación de a utilizo las fórmulas de este documento: John Fox: Regresión no lineal y mínimos cuadrados no lineales En este documento, se estima observando los datos. Si lo hago, funciona bien, incluso si solo tengo tres puntos. A partir de …

11 logistic  estimation 

Le pedimos a 60 personas que enumeraran todas las franquicias de restaurantes en Atlanta que pudieran. La lista general incluía más de 70 restaurantes, pero eliminamos los que fueron mencionados por menos del 10% de las personas, dejándonos con 45. Para estos 45, calculamos la proporción de informantes que enumeraron …

11 r  generalized-linear-model 

¿Cuáles son las aplicaciones o ventajas de las técnicas de regresión de reducción de dimensiones (DRR) o de reducción supervisada de dimensionalidad (SDR) sobre las técnicas de regresión tradicionales (sin ninguna reducción de dimensionalidad)? Esta clase de técnicas encuentra una representación de baja dimensión del conjunto de características para el …

11 regression  machine-learning  pca  dimensionality-reduction 

Hola, ¿quería saber si hay algunos buenos libros sobre minería de texto y clasificación con algunos estudios de casos? Si no, algunos artículos / revistas accesibles al público lo harían. Si ilustran sus ejemplos con R aún mejor. No busco el manual paso a paso, sino algo que ilustre los …

11 references  text-mining 

Estoy tratando de calcular el índice de Gini en la distribución de reputación SO usando SO Data Explorer. La ecuación que intento implementar es la siguiente: Donde: = número de usuarios en el sitio; = ID de serie del usuario (1 - 1,225,000); = reputación del usuario .nG(S)=1n−1(n+1−2(∑ni=1(n+1−i)yi∑ni=1yi))G(S)=1n−1(n+1−2(∑i=1n(n+1−i)yi∑i=1nyi)) G(S)=\frac{1}{n-1}\left(n+1-2\left(\frac{\sum^n_{i=1}(n+1-i)y_i}{\sum^n_{i=1}y_i}\right)\right) nnniiiyiyiy_iiii …

11 gini 

Aquí hay un gráfico QQ para mi muestra (observe el eje Y logarítmico); :n = 1000n=1000n = 1000 Como señaló Whuber, esto indica que la distribución subyacente está sesgada hacia la izquierda (la cola derecha es más corta). Utilizando shapiro.test(sobre los datos transformados logarítmicamente) en R, tengo una prueba estadística …

11 interpretation  lognormal  qq-plot 

Quiero hacer una regresión logística ordinal en R sin el supuesto de proporcionalidad. Sé que esto se puede hacer directamente usando la vglm()función Rconfigurando parallel=FALSE. Pero mi problema es cómo solucionar un conjunto particular de coeficientes en esta configuración de regresión. Por ejemplo, supongamos que la variable dependiente es discreta …

11 r  regression  logistic 

Me gustaría generar datos con "Modelo 1" y ajustarlos con "Modelo 2". La idea subyacente es investigar las propiedades de robustez del "Modelo 2". Estoy particularmente interesado en la tasa de cobertura del intervalo de confianza del 95% (basado en la aproximación normal). ¿Cómo configuro el número de ejecuciones de …

11 simulation  monte-carlo 

En un modelo de riesgos proporcionales de Cox con muchas variables, si los residuos de Schoenfeld no son planos para una de las variables, ¿esto invalida todo el modelo o solo se puede ignorar la variable de bajo rendimiento? Es decir, interprete los coeficientes para las otras variables, pero no …

11 residuals  cox-model  schoenfeld-residuals 

He ejecutado un glm en R, y cerca de la parte inferior de la summary()salida, dice (Dispersion parameter for gaussian family taken to be 28.35031) Hice algunas búsquedas en Google y aprendí que el parámetro de dispersión se usa para ajustarse a los errores estándar. Espero que alguien pueda proporcionar …

11 r  generalized-linear-model 

Tengo experiencia en matemática pura (teoría de medidas, análisis funcional, álgebra de operadores, etc.). También tengo un trabajo que requiere cierto conocimiento de la teoría de la probabilidad (desde principios básicos hasta técnicas de aprendizaje automático). Mi pregunta: ¿Alguien puede proporcionar alguna lectura canónica y materiales de referencia que: Introducción …

11 probability  references 

Después de leer el Capítulo 3 en los Elementos del aprendizaje estadístico (Hastie, Tibshrani y Friedman), me preguntaba si era posible implementar los famosos métodos de contracción citados en el título de esta pregunta dada una estructura de covarianza, es decir, minimizar el (quizás más general ) cantidad ( y⃗ …

11 lasso  ridge-regression 

Cuando determino mi lambda mediante validación cruzada, todos los coeficientes se vuelven cero. Pero tengo algunos indicios de la literatura de que algunos de los predictores definitivamente deberían afectar el resultado. ¿Es una basura elegir arbitrariamente lambda para que haya tanta escasez como uno desee? Quiero seleccionar los 10 predictores …

11 lasso