Estadísticas y Big Data

¿Cuáles son algunos podcasts relacionados con el análisis estadístico? He encontrado algunas grabaciones de audio de conferencias universitarias en iTunes U, pero no conozco ningún podcast estadístico. Lo más cercano que conozco es un podcast de investigación de operaciones The Science of Better . Toca cuestiones estadísticas, pero no es …

29 references 

Estoy comparando una muestra y comprobando si se distribuye como una distribución discreta. Sin embargo, no estoy seguro de que se aplique Kolmogorov-Smirnov. Wikipedia parece implicar que no. Si no es así, ¿cómo puedo probar la distribución de la muestra?

29 hypothesis-testing  discrete-data  kolmogorov-smirnov 

Siempre uso lm()en R para realizar una regresión lineal de en . Esa función devuelve un coeficiente tal queyyyXxxββ\betay= βx .y=βx.y = \beta x. Hoy aprendí sobre mínimos cuadrados totales y esa princomp()función (análisis de componentes principales, PCA) se puede utilizar para realizarla. Debería ser bueno para mí (más preciso). …

29 r  pca  least-squares  deming-regression  total-least-squares 

Entonces, tengo un conjunto de porcentajes de datos como este: 100 / 10000 = 1% (0.01) 2 / 5 = 40% (0.4) 4 / 3 = 133% (1.3) 1000 / 2000 = 50% (0.5) Quiero encontrar la desviación estándar de los porcentajes, pero ponderada por su volumen de datos. es …

29 standard-deviation  excel  weighted-mean 

¿Cuál es la selección de variables / características que prefiere para la clasificación binaria cuando hay muchas más variables / características que observaciones en el conjunto de aprendizaje? El objetivo aquí es discutir cuál es el procedimiento de selección de características que reduce mejor el error de clasificación. Podemos corregir …

29 machine-learning  classification  multiple-comparisons  multivariate-analysis  feature-selection 

¿Cómo puedo probar la equidad de un dado de veinte lados (d20)? Obviamente estaría comparando la distribución de valores con una distribución uniforme. Recuerdo vagamente usar una prueba de Chi-cuadrado en la universidad. ¿Cómo puedo aplicar esto para ver si un dado es justo?

29 hypothesis-testing  chi-squared  goodness-of-fit  uniform  dice 

¿Es posible probar la finitud (o existencia) de la varianza de una variable aleatoria dada una muestra? Como nulo, o bien {la varianza existe y es finita} o {la varianza no existe / es infinita} sería aceptable. Filosóficamente (y computacionalmente), esto parece muy extraño porque no debería haber diferencia entre …

29 hypothesis-testing  variance  central-limit-theorem 

En la técnica de reducción de dimensionalidad, como el análisis de componentes principales, LDA, etc., a menudo se usa el término múltiple. ¿Qué es una variedad en términos no técnicos? Si un punto pertenece a una esfera cuya dimensión quiero reducir, y si hay un ruido y e no están …

29 terminology  manifold-learning 

El error porcentual absoluto medio ( mape ) es una medida de precisión o error común para series de tiempo u otras predicciones, MAPE=100n∑t=1n|At−Ft|At%,MAPE=100n∑t=1n|At−Ft|At%, \text{MAPE} = \frac{100}{n}\sum_{t=1}^n\frac{|A_t-F_t|}{A_t}\%, donde son reales y predicciones o predicciones correspondientes.AtAtA_tFtFtF_t El MAPE es un porcentaje, por lo que podemos compararlo fácilmente entre series, y las …

29 accuracy  mape 

¿Existe alguna técnica de arranque disponible para calcular los intervalos de predicción para predicciones puntuales obtenidas, por ejemplo, de regresión lineal u otro método de regresión (k-vecino más cercano, árboles de regresión, etc.)? De alguna manera, siento que la forma a veces propuesta de simplemente reiniciar la predicción de puntos …

29 bootstrap  prediction-interval 

Me han dicho que es beneficioso usar la validación cruzada estratificada, especialmente cuando las clases de respuesta no están equilibradas. Si un propósito de la validación cruzada es ayudar a explicar la aleatoriedad de nuestra muestra de datos de entrenamiento original, seguramente hacer que cada pliegue tenga la misma distribución …

29 cross-validation  resampling  stratification 

Podemos usar lm()para predecir un valor, pero aún necesitamos la ecuación de la fórmula del resultado en algunos casos. Por ejemplo, agregue la ecuación a las gráficas.

29 r  regression  lm 

Tengo un modelo de regresión logística binaria con un pseudo R cuadrado de McFadden de 0.192 con una variable dependiente llamada pago (1 = pago y 0 = sin pago). ¿Cuál es la interpretación de este pseudo R cuadrado? ¿Es una comparación relativa para modelos anidados (por ejemplo, un modelo …

29 regression  self-study  logistic 

Estoy validando de forma cruzada un modelo que está tratando de predecir un recuento. Si este fuera un problema de clasificación binaria, calcularía el AUC fuera del pliegue, y si este fuera un problema de regresión, calcularía el RMSE o el MAE fuera del pliegue. Para un modelo de Poisson, …

29 cross-validation  poisson-distribution  count-data  deviance  scoring-rules 

Estoy tratando de usar scikit-learn para la regresión polinómica. Por lo que leí, la regresión polinómica es un caso especial de regresión lineal. Esperaba que tal vez uno de los modelos lineales generalizados de scikit pueda parametrizarse para ajustarse a polinomios de orden superior, pero no veo ninguna opción para …

29 regression  machine-learning  large-data  polynomial  scikit-learn