Estadísticas y Big Data

Estaba leyendo este artículo y tengo curiosidad por la respuesta adecuada a esta pregunta. Lo único que se me ocurre es que, en algunos países, el separador decimal es una coma, y ​​puede haber problemas al compartir datos en CSV , pero no estoy realmente seguro de mi respuesta.

32 project-management 

Al hacer la regresión, por ejemplo, dos hiperparámetros para elegir son a menudo la capacidad de la función (por ejemplo, el mayor exponente de un polinomio) y la cantidad de regularización. Lo que me confunde es, ¿por qué no elegir una función de baja capacidad y luego ignorar cualquier regularización? …

32 regression  machine-learning  optimization  regularization  polynomial 

Quiero realizar una regresión logística con la siguiente respuesta binomial y con y como mis predictores. X1X1X_1X2X2X_2 Puedo presentar los mismos datos que las respuestas de Bernoulli en el siguiente formato. Las salidas de regresión logística para estos 2 conjuntos de datos son en su mayoría las mismas. Los residuos …

32 logistic  binomial  aic  bernoulli-distribution  deviance 

Escuché que se pueden encontrar correlaciones parciales entre variables aleatorias invirtiendo la matriz de covarianza y tomando celdas apropiadas de dicha matriz de precisión resultante (este hecho se menciona en http://en.wikipedia.org/wiki/Partial_correlation , pero sin una prueba) . ¿Por qué es este el caso?

32 covariance  covariance-matrix  linear-algebra  partial-correlation  matrix-inverse 

Es bien sabido que los investigadores deberían pasar tiempo observando y explorando los datos e investigaciones existentes antes de formar una hipótesis y luego recolectar datos para probar esa hipótesis (refiriéndose a la prueba de significación de hipótesis nula). Muchos libros de estadísticas básicas advierten que las hipótesis deben formarse …

32 hypothesis-testing 

Frecuentemente veo los deletreos "heteroscedastic" y "heteroscedastic", y de manera similar para "homoscedastic" y "homoskedastic". Parece que no hay diferencia de significado entre las variantes "c" y "k", simplemente una diferencia ortográfica relacionada con la etimología griega de la palabra. ¿Cuáles son los orígenes de las dos ortografías distintas? ¿Es …

32 terminology  heteroscedasticity  etymology 

Dado que uno puede calcular los intervalos de confianza para los valores p y dado que lo opuesto a la estimación del intervalo es la estimación puntual: ¿es el valor p una estimación puntual?

32 confidence-interval  estimation  p-value  estimators  point-estimation 

Cuando veo las noticias, me doy cuenta de que las encuestas de Gallup para cosas como las elecciones presidenciales tienen tamaños de muestra [supongo al azar] de más de 1,000. De lo que recuerdo de las estadísticas de la universidad fue que un tamaño de muestra de 30 era una …

32 sampling  sample-size  power-analysis 

Me encontré con este documento que usa la detección de anomalías de enlaces para predecir temas de tendencias, y lo encontré increíblemente intrigante: el documento es "Descubriendo temas emergentes en las corrientes sociales a través de la detección de anomalías de enlaces" . Me encantaría replicarlo en un conjunto de …

32 time-series  machine-learning  outliers  python  change-point 

De la documentación para anova(): Cuando se le da una secuencia de objetos, 'anova' prueba los modelos uno contra el otro en el orden especificado ... ¿Qué significa probar los modelos uno contra el otro? ¿Y por qué importa el orden? Aquí hay un ejemplo del tutorial de GenABEL : …

32 r  anova 

Normalmente uso BIC porque entiendo que valora más la parsimonia que AIC. Sin embargo, he decidido utilizar un enfoque más completo ahora y me gustaría utilizar AIC también. Sé que Raftery (1995) presentó buenas pautas para las diferencias BIC: 0-2 es débil, 2-4 es evidencia positiva de que un modelo …

32 r  model-selection  references  aic  bic 

Acabo de encontrar el cuarteto de Anscombe (cuatro conjuntos de datos que tienen estadísticas descriptivas casi indistinguibles pero se ven muy diferentes cuando se trazan) y tengo curiosidad por saber si hay otros conjuntos de datos más o menos conocidos que se hayan creado para demostrar la importancia de ciertos …

32 regression  data-visualization  dataset 

Supongamos que tengo 2 juegos: Conjunto A : número de elementos , μ = 2.4 , σ = 0.8n = 10n=10n= 10μ = 2.4μ=2.4\mu = 2.4σ= 0.8σ=0.8\sigma = 0.8 Conjunto B : número de elementos , μ = 2 , σ = 1.2n = 5n=5n= 5μ = 2μ=2\mu = 2σ= …

32 standard-deviation 

Como todos saben, SVM puede usar el método del núcleo para proyectar puntos de datos en espacios más altos de modo que los puntos se puedan separar por un espacio lineal. Pero también podemos usar la regresión logística para elegir este límite en el espacio del núcleo, entonces, ¿cuáles son …

32 svm 

Dicen que hay m+nm+nm+n elementos divididos en dos grupos ( mmm y nnn ). La varianza del primer grupo es σ2mσm2\sigma_m^2 la varianza del segundo grupo es σ2nσn2\sigma^2_n . Los propios elementos se supone que son desconocido pero sé los medios μmμm\mu_m y μnμn\mu_n . ¿Hay alguna manera de calcular …

32 variance  pooling