Estadísticas y Big Data

La estadística Kappa ( κκ\kappa ) fue introducida en 1960 por Cohen [1] para medir el acuerdo entre dos evaluadores. Sin embargo, su variación había sido una fuente de contradicciones durante bastante tiempo. Mi pregunta es sobre cuál es el mejor cálculo de varianza que se utilizará con muestras grandes. …

44 estimation  variance  reliability  cohens-kappa 

Si el interés es simplemente estimar los parámetros de un modelo (estimación puntual y / o intervalo) y la información previa no es confiable, débil (sé que esto es un poco vago, pero estoy tratando de establecer un escenario donde la elección de un prior es difícil) ... ¿Por qué …

44 bayesian  inference  prior  likelihood  information 

¿Cuáles son algunas objeciones prácticas al uso de métodos estadísticos bayesianos en cualquier contexto? No, no me refiero a la preocupación habitual sobre la elección de antes. Estaré encantado si esto no obtiene respuestas.

44 bayesian 

La gente a menudo habla de tratar con valores atípicos en las estadísticas. Lo que me molesta de esto es que, por lo que puedo decir, la definición de un valor atípico es completamente subjetiva. Por ejemplo, si la distribución verdadera de alguna variable aleatoria es muy pesada o bimodal, …

44 outliers  definition 

Me resulta difícil entender cuál es realmente el problema con las comparaciones múltiples . Con una analogía simple, se dice que una persona que tomará muchas decisiones cometerá muchos errores. Por lo tanto, se aplica una precaución muy conservadora, como la corrección de Bonferroni, para que la probabilidad de que …

44 hypothesis-testing  multiple-comparisons 

Me preguntaba si hay un modelo estadístico "hoja (s) de trucos" que enumera alguna o más información: cuando usar el modelo cuando no usar el modelo entradas requeridas y opcionales salidas esperadas ¿Se ha probado el modelo en diferentes campos (política, bio, ingeniería, fabricación, etc.)? ¿Se acepta en la práctica …

44 references  modeling 

En las estadísticas tradicionales, al construir un modelo, verificamos la multicolinealidad utilizando métodos como las estimaciones del factor de inflación de varianza (VIF), pero en el aprendizaje automático, en su lugar, utilizamos la regularización para la selección de características y no parecemos verificar si las características están correlacionadas en absoluto. …

44 regression  machine-learning  multicollinearity  regularization  vif 

Estoy creando GLM de Poisson en R. Para verificar la dispersión excesiva, estoy mirando la relación de desviación residual a grados de libertad proporcionada por summary(model.name). ¿Existe un valor de corte o prueba para que esta relación se considere "significativa"? Sé que si es> 1, los datos se dispersan en …

44 statistical-significance  overdispersion 

¿Cuáles son los mejores pasos de preprocesamiento (recomendados) antes de realizar k-means?

44 clustering  normalization  k-means 

Tengo dos series de tiempo, que se muestran en la trama a continuación: El gráfico muestra el detalle completo de ambas series de tiempo, pero puedo reducirlo fácilmente a las observaciones coincidentes si es necesario. Mi pregunta es: ¿Qué métodos estadísticos puedo usar para evaluar las diferencias entre las series …

44 r  time-series 

Estoy tratando de etiquetar un diagrama de dispersión bastante simple en R. Esto es lo que uso: plot(SI, TI) text(SI, TI, Name, pos=4, cex=0.7) El resultado es mediocre, como puede ver (haga clic para ampliar): Traté de compensar esto usando la textxyfunción, pero no es mejor . Hacer que la …

44 r  data-visualization  scatterplot 

Si bien la elección de las funciones de activación para la capa oculta es bastante clara (principalmente sigmoide o tanh), me pregunto cómo decidir la función de activación para la capa de salida. Las opciones comunes son funciones lineales, funciones sigmoideas y funciones softmax. Sin embargo, ¿cuándo debo usar cuál?

44 neural-networks 

Esto parece ser un problema básico, pero acabo de darme cuenta de que en realidad no sé cómo probar la igualdad de los coeficientes de dos regresiones diferentes. ¿Alguien puede arrojar algo de luz sobre esto? Más formalmente, supongamos que ejecuté las siguientes dos regresiones: e donde refiere a la …

44 hypothesis-testing  inference 

Encontré este tutorial , que sugiere que debe ejecutar la función de escala en las características antes de la agrupación (creo que convierte los datos en puntuaciones z). Me pregunto si eso es necesario. Lo pregunto principalmente porque hay un buen punto de codo cuando no escalo los datos, pero …

44 clustering  k-means 

Supongamos que yo estoy corriendo un experimento que puede tener 2 resultados, y estoy suponiendo que el subyacente "verdadera" distribución de los resultados 2 es una distribución binomial con parámetros y : .nortennpagsppB i n o m i a l (n,p)Binomial(n,p){\rm Binomial}(n, p) Puedo calcular el error estándar, , a …

44 binomial  standard-error