Estadísticas y Big Data

Todos estamos familiarizados con los estudios observacionales que intentan establecer un vínculo causal entre un predictor X no aleatorio y un resultado al incluir todos los posibles factores de confusión imaginables en un modelo de regresión múltiple. Al "controlar" todos los factores de confusión, dice el argumento, aislamos el efecto …

45 multiple-regression  ancova  observational-study 

Mi pregunta principal es cómo interpretar la salida (coeficientes, F, P) al realizar un ANOVA tipo I (secuencial). Mi problema de investigación específico es un poco más complejo, por lo que dividiré mi ejemplo en partes. Primero, si estoy interesado en el efecto de la densidad de la araña (X1) …

45 r  hypothesis-testing  anova  manova  sums-of-squares 

Tengo un conjunto de datos con la siguiente estructura: a word | number of occurrence of a word in a document | a document id ¿Cómo puedo realizar una prueba de distribución normal en R? Probablemente sea una pregunta fácil, pero soy un novato de R.

45 r  distributions  normality-assumption 

Hay muchas formas de medir cuán similares son las dos distribuciones de probabilidad. Entre los métodos que son populares (en diferentes círculos) están: la distancia de Kolmogorov: la distancia superior entre las funciones de distribución; la distancia de Kantorovich-Rubinstein: la diferencia máxima entre las expectativas de las dos distribuciones de …

45 distributions  probability  hypothesis-testing  mathematical-statistics 

Me pregunto qué podemos decir, en todo caso, sobre la media de la población, cuando todo lo que tengo es una medida, y 1 (tamaño de muestra de 1). Obviamente, nos encantaría tener más medidas, pero no podemos obtenerlas.μμ\muy1y1y_1 Me parece que dado que la media de la muestra, , …

45 mean  sample-size  small-sample  unbiased-estimator 

Esta pregunta ha estado enconándose en mi mente durante más de un mes. La edición de febrero de 2015 de Amstat News contiene un artículo del profesor Mark van der Laan de Berkeley que regaña a las personas por usar modelos inexactos. Afirma que al usar modelos, la estadística es …

45 machine-learning  maximum-likelihood  modeling  nonparametric  parametric 

Hay varios hilos en este sitio que discuten cómo determinar si los residuos de OLS se distribuyen asintóticamente normalmente. Otra forma de evaluar la normalidad de los residuos con el código R se proporciona en este excelente respuesta . Esta es otra discusión sobre la diferencia práctica entre los residuos …

45 regression  least-squares  residuals  assumptions  normality-assumption 

En varias ocasiones me han hecho la pregunta: ¿Qué es Big-Data? Tanto por los estudiantes como por mis familiares que están recogiendo el rumor sobre las estadísticas y el aprendizaje automático. Encontré esta publicación de CV . Y siento que estoy de acuerdo con la única respuesta allí. La página …

44 large-data 

Me preguntaba si el recíproco de P (X = 1) representa algo en particular?

44 probability 

Estoy tratando de entender la parte de convolución de las redes neuronales convolucionales. Mirando la siguiente figura: No tengo problemas para comprender la primera capa de convolución donde tenemos 4 núcleos diferentes (de tamaño ), que convolucionamos con la imagen de entrada para obtener 4 mapas de características.k×kk×kk \times k …

44 machine-learning  neural-networks  deep-learning  conv-neural-network 

Las pruebas estadísticas tradicionales, como la prueba t de dos muestras, se centran en tratar de eliminar la hipótesis de que no hay diferencia entre una función de dos muestras independientes. Luego, elegimos un nivel de confianza y decimos que si la diferencia de medias está más allá del nivel …

44 hypothesis-testing  statistical-significance  confidence-interval  equivalence  tost 

Este es uno de mis favoritos Este ejemplo está en una línea humorística (el crédito es para un ex profesor mío, Steven Gortmaker), pero también me interesan los gráficos que usted siente que capturan y comunican bellamente una idea o método estadístico, junto con sus ideas sobre el mismo. Una …

44 data-visualization 

Leí muchos artículos académicos evolutivos / ecológicos, a veces con el objetivo específico de ver cómo se usan las estadísticas 'en el mundo real' fuera del libro de texto. Normalmente tomo las estadísticas en los documentos como gospel y utilizo los documentos para ayudar en mi aprendizaje estadístico. Después de …

44 publication-bias  academia 

Conocemos la respuesta para dos variables independientes: V a r (XY) = E( X2Y2) - ( E( XY) )2= V a r ( X) V a r ( Y) + V a r ( X) ( E( Y) )2+ V a r ( Y) ( E( X) )2Var(XY)=E(X2Y2)−(E(XY))2=Var(X)Var(Y)+Var(X)(E(Y))2+Var(Y)(E(X))2 {\rm Var}(XY) …

44 variance  random-variable  independence 

Recientemente aprendí sobre el método de Fisher para combinar valores p. Esto se basa en el hecho de que el valor p bajo nulo sigue una distribución uniforme, y que que creo es genio Pero mi pregunta es ¿por qué ir de esta manera enrevesada? ¿Y por qué no (qué …

44 hypothesis-testing  p-value  multiple-comparisons  central-limit-theorem  combining-p-values