Estadísticas y Big Data

Ciertas hipótesis se pueden probar usando la prueba t de Student (quizás usando la corrección de Welch para las variaciones desiguales en el caso de dos muestras), o mediante una prueba no paramétrica como la prueba de rango con signo emparejado de Wilcoxon, la prueba U de Wilcoxon-Mann-Whitney, o la …

96 hypothesis-testing  t-test  nonparametric  small-sample  wilcoxon-mann-whitney 

Me cuesta entender la diferencia entre el error estándar y la desviación estándar. ¿Cómo son diferentes y por qué necesita medir el error estándar?

96 mean  standard-deviation  standard-error  intuition 

Al usar SVM, debemos seleccionar un núcleo. Me pregunto cómo seleccionar un núcleo. ¿Algún criterio para la selección del núcleo?

96 machine-learning  svm  kernel-trick 

¿Hay algún documento de referencia que proporcione una lista completa de las funciones de activación en las redes neuronales junto con sus pros / contras (e idealmente algunos consejos para publicaciones en las que tuvieron éxito o no)?

95 neural-networks  references 

¿Qué libro recomendarías a los científicos que no son estadísticos? La entrega clara es muy apreciada. Además de la explicación de las técnicas y métodos apropiados para tareas típicas: análisis de series de tiempo, presentación y agregación de grandes conjuntos de datos.

94 references 

Muchos libros y tutoriales de redes neuronales dedican mucho tiempo al algoritmo de retropropagación, que es esencialmente una herramienta para calcular el gradiente. Supongamos que estamos construyendo un modelo con ~ 10K parámetros / pesos. ¿Es posible ejecutar la optimización usando algunos algoritmos de optimización sin gradiente? Creo que calcular …

94 machine-learning  neural-networks  optimization  backpropagation 

En el contexto de las redes neuronales, ¿cuál es la diferencia entre la tasa de aprendizaje y la pérdida de peso?

94 neural-networks  terminology 

La frase p- hacking (también: "dragado de datos" , "espionaje" o "pesca") se refiere a varios tipos de negligencia estadística en la que los resultados se vuelven estadísticamente significativos de manera artificial. Hay muchas formas de obtener un resultado "más significativo", que incluyen pero no se limitan a: solo analizando …

94 hypothesis-testing  statistical-significance  p-value  model-selection  reproducible-research 

Supongamos que tengo un gran conjunto de datos multivariados con al menos tres variables. ¿Cómo puedo encontrar los valores atípicos? Los diagramas de dispersión por pares no funcionarán, ya que es posible que exista un valor atípico en 3 dimensiones que no es un valor atípico en ninguno de los …

94 multivariate-analysis  outliers 

En mi trabajo, a menudo trabajo con conjuntos de datos de otras personas, los no expertos me traen datos clínicos y los ayudo a resumirlos y realizar pruebas estadísticas. El problema que tengo es que los conjuntos de datos que traigo casi siempre están plagados de errores tipográficos, inconsistencias y …

93 dataset  outliers  checking 

Entiendo que una serie temporal estacionaria es aquella cuya media y varianza es constante en el tiempo. ¿Alguien puede explicar por qué tenemos que asegurarnos de que nuestro conjunto de datos es estacionario antes de poder ejecutar diferentes modelos ARIMA o ARM en él? ¿Esto también se aplica a los …

92 regression  time-series  stationarity 

Me pregunto cómo calcular la precisión y la recuperación utilizando una matriz de confusión para un problema de clasificación de varias clases. Específicamente, una observación solo se puede asignar a su clase / etiqueta más probable. Me gustaría calcular: Precisión = TP / (TP + FP) Recuperación = TP / …

92 machine-learning  classification  precision-recall  multi-class 

A medida que uno se interesa por las estadísticas, la dicotomía "Frecuentista" versus "Bayesiano" pronto se convierte en algo común (¿y quién no ha leído La señal y el ruido de Nate Silver , de todos modos?). En charlas y cursos introductorios, el punto de vista es abrumadoramente frecuenta ( …

92 bayesian  mathematical-statistics  inference  bayes  frequentist 

Escuché muchas veces sobre la maldición de la dimensionalidad, pero de alguna manera todavía no puedo entender la idea, todo está nublado. ¿Alguien puede explicar esto de la manera más intuitiva, como se lo explicaría a un niño, para que yo (y los demás confundidos como estoy) pudiéramos entender esto …

92 machine-learning  dimensionality-reduction  high-dimensional 

¿Qué es la covarianza en lenguaje sencillo y cómo se relaciona con los términos dependencia , correlación y estructura de varianza-covarianza con respecto a los diseños de medidas repetidas?

92 correlation  repeated-measures  terminology  covariance  independence