Estadísticas y Big Data

Hace mucho tiempo aprendí que era necesaria una distribución normal para usar una prueba T de dos muestras. Hoy un colega me dijo que aprendió que para N> 50 la distribución normal no era necesaria. ¿Es eso cierto? Si es cierto, ¿eso se debe al teorema del límite central?

77 normal-distribution  t-test  central-limit-theorem 

Si pudieras retroceder en el tiempo y decirte a ti mismo leer un libro específico al comienzo de tu carrera como estadístico, ¿qué libro sería?

77 references 

Sé que a la gente le encanta cerrar duplicados, así que no estoy pidiendo una referencia para comenzar a aprender estadísticas (como aquí ). Tengo un doctorado en matemáticas pero nunca aprendí estadística. ¿Cuál es la ruta más corta hacia el conocimiento equivalente a un grado superior de estadística BS …

77 references  careers 

Las matemáticas tienen sus famosos Problemas del Milenio (e, históricamente, los 23 de Hilbert ), preguntas que ayudaron a dar forma a la dirección del campo. Sin embargo, tengo poca idea de cuáles serían las hipótesis de Riemann y las estadísticas de P vs. NP. Entonces, ¿cuáles son las preguntas …

77 history 

¿Cómo describiría la validación cruzada a alguien sin antecedentes de análisis de datos?

77 cross-validation 

"Básicamente, todos los modelos están equivocados, pero algunos son útiles". --- Caja, George EP; Norman R. Draper (1987). Construcción de modelos empíricos y superficies de respuesta, p. 424, Wiley. ISBN 0471810339. ¿Cuál es exactamente el significado de la frase anterior?

76 modeling 

Tengo un conjunto de datos con alrededor de 30 variables independientes y me gustaría construir un modelo lineal generalizado (GLM) para explorar la relación entre ellos y la variable dependiente. Soy consciente de que el método que me enseñaron para esta situación, la regresión gradual, ahora se considera un pecado …

76 regression  generalized-linear-model  model-selection  stepwise-regression 

Recientemente he estado leyendo mucho en este sitio (@Aniko, @Dikran Marsupial, @Erik) y en otros lugares sobre el problema del sobreajuste que ocurre con la validación cruzada - (Smialowski et al 2010 Bioinformática, Hastie, Elementos de aprendizaje estadístico). La sugerencia es que cualquier selección de características supervisadas (utilizando la correlación …

76 cross-validation  feature-selection 

Entiendo los conceptos básicos de cuál es el objetivo de Support Vector Machines en términos de clasificar un conjunto de entrada en varias clases diferentes, pero lo que no entiendo son algunos de los detalles esenciales. Para empezar, estoy un poco confundido por el uso de Slack Variables. ¿Cuál es …

76 machine-learning  classification  svm 

Estoy un poco confundido acerca de la selección de funciones y el aprendizaje automático y me preguntaba si podrían ayudarme. Tengo un conjunto de datos de microarrays que se clasifica en dos grupos y tiene miles de características. Mi objetivo es obtener una pequeña cantidad de genes (mis características) (10-20) …

76 machine-learning  classification  cross-validation  feature-selection  genetics 

He estado leyendo Elementos de aprendizaje estadístico , y me gustaría saber por qué el Lazo proporciona selección de variables y la regresión de crestas no. Ambos métodos minimizan la suma residual de cuadrados y tienen una restricción sobre los posibles valores de los parámetros . Para Lasso, la restricción …

76 regression  feature-selection  lasso  regularization 

Dado que la Regresión logística es un modelo de clasificación estadística que trata con variables dependientes categóricas, ¿por qué no se llama Clasificación logística ? ¿No debería reservarse el nombre de "Regresión" a los modelos que manejan variables dependientes continuas?

75 regression  machine-learning  logistic  classification  terminology 

Estoy usando el algoritmo de bosque aleatorio como un clasificador robusto de dos grupos en un estudio de microarrays con miles de características. ¿Cuál es la mejor manera de presentar el bosque aleatorio para que haya suficiente información para que sea reproducible en un documento? ¿Existe un método de trazado …

75 r  machine-learning  classification  random-forest  microarray 

Hace unos años diseñé un detector de radiación que funciona midiendo el intervalo entre eventos en lugar de contarlos. Mi suposición era que, al medir muestras no contiguas, en promedio mediría la mitad del intervalo real. Sin embargo, cuando probé el circuito con una fuente calibrada, la lectura era un …

75 poisson-process  paradox 

Estoy tratando de entender la diferencia entre los diferentes métodos de remuestreo (simulación Monte Carlo, bootstrapping paramétrico, bootstrapping no paramétrico, jackknifing, validación cruzada, pruebas de aleatorización y pruebas de permutación) y su implementación en mi propio contexto usando R. Digamos que tengo la siguiente situación: quiero realizar ANOVA con una …

75 r  bootstrap  resampling  jackknife  permutation-test