Estadísticas y Big Data

Estoy completamente ciego y vengo de un fondo de programación. Lo que intento hacer es aprender el aprendizaje automático, y para hacer esto, primero necesito aprender sobre la regresión lineal. Todas las explicaciones en Internet que encuentro sobre este tema trazan primero los datos. Estoy buscando una explicación práctica de …

47 regression  intuition 

Esta es una pregunta en general, no específica de ningún método o conjunto de datos. ¿Cómo lidiamos con un problema de desequilibrio de clase en el aprendizaje automático supervisado donde el número de 0 es alrededor del 90% y el número de 1 es alrededor del 10% en su conjunto …

47 machine-learning  unbalanced-classes  supervised-learning 

En P. 34 de su PRNN Brian Ripley comenta que "el AIC fue nombrado por Akaike (1974) como 'Un criterio de información', aunque parece que comúnmente se cree que el A significa Akaike". De hecho, al presentar la estadística AIC, Akaike (1974, p.719) explica que "IC stands for information criterion …

47 forecasting  model-selection  aic  bic 

Dejando a un lado las consideraciones de poder de cálculo, ¿hay alguna razón para creer que aumentar el número de pliegues en la validación cruzada conduce a una mejor selección / validación del modelo (es decir, cuanto mayor sea el número de pliegues, mejor)? Llevando el argumento al extremo, ¿la …

47 cross-validation  bias-variance-tradeoff 

He leído suficientes hilos en QQplots aquí para comprender que un QQplot puede ser más informativo que otras pruebas de normalidad. Sin embargo, no tengo experiencia en interpretar QQplots. Busqué mucho en Google; Encontré muchos gráficos de QQplots no normales, pero no hay reglas claras sobre cómo interpretarlos, aparte de …

47 interpretation  normality-assumption  qq-plot 

Mi problema : recientemente conocí a un estadístico que me informó que las splines solo son útiles para explorar datos y están sujetas a un sobreajuste, por lo que no son útiles en la predicción. Prefería explorar con polinomios simples ... Como soy un gran admirador de las splines, y …

47 regression  splines 

Hoy me encontré con un nuevo tema llamado Expectativa matemática. El libro que sigo dice, la expectativa es la media aritmética de la variable aleatoria que proviene de cualquier distribución de probabilidad. Pero define la expectativa como la suma del producto de algunos datos y la probabilidad de obtenerlos. ¿Cómo …

47 expected-value 

Si tengo un conjunto de datos que produce un gráfico como el siguiente, ¿cómo determinaría algorítmicamente los valores de x de los picos mostrados (en este caso, tres de ellos):

47 data-visualization  mode 

Estoy tratando de ponerme al día con las estadísticas bayesianas. Tengo un poco de antecedentes de estadísticas (STAT 101) pero no demasiado; creo que puedo entender lo anterior, lo posterior y la probabilidad: D. Todavía no quiero leer un libro de texto bayesiano. Prefiero leer de una fuente (sitio web …

47 bayesian  references 

Estoy ajustando una glm familiar binomial en R, y tengo toda una serie de variables explicativas, y necesito encontrar la mejor (R al cuadrado como medida está bien). A falta de escribir un guión para recorrer diferentes combinaciones aleatorias de las variables explicativas y luego registrar cuál funciona mejor, realmente …

47 r  logistic 

Estoy planeando comenzar a escribir paquetes R. Pensé que sería bueno estudiar el código fuente de los paquetes existentes para aprender las convenciones de la construcción de paquetes. Mi criterio para buenos paquetes para estudiar: Ideas estadísticas / técnicas simples : el punto es aprender sobre la mecánica de la …

47 r 

Los estadísticos utilizamos muchas palabras de maneras que son ligeramente diferentes de la forma en que los demás las usan. Esto causa muchos problemas cuando enseñamos o explicamos lo que estamos haciendo. Comenzaré una lista (y ahora agregaré algunas definiciones, por comentario): El poder es la capacidad de rechazar correctamente …

47 terminology  communication 

Tengo datos de ventas para una serie de puntos de venta, y quiero clasificarlos según la forma de sus curvas a lo largo del tiempo. Los datos se ven más o menos así (pero obviamente no son aleatorios y faltan algunos datos): n.quarters <- 100 n.stores <- 20 if (exists("test.data")){ …

47 r  time-series  clustering 

Parece que cuando se cumple el supuesto de homogeneidad de la varianza, los resultados de una prueba t ajustada de Welch y una prueba t estándar son aproximadamente los mismos. ¿Por qué no simplemente usar siempre la t ajustada de Welch?

47 variance  t-test  heteroscedasticity 

Mi comprensión actual de la noción "intervalo de confianza con nivel de confianza 1−α1−α1 - \alpha " es que si intentáramos calcular el intervalo de confianza muchas veces (cada vez con una muestra nueva), contendría el parámetro correcto 1−α1−α1 - \alpha del tiempo. Aunque me doy cuenta de que esto …

47 confidence-interval