Estadísticas y Big Data

Esta pregunta hace referencia al artículo de Galit Shmueli "Explicar o predecir" . Específicamente, en la sección 1.5, "Explicación y predicción son diferentes", el profesor Shmueli escribe: En el modelado explicativo, el objetivo es minimizar el sesgo para obtener la representación más precisa de la teoría subyacente. Esto me ha …

15 predictive-models  inference  bias  unbiased-estimator  explanatory-models 

He leído los libros más populares sobre aprendizaje estadístico. 1- Los elementos del aprendizaje estadístico. 2- Una introducción al aprendizaje estadístico . Ambos mencionan que la regresión de crestas tiene dos fórmulas que son equivalentes. ¿Existe una prueba matemática comprensible de este resultado? También pasé por Cross Validated , pero …

15 regression  lasso  regularization  ridge-regression  lagrange-multipliers 

No he encontrado una respuesta satisfactoria a esto de google . Por supuesto, si los datos que tengo son del orden de millones, entonces el aprendizaje profundo es el camino. Y he leído que cuando no tengo grandes datos, tal vez sea mejor usar otros métodos en el aprendizaje automático. …

15 regression  machine-learning  classification  neural-networks  deep-learning 

Pregunta: ¿Cuáles son las principales diferencias y similitudes entre el uso de los errores estándar de Newey-West (1987) y Hansen-Hodrick (1980)? ¿En qué situaciones se debe preferir uno de estos sobre el otro? Notas: Sí sé cómo funciona cada uno de estos procedimientos de ajuste; sin embargo, aún no he …

15 regression  autocorrelation  heteroscedasticity  robust-standard-error  neweywest 

Estoy tratando de aprender a usar las redes neuronales. Estaba leyendo este tutorial . Después de ajustar una red neuronal en una serie temporal utilizando el valor en para predecir el valor en el autor obtiene el siguiente gráfico, donde la línea azul es la serie temporal, el verde es …

15 time-series  neural-networks  predictive-models  deep-learning  prediction 

Preguntas ¿Depende de si el árbol es poco profundo o profundo? ¿O podemos decir esto independientemente de la profundidad / niveles del árbol? ¿Por qué el sesgo es bajo y la varianza alta? Por favor explique intuitivamente y matemáticamente

15 machine-learning  variance  covariance  cart  bias 

Cuando se ejecuta un ANOVA, se nos dice que ciertos supuestos de la prueba deben estar presentes para que sea aplicable a los datos. Nunca entendí la razón de por qué los siguientes supuestos eran necesarios para que la prueba funcionara: La varianza de su variable dependiente (residuos) debe ser …

15 hypothesis-testing  anova  assumptions 

El valor esperado de una distribución es la media, es decir, el valor promedio ponderado E [ x ] = ∫ + ∞ - ∞ xf(x)f(x)f(x)E[x]=∫+∞−∞xf(x)dxE[x]=∫−∞+∞xf(x)dXE[x]=\int_{-\infty}^{+\infty} x \, \, f(x) dx El valor más probable es el modo, que es el valor más probable. Sin embargo, ¿esperamos de alguna manera …

15 probability  distributions  chi-squared  expected-value  mode 

¿En qué punto comenzamos a clasificar las redes neuronales de varias capas como redes neuronales profundas o para decirlo de otra manera? ¿Cuál es el número mínimo de capas en una red neuronal profunda?

15 machine-learning  neural-networks  deep-learning  terminology 

En la regresión lineal (pérdida al cuadrado), usando una matriz tenemos una notación muy concisa para el objetivo minimize ∥Ax−b∥2minimize ‖Ax−b‖2\text{minimize}~~ \|Ax-b\|^2 Donde es la matriz de datos, son los coeficientes y b es la respuesta.x bAAAxxxbbb ¿Existe una notación matricial similar para el objetivo de regresión logística? Todas las …

15 regression  logistic  linear-model  notation 

Estoy tratando de entender la diferencia básica entre la regresión por pasos y hacia atrás en R usando la función de paso. Para la regresión gradual, utilicé el siguiente comando step(lm(mpg~wt+drat+disp+qsec,data=mtcars),direction="both") Obtuve el siguiente resultado para el código anterior. Para la selección de variables hacia atrás utilicé el siguiente comando …

15 r  regression 

Una suposición básica del uso de modelos de regresión para la inferencia es que "todos los predictores relevantes" se han incluido en la ecuación de predicción. La razón es que no incluir un factor importante del mundo real conduce a coeficientes sesgados y, por lo tanto, a inferencias inexactas (es …

15 regression  assumptions  bias  predictor  confounding 

Estoy tratando de duplicar los resultados de sklearnla biblioteca de regresión logística usando el glmnetpaquete en R. A partir de la documentación desklearn regresión logística , está tratando de minimizar la función de costo bajo penalización l2 minw,c12wTw+C∑i=1Nlog(exp(−yi(XTiw+c))+1)minw,c12wTw+C∑i=1norteIniciar sesión⁡(Exp⁡(-yyo(XyoTw+C))+1)\min_{w,c} \frac12 w^Tw + C\sum_{i=1}^N \log(\exp(-y_i(X_i^Tw+c)) + 1) De las viñetas de …

15 r  logistic  python  scikit-learn  glmnet 

En el capítulo 9 del libro Reconocimiento de patrones y aprendizaje automático, hay esta parte sobre el modelo de mezcla gaussiana: Para ser honesto, realmente no entiendo por qué esto crearía una singularidad. ¿Puede alguien explicarme esto? Lo siento, pero solo soy un estudiante universitario y un novato en el …

15 gaussian-mixture 

Me preguntaba cuáles son los criterios para utilizar Kolmogorov-Smirnov, Cramer-von-Mises y Anderson-Darling al comparar 2 ECDFS. Sé las matemáticas de cómo difieren cada uno, pero si tengo algunos datos de ECDF, ¿cómo sabría qué prueba es apropiada para usar?

15 kolmogorov-smirnov  anderson-darling  two-sample