Estadísticas y Big Data

Tengo antecedentes en estadísticas de nivel de posgrado introductorio (supongo que sé estadística matemática y probabilidad a nivel de pregrado (por ejemplo, Wackerly et al., Probabilidad de Ross), y tengo algún conocimiento de la teoría de la medida). Recientemente comencé un trabajo haciendo diseño experimental e informes estadísticos en estadísticas …

18 effect-size  group-differences 

Después de leer "Explicar o predecir " de Galit Shmueli (2010), me sorprende una aparente contradicción. Hay tres premisas, Elección del modelo basado en AIC versus BIC (final de p. 300 - comienzo de p. 301): simplemente, AIC debe usarse para seleccionar un modelo destinado a predicción, mientras que BIC …

18 forecasting  model-selection  feature-selection  aic  bic 

He visto varias veces que las personas rechazan el nulo en una prueba aumentada de Dickey-Fuller , y luego afirman que muestra que su serie es estacionaria (desafortunadamente, no puedo mostrar las fuentes de estas afirmaciones, pero imagino que existen afirmaciones similares aquí y allá en uno u otro diario). …

18 time-series  unit-root  stationarity  augmented-dickey-fuller 

Deje y , . ¿Cuál es la expectativa de como ?X1∼U[0,1]X1∼U[0,1]X_1 \sim U[0,1]Xi∼U[Xi−1,1]Xi∼U[Xi−1,1]X_i \sim U[X_{i - 1}, 1]i=2,3,...i=2,3,...i = 2, 3,...X1X2⋯XnX1X2⋯XnX_1 X_2 \cdots X_nn→∞n→∞n \rightarrow \infty

18 mathematical-statistics  random-variable  expected-value 

He visto y he disfrutado la pregunta Dar sentido al análisis de componentes principales , y ahora tengo la misma pregunta para el análisis de componentes independientes. ¿Quiero decir que quiero hacer una pregunta exhaustiva sobre las formas intuitivas de entender ICA? Quiero entender ella. Quiero entender el propósito. Quiero …

18 intuition  ica 

Sé que para acceder al rendimiento del clasificador tengo que dividir los datos en un conjunto de entrenamiento / prueba. Pero leyendo esto : Al evaluar diferentes configuraciones ("hiperparámetros") para estimadores, como la configuración C que debe configurarse manualmente para un SVM, todavía existe el riesgo de sobreajuste en el …

18 machine-learning  cross-validation 

¿Puedo obtener ayuda para completar este intento tentativo (en progreso) de orientarme en los equivalentes de ANOVA y REGRESIÓN? He estado tratando de conciliar los conceptos, la nomenclatura y la sintaxis de estas dos metodologías. Hay muchas publicaciones en este sitio sobre sus puntos en común, por ejemplo esto o …

18 regression  anova  mixed-model 

En la literatura, a veces me atonto la observación, que elegir los antecedentes que dependen de los datos en sí (por ejemplo, Zellners g-prior) puede ser criticado desde un punto de vista teórico. ¿Dónde está exactamente el problema si lo anterior no se elige independientemente de los datos?

18 bayesian  prior  hierarchical-bayesian 

Recientemente descubrí cómo modelar exposiciones a lo largo del tiempo utilizando el registro de (p. Ej.) Tiempo como compensación en una regresión de Poisson. Comprendí que el desplazamiento corresponde a tener el tiempo como covariable con el coeficiente 1. Me gustaría entender mejor la diferencia entre usar el tiempo como …

18 poisson-regression  predictor  offset 

Supongamos que hago validación cruzada K-fold con K = 10 pliegues. Habrá una matriz de confusión para cada pliegue. Al informar los resultados, ¿debo calcular cuál es la matriz de confusión promedio o simplemente sumar las matrices de confusión?

18 machine-learning  cross-validation  accuracy 

La pregunta ¿Qué concluir de este diagrama de lazo (glmnet) demuestra caminos de solución para el estimador de lazo que no son monótonos? Es decir, algunos de los cofficientes crecen en valor absoluto antes de reducirse. He aplicado estos modelos a varios tipos diferentes de conjuntos de datos y nunca …

18 lasso  ridge-regression  elastic-net 

Me gustaría encontrar una manera de cuantificar la intensidad de la bimodalidad de algunas distribuciones que obtuve empíricamente. Por lo que leí, todavía hay cierto debate sobre la forma de cuantificar la bimodalidad. Elegí usar la prueba de inmersión de Hartigans, que parece ser la única disponible en R (documento …

18 r  distributions 

De una Introducción al aprendizaje estadístico de James et al., La estimación de validación cruzada de dejar uno fuera (LOOCV) se define por CV(n)=1n∑i=1nMSEiCV(n)=1n∑i=1nMSEi\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_i dondeMSEi=(yi−y^i)2MSEi=(yi−y^i)2\text{MSE}_i = (y_i-\hat{y}_i)^2. Sin prueba, la ecuación (5.2) establece que para una regresión de mínimos cuadrados o polinomios (si esto se aplica a la …

18 regression  self-study  cross-validation  least-squares 

Hay una publicación bastante antigua en el blog de William Briggs que analiza las trampas de suavizar datos y llevarlos a análisis. El argumento clave es a saber: Si, en un momento de locura, suaviza los datos de series de tiempo y los utiliza como entrada para otros análisis, ¡aumenta …

18 time-series  smoothing 

Estoy usando K-means para agrupar mis datos y estaba buscando una manera de sugerir un número de clúster "óptimo". Las estadísticas de brecha parecen ser una forma común de encontrar un buen número de clúster. Por alguna razón, devuelve 1 como número de clúster óptimo, pero cuando miro los datos …

18 r  machine-learning  clustering  k-means