Estadísticas y Big Data

Tengo una matriz de correlación que establece cómo cada elemento se correlaciona con el otro elemento. Por lo tanto, para N elementos, ya tengo una matriz de correlación N * N. Usando esta matriz de correlación, ¿cómo agrupo los N elementos en M bins para poder decir que los Nk …

20 clustering  python  k-means 

El teorema de Bayes va PAG( modelo | datos ) = P( modelo ) × P( datos | modelo )PAG( datos )P(model|data)=P(model)×P(data|model)P(data) P(\textrm{model}|\textrm{data}) = \frac{P(\textrm{model}) \times P(\textrm{data}|\textrm{model})}{P(\textrm{data})} Todo esta bien. Pero, he leído en alguna parte: Básicamente, P (datos) no es más que una constante de normalización, es decir, una …

20 probability  bayesian  conditional-probability  bayes 

Conceptualmente, entiendo el significado de la frase "el área total debajo de un PDF es 1". Debe significar que las posibilidades de que el resultado esté en el intervalo total de posibilidades es del 100%. Pero realmente no puedo entenderlo desde un punto de vista "geométrico". Si, por ejemplo, en …

20 probability  pdf  integral 

Antecedentes: estoy dando una presentación a mis colegas en el trabajo sobre la prueba de hipótesis, y entiendo bien la mayoría de ellos, pero hay un aspecto que me estoy haciendo un nudo tratando de entender y explicar a los demás. Esto es lo que creo que sé (¡corríjalo si …

20 hypothesis-testing  normal-distribution  t-test  assumptions  z-test 

Cuando calculo un modelo de diferencia en diferencias con dos períodos de tiempo, el modelo de regresión equivalente sería a. Yist=α+γs∗Treatment+λdt+δ∗(Treatment∗dt)+ϵistYist=α+γs∗Treatment+λdt+δ∗(Treatment∗dt)+ϵistY_{ist} = \alpha +\gamma_s*Treatment + \lambda d_t + \delta*(Treatment*d_t)+ \epsilon_{ist} donde el es un maniquí que es igual a 1 si la observación es del grupo de tratamientoTreatmentTreatmentTreatment y es …

20 regression  modeling  econometrics  panel-data  difference-in-difference 

¿El caretpaquete R valida por ambos alphay lambdapara el glmnetmodelo? Ejecutando este código, eGrid <- expand.grid(.alpha = (1:10) * 0.1, .lambda = (1:10) * 0.1) Control <- trainControl(method = "repeatedcv",repeats = 3,verboseIter =TRUE) netFit <- train(x =train_features, y = y_train, method = "glmnet", tuneGrid = eGrid, trControl = Control) El …

20 r  machine-learning  cross-validation  caret  glmnet 

Recientemente comencé a leer "Introducción a las estadísticas bayesianas", segunda edición de Bolstad. Tuve una clase de estadísticas introductorias que cubría principalmente pruebas estadísticas y estoy casi a través de una clase de análisis de regresión. ¿Qué otros libros puedo usar para complementar mi comprensión de este? Ya he superado …

20 hypothesis-testing  bayesian 

¿Cómo puedo tomar muestras de una distribución de mezcla, y en particular una mezcla de distribuciones normales en R? Por ejemplo, si quisiera probar de: 0.3×N(0,1)+0.5×N(10,1)+0.2×N(3,.1)0.3×N(0,1)+0.5×N(10,1)+0.2×N(3,.1) 0.3\!\times\mathcal{N}(0,1)\; + \;0.5\!\times\mathcal{N}(10,1)\; + \;0.2\!\times\mathcal{N}(3,.1) ¿Cómo podría hacer eso?

20 r  random-generation  mixture 

Estoy usando R y he estado analizando mis datos con GLM con el enlace Binomial. Quiero saber cuál es el significado de la intercepción en la tabla de salida. La intercepción de uno de mis modelos es significativamente diferente, sin embargo, la variable no lo es. ¿Qué significa esto? ¿Qué …

20 r  generalized-linear-model 

¿Por qué no funciona la propagación hacia atrás cuando inicializa todo el peso con el mismo valor (digamos 0.5), pero funciona bien cuando se le dan números aleatorios? ¿No debería el algoritmo calcular el error y trabajar desde allí, a pesar de que los pesos son inicialmente los mismos?

20 machine-learning  neural-networks  backpropagation 

Comienzo con mi regresión OLS: donde D es una variable ficticia, las estimaciones se vuelven diferentes de cero con un valor p bajo. Luego realizo una prueba Ramsey RESET y descubro que tengo alguna especificación incorrecta de la ecuación, por lo tanto, incluyo x al cuadrado: y = β 0 …

20 regression  multiple-regression  interpretation  least-squares  polynomial 

¿Cuál es el significado de la tilde al especificar distribuciones de probabilidad? Por ejemplo: Z∼Normal(0,1).Z∼Normal(0,1).Z \sim \mbox{Normal}(0,1).

20 probability  distributions  notation 

Si tiene una matriz con n filas ym columnas, puede usar SVD u otros métodos para calcular una aproximación de rango bajo de la matriz dada. Sin embargo, la aproximación de rango bajo seguirá teniendo n filas ym columnas. ¿Cómo pueden ser útiles las aproximaciones de bajo rango para el …

20 r  matrix  approximation 

Soy estudiante de segundo año de pregrado, estudio matemáticas, y he estado hablando con uno de mis profesores bastante sobre la diferencia entre la habilidad matemática y la habilidad estadística. Una de las diferencias clave que planteó fue el "sentido de los datos", que explicó como una combinación de habilidad …

20 references  philosophical 

Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado el año pasado . Me gustaría hacer un mapa de calor con agrupamiento de filas basado en distancias de coseno. …

20 r  clustering  similarities