Estadísticas y Big Data

¿Alguien sabe si se ha descrito lo siguiente y (de cualquier manera) si parece un método plausible para aprender un modelo predictivo con una variable objetivo muy desequilibrada? A menudo, en aplicaciones CRM de minería de datos, buscaremos un modelo en el que el evento positivo (éxito) sea muy raro …

13 data-mining  predictive-models 

Tengo el siguiente resultado de regresión logística: Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) 0.5716 0.1734 3.297 0.000978 *** R1 -0.4662 0.2183 -2.136 0.032697 * R2 -0.5270 0.2590 -2.035 0.041898 * ¿Es apropiado informar esto de la siguiente manera: Coeficiente beta, cociente de probabilidades, valor Z, valor P. En …

13 logistic 

Supongamos que he medido alguna variable en hermanos, que están anidados dentro de las familias. La estructura de datos se ve así: valor de hermano familiar ------ ------- ----- 1 1 y_11 1 2 y_12 2 1 y_21 2 2 y_22 2 3 y_23 ... ... ... Quiero saber la …

13 mixed-model  intraclass-correlation 

Creo que entiendo cómo funcionan los fundamentos del bootstrapping , pero no estoy seguro de entender cómo puedo usar el bootstrapping para la selección del modelo o para evitar el sobreajuste. Para la selección del modelo, por ejemplo, ¿elegiría el modelo que produce el error más bajo (¿tal vez una …

13 model-selection  cross-validation  bootstrap 

Entiendo que una razón de riesgo de un modelo de riesgos proporcionales de Cox compara el efecto sobre la tasa de riesgo de un factor dado con un grupo de referencia. ¿Cómo reportarías eso a una audiencia que no conoce estadísticas? Tratemos de formular un ejemplo. Digamos que inscribimos a …

13 survival  cox-model 

Tomé un curso de probabilidad en la universidad hace unos años, pero ahora estoy revisando algunos algoritmos de aprendizaje automático y algunas de las matemáticas son desconcertantes. Específicamente en este momento, estoy aprendiendo el algoritmo EM (maximización de expectativas) y parece que hay una gran desconexión entre lo que se …

13 probability  machine-learning 

La Tabla 18.1 en los Elementos del aprendizaje estadístico resume el rendimiento de varios clasificadores en un conjunto de datos de 14 clases. Estoy comparando un nuevo algoritmo con el lazo y la red elástica para tales problemas de clasificación multiclase. glmnetL1L1L_1 Tenga en cuenta que al comienzo de la …

13 classification  lasso  glmnet 

Usando el siguiente código, intenté dibujar cuatro parcelas en un gráfico R. No estoy contento con la figura porque hay mucho espacio entre las parcelas, por lo tanto, el ancho de las parcelas no es suficiente para analizarlas. ¿Podría alguien ayudarme a producir un buen gráfico que tenga cuatro parcelas? …

13 r  data-visualization 

Tengo un gran conjunto de puntos de datos de la forma (media, stdev). Deseo reducir esto a una sola (mejor) media y una (con suerte) menor desviación estándar. Claramente podría simplemente calcular ∑datameanN∑datameanN\frac{\sum data_{mean}}{N} , sin embargo, esto no tiene en cuenta el hecho de que algunos de los puntos …

13 normal-distribution  repeated-measures  weighted-mean 

Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado hace 11 meses . Estoy siguiendo un curso sobre estadísticas bayesianas usando BUGS y R. Ahora, ya conozco BUGS, es …

13 r  bayesian  bugs 

Bloqueado . Esta pregunta y sus respuestas están bloqueadas porque la pregunta está fuera de tema pero tiene un significado histórico. Actualmente no acepta nuevas respuestas o interacciones. Soy muy nuevo en R y en cualquier paquete en R. Miré la documentación de ggplot2 pero no pude encontrar esto. Quiero …

13 r  boxplot  ggplot2 

Supongamos que tenemos dos estimadores α1α1\alpha_1 y α2α2\alpha_2 para algún parámetro xxx . Para determinar qué estimador es "mejor", ¿miramos el MSE (error cuadrático medio)? En otras palabras, nos fijamos en MSE=β2+σ2MSE=β2+σ2MSE = \beta^2+ \sigma^2 donde ββ\beta es el sesgo del estimador y σ2σ2\sigma^2 es la varianza del estimador? ¿Cuál …

13 estimation  mse 

He leído sobre varios algoritmos para resolver problemas de bandidos armados n como -greedy, softmax y UCB1, pero tengo algunos problemas para determinar qué enfoque es mejor para minimizar el arrepentimiento.ϵϵ\epsilon ¿Existe un algoritmo óptimo conocido para resolver el problema del bandido armado n? ¿Existe una elección de algoritmo que …

13 machine-learning  reinforcement-learning  multiarmed-bandit 

Tengo una tabla con cuatro grupos (4 grupos de IMC) como variable independiente (factor). Tengo una variable dependiente que es "porcentaje de tabaquismo materno en el embarazo". ¿Es permisible usar ANOVA para esto o tengo que usar chi-cuadrado o alguna otra prueba?

13 anova 

¿Cuál es la diferencia entre endogeneidad y heterogeneidad no observada? Sé que la endogeneidad proviene, por ejemplo, de las variables omitidas? Pero hasta donde yo entiendo, la heterogeneidad no observada causa el mismo problema. Pero, ¿dónde está exactamente la diferencia entre estas dos nociones?

13 regression  assumptions