Estadísticas y Big Data

Estoy usando la regresión vectorial de soporte para modelar algunos datos bastante sesgados (con curtosis alta). Intenté modelar los datos directamente, pero estoy obteniendo predicciones erróneas, creo que principalmente debido a la distribución de los datos, que está sesgada con colas muy gruesas. Estoy bastante seguro de que algunos valores …

8 machine-learning  svm  cross-validation  predictive-models  outliers 

El puntaje de la teoría de la propensión (PS) sugiere que solo debe usarse para el estudio de cohorte porque PS hace coincidir los grupos "tratados / expuestos" con los grupos "no tratados / no expuestos". Sin embargo, los casos y los controles son los resultados (no las exposiciones) en …

8 epidemiology  propensity-scores 

Investigaciones recientes han intentado determinar si ciertas construcciones psicológicas son latentemente dimensionales o taxónicas (es decir, incluyendo taxones o clases). Por ejemplo, los investigadores pueden estar interesados ​​en averiguar si hay una cierta "clase" de personas que tienen más probabilidades de desarrollar dolor crónico después de una lesión, o si …

8 clustering  latent-variable  psychology  latent-class  model-based-clustering 

Mi comprensión del enfoque bootstrap se basa en el marco de Wasserman (casi al pie de la letra): Dejar Tn=g(X1,...,Xn)Tn=g(X1,...,Xn)T_n = g(X_1, ..., X_n) ser una estadística (XiXiX_i es la muestra iid extraída de la distribución FFF) Supongamos que queremos estimarVF(Tn)VF(Tn)V_F(T_n) - la varianza de TnTnT_n dado FFF. El enfoque …

8 bootstrap  computational-statistics 

Se sabe que el bootstrap puede fallar. Leí en la Sección 6 de Bickel y Freedman (1981) que el bootstrap falla cuando quieres usarlo para evaluar el MLE para estimar el parámetro de una distribución uniforme continua. Leí la Sección 7.4 del libro de Efron y Tibshirani, pero no puedo …

8 bootstrap  references 

Recuerdo haber visto / leído en alguna parte que para SVM multiclase con datos no balanceados, había una manera de determinar los pesos de clase a partir de los datos de entrenamiento (en lugar de la validación X). ¿Alguien sabe cuál es el método o de qué papel proviene? Gracias

8 machine-learning  svm  unbalanced-classes 

El G-Test es una forma de obtener estimaciones rápidas de una distribución chi cuadrado, y es recomendado por el autor de este conocido tutorial prueba A / B . Esta herramienta asume una distribución normal y utiliza la diferencia de medios para calcular la confianza. ¿Cuál es la diferencia entre …

8 confidence-interval  ab-test 

Soy nuevo en estadística y estoy estudiando las matemáticas detrás de las pruebas divididas (A / B y multivariante). Aprendí a calcular con datos de prueba dados, y entiendo cómo traducir esto en una probabilidad a través de una tabla, pero me gustaría poder calcular la probabilidad yo mismo. He …

8 chi-squared  p-value 

Los algoritmos de refuerzo, como AdaBoost , combinan múltiples clasificadores 'débiles' para formar un solo clasificador más fuerte. Aunque en teoría el refuerzo debería ser posible con cualquier clasificador base, en la práctica parece que los clasificadores basados ​​en árboles son los más comunes. ¿Por qué es esto? ¿Qué propiedades …

8 machine-learning  boosting  ensemble 

¿Cuáles son buenos libros introductorios sobre los filtros de Kalman? Me gustan muchos ejemplos y técnicas prácticas, y menos teoría.

8 references  kalman-filter 

No entiendo cómo interpretar el coeficiente de una regresión de Poisson en relación con el coeficiente de una regresión OLS. Supongamos que tengo datos de series de tiempo, mi variable del lado izquierdo es la cantidad de juegos ganados por año, y mi variable principal del lado derecho es el …

8 poisson-distribution 

Supongamos que he creado un sistema de recomendación que (dado, por ejemplo, clasificaciones de películas o cualquiera de los muchos usuarios) producirá una lista de 10 películas recomendadas para que cada usuario las vea. Imagine que también tengo un gran grupo de elementos de películas, junto con un registro de …

8 precision-recall  recommender-system 

¿Existe un límite que sea el menos aceptable cuando se usa la imputación múltiple (MI)? Por ejemplo, ¿puedo usar MI si los valores faltantes en una variable son el 20% de los casos mientras que otras variables tienen valores perdidos pero no a un nivel tan alto?

8 missing-data  data-imputation 

¿Existe un método de Box-Cox para modelos gaussianos lineales con efectos aleatorios?

8 mixed-model  data-transformation 

Cada vez que leo sobre medidas repetidas o diseño dentro de las asignaturas en diferentes libros y páginas web, el ejemplo que siempre aparece es algún tipo de diseño de medidas longitudinales o repetidas (por ejemplo, las personas se miden en la misma escala varias veces durante el día). Para …

8 anova  repeated-measures