Estadísticas y Big Data

Cuando les digo a mis amigos que no son estadísticos que soy un estudiante de posgrado que cursa un doctorado en estadística, naturalmente dicen "oh, ¿entonces quieres ser profesor?". Les digo que no, en realidad planeo trabajar en la industria. Luego responden con "¿y hacer qué?". No he encontrado una …

12 careers 

¿Hay buenos documentos o libros que traten sobre el uso del descenso coordinado para L1 (lazo) y / o la regularización neta elástica para problemas de regresión lineal?

12 regression  references  lasso  regularization  elastic-net 

Si se distribuye exponencialmente con el parámetro y son mutuamente independientes, ¿cuál es la expectativa de ( i = 1 , . . . , N ) λ X iXiXiX_i(i=1,...,n)(i=1,...,n)(i=1,...,n)λλ\lambdaXiXiX_i (∑i=1nXi)2(∑i=1nXi)2 \left(\sum_{i=1}^n {X_i} \right)^2 en términos de y y posiblemente otras constantes?λnnnλλ\lambda Nota: Esta pregunta obtuvo una respuesta matemática en …

12 expected-value  exponential  gamma-distribution 

Esta puede ser una pregunta demasiado general, pero espero encontrar ayuda aquí. Estoy comenzando un trabajo de RA en mi universidad y mi tema estará relacionado con el análisis de tráfico de Internet. Soy bastante nuevo en el mundo del análisis, pero creo que en el mundo de la investigación …

12 mathematical-statistics 

Divulgación completa: esta es la tarea. He incluido un enlace al conjunto de datos ( http://www.bertelsen.ca/R/logistic-regression.sav ) Mi objetivo es maximizar la predicción de incumplimientos de préstamos en este conjunto de datos. Todos los modelos que se me ocurrieron hasta ahora predicen> 90% de los no morosos, pero <40% de …

12 r  logistic  spss  self-study 

Estoy buscando un método para probar la igualdad de dos funciones de densidad acumulativa.

12 distributions  hypothesis-testing 

Estoy ajustando una regresión lineal regularizada L1 a un conjunto de datos muy grande (con n >> p.) Las variables se conocen de antemano, pero las observaciones llegan en pequeños fragmentos. Me gustaría mantener el ajuste del lazo después de cada trozo. Obviamente, puedo volver a ajustar todo el modelo …

12 regression  lasso 

Estoy diseñando un cuestionario para mi disertación. Estoy en el proceso de validar el cuestionario. He aplicado una prueba alfa de Cronbach al grupo de muestra inicial. Las respuestas al cuestionario están en una escala Likert; ¿Alguien puede sugerir alguna otra prueba para aplicar para ayudar a probar su validez? …

12 survey  scales  psychometrics  scale-construction 

Estoy tratando de evaluar una prueba de elección múltiple de 20 ítems. Quiero realizar un análisis de elementos como el que se puede encontrar en este ejemplo . Entonces, para cada pregunta, quiero el valor P y la correlación con el total, y la distribución de las opciones seleccionadas. No …

12 r  correlation  psychometrics  scales 

He programado una regresión logística usando el algoritmo IRLS . Me gustaría aplicar una penalización LASSO para seleccionar automáticamente las funciones correctas. En cada iteración, se resuelve lo siguiente: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)} Sea λλ\lambda un número real no negativo. No estoy penalizando la intercepción como se sugiere en The Elements of. …

12 logistic  generalized-linear-model  feature-selection  lasso  convex 

¿Alguien puede informar sobre su experiencia con un estimador de densidad de núcleo adaptativo? (Hay muchos sinónimos: adaptativo | variable | ancho variable, KDE | histograma | interpolador ...) La estimación de densidad de kernel variable dice "variamos el ancho del kernel en diferentes regiones del espacio muestral. Hay dos …

12 kde  k-nearest-neighbour 

Problema: estoy parametrizando distribuciones para usar como antecedentes y datos en un metanálisis bayesiano. Los datos se proporcionan en la literatura como estadísticas de resumen, casi exclusivamente se supone que se distribuyen normalmente (aunque ninguna de las variables puede ser <0, algunas son proporciones, algunas son masivas, etc.). Me he …

12 distributions  bayesian  variance  random-variable  meta-analysis 

Tengo curiosidad por saber si alguien tiene una referencia específica (texto o artículo de revista) para apoyar la práctica común en la literatura médica de realizar el cálculo del tamaño de la muestra utilizando métodos que son paramétricos (es decir, suponiendo una distribución normal y una cierta variación de las …

12 nonparametric  sample-size 

Estoy trabajando en un pequeño corpus de texto (200M), que quiero explorar con algunos análisis de conglomerados. ¿Qué libros o artículos sobre ese tema recomendarías?

12 machine-learning  references  clustering 

¿Alguien puede recomendar algunos libros que se consideran referencias estándar para las estadísticas clásicas (frecuentas)? IE, bastante completo, y también, ha existido durante un tiempo para que los errores tipográficos y los errores en las fórmulas tengan la oportunidad de ser verificados y corregidos

12 references  mathematical-statistics