Estadísticas y Big Data

Hola, tengo dos problemas que suenan como candidatos naturales para modelos multinivel / mixtos, que nunca he usado. El más simple, y que espero probar como introducción, es el siguiente: los datos parecen muchas filas del formulario x y innergroup outergroup donde x es una covariable numérica sobre la que …

18 r  mixed-model  maximum-likelihood  generalized-linear-model 

Soy el autor del paquete ez para R, y estoy trabajando en una actualización para incluir el cálculo automático de las razones de probabilidad (LR) en la salida de ANOVA. La idea es proporcionar un LR para cada efecto que sea análogo a la prueba de ese efecto que logra …

18 r  anova  likelihood-ratio 

¿Es el poder de una regresión logística y una prueba t equivalente? Si es así, deberían ser "equivalentes de densidad de datos", con lo que quiero decir que el mismo número de observaciones subyacentes produce la misma potencia dado un alfa fijo de 0,05. Considere dos casos: [La prueba t …

18 logistic  t-test  power  power-analysis 

Deseo decidir si debo tomar un curso llamado "INTRODUCCIÓN A LOS PROCESOS ESTOCÁSTICOS" que se llevará a cabo el próximo semestre en mi universidad. Le pregunté al profesor cómo estudiar un curso de este tipo me ayudaría como estadístico, dijo que dado que proviene de la probabilidad, sabe muy poco …

18 probability  stochastic-processes 

Estoy usando la regresión de cresta en datos altamente multicolineales. Usando OLS obtengo grandes errores estándar en los coeficientes debido a la multicolinealidad. Sé que la regresión de crestas es una forma de lidiar con este problema, pero en todas las implementaciones de regresión de crestas que he visto, no …

18 standard-error  ridge-regression 

Cuando trabajo en proyectos de análisis de datos, a menudo almaceno datos en archivos de datos separados por comas o delimitados por tabulaciones (CSV, TSV). Mientras que los datos a menudo pertenecen a un sistema de gestión de bases de datos dedicado. Para muchas de mis aplicaciones, esto sería exagerar. …

18 project-management 

Si queremos ver visiblemente la distribución de datos continuos, ¿cuál entre el histograma y el pdf debería usarse? ¿Cuáles son las diferencias, no en cuanto a fórmulas, entre el histograma y el pdf?

18 distributions  pdf  histogram 

En tamaños de ventana más pequeños, la n log nordenación podría funcionar. ¿Hay algún algoritmo mejor para lograr esto?

18 algorithms  median 

Estoy buscando un libro o un recurso en línea que explique diferentes tipos de entropía, como Sample Entropy y Shannon Entropy, y sus ventajas y desventajas. ¿Alguien me puede apuntar en la dirección correcta?

18 references  entropy 

¿Alguien sabe en qué año MCMC se convirtió en un lugar común (es decir, un método popular para la inferencia bayesiana)? Un enlace a la cantidad de artículos publicados de MCMC (revista) a lo largo del tiempo sería especialmente útil.

18 bayesian  mcmc  history 

Para calcular el intervalo de confianza (IC) para la media con desviación estándar de población desconocida (sd), estimamos la desviación estándar de población empleando la distribución t. Notablemente, CI=X¯±Z95%σX¯CI=X¯±Z95%σX¯CI=\bar{X} \pm Z_{95\% }\sigma_{\bar X} donde σX¯=σn√σX¯=σn\sigma_{\bar X} = \frac{\sigma}{\sqrt n} . Pero debido a que no tenemos una estimación puntual de …

18 normal-distribution  confidence-interval  sampling  t-distribution 

Deseo dibujar números enteros del 1 a un NNN específico tirando un número de dados de seis lados (d6). Una buena respuesta explicará por qué su método produce enteros uniformes e independientes . Como ejemplo ilustrativo, sería útil explicar cómo funciona una solución para el caso de N = 150N=150N=150 …

18 probability  random-generation  uniform  dice 

Muchos tutoriales en línea hablan sobre el descenso del gradiente y casi todos usan un tamaño de paso fijo (tasa de aprendizaje ). ¿Por qué no se utiliza la búsqueda de línea (como la búsqueda de línea de retroceso o la búsqueda de línea exacta)?αα\alpha

18 machine-learning  neural-networks  optimization  deep-learning 

¿Por qué el uso del método de Newton para la optimización de la regresión logística se llama mínimos cuadrados iterativos re-ponderados? No me parece claro porque la pérdida logística y la pérdida de mínimos cuadrados son cosas completamente diferentes.

18 logistic  generalized-linear-model  optimization  irls  fisher-scoring 

He visto conclusiones similares en muchas discusiones, que a medida que el tamaño del minibatch aumenta, la convergencia de SGD en realidad se vuelve más difícil / peor, por ejemplo, este documento y esta respuesta . También he oído hablar de personas que utilizan trucos como pequeñas tasas de aprendizaje …

18 machine-learning  neural-networks  optimization  gradient-descent  sgd