Estadísticas y Big Data

Cuando usamos el algoritmo de aprendizaje de CD persistente para máquinas Bolzmann restringidas, comenzamos nuestra cadena de muestreo de Gibbs en la primera iteración en un punto de datos, pero a diferencia del CD normal, en las siguientes iteraciones no comenzamos sobre nuestra cadena. En cambio, comenzamos donde terminó la …

9 machine-learning  neural-networks  rbm 

R en acción (Kabacoff, 2011) sugiere la siguiente rutina para evaluar la sobredispersión en una regresión logística: Ajustar regresión logística usando distribución binomial: model_binom <- glm(Species=="versicolor" ~ Sepal.Width, family=binomial(), data=iris) Ajuste de regresión logística usando distribución cuasibinomial: model_overdispersed <- glm(Species=="versicolor" ~ Sepal.Width, family=quasibinomial(), data=iris) Use chi-cuadrado para probar la sobredispersión: …

9 r  regression  distributions  logistic  overdispersion 

Digamos que estoy realizando un metanálisis, observando el desempeño del grupo A y el grupo B con respecto a un determinado constructo. Ahora, algunos de los estudios que veré informarán que no se pudieron encontrar diferencias estadísticas entre los dos grupos, pero no se presentarán estadísticas exactas de prueba y …

9 hypothesis-testing  power-analysis  meta-analysis  effect-size  group-differences 

En esta página de Wikipedia en la subsección para la validación cruzada de K-fold dice "En la validación cruzada de k-fold, la muestra original se divide aleatoriamente en k submuestras de igual tamaño. De las k submuestras, se retiene una sola submuestra como datos de validación para prueba del modelo, …

9 cross-validation 

Para problemas de clasificación, he estado usando Redes Neurales y midiendo el error de Tipo I y II usando la matriz de confusión y sus medidas según este recurso ( espejo ), que es bastante sencillo. Cuando nos enfrentamos a un problema de estimación, ¿cómo evaluaría el desempeño del modelo? …

9 regression  machine-learning  estimation  model-evaluation 

Estoy tomando un curso sobre métodos de Monte Carlo y aprendimos el método de Muestreo de rechazo (o Muestreo de aceptación-rechazo) en la última conferencia. Hay muchos recursos en la web que muestran la prueba de este método, pero de alguna manera no estoy convencido con ellos. Entonces, en la …

9 sampling  monte-carlo  rejection-sampling 

Mi libro de texto sobre validación cruzada es Los elementos del aprendizaje estadístico de Hastie et al. (2da ed.). En las secciones 7.10.1 y 7.12, hablan sobre la diferencia entre el error de prueba condicional y la prueba esperada error Aquí es el conjunto de datos de entrenamiento, es la …

9 cross-validation  definition 

La definición de una estadística suficiente es: Sea una muestra aleatoria de una distribución indexada por un parámetro . Deje que sea ​​una estadística. Suponga que, para cada y cada valor posible de , la distribución conjunta condicional de dado que depende solo de pero no de . Entonces, es …

9 regression  sufficient-statistics 

Tengo un bloqueo intuitivo con esto. Para un problema binomial, la desviación estándar de un conteo es . Por el contrario, la desviación estándar de la proporción muestral disminuye al aumentar es . Puedo hacer la división por pero no sé por qué las desviaciones estándar se mueven en direcciones …

9 binomial  standard-deviation 

Estoy leyendo el libro GPML y en el Capítulo 2 (página 15) , me dice cómo hacer una regresión usando el Proceso Gaussiano (GP), pero me cuesta entender cómo funciona. En la inferencia bayesiana para modelos paramétricos, primero elegimos un previo en los parámetros del modelo θθ\theta, es decir p(θ)p(θ)p(\theta); …

9 machine-learning  gaussian-process 

¿Por qué querría controlar cualquier número de covariables de referencia en una situación en la que la asignación al grupo de tratamiento es aleatoria? Según tengo entendido, la asignación aleatoria del tratamiento debería hacer que la variable de tratamiento sea estrictamente exógena, creando un grupo de control que pueda considerarse …

9 experiment-design  treatment-effect  random-allocation 

Hago una regresión lineal usando la función R lm: x = log(errors) plot(x,y) lm.result = lm(formula = y ~ x) abline(lm.result, col="blue") # showing the "fit" in blue Pero no encaja bien. Lamentablemente no puedo entender el manual. ¿Alguien puede señalarme en la dirección correcta para encajar esto mejor? Al …

9 r  regression 

Necesito encontrar una clase de distribución simétrica de baja curtosis, que incluya la distribución gaussiana uniforme, triangular y normal. La distribución de Irwin-Hall (suma del uniforme estándar) ofrece esta característica, pero no trata las órdenes enteras . Sin embargo, si simplemente resume de manera independiente, por ejemplo, 2 uniformes estándar …

9 distributions  pdf  uniform  cdf 

Al agregar un predictor numérico con predictores categóricos y sus interacciones, generalmente se considera necesario centrar las variables en 0 de antemano. El razonamiento es que los efectos principales son difíciles de interpretar ya que se evalúan con el predictor numérico en 0. Mi pregunta ahora es cómo centrar si …

9 centering  quadratic-form 

Tengo una matriz de correlaciones por pares entre n elementos. Ahora quiero encontrar un subconjunto de k elementos con la menor correlación. Por lo tanto, hay dos preguntas: ¿Cuál es la medida adecuada para la correlación dentro de ese grupo? ¿Cómo encontrar el grupo con la menor correlación? Este problema …

9 correlation  ranking