Estadísticas y Big Data

Todos parecen representar variables aleatorias por los nodos y (in) dependencia a través de los bordes (posiblemente dirigidos). Estoy especialmente interesado en el punto de vista de un bayesiano.

34 causality  neural-networks  multilevel-analysis  graphical-model 

¿Por qué un procedimiento de validación cruzada supera el problema de sobreajustar un modelo?

34 regression  model-selection  cross-validation 

X e Y no están correlacionados (-.01); sin embargo, cuando coloco X en una regresión múltiple que predice Y, junto con otras tres (A, B, C) otras variables (relacionadas), X y otras dos variables (A, B) son predictores significativos de Y. Tenga en cuenta que las otras dos ( A, …

34 regression  correlation  interpretation  causality 

Estoy tratando de usar el diagrama de silueta para determinar el número de clúster en mi conjunto de datos. Dado el conjunto de datos Train , utilicé el siguiente código matlab Train_data = full(Train); Result = []; for num_of_cluster = 1:20 centroid = kmeans(Train_data,num_of_cluster,'distance','sqeuclid'); s = silhouette(Train_data,centroid,'sqeuclid'); Result = [ …

34 data-visualization  clustering  matlab 

En una asignación reciente, nos dijeron que usáramos PCA en los dígitos MNIST para reducir las dimensiones de 64 (imágenes de 8 x 8) a 2. Luego tuvimos que agrupar los dígitos usando un Modelo de Mezcla Gaussiana. La PCA que usa solo 2 componentes principales no produce grupos distintos …

34 classification  clustering  pca  dimensionality-reduction  tsne 

¿Alguien puede ofrecer una buena explicación sucinta de por qué no es una buena idea enseñar a los estudiantes que un valor p es el problema (sus hallazgos se deben a la posibilidad [aleatoria]). Tengo entendido que un valor p es el problema (obtener datos más extremos | la hipótesis …

34 p-value  randomness  teaching 

Tengo algunas dificultades para comprender cómo interpretar la salida de importancia variable del paquete Random Forest. La disminución media en la precisión generalmente se describe como "la disminución en la precisión del modelo al permutar los valores en cada característica". ¿Es esta una declaración sobre la característica en su conjunto …

34 r  machine-learning  classification  random-forest 

¿Por qué el estadístico de prueba de una prueba de razón de verosimilitud se distribuye chi-cuadrado? 2(ln Lalt model−ln Lnull model)∼χ2dfalt−dfnull2(ln⁡ Lalt model−ln⁡ Lnull model)∼χdfalt−dfnull22(\ln \text{ L}_{\rm alt\ model} - \ln \text{ L}_{\rm null\ model} ) \sim \chi^{2}_{df_{\rm alt}-df_{\rm null}}

34 distributions  chi-squared  likelihood-ratio 

¿Puedo llamar a un modelo en el que el teorema de Bayes se usa como un "modelo bayesiano"? Me temo que tal definición podría ser demasiado amplia. Entonces, ¿qué es exactamente un modelo bayesiano?

34 machine-learning  bayesian 

Tengo curiosidad acerca de procedimientos repetibles que se pueden utilizar para descubrir la forma funcional de la función y = f(A, B, C) + error_termdonde mi única entrada es un conjunto de observaciones ( y, A, By C). Tenga en cuenta que la forma funcional de fes desconocida. Considere el …

34 regression  machine-learning  algorithms  model-selection  data-mining 

Queridos todos, he notado algo extraño que no puedo explicar, ¿verdad? En resumen: el enfoque manual para calcular un intervalo de confianza en un modelo de regresión logística y la función R confint()dan resultados diferentes. He estado pasando por la regresión logística aplicada de Hosmer & Lemeshow (2a edición). En …

34 r  regression  logistic  confidence-interval  profile-likelihood  correlation  mcmc  error  mixture  measurement  data-augmentation  r  logistic  goodness-of-fit  r  time-series  exponential  descriptive-statistics  average  expected-value  data-visualization  anova  teaching  hypothesis-testing  multivariate-analysis  r  r  mixed-model  clustering  categorical-data  unsupervised-learning  r  logistic  anova  binomial  estimation  variance  expected-value  r  r  anova  mixed-model  multiple-comparisons  repeated-measures  project-management  r  poisson-distribution  control-chart  project-management  regression  residuals  r  distributions  data-visualization  r  unbiased-estimator  kurtosis  expected-value  regression  spss  meta-analysis  r  censoring  regression  classification  data-mining  mixture 

Los árboles de decisión parecen ser un método de aprendizaje automático muy comprensible. Una vez creado, puede ser fácilmente inspeccionado por un humano, lo cual es una gran ventaja en algunas aplicaciones. ¿Cuáles son los lados débiles prácticos de los árboles de decisión?

34 machine-learning  nonparametric  cart 

Voy a comenzar diciendo que este es un problema de tarea sacado directamente del libro. He pasado un par de horas buscando cómo encontrar los valores esperados, y he determinado que no entiendo nada. Deje que tenga el CDF . Encuentre E ( X ) para aquellos valores de α …

34 self-study  expected-value 

¿Alguien puede decirme qué significa la frase 'estudiante débil'? ¿Se supone que es una hipótesis débil? Estoy confundido acerca de la relación entre un alumno débil y un clasificador débil. ¿Ambos son iguales o hay alguna diferencia? En el algoritmo AdaBoost, T=10. ¿Qué se entiende por eso? ¿Por qué seleccionamos …

34 classification  svm  terminology  adaboost  pac-learning 

Busqué una manera de eliminar los valores atípicos de un conjunto de datos y encontré esta pregunta . Sin embargo, en algunos de los comentarios y respuestas a esta pregunta, las personas mencionaron que es una mala práctica eliminar los valores atípicos de los datos. En mi conjunto de datos …

33 outliers