Estadísticas y Big Data

A pesar de haber visto estos términos 502847894789 veces, no puedo recordar la diferencia entre sensibilidad, especificidad, precisión, exactitud y recuerdo. Son conceptos bastante simples, pero los nombres son muy poco intuitivos para mí, por lo que sigo confundiéndolos entre sí. ¿Cuál es una buena manera de pensar sobre estos …

50 terminology  accuracy  sensitivity-specificity 

Tengo una pregunta sobre la clasificación en general. Supongamos que f es un clasificador, que genera un conjunto de probabilidades dados algunos datos D. Normalmente, uno diría: bueno, si P (c | D)> 0.5, asignaremos una clase 1, de lo contrario 0 (deje que esto sea un binario clasificación). Mi …

49 machine-learning  classification  binary-data  threshold 

Entiendo que el descenso de gradiente estocástico puede usarse para optimizar una red neuronal usando la propagación hacia atrás actualizando cada iteración con una muestra diferente del conjunto de datos de entrenamiento. ¿Qué tan grande debe ser el tamaño del lote?

49 machine-learning  neural-networks  gradient-descent  backpropagation 

Tome el caso de las clasificaciones de libros en un sitio web. El libro A está calificado por 10,000 personas con una calificación promedio de 4.25 y la varianza . Del mismo modo, el Libro B está calificado por 100 personas y tiene una calificación de 4.5 con σ = …

49 t-test  mean  sample-size 

Los métodos bootstrap y jackknife se pueden usar para estimar el sesgo y el error estándar de una estimación, y los mecanismos de ambos métodos de remuestreo no son muy diferentes: el muestreo con reemplazo frente a omitir una observación a la vez. Sin embargo, jackknife no es tan popular …

49 r  confidence-interval  bootstrap  jackknife 

Tomado de Estadísticas prácticas para la investigación médica donde Douglas Altman escribe en la página 285: ... para cualesquiera dos cantidades, X e Y, X se correlacionará con XY. De hecho, incluso si X e Y son muestras de números aleatorios, esperaríamos que la correlación de X e XY sea …

49 correlation  random-variable  intuition 

Si entiendo correctamente, las clasificaciones de libros en una escala de 1-5 son puntajes Likert. Es decir, un 3 para mí puede no ser necesariamente un 3 para otra persona. Es una escala ordinal de la OMI. Uno realmente no debería promediar escalas ordinales, pero definitivamente puede tomar la moda, …

49 mean  ordinal-data  likert 

¿Cómo son todas las versiones del mismo método estadístico básico?

49 regression  self-study  anova  generalized-linear-model  t-test 

Dado que estamos utilizando la función logística para transformar una combinación lineal de la entrada en una salida no lineal, ¿cómo se puede considerar la regresión logística como un clasificador lineal? La regresión lineal es como una red neuronal sin la capa oculta, entonces, ¿por qué las redes neuronales se …

49 logistic  classification  neural-networks 

Tengo un conjunto de datos de muestra con 31 valores. Ejecuté una prueba t de dos colas usando R para probar si la media real es igual a 10: t.test(x=data, mu=10, conf.level=0.95) Salida: t = 11.244, df = 30, p-value = 2.786e-12 alternative hypothesis: true mean is not equal to …

49 r  statistical-significance  t-test  p-value 

Estoy tratando de ampliar mi conocimiento de las estadísticas. Vengo de un fondo de ciencias físicas con un enfoque "basado en recetas" para las pruebas estadísticas, donde decimos que es continuo, normalmente se distribuye: regresión OLS . En mi lectura he encontrado los términos: modelo de efectos aleatorios, modelo de …

49 random-effects-model  fixed-effects-model  marginal 

Estoy usando el paquete de fiesta en R con 10,000 filas y 34 características, y algunas características de factor tienen más de 300 niveles. El tiempo de computación es demasiado largo. (Ha tomado 3 horas hasta ahora y aún no ha terminado). Quiero saber qué elementos tienen un gran efecto …

49 r  random-forest 

Con respecto al aprendizaje no supervisado (como la agrupación), ¿hay alguna métrica para evaluar el rendimiento?

49 machine-learning  clustering  data-mining  unsupervised-learning 

¿Cómo explicaría iid (independiente e idénticamente distribuido) a personas no técnicas?

49 random-variable  intuition 

En The Idiot Brain: A Neuroscientist Explica qué está haciendo realmente tu cabeza , escribió Dean Burnett La correlación entre altura e inteligencia generalmente se cita como aproximadamente , lo que significa que la altura y la inteligencia parecen estar asociadas en solo de cada personas.1 50.20.20.2111555 Para mí, esto …

48 correlation  neuroscience