Estadísticas y Big Data

Considere la solución de Jaynes a la paradoja de Bertrand utilizando el principio de indiferencia . ¿Por qué no se aplica un argumento similar a la paradoja de Borel-Kolmogorov ? ¿Hay algo de malo en argumentar que, dado que el problema no especifica una orientación para la esfera, la rotación …

15 theory  paradox 

Estoy buscando algunos buenos ejemplos de situaciones que no son adecuadas para modelar con una distribución de Poisson, para ayudarme a explicar la distribución de Poisson a los estudiantes. Uno usa comúnmente el número de clientes que llegan a una tienda en un intervalo de tiempo como un ejemplo que …

15 poisson-distribution  teaching 

Estoy haciendo una regresión de riesgos proporcionales de Cox en R usando coxph, que incluye muchas variables. Los residuos de Martingala se ven geniales, y los residuos de Schoenfeld son excelentes para CASI TODAS las variables. Hay tres variables cuyos residuos de Schoenfeld no son planos, y la naturaleza de …

15 r  model  cox-model  hazard  schoenfeld-residuals 

Este término aparece con frecuencia en los hilos relacionados con el método . ¿ Combinar es un método específico en minería de datos y aprendizaje estadístico? No puedo obtener un resultado relevante de google. Parece que la combinación está mezclando los resultados de muchos modelos y dando como resultado un …

15 machine-learning  data-mining  unsupervised-learning  statistical-learning 

Como parte de una tarea, tuve que ajustar un modelo con dos variables predictoras. Luego tuve que dibujar una gráfica de los residuos de los modelos contra uno de los predictores incluidos y hacer cambios basados ​​en eso. El gráfico mostró una tendencia curvilínea, por lo que incluí un término …

15 statistical-significance  multiple-regression  modeling 

¿Existe algún procedimiento estándar (tal que se pueda citarlo como referencia) para seleccionar el subconjunto de puntos de datos de un grupo más grande con la correlación más fuerte (a lo largo de solo dos dimensiones)? Por ejemplo, supongamos que tiene 100 puntos de datos. Desea un subconjunto de 40 …

15 regression  correlation  autocorrelation 

Sin citar fuentes, Wikipedia define la entropía cruzada de distribuciones discretas y comoPAGPAGPQQQ H×( P; Q )= - ∑Xp ( x )Iniciar sesiónq( X ) .H×(PAG;Q)=-∑Xpag(X)Iniciar sesión⁡q(X).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} ¿Quién fue el primero en comenzar a usar esta cantidad? ¿Y quién inventó este término? …

15 information-theory  entropy 

Me refería a esta video conferencia para calcular el intervalo de confianza . Sin embargo, tengo algo de confusión. Este tipo está usando estadísticas para el cálculo. Sin embargo, creo que debería haber sido una estadística t . No se nos da la verdadera desviación estándar de la población. Estamos …

15 confidence-interval  t-distribution 

Supongamos que tenemos X 2 ∼ unif ( n , 0 , 1 ) ,X1∼unif(n,0,1),X1∼unif(n,0,1),X_1 \sim \textrm{unif}(n,0,1), X2∼unif(n,0,1),X2∼unif(n,0,1),X_2 \sim \textrm{unif}(n,0,1), donde es una muestra aleatoria uniforme de tamaño n, yunif(n,0,1)unif(n,0,1)\textrm{unif}(n,0,1) Y=X1,Y=X1,Y=X_1, Z=0.4X1+1−0.4−−−−−−√X2.Z=0.4X1+1−0.4X2.Z = 0.4 X_1 + \sqrt{1 - 0.4}X_2. Entonces la correlación entre y es .Z 0.4YYYZZZ0.40.40.4 ¿Cómo puedo extender …

15 r  correlation  random-generation  uniform 

Estoy usando rlm en el paquete R MASS para hacer retroceder un modelo lineal multivariante. Funciona bien para varias muestras, pero obtengo coeficientes casi nulos para un modelo en particular: Call: rlm(formula = Y ~ X1 + X2 + X3 + X4, data = mymodel, maxit = 50, na.action = …

15 r  multiple-regression  robust 

La semana pasada tuve una discusión interesante con un buen amigo mío. Él había estado jugando un poco de póker en línea y sugirió que existe una relación entre la nueva suscripción / transferencia de dinero adicional y las cartas que le reparten, es decir, obtiene buenas cartas para engancharse. …

15 binomial  games  wilcoxon-signed-rank 

Estoy estudiando un curso de aprendizaje automático y las diapositivas de la conferencia contienen información que encuentro contradictoria con el libro recomendado. El problema es el siguiente: hay tres clasificadores: clasificador A que proporciona un mejor rendimiento en el rango inferior de los umbrales, clasificador B que proporciona un mejor …

15 machine-learning  probability  data-visualization  classification  roc 

Me gustaría configurar un algoritmo para detectar una anomalía en series de tiempo, y planeo usar el agrupamiento para eso. ¿Por qué debería usar una matriz de distancia para la agrupación y no los datos de series temporales sin procesar? Para la detección de la anomalía, utilizaré la agrupación basada …

15 time-series  clustering  trend 

Tengo una pregunta sobre el uso de una variable de agrupación en un modelo no lineal. Dado que la función nls () no permite variables de factor, he estado luchando por descubrir si uno puede probar el efecto de un factor en el ajuste del modelo. He incluido un ejemplo …

15 r  mixed-model  nls 

A través de este sitio , recientemente descubrí Sankey Diagrams, una excelente manera de visualizar lo que sucede en un diagrama de flujo tradicional . Aquí hay un buen ejemplo de un Diagrama de Sankey de George M. Whitesides y George W. Crabtree , Fuente; No olvide la investigación fundamental …

15 r  data-visualization  sankey-diagram