Estadísticas y Big Data

Stack Exchange, como todos lo sabemos, es una colección de sitios de preguntas y respuestas con temas diversificados. Suponiendo que cada sitio es independiente el uno del otro, dadas las estadísticas que tiene un usuario, ¿cómo calcular su "redondez" en comparación con el siguiente tipo? ¿Cuál es la herramienta estadística …

12 ranking  diversity 

Sé que un error de Tipo II es donde H1 es verdadero, pero H0 no se rechaza. Pregunta ¿Cómo calculo la probabilidad de un error de Tipo II que involucra una distribución normal, donde se conoce la desviación estándar?

12 probability  power-analysis  type-i-and-ii-errors 

Como título, necesito dibujar algo como esto: ¿Se puede usar ggplot u otros paquetes si ggplot no es capaz de dibujar algo como esto?

12 r  data-visualization  ggplot2  funnel-plot 

¿Qué algoritmos se utilizan en los generadores de números aleatorios modernos y de buena calidad?

12 algorithms  random-variable  random-generation 

Últimamente he estado investigando mucho sobre el aprendizaje por refuerzo. Seguí el aprendizaje de refuerzo de Sutton y Barto : una introducción para la mayor parte de esto. Sé qué son los procesos de decisión de Markov y cómo se puede utilizar el aprendizaje de programación dinámica (DP), Monte Carlo …

12 monte-carlo  reinforcement-learning  temporal-difference 

Mientras estudio la Estimación de máxima verosimilitud, para hacer inferencia en la Estimación de máxima verosimilitud, necesitamos conocer la varianza. Para descubrir la varianza, necesito conocer el límite inferior de Cramer's Rao, que se parece a una matriz de Hesse con una segunda derivación en la curvatura. Estoy un poco …

12 machine-learning  mathematical-statistics  maximum-likelihood  data-mining 

He estado leyendo sobre el método de Nyström para la aproximación de kernel de bajo rango. Este método se implementa en scikit-learn [1] como un método para proyectar muestras de datos a una aproximación de bajo rango del mapeo de características del núcleo. A lo mejor de mi conocimiento, dado …

12 scikit-learn  dimensionality-reduction  kernel-trick  nonlinear 

Creo que el título de esta pregunta lo dice todo.

12 clustering  k-means  high-dimensional 

Tengo algunos problemas para entender la propiedad de la cadena de Markov irreductible . Se dice que irreducible significa que el proceso estocástico puede "pasar de cualquier estado a cualquier estado". Pero, ¿qué define si puede pasar del estado al estado o no?jiiijjj La página de wikipedia ofrece la formalización: …

12 stochastic-processes  markov-process 

Wikipedia dice que: La dimensión VC es la cardinalidad del mayor conjunto de puntos que un algoritmo puede destruir. Por ejemplo, un clasificador lineal tiene una cardinalidad n + 1. Mi pregunta es ¿por qué nos importa? La mayoría de los conjuntos de datos en los que realiza una clasificación …

12 classification  algorithms  vc-dimension 

Al implementar el modelo causal de Rubin, uno de los supuestos (no comprobables) que necesitamos es la falta de fundamento, lo que significa ( Y( 0 ) , Y( 1 ) ) ⊥ TEl | X(Y(0 0),Y(1))⊥TEl |X(Y(0),Y(1))\perp T|X Donde los LHS son los contrafactuales, la T es el tratamiento …

12 causality  treatment-effect  confounding 

Cuando alguien dice que se muestrean datos de una distribución logarítmica uniforme entre 128 y 4000, ¿qué significa eso? ¿Qué tan diferente al muestreo de una distribución uniforme? Consulte este documento: http://www.jmlr.org/papers/volume13/bergstra12a/bergstra12a.pdf ¡Gracias!

12 machine-learning  distributions  uniform 

Hasta donde yo sé, tanto los autoencoders como el t-SNE se usan para la reducción de dimensionalidad no lineal. ¿Cuáles son las diferencias entre ellos y por qué debería usar uno versus otro?

12 neural-networks  deep-learning  dimensionality-reduction  autoencoders  tsne 

Tengo una serie de zoológicos con muchos valores perdidos. ¿Leí que auto.arimapuede imputar estos valores faltantes? ¿Alguien puede enseñarme cómo hacerlo? ¡muchas gracias! Esto es lo que he intentado, pero sin éxito: fit <- auto.arima(tsx) plot(forecast(fit))

12 arima 

Predicted class Cat Dog Rabbit Actual class Cat 5 3 0 Dog 2 3 1 Rabbit 0 2 11 ¿Cómo puedo calcular la precisión y la recuperación para que sea fácil calcular la puntuación F1? La matriz de confusión normal es una dimensión de 2 x 2. Sin embargo, cuando …

12 machine-learning  precision-recall