Estadísticas y Big Data

La situación A algunos investigadores les gustaría dormirte. Dependiendo del lanzamiento secreto de una moneda justa, te despertarán brevemente una vez (cara) o dos veces (cruz). Después de cada vigilia, lo volverán a dormir con un medicamento que le hará olvidar ese despertar. Cuando se despierta, en qué grado debe …

133 decision-theory  paradox 

Esto es algo que me ha estado molestando por un tiempo, y no pude encontrar ninguna respuesta satisfactoria en línea, así que aquí va: Después de revisar un conjunto de conferencias sobre optimización convexa, el método de Newton parece ser un algoritmo muy superior al descenso de gradiente para encontrar …

132 machine-learning  optimization  gradient-descent  hessian 

Estoy leyendo un libro de minería de datos y menciona la estadística Kappa como un medio para evaluar el rendimiento de predicción de los clasificadores. Sin embargo, simplemente no puedo entender esto. También revisé Wikipedia, pero tampoco me ayudó: https://en.wikipedia.org/wiki/Cohen's_kappa . ¿Cómo ayuda Coap's kappa a evaluar el rendimiento de …

131 classification  data-mining  cohens-kappa 

En un artículo reciente de Amstat News , los autores (Mark van der Laan y Sherri Rose) declararon que "Sabemos que para tamaños de muestra lo suficientemente grandes, cada estudio, incluidos aquellos en los que la hipótesis nula de ningún efecto es verdadera, declarará un efecto estadísticamente significativo ". Bueno, …

129 hypothesis-testing  sample-size  dataset  large-data 

Me preguntaba cuál es la diferencia entre la varianza y la desviación estándar. Si calcula los dos valores, está claro que obtiene la desviación estándar de la varianza, pero ¿qué significa eso en términos de la distribución que está observando? Además, ¿por qué realmente necesitas una desviación estándar?

127 variance  mathematical-statistics  standard-deviation 

Estoy estudiando el reconocimiento de patrones y las estadísticas y casi todos los libros que abro sobre el tema me encuentro con el concepto de distancia de Mahalanobis . Los libros dan una especie de explicaciones intuitivas, pero aún no son lo suficientemente buenas para que yo realmente entienda lo …

127 normal-distribution  mathematical-statistics  distance  pattern-recognition  intuition 

Los bosques aleatorios se consideran cajas negras, pero recientemente estaba pensando qué conocimiento se puede obtener de un bosque aleatorio. Lo más obvio es la importancia de las variables, en la variante más simple se puede hacer simplemente calculando el número de ocurrencias de una variable. La segunda cosa en …

127 machine-learning  data-mining  interaction  random-forest  cart 

Estoy realmente sorprendido de que nadie parece haber preguntado esto ya ... Cuando se discuten los estimadores, dos términos utilizados con frecuencia son "consistente" e "imparcial". Mi pregunta es simple: ¿cuál es la diferencia? Las definiciones técnicas precisas de estos términos son bastante complicadas y es difícil tener una idea …

125 unbiased-estimator  estimators  consistency 

En un grupo de estudiantes, hay 2 de 18 que son zurdos. Encuentre la distribución posterior de los estudiantes zurdos en la población suponiendo que no haya información previa. Resume los resultados. Según la literatura, 5-20% de las personas son zurdas. Tenga en cuenta esta información en su anterior y …

125 distributions  bayesian  prior  posterior 

Recientemente he estado leyendo sobre el aprendizaje profundo y estoy confundido acerca de los términos (o decir tecnologías). Cuál es la diferencia entre Redes neuronales convolucionales (CNN), Máquinas de Boltzmann restringidas (RBM) y Codificadores automáticos?

123 neural-networks  deep-learning  conv-neural-network  autoencoders  rbm 

Tengo un marco de datos con muchas observaciones y muchas variables. Algunos de ellos son categóricos (no ordenados) y los otros son numéricos. Estoy buscando asociaciones entre estas variables. He podido calcular la correlación para variables numéricas (correlación de Spearman) pero: No sé cómo medir la correlación entre variables categóricas …

123 r  correlation  categorical-data  continuous-data  mixed-type-data 

¿Cuál es la diferencia entre regresión lineal y regresión logística? ¿Cuándo usarías cada uno?

122 regression  logistic  linear-model 

Tenemos un experimento aleatorio con diferentes resultados que forman el espacio muestral Ω,Ω,\Omega, en la que miramos con interés en ciertos patrones, llamados eventos F.F.\mathscr{F}. Las álgebras sigma (o campos sigma) están formadas por eventos a los que se puede asignar una medida de probabilidad PP\mathbb{P}Se cumplen ciertas propiedades, incluida …

122 probability  intuition  measure-theory  sigma-algebra 

La pregunta (ligeramente modificada) es la siguiente y, si nunca la ha encontrado antes, puede consultarla en el ejemplo 6a, capítulo 2, de Un primer curso de probabilidad de Sheldon Ross : Supongamos que poseemos una urna infinitamente grande y una colección infinita de bolas etiquetadas como bola número 1, …

121 probability  paradox 

¿Cómo sé cuándo elegir entre Spearman's y Pearson's ? Mi variable incluye la satisfacción y las puntuaciones se interpretaron utilizando la suma de las puntuaciones. Sin embargo, estos puntajes también podrían clasificarse.rρρ\rhorrr

119 correlation  pearson-r  spearman-rho