Estadísticas y Big Data

Hecha un vistazo a la imagen de abajo. La línea azul indica pdf normal estándar. Se supone que la zona roja es igual a la suma de las áreas grises (perdón por un dibujo horrible). Me pregunto ¿podemos crear una nueva distribución con un pico más alto al cambiar las …

8 mathematical-statistics  kurtosis 

¿La prueba de Shapiro Wilk es insensible en las colas de distribución de la muestra? He leído tal declaración en un papel, pero no puedo entender por qué a partir de su estadística de prueba W. ¿Podría alguien ayudarme a entender esto?

8 goodness-of-fit 

Estoy ejecutando un CFA y obtengo buenos índices de ajuste (CFI = .99, RMSEA = .01) para una escala unidimensional. Sin embargo, cuando pruebo la consistencia interna, obtengo los s ( ) de Cronbach pobres . He intentado todo, desde eliminar valores atípicos hasta soltar elementos y aún así terminar …

8 sem  reliability  psychometrics  confirmatory-factor  cronbachs-alpha 

Tengo algunos problemas para comprender el concepto y la derivación de la probabilidad de datos truncados. Por ejemplo, si quiero encontrar la función de probabilidad basada en una muestra de una distribución, pero al tomar una muestra de la distribución, observo los valores truncados (donde hay un corte de , …

8 dataset  likelihood 

En una implementación MCMC de modelos jerárquicos, con efectos aleatorios normales y un Wishart previo para su matriz de covarianza, se usa típicamente el muestreo de Gibbs. Sin embargo, si cambiamos la distribución de los efectos aleatorios (p. Ej., A Student's-t u otro), la conjugación se pierde. En este caso, …

8 mcmc  hierarchical-bayesian  metropolis-hastings 

Estoy tratando de diseñar una técnica de factorización matricial para un simple sistema de recomendación de calificación de elementos de usuario. Tengo 2 preguntas sobre esto. Primero, en una implementación simple que vi de la técnica de factorización matricial para la recomendación de películas, el autor acaba de inicializar las …

8 recommender-system  matrix-decomposition  parameterization  ensemble 

He construido un modelo de regresión logística en R y, aunque el resultado parece ser satisfactorio hasta cierto punto, hay una pregunta que no he podido abordar. No estoy seguro de si mi enfoque es correcto. Sé que el propósito general del modelo logístico es predecir la probabilidad de éxito …

8 probability  distributions  logistic  binomial 

Entiendo cómo se elige la mejor división para bosque aleatorio para predictores numéricos (características). Los predictores numéricos se ordenan para cada valor, se calcula la impureza o entropía de Gini y se elige un umbral que proporciona la mejor división. Pero, ¿cómo se elige la mejor división para el predictor …

8 machine-learning  random-forest 

La fórmula para en una prueba de hipótesis viene dada por: tttt=X¯−μσ^/n−−√.t=X¯−μσ^/n. t=\frac{\bar{X}-\mu}{\hat \sigma/\sqrt{n}}. Cuando aumenta, el valor aumenta de acuerdo con la fórmula anterior. Pero, ¿por qué disminuye el valor crítico en la tabla cuando (que es una función de ) aumenta?nnntttttttttdfdf\text{df}nnorten

8 hypothesis-testing  self-study  statistical-significance  t-test  t-distribution 

Me gustaría encontrar los límites mínimo / máximo de una ventana deslizante de tamaño mínimo que contiene una cierta fracción del número total de elementos en una matriz o colección de números. Ejemplo: tomar números enteros para que sea más fácil de explicar, digamos que la proporción de elementos que …

8 python  descriptive-statistics  shortest-half 

Aunque el título de la pregunta parece trivial, me gustaría explicar que no es tan trivial en el sentido de que es diferente de la cuestión de aplicar la misma prueba estadística en conjuntos de datos similares para probar contra una hipótesis nula total (metaanálisis, por ejemplo, utilizando el método …

8 hypothesis-testing  probability  statistical-significance  multiple-comparisons  p-value 

Estoy tratando de hacer SVM de una clase en R. He estado tratando de usar el paquete kernlab e1071 / ksvm. Pero no estoy seguro si lo estoy haciendo correctamente. ¿Hay algún ejemplo de trabajo para SVM de una clase en R? También, Estoy dando una gran matriz de predictores …

8 r  svm 

Estoy estudiando dos poblaciones geográficamente aisladas de la misma especie. Al inspeccionar las distribuciones, veo que ambas son bimodales (hay cierta estacionalidad en su ocurrencia), pero los picos en una población son mucho más altos y mucho más estrechos (es decir, la variación de los picos locales es menor). ¿Qué …

8 distributions  statistical-significance  variance 

Para datos longitudinales con un resultado numérico, puedo usar diagramas de espagueti para visualizar los datos. Por ejemplo, algo como esto (tomado del sitio de estadísticas de UCLA): tolerance<-read.table("http://www.ats.ucla.edu/stat/r/faq/tolpp.csv",sep=",", header=T) head(tolerance, n=10) interaction.plot(tolerance$time, tolerance$id, tolerance$tolerance, xlab="time", ylab="Tolerance", legend=F) ¿Pero qué pasa si mi resultado es binario 0 o 1? Por …

8 data-visualization  repeated-measures  binary-data  panel-data 

Mientras hacía algunas simulaciones, me di cuenta de que el cuantil de la muestra es un estimador sesgado del verdadero cuantil. Y, según mis simulaciones, una potencialmente muy sesgada. Me sorprendió ese resultado ya que el CDF empírico no está sesgado, pero después de un poco de investigación en Internet, …

8 estimation  quantiles