Estadísticas y Big Data

Wikipedia proporciona el siguiente ejemplo al describir el hashing de características ; pero el mapeo no parece consistente con el diccionario definido Por ejemplo, todebe convertirse de 3acuerdo con el diccionario, pero está codificado como en su 1lugar. ¿Hay algún error en la descripción? ¿Cómo funciona el hashing de funciones? …

10 feature-construction 

Al estudiar la selección de covarianza, una vez leí el siguiente ejemplo. Con respecto al siguiente modelo: Su matriz de covarianza y matriz de covarianza inversa se dan de la siguiente manera, No entiendo por qué la independencia de e es decidido por la covarianza inversa aquí?yXxxyyy ¿Cuál es la …

10 machine-learning  bayesian  conditional-probability  covariance  graphical-model 

Simplemente estoy tratando de recalcular con dnorm () la probabilidad de registro proporcionada por la función logLik de un modelo lm (en R). Funciona (casi perfectamente) para un gran número de datos (por ejemplo, n = 1000): > n <- 1000 > x <- 1:n > set.seed(1) > y <- …

10 r  generalized-linear-model  likelihood  lm 

En los últimos años, varios académicos han planteado un problema perjudicial de las pruebas de hipótesis científicas, denominado "grado de libertad del investigador", lo que significa que los científicos deben tomar numerosas decisiones durante su análisis que sesgan hacia la búsqueda con un valor p <5%. Estas opciones ambiguas son, …

10 hypothesis-testing  inference  philosophical  reproducible-research  social-science 

Estoy tratando de aprender algunas estadísticas usando el libro, Biometry de Sokal y Rohlf (3e). Este es un ejercicio en el quinto capítulo que cubre la probabilidad, la distribución binomial y la distribución de Poisson. Me doy cuenta de que hay una fórmula para producir una respuesta a esta pregunta: …

10 self-study  binomial  proportion  power-analysis  type-i-and-ii-errors 

En muchos algoritmos de aprendizaje automático, el escalado de características (también conocido como escalado variable, normalización) es un paso de preprocesamiento común Wikipedia - Escalado de características - esta pregunta estaba cerrada Pregunta # 41704 - ¿Cómo y por qué funcionan la normalización y el escalado de características? Tengo dos …

10 machine-learning  feature-selection  cart 

¿Cuáles son los pasos involucrados en el uso de filtros de Kalman en modelos de espacio de estado? He visto un par de formulaciones diferentes , pero no estoy seguro de los detalles. Por ejemplo, Cowpertwait comienza con este conjunto de ecuaciones: θt=Gtθt-1+wtyt=F′tθt+vtyt=Ft′θt+vty_{t} = F^{'}_{t}\theta_{t}+v_{t} θt=Gtθt−1+wtθt=Gtθt−1+wt\theta_{t} = G_{t}\theta_{t-1}+w_{t} donde y …

10 kalman-filter  state-space-models 

Estoy confundido en cuanto a la fórmula correcta para los grados aproximados de libertad de uso para la prueba t de Welch. La fórmula de Satterthwaite (1946) es la fórmula más comúnmente citada, pero Welch dio una alternativa en 1947. No estoy seguro de cuál es preferible (o utilizado por …

10 hypothesis-testing  t-test  degrees-of-freedom 

Estoy leyendo un artículo que muestra las razones de riesgo para variables continuas, pero no estoy seguro de cómo interpretar los valores dados. Mi comprensión actual de las razones de riesgo es que el número representa la probabilidad relativa de [evento] dada alguna condición. Por ejemplo: si la razón de …

10 continuous-data  hazard 

Esta es la descripción de mi estudio. Estoy experimentando con tres plantas: A, B y C. Se supone que estas plantas reducen la glucosa en sangre para pacientes diabéticos. Quiero determinar cuál de estas tres plantas tiene un efecto más prolongado en la reducción de la glucosa en sangre después …

10 time-series  anova 

Configuración del problema Uno de los primeros problemas con los juguetes a los que quería aplicar PyMC es la agrupación no paramétrica: dado algunos datos, modelarlo como una mezcla gaussiana y conocer el número de grupos y la media y covarianza de cada grupo. La mayor parte de lo que …

10 bayesian  clustering  python  pymc  nonparametric-bayes 

Tengo de 3 a 5 medidas de un rasgo por individuo en dos condiciones diferentes (A y B). Estoy trazando el promedio de cada individuo en cada condición y uso el error estándar ( es decir , , con = número de mediciones) como barras de error.SD / N--√Sre/ /norteSD/\sqrt{N}nortenorteN …

10 standard-deviation  standard-error  error  error-propagation 

¿Tiene sentido calcular intervalos de confianza y probar hipótesis cuando hay datos disponibles de toda la población? En mi opinión, la respuesta es no, ya que podemos calcular con precisión los valores verdaderos de los parámetros. Pero entonces, ¿cuál es la proporción máxima de datos de la población original que …

10 hypothesis-testing  confidence-interval  sample-size  large-data  population 

Encontré una pregunta simple sobre la comparación de modelos flexibles (es decir, splines) frente a modelos inflexibles (por ejemplo, regresión lineal) en diferentes escenarios. La pregunta es: En general, ¿esperamos que el rendimiento de un método de aprendizaje estadístico flexible funcione mejor o peor que un método inflexible cuando: ¿El …

10 machine-learning  model 

Estoy leyendo páginas web para pruebas de bondad de ajuste, cuando llegué a la prueba Anderson-Darling y al criterio de Cramér-von Mises . Hasta ahora entendí el punto; parece que la prueba de Anderson-Darling y el criterio de Cramér-von Mises son similares, simplemente basados ​​en una función de ponderación diferente …

10 goodness-of-fit  anderson-darling