Estadísticas y Big Data

Tengo un experimento en el que estoy tomando medidas de una variable normalmente distribuida ,YYY Y∼N(μ,σ)Y∼N(μ,σ)Y \sim N(\mu,\sigma) Sin embargo, experimentos anteriores han proporcionado alguna evidencia de que la desviación estándar es una función afín de una variable independiente , es decirσσ\sigmaXXX σ=a|X|+bσ=a|X|+b\sigma = a|X| + b Y∼N(μ,a|X|+b)Y∼N(μ,a|X|+b)Y \sim N(\mu,a|X| …

11 normal-distribution  estimation  experiment-design  model  heteroscedasticity 

En una clase de estadística elemental para la que yo era un TA, el profesor afirmó que a medida que aumenta la probabilidad de un error tipo I , la probabilidad de un error tipo II β disminuye, y lo contrario también es cierto. Entonces esto me sugiere que ρ …

11 probability  hypothesis-testing  type-i-and-ii-errors 

Estoy ejecutando un glmm con una variable de respuesta binomial y un predictor categórico. El efecto aleatorio viene dado por el diseño anidado utilizado para la recopilación de datos. Los datos se ven así: m.gen1$treatment [1] sucrose control protein control no_injection ..... Levels: no_injection control sucrose protein m.gen1$emergence [1] 1 …

11 r  generalized-linear-model  lme4-nlme  separation 

Estaba mirando esta página sobre la implementación de Monte Carlo de la prueba de Lillefors. No entiendo esta oración: Hay un error aleatorio en este cálculo de la simulación. Sin embargo, debido al truco de sumar 1 al numerador y al denominador al calcular el valor P, puede usarse directamente …

11 monte-carlo  lilliefors 

En Elementos de aprendizaje estadístico , se presenta un problema para resaltar problemas con k-nn en espacios de alta dimensión. Hay puntos de datos que están distribuidos uniformemente en una bola de unidad -dimensional.NNNppp La distancia media desde el origen hasta el punto de datos más cercano viene dada por …

11 self-study  proof  k-nearest-neighbour 

¿Puede alguien explicarme cuándo usar la impureza de Gini y la ganancia de información para los árboles de decisión? ¿Me puede dar situaciones / ejemplos de cuándo es mejor usar cuál?

11 machine-learning  classification  data-mining  cart 

Al leer las respuestas a este hilo , comencé a preguntarme cómo se relaciona la Prueba de Hipótesis con el Método Científico . Si bien tengo una buena comprensión de ambos, estoy teniendo dificultades para establecer la conexión precisa entre ellos. En un nivel alto, el método científico se reduce …

11 hypothesis-testing  inference 

Supongamos que tengo un conjunto de datos -dimensional donde las dimensiones son más o menos ortogonales (tienen correlación cero).NNNNNN ¿Hay alguna utilidad en términos de: Visualización Representación (para la eficiencia del clasificador) U otros criterios realizar una reducción de dimensionalidad en los datos?

11 pca  dimensionality-reduction 

De hecho, estoy dudando en preguntar esto, porque me temo que me remitirán a otras preguntas o a Wikipedia sobre el muestreo de Gibbs, pero no tengo la sensación de que describan lo que está a la mano. Dada una probabilidad condicional : p ( x | y ) y …

11 sampling  mcmc  gibbs 

Estaba mirando una encuesta de WashingtonTimes / ABC, y el desglose de resultados, especialmente por edad, me pareció sorprendente. Así que fui a buscar parcialidad. Decía: "la encuesta se realizó por teléfono del 11 al 14 de diciembre de 2014, entre una muestra aleatoria de 1,000 adultos. Las entrevistas se …

11 polling  politics 

Los estudios de eventos están muy extendidos en economía y finanzas para determinar el efecto de un evento en el precio de una acción, pero casi siempre se basan en razonamientos frecuentes. Una regresión OLS, durante un período de referencia que es distinto de la ventana del evento, generalmente se …

11 bayesian  econometrics  finance 

Tengo dos conjuntos de datos: Mi primer conjunto de datos es el valor de una inversión (en miles de millones de dólares) contra el tiempo, cada unidad de tiempo es un trimestre desde el primer trimestre de 1947. El tiempo se extiende hasta el tercer trimestre de 2002. Mi segundo …

11 r  self-study  data-visualization  autocorrelation 

Creé un histograma para Respondent Age y logré obtener una curva muy bonita en forma de campana, de la cual concluí que la distribución es normal. Luego realicé la prueba de normalidad en SPSS, con n = 169. El valor p (Sig.) De la prueba de Kolmogorov-Smirnov es inferior a …

11 normality-assumption  kolmogorov-smirnov  histogram  eda 

Estoy tratando de resolver el siguiente ejercicio, pero en realidad no tengo idea de cómo comenzar a hacerlo. Encontré un código en mi libro que parece, pero es un ejercicio completamente diferente y no sé cómo relacionarlos entre sí. ¿Cómo puedo comenzar a simular llegadas y cómo sé cuándo están …

11 r  monte-carlo  queueing 

Mientras leo el libro All of Statistics de Wassermann, noto una fina sutileza en la definición de los valores p, que no puedo entender. Informalmente, Wassermann define el valor p como [..] la probabilidad (bajo H0H0H_0 ) de observar un valor del estadístico de prueba igual o más extremo de …

11 hypothesis-testing  chi-squared  p-value