Estadísticas y Big Data

Tengo un problema con la prueba de mi( YEl | X) ∈ argminsol( X)mi[ ( Y- g( X) )2]mi(YEl |X)∈arg⁡minsol(X)mi[(Y-sol(X))2]E(Y|X) \in \arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big] que muy probablemente revelen un malentendido más profundo de las expectativas y expectativas condicionales. La prueba que conozco es la siguiente (puede encontrar otra …

19 mathematical-statistics  conditional-probability  proof  conditional-expectation 

¿Cuál es la mejor manera de mostrar una relación entre: variable continua y discreta, dos variables discretas? Hasta ahora he usado diagramas de dispersión para observar la relación entre variables continuas. Sin embargo, en el caso de variables discretas, los puntos de datos se acumulan a ciertos intervalos. Por lo …

19 data-visualization  categorical-data  random-variable 

A menudo las personas usan programas para obtener valores p, pero a veces, por cualquier razón, puede ser necesario obtener un valor crítico de un conjunto de tablas. Dada una tabla estadística con un número limitado de niveles de significación y un número limitado de grados de libertad, ¿cómo obtengo …

19 hypothesis-testing  statistical-significance  chi-squared  interpolation  tables 

Algunos libros indican un tamaño de muestra de tamaño 30 o superior es necesario para el teorema del límite central para dar una buena aproximación para X¯X¯\bar{X} . Sé que esto no es suficiente para todas las distribuciones. Deseo ver algunos ejemplos de distribuciones donde incluso con un gran tamaño …

19 mean  sample-size  normality-assumption  central-limit-theorem 

Tengo una tabla de datos T1, que contiene casi mil variables (V1) y alrededor de 200 millones de puntos de datos. Los datos son escasos y la mayoría de las entradas son NA. Cada punto de datos tiene un par único de identificación y fecha para distinguir de otro. Tengo …

19 r  generalized-linear-model  missing-data 

¿Existe una descripción realmente simple de las diferencias prácticas entre estas dos técnicas? Ambos parecen ser utilizados para el aprendizaje supervisado (aunque las reglas de asociación también pueden manejar sin supervisión). Ambos se pueden usar para la predicción Lo más parecido que he encontrado a una "buena" descripción es del …

19 data-mining  association-rules 

El siguiente escenario se ha convertido en las preguntas más frecuentes del trío de investigador (I), revisor / editor (R, no relacionado con CRAN) y yo (M) como creador de la trama. Podemos suponer que (R) es el típico revisor médico de grandes jefes, que solo sabe que cada parcela …

19 data-visualization  standard-error  paired-comparisons  paired-data  crossover-study 

Para un proyecto de ecología, mi grupo de laboratorio agregó vinagre a 4 tanques que contenían volúmenes iguales de agua de estanque, 1 control sin elodea (una planta acuática) y 3 tratamientos con la misma cantidad de elodea en cada uno. El propósito de agregar el vinagre era reducir el …

19 hypothesis-testing  t-test  sample-size 

Esto parece muy elemental, pero siempre me atoro en este punto ... La mayoría de los datos con los que trato no son normales, y la mayoría de los análisis se basan en una estructura GLM. Para mi análisis actual, tengo una variable de respuesta que es "velocidad de marcha" …

19 generalized-linear-model  stata  gamma-distribution 

Supongamos que estamos trabajando en un modelo de efectos aleatorios de algunos datos de conteo a lo largo del tiempo, y queremos controlar algunas tendencias. Normalmente, harías algo como: lmer(counts ~ dependent_variable + (1+t+I(t^2)|ID), family="poisson") para incluir una forma cuadrática para t. ¿Es posible utilizar algunas técnicas de suavizado más …

19 mixed-model  lme4-nlme  splines 

Es bastante común usar mapas de calor / contorno cuando se presentan hallazgos de EEG de frecuencia de tiempo. El esquema de color elegido a menudo (y uno que me gusta y uso) es el esquema de color "jet" (ver, por ejemplo, EEG de frecuencia de búsqueda de imágenes de …

19 data-visualization 

Hola, se puede mostrar lo mismo para obtener parámetros de forma y escala para el método modificado de máxima verosimilitud

19 r  maximum-likelihood  weibull 

En un comentario publicado recientemente aquí, un comentarista señaló un blog de Larry Wasserman que señala (sin ninguna fuente) que los choques de inferencia frecuente con el principio de probabilidad. El principio de probabilidad simplemente dice que los experimentos que producen funciones de probabilidad similares deberían producir una inferencia similar. …

19 inference  likelihood  frequentist  likelihood-principle 

Estoy trabajando en una simulación física 2D y estoy recopilando datos a tiempo en varios puntos. Estos puntos discretos están a lo largo de líneas verticales, con múltiples líneas en la dirección axial. Esto hace que el conjunto de datos sea efectivamente 4D. Por ejemplo, supongamos que tengo puntos de …

19 time-series  data-visualization  spatio-temporal 

Hay una distinción que me hace tropezar con modelos mixtos, y me pregunto si podría obtener algo de claridad. Supongamos que tiene un modelo mixto de datos de conteo. Hay una variable que sabe que quiere como efecto fijo (A) y otra variable para el tiempo (T), agrupada por decir …

19 r  mixed-model  lme4-nlme