Estadísticas y Big Data

Estoy tratando de usar un modelo LASSO para la predicción, y necesito estimar los errores estándar. Seguramente alguien ya ha escrito un paquete para hacer esto. Pero hasta donde puedo ver, ninguno de los paquetes en CRAN que hacen predicciones usando un LASSO devolverá errores estándar para esas predicciones. Entonces …

60 r  standard-error  prediction  lasso 

He producido modelos aditivos generalizados para la deforestación. Para tener en cuenta la autocorrelación espacial, he incluido la latitud y la longitud como un término de interacción suavizado (es decir, s (x, y)). He basado esto en la lectura de muchos artículos en los que los autores dicen "para tener …

60 r  modeling  spatial  autocorrelation  gam 

Me preguntaba exactamente por qué recopilar datos hasta un resultado significativo (p. Ej., p<.05p<.05p \lt .05 se obtiene ) (es decir, piratería informática) aumenta la tasa de error de Tipo I? También agradecería mucho una Rdemostración de este fenómeno.

60 r  hypothesis-testing  p-value  simulation  type-i-and-ii-errors 

En otros contextos, ortogonal significa "en ángulo recto" o "perpendicular". ¿Qué significa ortogonal en un contexto estadístico? Gracias por cualquier aclaración.

60 descriptive-statistics 

Supongamos que tenemos a alguien construyendo un modelo predictivo, pero que alguien no está necesariamente versado en los principios estadísticos o de aprendizaje automático adecuados. Tal vez estamos ayudando a esa persona mientras está aprendiendo, o tal vez esa persona está utilizando algún tipo de paquete de software que requiere …

60 machine-learning  classification  predictive-models  cross-validation  out-of-sample 

Por lo que sé, usar el lazo para la selección de variables maneja el problema de las entradas correlacionadas. Además, dado que es equivalente a la regresión de ángulo mínimo, no es lenta computacionalmente. Sin embargo, muchas personas (por ejemplo, personas que conozco haciendo bioestadística) todavía parecen estar a favor …

60 regression  feature-selection  lasso 

¿De qué manera (maneras?) Hay para explicar visualmente qué es ANOVA? Cualquier referencia, enlace (s) (paquetes R?) Será bienvenida.

60 data-visualization  anova  teaching 

Veo que una vez de las veinte pruebas totales que realizan, , por lo que suponen erróneamente que durante una de las veinte pruebas, el resultado es significativo ( ).p&lt;0.05p&lt;0.05p < 0.050.05=1/200.05=1/200.05 = 1/20 xkcd jelly bean comic - "Significativo" Título: significativo Desplácese por el texto: "'Entonces, eh, volvimos a …

60 hypothesis-testing  statistical-significance  confidence-interval  p-value  humor 

Estoy confundido sobre el blanqueamiento de ZCA y el blanqueamiento normal (que se obtiene dividiendo los componentes principales por las raíces cuadradas de los valores propios de PCA). Por lo que sé, xZCAwhite=UxPCAwhite,xZCAwhite=UxPCAwhite,\mathbf x_\mathrm{ZCAwhite} = \mathbf U \mathbf x_\mathrm{PCAwhite}, donde son vectores propios de PCA.UU\mathbf U ¿Cuáles son los usos …

60 pca  dimensionality-reduction  image-processing 

El descenso de gradiente y muchos otros métodos son útiles para encontrar mínimos locales en las funciones de costos. Pueden ser eficientes cuando la función de costo se puede evaluar rápidamente en cada punto, ya sea numérica o analíticamente. Tengo lo que me parece una situación inusual. Cada evaluación de …

59 gradient-descent  optimization  bayesian-optimization 

Entiendo que la estimación de regresión de cresta es la que minimiza la suma residual del cuadrado y una penalización en el tamaño deβββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] Sin embargo, no entiendo completamente la importancia del hecho de que βridgeβridge\beta_\text{ridge} difiere de …

59 regression  least-squares  ridge-regression  shrinkage 

Una limitación básica de la prueba de significación de hipótesis nula es que no permite que un investigador recopile evidencia a favor de la nula ( Fuente ) Veo esta afirmación repetida en varios lugares, pero no puedo encontrar justificación para ello. Si realizamos un estudio grande y no encontramos …

59 hypothesis-testing 

El mundo de las estadísticas se dividió entre frecuentistas y bayesianos. En estos días parece que todos hacen un poco de ambas cosas. ¿Cómo puede ser esto? Si los diferentes enfoques son adecuados para diferentes problemas, ¿por qué los padres fundadores de las estadísticas no vieron esto? Alternativamente, ¿han ganado …

59 bayesian  frequentist  history  philosophical 

No me siento cómodo con la información de Fisher, lo que mide y cómo es útil. Además, su relación con el enlace Cramer-Rao no es evidente para mí. ¿Alguien puede dar una explicación intuitiva de estos conceptos?

59 estimation  intuition  fisher-information 

¿Qué se quiere decir cuando decimos que tenemos un modelo saturado?

59 modeling  regression