Estadísticas y Big Data

Preguntas y respuestas para personas interesadas en estadísticas, aprendizaje automático, análisis de datos, minería de datos y visualización de datos.


1
Comprensión intuitiva del teorema de Halmos-Savage
El teorema de Halmos-Savage dice que para un modelo estadístico dominado una estadística es suficiente si (y solo si) para todos hay una versión medible de la derivada Radon Nikodym donde es un medida privilegiada tal que para y .(Ω,A,P)(Ω,A,P)(\Omega, \mathscr A, \mathscr P)T:(Ω,A,P)→(Ω′,A′)T:(Ω,A,P)→(Ω′,A′)T: (\Omega, \mathscr A, \mathscr P)\to(\Omega', \mathscr …





2
¿Cómo justificar rigurosamente las tasas de error falso positivo / falso negativo elegidas y la relación de costo subyacente?
Contexto Un grupo de científicos sociales y estadísticos ( Benjamin et al., 2017 ) han sugerido recientemente que la tasa típica de falsos positivos ( = .05) utilizada como umbral para determinar la "significación estadística" debe ajustarse a un umbral más conservador. ( = .005). Un grupo competitivo de científicos …

1
Forma matricial de retropropagación con normalización de lotes
La normalización por lotes se ha acreditado con mejoras sustanciales de rendimiento en redes neuronales profundas. Un montón de material en Internet muestra cómo implementarlo en una activación por activación. Ya implementé backprop usando álgebra matricial, y dado que estoy trabajando en lenguajes de alto nivel (mientras confío en Rcpp(y …

5
cuando e independientemente
Y X ∼ χ 2 ( n - 1 ) Y ∼ Beta ( nXXX e son variables aleatorias distribuidas independientemente donde e . ¿Cuál es la distribución de ?YYYX∼χ2(n−1)X∼χ(n−1)2X\sim\chi^2_{(n-1)}Y∼Beta(n2−1,n2−1)Y∼Beta(n2−1,n2−1)Y\sim\text{Beta}\left(\frac{n}{2}-1,\frac{n}{2}-1\right)Z=(2Y−1)X−−√Z=(2Y−1)XZ=(2Y-1)\sqrt X La densidad conjunta de viene dada por(X,Y)(X,Y)(X,Y) fX,Y(x,y)=fX(x)fY(y)=e−x2xn−12−12n−12Γ(n−12)⋅yn2−2(1−y)n2−2B(n2−1,n2−1)1{x&gt;0,0&lt;y&lt;1}fX,Y(x,y)=fX(x)fY(y)=e−x2xn−12−12n−12Γ(n−12)⋅yn2−2(1−y)n2−2B(n2−1,n2−1)1{x&gt;0,0&lt;y&lt;1}f_{X,Y}(x,y)=f_X(x)f_Y(y)=\frac{e^{-\frac{x}{2}}x^{\frac{n-1}{2}-1}}{2^{\frac{n-1}{2}}\Gamma\left(\frac{n-1}{2}\right)}\cdot\frac{y^{\frac{n}{2}-2}(1-y)^{\frac{n}{2}-2}}{B\left(\frac{n}{2}-1,\frac{n}{2}-1\right)}\mathbf1_{\{x>0\,,\,00\,,\,|z|<w\}} El pdf marginal de es , lo que no me lleva …


1
Modelos aditivos generalizados (GAM), interacciones y covariables
He estado explorando una serie de herramientas para pronosticar, y he encontrado que los Modelos Aditivos Generalizados (GAM) tienen el mayor potencial para este propósito. ¡Los GAM son geniales! Permiten especificar modelos complejos de manera muy sucinta. Sin embargo, esa misma brevedad me está causando cierta confusión, específicamente con respecto …
12 r  modeling  gam  mgcv 

3
El investigador 1 ejecuta 1000 regresiones, el investigador 2 ejecuta solo 1, ambos obtienen los mismos resultados, ¿deberían hacer inferencias diferentes?
Imagine que un investigador está explorando un conjunto de datos y ejecuta 1000 regresiones diferentes y encuentra una relación interesante entre ellos. Ahora imagine que otro investigador con los mismos datos ejecuta solo 1 regresión, y resulta que es el mismo que el otro investigador tomó 1000 regresiones para encontrar. …

1
¿ recomiendan las transformaciones raíz -ésima?
Mi colega quiere analizar algunos datos después de transformar la variable de respuesta elevándola a la potencia de (es decir, ). y0.1251818\frac18y0,125y0.125y^{0.125} Me siento incómodo con esto, pero me cuesta articular por qué. No se me ocurre ninguna razón mecanicista para esta transformación. Tampoco lo he visto antes, y me …


2
Comprender la regresión logística y la probabilidad
¿Cómo funciona realmente la estimación de parámetros / Entrenamiento de regresión logística? Trataré de poner lo que tengo hasta ahora. La salida es y la salida de la función logística en forma de probabilidad dependiendo del valor de x: P(y=1|x)=11+e−ωTx≡σ(ωTx)P(y=1|x)=11+e−ωTx≡σ(ωTx)P(y=1|x)={1\over1+e^{-\omega^Tx}}\equiv\sigma(\omega^Tx) P(y=0|x)=1−P(y=1|x)=1−11+e−ωTxP(y=0|x)=1−P(y=1|x)=1−11+e−ωTxP(y=0|x)=1-P(y=1|x)=1-{1\over1+e^{-\omega^Tx}} Para una dimensión, las llamadas Probabilidades se definen de …

Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.