Estadísticas y Big Data

Sé que los Residuos de Pearson estandarizados se obtienen de una manera probabilística tradicional: ri=yi−πiπi(1−πi)−−−−−−−−√ri=yi−πiπi(1−πi) r_i = \frac{y_i-\pi_i}{\sqrt{\pi_i(1-\pi_i)}} y los residuos de desviación se obtienen de una manera más estadística (la contribución de cada punto a la probabilidad): di=si−2[yilogπi^+(1−yi)log(1−πi)]−−−−−−−−−−−−−−−−−−−−−−−−−−√di=si−2[yilog⁡πi^+(1−yi)log⁡(1−πi)] d_i = s_i \sqrt{-2[y_i \log \hat{\pi_i} + (1 - y_i)\log(1-\pi_i)]} donde …

16 regression  logistic  generalized-linear-model  residuals  deviance 

Estoy tratando de entender la diferencia entre la selección de muestras y la endogeneidad y, a su vez, cómo los modelos de Heckman (para tratar con la selección de muestras) difieren de las regresiones de variables instrumentales (para tratar con la endogeneidad). ¿Es correcto decir que la selección de muestra …

16 instrumental-variables  endogeneity  2sls  heckman 

Esta afirmación se planteó en la respuesta principal a esta pregunta . Creo que la pregunta del "por qué" es lo suficientemente diferente como para justificar un nuevo hilo. Buscar en Google "medida exhaustiva de asociación" no produjo ningún éxito, y no estoy seguro de lo que significa esa frase.

16 correlation  normal-distribution  pearson-r  multivariate-normal 

Estoy siguiendo un tutorial aquí: http://www.r-bloggers.com/computing-and-visualizing-pca-in-r/ para obtener una mejor comprensión de PCA. El tutorial utiliza el conjunto de datos Iris y aplica una transformación de registro antes de PCA: Observe que en el siguiente código aplicamos una transformación logarítmica a las variables continuas según lo sugerido por [1] y …

16 r  pca  data-transformation  logarithm 

Así que he estado leyendo mucho sobre cómo interpretar correctamente un valor P, y de lo que he leído, el valor p no dice NADA sobre la probabilidad de que la hipótesis nula sea verdadera o falsa. Sin embargo, al leer la siguiente declaración: El valor p representa la probabilidad …

16 hypothesis-testing  p-value 

Actualmente estoy leyendo "Todas las estadísticas" de Larry Wasserman y estoy desconcertado por algo que escribió en el capítulo sobre la estimación de funciones estadísticas de modelos no paramétricos. El escribio "A veces podemos encontrar el error estándar estimado de una función estadística haciendo algunos cálculos. Sin embargo, en otros …

16 self-study  estimation  bootstrap  standard-error 

Suponga que tengo una función g(x)g(x)g(x) que deseo integrar ∫∞−∞g(x)dx.∫−∞∞g(x)dx. \int_{-\infty}^\infty g(x) dx. Por supuesto, suponiendo que g(x)g(x)g(x) va a cero en los puntos finales, sin ampliaciones, buena función. Una forma con la que he estado jugando es usar el algoritmo Metropolis-Hastings para generar una lista de muestras x1,x2,…,xnx1,x2,…,xnx_1, x_2, …

16 simulation  monte-carlo  metropolis-hastings  numerical-integration 

Pido disculpas de antemano por el hecho de que todavía estoy avanzando en esto. Estoy tratando de entender los pros y los contras de usar tanh (mapa -1 a 1) versus sigmoide (mapa 0 a 1) para mi función de activación neuronal. De mi lectura sonaba como algo menor con …

16 neural-networks 

Estoy trabajando en un alogoritmo en R para automatizar un cálculo de pronóstico mensual. Estoy usando, entre otros, la función ets () del paquete de pronóstico para calcular el pronóstico. Está funcionando muy bien. Desafortunadamente, para algunas series de tiempo específicas, el resultado que obtengo es extraño. A continuación, encuentre …

16 r  time-series  forecasting  exponential-smoothing 

¿Son los componentes de PCA (en el análisis de componentes principales) estadísticamente independientes si nuestros datos son multivariados normalmente distribuidos? Si es así, ¿cómo se puede demostrar / probar esto? Pregunto porque vi esta publicación , donde la respuesta principal dice: PCA no hace una suposición explícita de Gaussianity. Encuentra …

16 pca  independence  svd 

En la regresión de mínimos cuadrados parciales (PLSR) o la modelación de ecuaciones estructurales de mínimos cuadrados parciales (PLS-SEM), ¿a qué se refiere el término "parcial"?

16 multiple-regression  least-squares  terminology  sem  partial-least-squares 

Hace poco estuve leyendo un artículo que incorporó la aleatoriedad en su confianza e intervalos creíbles, y me preguntaba si esto es estándar (y, de ser así, por qué es algo razonable). Para establecer la notación, suponga que nuestros datos son x∈Xx∈Xx \in X y estamos interesados ​​en crear intervalos …

16 confidence-interval  credible-interval 

Al aprender la red neuronal convolucional, tengo preguntas sobre la siguiente figura. 1) C1 en la capa 1 tiene 6 mapas de características, ¿eso significa que hay seis núcleos convolucionales? Cada núcleo convolucional se utiliza para generar un mapa de características basado en la entrada. 2) S1 en la capa …

16 machine-learning  neural-networks  deep-learning  pattern-recognition  conv-neural-network 

Para la distribución normal, hay un estimador imparcial de la desviación estándar dada por: σ^unbiased=Γ(n−12)Γ(n2)12∑k=1n(xi−x¯)2−−−−−−−−−−−−√σ^unbiased=Γ(n−12)Γ(n2)12∑k=1n(xi−x¯)2\hat{\sigma}_\text{unbiased} = \frac{\Gamma(\frac{n-1}{2})}{\Gamma(\frac{n}{2})} \sqrt{\frac{1}{2}\sum_{k=1}^n(x_i-\bar{x})^2} La razón por la cual este resultado no es tan conocido parece ser que es en gran parte una curiosidad y no una cuestión de gran importancia . La prueba está cubierta …

16 mathematical-statistics  standard-deviation  unbiased-estimator 

El cálculo bayesiano aproximado es una técnica realmente genial para ajustar básicamente cualquier modelo estocástico, destinado a modelos donde la probabilidad es intratable (por ejemplo, puede tomar muestras del modelo si fija los parámetros pero no puede calcular la probabilidad numérica, algorítmica o analíticamente ). Al presentar el cálculo bayesiano …

16 bayesian  simulation  model  likelihood  abc