Estadísticas y Big Data

Para simular una distribución normal a partir de un conjunto de variables uniformes, existen varias técnicas: El algoritmo Box-Muller , en el que se toman muestras de dos variables uniformes independientes en (0,1)(0,1)(0,1) y se transforman en dos distribuciones normales estándar independientes a través de: Z0=−2lnU1−−−−−−√cos(2πU0)Z1=−2lnU1−−−−−−√sin(2πU0)Z0=−2lnU1cos(2πU0)Z1=−2lnU1sin(2πU0) Z_0 = \sqrt{-2\text{ln}U_1}\text{cos}(2\pi U_0)\\ …

15 normal-distribution  simulation  uniform 

Para los datos distribuidos normalmente, la desviación estándar y la desviación absoluta media están relacionadas por:σσ\sigmaMADMAD\text{MAD} σ=Φ−1(3/4)⋅MAD≈1.4826⋅MAD,σ=Φ−1(3/4)⋅MAD≈1.4826⋅MAD,\sigma=\Phi^{-1}(3/4)\cdot \text{MAD}\approx1.4826\cdot\text{MAD}, donde Φ()Φ()\Phi() es la función de distribución acumulativa para la distribución normal estándar. ¿Existe alguna relación similar para otras distribuciones?

15 distributions  standard-deviation  mad 

Mi profesor de estadística lo dice, todos los libros que miro lo afirman: las pruebas post-hoc no son científicas. Primero debe derivar una hipótesis de la teoría, y luego recopilar datos y analizarlos. Pero realmente no entiendo cuál es el problema. Supongamos que veo cifras de ventas para diferentes colores …

15 post-hoc 

Estoy tratando de usar el análisis de variables instrumentales para inferir causalidad con datos observacionales. Me he encontrado con una regresión de mínimos cuadrados de dos etapas (2SLS) que probablemente aborde el problema de endogeneidad en mi investigación. Sin embargo, me gustaría que la primera etapa sea OLS y que …

15 stata  probit  instrumental-variables  2sls 

Mi experiencia es principalmente en aprendizaje automático y estaba tratando de aprender qué significaba la prueba de hipótesis bayesiana. Estoy de acuerdo con la interpretación bayesiana de la probabilidad y la conozco en el contexto de los modelos gráficos probabilísticos. Sin embargo, lo que me confunde es lo que significa …

15 hypothesis-testing 

"Variable ficticia" y "variable indicadora" son etiquetas que se usan con frecuencia para describir la pertenencia a una categoría con codificación 0/1; generalmente 0: no es miembro de la categoría, 1: miembro de la categoría. El 26/11/2014, una búsqueda rápida en scholar.google.com (con comillas adjuntas) revela que la "variable ficticia" …

15 categorical-data  terminology  categorical-encoding 

Considere una urna que contiene bolas de diferentes colores, siendo la proporción de bolas de color entre las bolas ( ). Extraigo bolas de la urna sin reemplazo y miro el número de diferentes colores entre las bolas que se dibujaron. ¿Cuál es la expectativa de en función de , …

15 probability  expected-value  coupon-collector-problem 

Nota: ahora se adjuntan 50 puntos de datos sin procesar. Quiero mostrar cuánto estudio he hecho, y cuántas páginas he completado durante la semana, divididas por día, y lo he hecho como se muestra a continuación: La gente me ha dicho que no pueden entender los gráficos, pero no tengo …

15 data-visualization 

Por lo que he visto, la fórmula de suavizado de Kneser-Ney (segundo orden) se da de una forma u otra como P2KN(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn)PKN2(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn) \begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{ C\left(w_{n-1}, w_n\right) - D, 0\right\}}{\sum_{w'} C\left(w_{n-1}, w'\right)} + \lambda(w_{n-1}) \times P_{cont}(w_n) \end{align} con el factor de normalización dado comoλ(wn−1)λ(wn−1)\lambda(w_{n-1}) λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙)λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙) \begin{align} \lambda(w_{n-1}) &= …

15 machine-learning  natural-language  naive-bayes  smoothing  language-models 

Recientemente compré un recurso de entrevista de ciencia de datos en el que una de las preguntas de probabilidad era la siguiente: Dados sorteos de una distribución normal con parámetros conocidos, ¿cómo puede simular sorteos de una distribución uniforme? Mi proceso de pensamiento original fue que, para una variable aleatoria …

15 self-study  normal-distribution  simulation  uniform 

En un modelo de efectos mixtos, la recomendación es utilizar un efecto fijo para estimar un parámetro si se incluyen todos los niveles posibles (p. Ej., Hombres y mujeres). Se recomienda además utilizar un efecto aleatorio para tener en cuenta una variable si los niveles incluidos son solo una muestra …

15 mixed-model  random-effects-model  fixed-effects-model  many-categories 

En las conferencias en video del curso de Estadística 110: Probabilidad de Harvard que se puede encontrar en iTunes y YouTube, me encontré con este problema. Traté de resumirlo aquí: Supongamos que se nos da una mano aleatoria de dos cartas de un mazo estándar. ¿Cuál es la probabilidad de …

15 probability  conditional-probability  intuition 

\newcommand{\E}{\mathbb{E}} ¿Cómo es la transformación normalizadora A ( ⋅ ) = ∫ d uV 1 / 3 ( μ )A(⋅)=∫duV1/3(μ)A(\cdot) = \displaystyle\int\frac{du}{V^{1/3}(\mu)} para la familia exponencial ¿derivado? Más específicamente : intenté seguir el boceto de expansión de Taylor en la página 3, diapositiva 1 aquí, pero tengo varias preguntas. Con …

15 data-transformation  residuals  asymptotics  exponential-family 

Tengo muestras de un conjunto de datos muy sesgado (que parece una distribución exponencial) sobre la participación de los usuarios (por ejemplo, número de publicaciones), que tienen diferentes tamaños (pero no menos de 200) y quiero comparar su media. Para eso, estoy usando pruebas t no emparejadas de dos muestras …

15 hypothesis-testing  t-test  nonparametric  mean  skewness 

Tengo dos variables: X e Y, y necesito hacer que el clúster sea máximo (y óptimo) = 5. La gráfica ideal de variables es la siguiente: Me gustaría hacer 5 grupos de esto. Algo como esto: Por lo tanto, creo que este es un modelo de mezcla con 5 grupos. …

15 r  clustering  gaussian-mixture