Estadísticas y Big Data

Parece una pregunta bastante sencilla, pero cuando realmente lo pienso, el método de Stouffer no tiene sentido para mí. Esta es la razón por: Suponga una hipótesis de dos colas. Primero calculasziziz_i desde ppp-valores. Así que tomemos un ejemplo bastante simple. Tomemos dosppp-valores de 0.050.050.05. Esto significa quez1z1z_1 y z2z2z_2 …

9 p-value  meta-analysis  combining-p-values  z-statistic 

Estoy luchando con la implementación del estimador de máxima verosimilitud para un proceso de Hawkes (HP) multivariante. Específicamente, aunque la expresión analítica para una función de probabilidad logarítmica de un HP univariante se puede encontrar fácilmente en línea (por ejemplo, Ozaki, 1979), parece haber versiones diferentes (¿inconsistentes o equivalentes?) De …

9 maximum-likelihood  stochastic-processes  likelihood 

Me gustaría utilizar una red neuronal para predecir series de tiempo financieras. Vengo de un entorno de TI y tengo algunos conocimientos de redes neuronales y he estado leyendo sobre estos: TDNN RNN He estado buscando paquetes R para ellos y solo encontré uno para RNN, el paquete RSNNS que …

9 time-series  forecasting  neural-networks  finance 

Me estoy acercando a los tipos de datos y necesito ayuda: Si mira la imagen de arriba (tomada desde aquí ), tiene los tipos de datos como este: Cuantitativo (discreto, continuo) Cualitativa (Nominal (N), Ordinal (O), Binario (B)). Pero si miras la siguiente imagen (desde aquí ), las categorías son: …

9 categorical-data  dataset  ordinal-data  binary-data 

Estoy usando regresión logística para la clasificación binaria. Tengo un gran conjunto de datos (está muy desequilibrado: 19: 1). Así que uso scikit-learn's LogisticRegression()para entrenar en el 80% de mis datos etiquetados y luego los validé con el otro 20% (miré el área bajo ROC y la recuperación de precisión …

9 regression  logistic  regression-coefficients 

¿Cómo calcular la media, la varianza, la mediana, la desviación estándar y el modo de distribución? Si genero números al azar que forman la distribución normal, he especificado la media como m=24.2desviación estándar como sd=2.2: > dist = rnorm(n=1000, m=24.2, sd=2.2) Entonces puedo hacer lo siguiente: Media: > mean(dist) [1] …

9 r  distributions  mean 

Deje ser iid dibuja de . ¿Cómo se distribuyen las estadísticas de pedido mínimo y máximo, respectivamente?x1,…,xnx1,…,xnx_1,\dots,x_nBeta(k2,k−p−12)Beta(k2,k−p−12)Beta\left(\frac{k}2,\frac{k-p-1}{2}\right) Agradecería mucho una referencia si es posible. En general, no estoy familiarizado con la obtención de estadísticas de pedidos. Editar: Dado que la distribución beta se puede interpretar como una estadística para la …

9 order-statistics  beta-distribution 

Ahora mismo estoy aprendiendo sobre teoría de modelos lineales, y una cosa que me sorprende es que, aunque E[Y]E[Y]\mathbb{E}[\mathbf{Y}] se define para un vector aleatorio Y=⎡⎣⎢⎢⎢⎢y1y2⋮yn⎤⎦⎥⎥⎥⎥Y=[y1y2⋮yn]\mathbf{Y} = \begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_n\end{bmatrix}, no se mencionan más momentos además de la matriz de covarianza. La búsqueda en Google …

9 self-study  moments 

Usando la prueba T de Student, T-Critical se calcula mediante: t =X¯-μ0 0s /norte√t=X¯−μ0s/nt = \frac{\bar{X} - \mu_{0}}{s / \sqrt{n}} Mirando el artículo de Wikipedia sobre la Estimación imparcial de la desviación estándar, hay una sección Resultado para la Distribución normal que menciona un factor de corrección para la desviación …

9 t-test  standard-deviation  unbiased-estimator  t-distribution 

El siguiente teorema proviene de la séptima edición de " Introducción a la estadística matemática " de Hogg, Craig y Mckean y se refiere a la condición necesaria y suficiente para la independencia de dos formas cuadráticas de variables normales. Este es un extracto bastante largo, pero agradecería algo de …

9 self-study  mathematical-statistics  quadratic-form 

Mi pregunta es sobre el clasificador vecino más cercano y sobre una declaración hecha en el excelente libro The Elements of Statistical Learning, de Hastie, Tibshirani y Friedman. La declaración es (p. 465, sección 13.3): "Debido a que usa solo el punto de entrenamiento más cercano al punto de consulta, …

9 classification  k-nearest-neighbour 

En el aprendizaje por refuerzo, tenemos una función de recompensa que informa al agente qué tan bien están funcionando sus acciones y estados actuales. En una configuración general, la función de recompensa es una función de tres variables: Estado actual SSS Acción actual en el estado actual π(s)=aπ(s)=a\pi(s) = a …

9 machine-learning  reinforcement-learning 

Estoy tratando con un problema relacionado con encontrar el gradiente de la función de pérdida de entropía cruzada wrt el parámetro donde:θθ\theta CE(θ)=−∑iyi∗log(y^i)CE(θ)=−∑iyi∗log(y^i)CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})} Donde, y es una entrada vectorial.y^i=softmax(θi)y^i=softmax(θi)\hat{y}_{i} = softmax(\theta_i)θiθi\theta_i Además, es un vector caliente de la clase correcta y es la predicción para cada clase que …

9 machine-learning  neural-networks 

Sabemos que si , entonces donde es la función Digamma ¿Hay una forma fácil para ?p∼Beta(α,β)p∼Beta(α,β)p \sim Beta(\alpha, \beta)E[lnp]=ψ(α)−ψ(α+β)E[ln⁡p]=ψ(α)−ψ(α+β) \mathbb{E}[\ln p] = \psi(\alpha) - \psi(\alpha + \beta) ψ(.)ψ(.)\psi(.)E[ln(1−p)]E[ln⁡(1−p)] \mathbb{E}[\ln (1-p)]

9 probability  distributions  beta-distribution 

Estoy aprendiendo sobre la regresión. He hecho algunas regresiones transversales que están bien. Recientemente hice una simple regresión de series de tiempo. Así que tengo vectores ay & x, cada uno con 1000 observaciones. Hice una simple regresión de ols en Excel que pensé que estaba bien. Sin embargo, mi …

9 regression  time-series  descriptive-statistics