Estadísticas y Big Data

Me he encontrado con este problema varias veces, y los revisores solicitan más justificación para el uso de LMM, pruebas tradicionales en lugar de LMM o además de ellas, y tablas completas de estimaciones de parámetros similares a lo que informaría con un modelo lineal regular. . En este momento, …

8 mixed-model  lme4-nlme  reporting 

Estoy un poco confundido sobre la fórmula para calcular la covarianza en el proceso gaussiano (la adición de la varianza siempre me confunde, ya que no siempre se denota explícitamente). El origen de la confusión es que las fórmulas que se dan en Reconocimiento de patrones y Aprendizaje automático de …

8 machine-learning  covariance  covariance-matrix  kernel-trick  gaussian-process 

Según la página de Wikipedia de valor p : Cuando el valor p se calcula correctamente, esta prueba garantiza que la tasa de error Tipo I sea como máximo .αα\alpha Sin embargo, más abajo en la página se da esta fórmula: Pr(RejectH|H)=Pr(p≤α|H)=αPr(RejectH|H)=Pr(p≤α|H)=α\Pr(\mathrm{Reject}\; H|H) = \Pr(p \leq \alpha|H) = \alpha Suponiendo …

8 hypothesis-testing  p-value  type-i-and-ii-errors 

Estoy bastante confundido en cuanto a cómo puedo calcular los valores AP o mAP, ya que parece haber bastantes métodos diferentes. Específicamente quiero obtener los valores AP / mAP para la detección de objetos. Todo lo que sé con certeza es: Recuperación = TP / (TP + FN), Precisión = …

8 machine-learning  precision-recall  model-evaluation  average-precision  object-detection 

Al realizar un análisis exploratorio de datos, a menudo imprimiré los gráficos y escribiré comentarios / anotaciones, etc. ¿Las personas tienen sugerencias para una mejor metodología electrónica? Estoy especialmente interesado en python / R. Estoy buscando algo 'rápido (y sucio)' que no ralentice el trabajo exploratorio, pero que ayude a …

8 data-visualization  eda  project-management 

expertos! Tal vez, ¿sabes cómo calcular el intervalo de confianza para xgboost? La fórmula clásica con distribución t no puede ayudar, porque mis datos no se distribuyen normalmente. O no importa? Si sugiere algo de literatura, será muy útil, pero los enfoques en R y Python (en el contexto de …

8 confidence-interval  xgboost 

En general, si tenemos un gran conjunto de datos, podemos dividirlo en (1) capacitación, (2) validación y (3) prueba. Utilizamos la validación para identificar los mejores hiperparámetros en la validación cruzada (por ejemplo, C en SVM) y luego entrenamos el modelo usando los mejores hiperparámetros con el conjunto de entrenamiento …

8 machine-learning  cross-validation  scikit-learn  hyperparameter  optimization 

Quería estimar el intervalo de confianza para la desviación estándar de algunos datos. El código R se ve así: library(boot) sd_boot <- function (x, ind) { res <- sd(x$ReadyChange[ind], na.rm = TRUE) return(res) } data_boot <- boot::boot(data, statistic = sd_boot, R = 10000) plot(data_boot) Y tengo la siguiente trama: Estoy …

8 r  confidence-interval  standard-deviation  bootstrap 

He visto la siguiente justificación para la prueba de Wald de la hipótesis nula para un parámetro escalar . Cuando es el MLE para estimado a partir de una muestra independiente de tamaño , bajo la hipótesis nula tenemos en distribución como , donde es la información esperada para una …

8 hypothesis-testing  maximum-likelihood 

Realicé el lazo y luego dejé una validación cruzada cv<-cv.glmnet(df, df$Price, nfolds = 1500) Cuando trazo cv me sale lo siguiente: También noté que obtengo 2 lambdas diferentes: lambda.minylambda.1se ¿Cuál es la diferencia entre estas lambdas? ¿Qué puedo entender de la gráfica anterior en general (de qué se tratan estos …

8 r  cross-validation  interpretation  lasso 

¿Cuál sería la distribución de la siguiente ecuación? y=a2+2ad+d2y=a2+2ad+d2y = a^2 + 2ad + d^2 donde y son variables aleatorias de chi-cuadrado no centrales independientes con grados de libertad.aaaddd2M2M2 \textbf{M} OBS .: Los rv que generan y tienen y , digamos .unaaareddμ = 0μ=0\mu = 0σ2≠ 1σ2≠1\sigma^2 \neq 1σ2= cσ2=c\sigma^2 …

8 distributions  chi-squared  pdf 

Nuevo en estadística y aprendizaje automático y tomando algunos cursos en línea. Estoy tratando de entender la regresión logística con más detalles, y noté una diferencia en la fórmula entre el curso de Andrew Ng y el curso de aprendizaje estadístico de Stanford. A continuación publico una imagen de enlace …

8 regression  machine-learning  logistic 

Entiendo que la detección comprimida encuentra la solución más escasa para donde , , y , .y=Axy=Axy = Axx∈RDx∈RDx \in \mathbb{R}^DA∈Rk×DA∈Rk×DA \in \mathbb{R}^{k \times D}y∈Rky∈Rky \in \mathbb{R}^{k}k&lt;&lt;Dk&lt;&lt;Dk << D De esta manera podemos reconstruir (el original) usando (la compresión), razonablemente rápido. Decimos que es la solución más escasa. La escasez …

8 lasso  sparse 

Comencemos asumiendo que tengo datos de sección transversal en , x_1 , x_2 (ver abajo para y , x_1 , x_2 ).yyyx1x1x_1x2x2x_2yyyx1x1x_1x2x2x_2 Quiero estimar el efecto de las variables x1x1x_1 y x2x2x_2 y su interacción ( x3=x1∗x2x3=x1∗x2x_3= x_1*x_2 ) en la variable yyy utilizando el enfoque de la función de …

8 econometrics  bootstrap  instrumental-variables  resampling  errors-in-variables 

En el aprendizaje por refuerzo, nuestro objetivo es optimizar la función de valor de estado o la función de valor de acción, que se definen de la siguiente manera: Vπs=∑p(s′|s,π(s))[r(s′|s,π(s))+γVπ(s′)]=Eπ[r(s′|s,a)+γVπ(s′)|s0=s]Vsπ=∑p(s′|s,π(s))[r(s′|s,π(s))+γVπ(s′)]=Eπ[r(s′|s,a)+γVπ(s′)|s0=s]V^{\pi}_s = \sum p(s'|s,\pi(s))[r(s'|s,\pi(s))+\gamma V^{\pi}(s')]=E_{\pi}[r(s'|s,a)+\gamma V^{\pi}(s')|s_0=s] Qπ(s,a)=∑p(s′|s,s)[r(s′|s,a)+γVπ(s′)]=Eπ[r(s′|s,a)+γVπ(s′)|s0=s,a0=a]Qπ(s,a)=∑p(s′|s,s)[r(s′|s,a)+γVπ(s′)]=Eπ[r(s′|s,a)+γVπ(s′)|s0=s,a0=a]Q^{\pi}(s,a) = \sum p(s'|s,s)[r(s'|s,a)+\gamma V^{\pi}(s')]=E_{\pi}[r(s'|s,a)+\gamma V^{\pi}(s')|s_0=s,a_0=a] Sin embargo, cuando usamos el método Q-learning para obtener …

8 reinforcement-learning  q-learning