Estadísticas y Big Data

Recientemente recibí un comentario de un revisor de un envío de una revista que me pidió que Informe cómo traté con los valores atípicos y los fringeliers . No había oído hablar del término "fringeliers" y cuando busqué en Google, había algunos artículos, pero ninguna definición concisa. Así que pensé …

8 terminology  outliers 

La regresión y el aprendizaje automático se utilizan en las ciencias naturales para probar hipótesis, estimar parámetros y hacer predicciones ajustando modelos a los datos. Sin embargo, cuando tengo un modelo a priori , no quiero hacer ningún ajuste, por ejemplo, un modelo de un sistema físico determinista calculado a …

8 modeling  simulation  goodness-of-fit  model-comparison 

En la selección de un ancho de banda para un Estimador de densidad del núcleo, el ancho de banda crítico según mi entendimiento es: "Para cada entero k, donde 1<k<n, podemos encontrar el ancho mínimo de h(k)tal manera que la estimación de densidad del núcleo tenga como máximo k máximos. …

8 econometrics  kernel-smoothing 

Recientemente encontré el siguiente estimador cuantil para una variable aleatoria continua en un artículo (no estadístico, aplicado): para un vector 100 longitudes , el cuantil del 1% se estima con . Así es como funciona: a continuación se muestra un gráfico de densidad de kernel de realizaciones del estimador partir …

8 quantiles 

Una pregunta de ejercicio hace Supongamos que son rvs que tienen una distribución Normal común con . Calcule el coeficiente de dependencia de la cola superior para todos .X1,X2X1,X2X_1, X_2norte( 0 , 1 )norte(0 0,1)N(0,1)Corr(X1,X2) = ρCorr⁡(X1,X2)=ρ\operatorname{Corr}(X_1, X_2) = \rhoρ ∈ [ - 1 , 1 ]ρ∈[-1,1]\rho \in [-1, 1] …

8 probability  random-variable  heavy-tailed 

Supongamos que observamos datos Y, XY,XY, X y me gustaría ajustar un modelo de regresión para E [YEl |X]E[Y|X]\mathbf{E}[Y \,|\, X]. Desafortunadamente,YYY a veces se mide con errores cuya media es distinta de cero. Dejar Z∈ { imparcial , sesgado }Z∈{unbiased,biased}Z \in \left\{\text{unbiased}, \text{biased}\right\} clima indicado YYYse mide con errores …

8 regression  bias  measurement-error  weighted-regression 

Esta es más una pregunta histórica: ¿quién inventó la notación por denotar independencia (condicional)?⊥⊥⊥⊥\perp \!\!\! \perp

8 probability  notation  history 

Supongamos que se ajusta a un modelo . ¿Existen implicaciones prácticas para la estimación del efecto de interacción si y x_2 están correlacionadas?y=x1+x2+x1×x2y=x1+x2+x1×x2y = x_1 + x_2 + x_1\times x_2x1x1x_1x2x2x_2 Entiendo que podría haber problemas de colinealidad si x1x1x_1 y x2x2x_2 están muy correlacionadas, pero eso no debería afectar el …

8 regression  correlation  interaction 

Me está costando llegar a la misma página que mi supervisor cuando se trata de validar mi modelo. He analizado los residuos (observados contra los valores ajustados) y utilicé esto como argumento para discutir los resultados obtenidos por mi modelo, sin embargo, mi supervisor insiste en que la única forma …

8 r  references  glmm  validation  glmmtmb 

Suponga que e son dos variables aleatorias que tienen RV binarias como sus componentes (Por lo tanto, ) y ambas ( y ) son intercambiables, es decir,X=(X1,...,Xn),:(Ω,A,P)→({0,1}n,2{0,1}n)X=(X1,...,Xn),:(Ω,A,P)→({0,1}n,2{0,1}n)X=(X_1, ..., X_n),: (\Omega, A,P)\to (\{0,1\}^n, 2^{{\{0,1\}}^n})Y=(Y1,...,Yn):(Ω,A,P)→({0,1}n,2{0,1}n)Y=(Y1,...,Yn):(Ω,A,P)→({0,1}n,2{0,1}n)Y=(Y_1, ..., Y_n):(\Omega, A,P)\to (\{0,1\}^n, 2^{{\{0,1\}}^n})Xi(ω)∈{0,1},Yi(ω)∈{0,1}Xi(ω)∈{0,1},Yi(ω)∈{0,1}X_i(\omega)\in\{0,1\}, Y_i(\omega) \in \{0,1\}XXXYYYP((X1,...,Xn)=(x1,...,xn))=P((Xσ(1),...,Xσ(n))=(x1,...,xn))P((X1,...,Xn)=(x1,...,xn))=P((Xσ(1),...,Xσ(n))=(x1,...,xn))P((X_1, ..., X_n)=(x_1, ..., x_n))= P((X_{\sigma(1)}, ..., X_{\sigma(n)})=(x_1, ..., x_n)) …

8 bayesian  exchangeability 

Tengo una variable aleatoria Y=eX1+eXY=eX1+eXY = \frac{e^{X}}{1 + e^{X}} Y yo sé X∼N(μ,σ2)X∼N(μ,σ2)X \sim N(\mu, \sigma^2). ¿Hay alguna manera de calcular E(Y)E(Y)\mathbb{E}(Y)? He tratado de resolver la integral, pero no he progresado mucho. ¿Es posible?

8 logistic  normal-distribution  expected-value 

Recibí esta pregunta en un cuestionario, preguntaba cuál sería el error de entrenamiento para un clasificador KNN cuando K = 1. ¿Qué significa el entrenamiento para un clasificador KNN? Mi comprensión sobre el clasificador KNN fue que considera todo el conjunto de datos y asigna a cualquier observación nueva el …

8 classification  supervised-learning  k-nearest-neighbour 

¿Tendría sentido equipar un modelo a propósito? Digamos que tengo un caso de uso donde sé que los datos no variarán mucho con respecto a los datos de entrenamiento. Estoy pensando aquí en la predicción del tráfico, donde el estado del tráfico sigue un conjunto fijo de patrones viaje matutino …

8 machine-learning  time-series  forecasting  prediction  overfitting 

Basado en Gradient Boosting Tree vs Random Forest . GBDT y RF utilizando diferentes estrategias para abordar el sesgo y la varianza. Mi pregunta es: ¿puedo volver a muestrear el conjunto de datos (con reemplazo) para entrenar múltiples GBDT y combinar sus predicciones como resultado final? Es equivalente a construir …

8 random-forest  cart  boosting  bagging  gradient 

La versión resumida de mi pregunta. (26 de diciembre de 2018) Estoy tratando de reproducir la Figura 2.2 de la Inferencia estadística de la era de la computadora de Efron y Hastie, pero por alguna razón que no puedo entender, los números no se corresponden con los del libro. Supongamos …

8 self-study  python  likelihood-ratio  neyman-pearson-lemma