Estadísticas y Big Data

Me gusta entender la diferencia entre con o sin modelo de intercepción en regresión logística ¿Hay alguna diferencia entre ellos, excepto que con la intersección los coeficientes consideran el log (odds ratio) en relación con el grupo de referencia y sin la intersección consideran el log (odds)? por lo que …

14 regression  logistic  interpretation  model  intercept 

Estoy realmente confundido acerca de la diferencia de significado con respecto al contexto de regresión lineal de los siguientes términos: Estadística F R-cuadrado Error estándar residual Encontré este sitio web que me dio una gran comprensión de los diferentes términos involucrados en la regresión lineal, sin embargo, los términos mencionados …

14 linear-model  nonlinear-regression  linear  f-statistic 

Scikit tiene CalibratedClassifierCV , que nos permite calibrar nuestros modelos en un par X, y particular. También establece claramente quedata for fitting the classifier and for calibrating it must be disjoint. Si deben ser disjuntos, ¿es legítimo entrenar al clasificador con lo siguiente? model = CalibratedClassifierCV(my_classifier) model.fit(X_train, y_train) Me temo …

14 cross-validation  scikit-learn  validation  train  calibration 

¿Cuál es la fórmula (aproximada o exacta) para un intervalo de predicción para una variable aleatoria binomial? Suponga que Y∼Binom(n,p)Y∼Binom(n,p)Y \sim \mathsf{Binom}(n, p) , y observamos yyy (extraído de YYY ). El nnn es conocido. Nuestro objetivo es obtener un intervalo de predicción de 95% para un nuevo sorteo de …

14 confidence-interval  binomial  prediction-interval 

Entiendo el procedimiento y lo que controla. Entonces, ¿cuál es la fórmula para el valor p ajustado en el procedimiento BH para comparaciones múltiples? Justo ahora me di cuenta de que el BH original no producía valores p ajustados, solo ajustaba la condición de (no) rechazo: https://www.jstor.org/stable/2346101 . Gordon Smyth …

14 hypothesis-testing  p-value  multiple-comparisons  false-discovery-rate 

Las encuestas por ahí (digamos, Gallup) muestran un número absurdamente bajo de personas en comparación con el tamaño de la población (por ejemplo, tal vez mil personas de cientos de millones). Ahora, para mí, tomar muestras de una población como un medio para estimar las estadísticas de la población tiene …

14 sampling  sample-size 

Quiero saber si el proceso descrito a continuación es válido / aceptable y si hay alguna justificación disponible. La idea: los algoritmos de aprendizaje supervisados ​​no asumen estructuras / distribuciones subyacentes sobre los datos. Al final del día, generan estimaciones puntuales. Espero cuantificar la incertidumbre de las estimaciones de alguna …

14 machine-learning  confidence-interval  bootstrap  supervised-learning  gbm 

He visto el operador en todas partes en alguna revisión de literatura que estoy haciendo en Causality (ver, por ejemplo, esta entrada de wikipedia ). Sin embargo, no puedo encontrar una definición formal y general de este operador.reo ( x )reo(X)do(x) ¿Alguien puede señalarme una buena referencia sobre esto? Estoy …

14 references  causality  definition 

Tengo algunas dificultades para comprender la interpretación de la prueba KS de 2 muestras y cómo es diferente de una prueba t normal entre 2 grupos. Digamos que tengo hombres y mujeres haciendo alguna tarea y yo obtengo algunos puntajes de esa tarea. Mi objetivo final es determinar si los …

14 distributions  t-test  interpretation  kolmogorov-smirnov 

Aprendizaje de refuerzo: una introducción. Segunda edición, en progreso ., Richard S. Sutton y Andrew G. Barto (c) 2012, pp. 67-68. Resolver una tarea de aprendizaje de refuerzo significa, más o menos, encontrar una política que logre muchas recompensas a largo plazo. Para MDP finitos, podemos definir con precisión una …

14 markov-process  reinforcement-learning 

Tradicionalmente utilizamos modelos mixtos para modelar datos longitudinales, es decir, datos como: id obs age treatment_lvl yield 1 0 11 M 0.2 1 1 11.5 M 0.5 1 2 12 L 0.6 2 0 17 H 1.2 2 1 18 M 0.9 podemos suponer intercepción aleatoria o pendiente para diferentes …

14 machine-learning  data-transformation  random-forest  panel-data  large-data 

Sé que R tiene bibliotecas gam y mgcv para modelos de aditivos generalizados. Pero tengo dificultades para encontrar sus contrapartes en el ecosistema de Python (statsmodels solo tiene un prototipo en el sandbox). ¿Alguien sabe de las bibliotecas existentes de Python? Quién sabe, este podría ser un buen proyecto para …

14 gam 

Contexto : Quiero trazar una línea en un diagrama de dispersión que no aparece paramétrico, por lo tanto, estoy usando geom_smooth()en ggploten R. Devuelve automáticamente. geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs = "cs"). Use 'method = x' to …

14 r  gam  splines  loess  r  data-visualization  boxplot  mathematical-statistics  theory  sufficient-statistics  machine-learning  classification  correlation  svm  feature-selection  probability  stochastic-processes  machine-learning  reinforcement-learning 

En la regresión de cresta, la función objetivo a minimizar es:RSS+λ∑β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. ¿Se puede optimizar esto utilizando el método multiplicador de Lagrange? ¿O es una diferenciación directa?

14 regression  regularization  ridge-regression 

No puedo entender Thompson Sampling y cómo funciona. Estaba leyendo sobre Multi Arm Bandit y después de leer el algoritmo de confianza superior, muchos textos sugirieron que Thompson Sampling funciona mejor que UCB. ¿Qué es Thompson Sampling, en términos simples o simples? No dude en proporcionar artículos de referencia para …

14 machine-learning  definition  multiarmed-bandit