Estadísticas y Big Data

Estoy interesado en el significado geométrico de la correlación múltiple RRR y el coeficiente de determinación R2R2R^2 en la regresión yi=β1+β2x2,i+⋯+βkxk,i+ϵiyi=β1+β2x2,i+⋯+βkxk,i+ϵiy_i = \beta_1 + \beta_2 x_{2,i} + \dots + \beta_k x_{k,i} + \epsilon_i , o en notación vectorial , y=Xβ+ϵy=Xβ+ϵ\mathbf{y} = \mathbf{X \beta} + \mathbf{\epsilon} Aquí la matriz de diseño …

24 regression  correlation  multiple-regression  r-squared  geometry 

Por lo general, la teoría de la probabilidad se enseña con los axiomas de Kolgomorov. ¿Los bayesianos también aceptan los axiomas de Kolmogorov?

24 probability  bayesian  kolmogorov-axioms 

¿Es posible realizar una regresión si todas las variables dependientes e independientes son variables categóricas?

24 regression  logistic  categorical-data 

Esta pregunta se migró de Mathematics Stack Exchange porque se puede responder en Cross Validated. Migrado hace 6 años . He estado estudiando el modelo de riesgos proporcionales de Cox, y esta pregunta se pasa por alto en la mayoría de los textos. Cox propuso ajustar los coeficientes de la …

24 survival  cox-model 

Normalmente, en el análisis de componentes principales (PCA) se utilizan las primeras PC y se eliminan las PC de baja varianza, ya que no explican gran parte de la variación en los datos. Sin embargo, ¿hay ejemplos en los que las PC de baja variación son útiles (es decir, se …

24 pca 

He leído un par de explicaciones del algoritmo EM (p. Ej., De Bishop's Pattern Recognition and Machine Learning y Roger and Gerolami First Course on Machine Learning). La derivación de EM está bien, lo entiendo. También entiendo por qué el algoritmo cubre algo: en cada paso mejoramos el resultado y …

24 missing-data  convergence  expectation-maximization 

Tengo un problema para aprovechar los beneficios de etiquetar un factor modelo como aleatorio por varias razones. Para mí, parece que en casi todos los casos la solución óptima es tratar todos los factores como fijos. Primero, la distinción entre fijo y aleatorio es bastante arbitraria. La explicación estándar es …

24 model-selection  random-effects-model  aic  fixed-effects-model  mixed-model 

¿Cuál es el método de muestreo más apropiado para evaluar el rendimiento de un clasificador en un conjunto de datos en particular y compararlo con otros clasificadores? La validación cruzada parece ser una práctica estándar, pero he leído que métodos como .632 bootstrap son una mejor opción. Como seguimiento: ¿La …

24 machine-learning  classification  predictive-models  cross-validation  bootstrap 

He leído en alguna parte de la literatura que la prueba de Shapiro-Wilk se considera la mejor prueba de normalidad porque, para un nivel de significancia dado, , la probabilidad de rechazar la hipótesis nula si es falsa es mayor que en el caso de la otra normalidad. pruebasαα\alpha ¿Podría …

24 hypothesis-testing  normal-distribution  normality-assumption 

Tengo valores para True Positive (TP)y de la False Negative (FN)siguiente manera: TP = 0.25 FN = 0.75 A partir de esos valores, ¿podemos calcular False Positive (FP)y True Negative (TN)?

24 roc  confusion-matrix  sensitivity-specificity 

¿Existe un método común utilizado para determinar cuántas muestras de entrenamiento se requieren para entrenar a un clasificador (un LDA en este caso) para obtener un umbral mínimo de precisión de generalización? Lo pregunto porque me gustaría minimizar el tiempo de calibración que generalmente se requiere en una interfaz cerebro-computadora.

24 classification 

Tengo una tabla de base de datos de transferencias de datos entre diferentes nodos. Esta es una gran base de datos (con casi 40 millones de transferencias). Uno de los atributos es el número de transferencias de bytes (nbytes) que varían de 0 bytes a 2 tera bytes. Me gustaría …

24 clustering  k-means 

Problema En la regresión, generalmente se calcula el error cuadrado medio (MSE) para una muestra: MSE = 1norte∑i = 1norte( g( xyo) - gˆ( xyo) )2MSE=1norte∑yo=1norte(sol(Xyo)-sol^(Xyo))2 \text{MSE} = \frac{1}{n} \sum_{i=1}^n\left(g(x_i) - \widehat{g}(x_i)\right)^2 para medir la calidad de un predictor. En este momento estoy trabajando en un problema de regresión en …

24 regression  error  loss-functions 

En realidad, quería preguntarle cómo puedo definir la condición de terminación para el descenso de gradiente. ¿Puedo detenerlo en función del número de iteraciones, es decir, considerando los valores de los parámetros para, por ejemplo, 100 iteraciones? ¿O debería esperar de modo que la diferencia en los valores de los …

24 algorithms  optimization  gradient-descent 

He leído que la prueba t es "razonablemente robusta" cuando las distribuciones de las muestras se apartan de la normalidad. Por supuesto, lo importante es la distribución muestral de las diferencias. Tengo datos para dos grupos. Uno de los grupos está muy sesgado en la variable dependiente. El tamaño de …

24 t-test  assumptions  normality-assumption  robust