Estadísticas y Big Data

Me gustaría estudiar eventos raros en una población finita. Como no estoy seguro de qué estrategia es la más adecuada, agradecería consejos y referencias relacionadas con este asunto, aunque soy consciente de que se ha cubierto en gran medida. Simplemente no sé por dónde empezar. Mi problema es de ciencias …

27 logistic  rare-events 

Necesito usar variables binarias (valores 0 y 1) en k-means. Pero k-means solo funciona con variables continuas. Sé que algunas personas todavía usan estas variables binarias en k-means ignorando el hecho de que k-means solo está diseñado para variables continuas. Esto es inaceptable para mí. Preguntas: Entonces, ¿cuál es la …

27 r  clustering  binary-data  k-means  mixed-type-data 

¿Puede alguien decirme la diferencia entre los núcleos en SVM: Lineal Polinomio Gaussiano (RBF) Sigmoideo Porque, como sabemos, ese kernel se utiliza para asignar nuestro espacio de entrada al espacio de características de alta dimensionalidad. Y en ese espacio de características, encontramos el límite linealmente separable. ¿Cuándo se usan (bajo …

27 machine-learning  svm  pattern-recognition  kernel-trick 

Si xx\mathbf{x} e yy\mathbf{y} son dos vectores unitarios aleatorios independientes en RDRD\mathbb{R}^D (distribuidos uniformemente en una esfera unitaria), ¿cuál es la distribución de su producto escalar (producto de puntos) x⋅yx⋅y\mathbf x \cdot \mathbf y ? DDDlimD→∞σ2(D)→0,limD→∞σ2(D)→0,\lim_{D\to\infty}\sigma^2(D) \to 0,σ2(D)σ2(D)\sigma^2(D) Actualizar Ejecuté algunas simulaciones rápidas. Primero, al generar 10000 pares de vectores …

27 mathematical-statistics  linear-algebra  beta-distribution 

Siguiendo mi pregunta aquí , me pregunto si hay opiniones fuertes a favor o en contra del uso de la desviación estándar para detectar valores atípicos (por ejemplo, cualquier punto de datos que tenga más de 2 desviaciones estándar es un valor atípico). Sé que esto depende del contexto del …

27 outliers 

En el algoritmo de bosque aleatorio, Breiman (autor) construye una matriz de similitud de la siguiente manera: Envíe todos los ejemplos de aprendizaje a cada árbol del bosque Si dos ejemplos aterrizan en la misma hoja, incremente el elemento correspondiente en la matriz de similitud en 1 Normalizar la matriz …

27 random-forest  distance  similarities  euclidean 

La validación cruzada K-fold se puede utilizar para estimar la capacidad de generalización de un clasificador dado. ¿Puedo (o debería) también calcular una varianza agrupada de todas las ejecuciones de validación para obtener una mejor estimación de su varianza? Si no, ¿por qué? He encontrado documentos que usan la desviación …

27 machine-learning  cross-validation 

Estoy ejecutando un GEE en datos no balanceados de 3 niveles, usando un enlace logit. ¿Cómo difiere esto (en términos de las conclusiones que puedo extraer y el significado de los coeficientes) de un GLM con efectos mixtos (GLMM) y un enlace logit? Más detalles: Las observaciones son ensayos individuales …

27 logistic  mixed-model  generalized-linear-model  interpretation  gee 

Un paso común de preprocesamiento para los algoritmos de aprendizaje automático es el blanqueamiento de datos. Parece que siempre es bueno hacer el blanqueamiento, ya que des correlaciona los datos, lo que facilita el modelado. ¿Cuándo no se recomienda el blanqueamiento? Nota: me refiero a la descorrelación de los datos.

27 data-transformation 

Aprendí que debo comprobar la normalidad no en los datos en bruto sino en sus residuos. ¿Debo calcular los residuos y luego hacer la prueba W de Shapiro-Wilk? ¿Los residuos se calculan como: ?Xi−meanXi−meanX_i - \text{mean} Consulte esta pregunta anterior para mis datos y el diseño.

27 normality-assumption  residuals  assumptions 

Me pregunto si hay una manera simple de producir una lista de variables usando un bucle for y dar su valor. for(i in 1:3) { noquote(paste("a",i,sep=""))=i } En el código anterior, trato de crear a1, a2, a3, que asignan a los valores de 1, 2, 3. Sin embargo, R da …

27 r 

¿Hay 99 percentiles o 100 percentiles? ¿Y son grupos de números, o líneas divisorias, o punteros a números individuales? Supongo que la misma pregunta se aplicaría para cuartiles o cualquier cuantil. He leído que el índice de un número en un percentil particular (p), dado n elementos, es i = …

27 quantiles 

Suponga que quiero hacer una clasificación binaria (algo pertenece a la clase A o clase B). Hay algunas posibilidades para hacer esto en la capa de salida de una red neuronal: Use 1 nodo de salida. La salida 0 (<0.5) se considera clase A y 1 (> = 0.5) se …

27 machine-learning  classification  neural-networks 

Me sorprende que esto no se haya preguntado antes, pero no puedo encontrar la pregunta en stats.stackexchange. Esta es la fórmula para calcular la varianza de una muestra distribuida normalmente: ∑(X−X¯)2n−1∑(X−X¯)2n−1\frac{\sum(X - \bar{X}) ^2}{n-1} Esta es la fórmula para calcular el error cuadrático medio de las observaciones en una regresión …

27 variance  error 

¿Alguien puede decirme cómo juzgar si un modelo de aprendizaje automático supervisado está sobreajustado o no? Si no tengo un conjunto de datos de validación externo, quiero saber si puedo usar ROC de validación cruzada 10 veces para explicar el sobreajuste. Si tengo un conjunto de datos de validación externo, …

27 machine-learning