Estadísticas y Big Data

Realicé una descomposición SVD y una escala multidimensional de una matriz de datos de 6 dimensiones, para obtener una mejor comprensión de la estructura de los datos. Desafortunadamente, todos los valores singulares son del mismo orden, lo que implica que la dimensionalidad de los datos es de hecho 6. Sin …

9 pca  interpretation  dimensionality-reduction  svd 

Supongamos que tengo pares de observaciones dibujadas iid como para i = 1 , 2 , ... , n . Sea Z i = X i + Y i , y denote por Z i j el enésimo valor más grande observado de ZXi∼N(0,σ2x),Yi∼N(0,σ2y),Xi∼N(0,σx2),Yi∼N(0,σy2),X_i \sim \mathcal{N}\left(0,\sigma_x^2\right), Y_i \sim \mathcal{N}\left(0,\sigma_y^2\right),i=1,2,…,ni=1,2,…,ni=1,2,\ldots,nZi=Xi+Yi,Zi=Xi+Yi,Z_i = …

9 distributions  order-statistics  shrinkage 

Esta es una pregunta bastante general (es decir, no necesariamente específica para las estadísticas), pero he notado una tendencia en el aprendizaje automático y la literatura estadística donde los autores prefieren seguir el siguiente enfoque: Enfoque 1 : Obtenga una solución a un problema práctico formulando una función de costo …

9 optimization  function 

Estoy confundido sobre el análisis de permutación para la selección de características en un contexto de regresión logística. ¿Podría proporcionar una explicación clara de la prueba de permutación aleatoria y cómo se aplica a la selección de características? Posiblemente con algoritmo exacto y ejemplos. Finalmente, ¿cómo se compara con otros …

9 regression  logistic  feature-selection  permutation-test  shrinkage 

Según wiki, el criterio de convergencia más utilizado es "la asignación no ha cambiado". Me preguntaba si el ciclismo puede ocurrir si usamos ese criterio de convergencia. Me agradaría si alguien señalara una referencia a un artículo que dé un ejemplo de ciclismo o pruebe que esto es imposible.

9 clustering  algorithms  k-means 

La mayoría de los algoritmos de agrupación que he visto comienzan con la creación de una distancia de cada uno entre cada punto, lo que se vuelve problemático en conjuntos de datos más grandes. ¿Hay alguno que no lo haga? ¿O lo hace en algún tipo de enfoque parcial / …

9 clustering  algorithms  large-data 

Estoy trabajando con una serie temporal de puntajes de anomalías (el fondo es la detección de anomalías en redes de computadoras). Cada minuto, obtengo un puntaje de anomalía que me dice cuán "inesperado" o anormal es el estado actual de la red. Cuanto más alto sea el puntaje, más anormal …

9 time-series  outliers  threshold 

He ajustado dos modelos de ecuación de estimación generalizada (GEE) a mis datos: 1) Modelo 1: El resultado es longitudinal Sí / No variable (A) (año 1,2,3,4,5) con predictor continuo longitudinal (B) para los años 1,2,3,4,5. 2) Modelo 2: El resultado es la misma variable longitudinal Sí / No (A), …

9 logistic  gee 

Estoy modelando la predicción de diabetes usando la regresión logística. El conjunto de datos utilizado es el Sistema de Vigilancia de Factores de Riesgo del Comportamiento (BRFSS) del Centro para el Control de Enfermedades (CDC). Una de las variables independientes es la presión arterial alta. Es categórico con los siguientes …

9 logistic  missing-data 

El maravilloso paquete libsvm proporciona una interfaz python y un archivo "easy.py" que busca automáticamente los parámetros de aprendizaje (costo y gamma) que maximizan la precisión del clasificador. Dentro de un conjunto determinado de parámetros de aprendizaje, la precisión se operacionaliza mediante validación cruzada, pero creo que esto socava el …

9 cross-validation  svm 

Contexto: Tengo dos conjuntos de datos del mismo cuestionario realizado durante dos años. Cada pregunta se mide utilizando una escala de 5 Likert. Q1: esquema de codificación Por el momento, he codificado mis respuestas en un intervalo [0, 1], con 0 que significa "respuesta más negativa", 1 que significa "respuesta …

9 statistical-significance  likert 

Estoy buscando datos extremadamente no lineales para los que los modelos ARMA / ARIMA no funcionan bien. Sin embargo, veo algo de autocorrelación, y sospecho que tengo mejores resultados para la autocorrelación no lineal. 1 / ¿hay un equivalente del PACF para la correlación de rango? (en R?) 2 / …

9 r  correlation  nonparametric  garch  arma 

Tengo dos conjuntos de datos de estudios de asociación de todo el genoma. La única información disponible son las proporciones impares y sus intervalos de confianza (95%) para cada SNP genotipado. Deseo generar una parcela forestal que compare estas dos razones de posibilidades, pero no puedo encontrar la manera de …

9 confidence-interval  meta-analysis  genetics  odds-ratio 

Un equipo de fútbol inglés juega una serie de partidos contra diferentes oponentes de diferentes habilidades. Una casa de apuestas ofrece probabilidades para cada partido en cuanto a si será una victoria en casa, una victoria fuera o un empate. A mitad de la temporada, el equipo ha jugado partidos …

9 probability  games  gambling 

Bloqueado . Esta pregunta y sus respuestas están bloqueadas porque la pregunta está fuera de tema pero tiene un significado histórico. Actualmente no acepta nuevas respuestas o interacciones. Supongo que R tiene esto incorporado. ¿Cómo lo hago referencia?

9 r  normal-distribution