Estadísticas y Big Data

No tengo experiencia en la industria de minería de datos o big data, por lo que me encantaría escucharlo compartir alguna experiencia. ¿Las personas realmente ejecutan k-means, PAM, CLARA, etc. en un conjunto de datos realmente grande? ¿O simplemente seleccionan una muestra al azar? Si solo toman una muestra del …

10 clustering  data-mining  k-means  convergence  large-data 

Tengo un conjunto de datos que contiene 34 columnas de entrada y 8 columnas de salida. Una forma de resolver el problema es tomar las 34 entradas y construir un modelo de regresión individual para cada columna de salida. Me pregunto si este problema puede resolverse usando solo un modelo, …

10 neural-networks  deep-learning  multivariate-regression 

La dinámica hamiltoniana siempre supera en algunos casos a la caminata aleatoria en el algoritmo Metropolis. ¿Podría alguien explicar la razón con palabras simples sin demasiadas matemáticas?

10 mcmc 

¿O qué condiciones lo garantizan? En general (y no solo modelos normales y binomiales) supongo que la razón principal que rompió esta afirmación es que hay inconsistencia entre el modelo de muestreo y el anterior, pero ¿qué más? Estoy empezando con este tema, así que realmente aprecio ejemplos fáciles

10 bayesian  variance  information-theory 

\newcommand{\E}{\mathbb{E}}\newcommand{\P}{\mathbb{P}} El Teorema del límite central (CLT) establece que para independientes e idénticamente distribuidos (iid) con y , la suma converge a una distribución normal como : E [ X i ] = 0 Var ( X i ) < ∞ n → ∞ n ∑ i = 1 X …

10 markov-process  central-limit-theorem 

Utilizo RNN bidireccional para detectar un evento de ocurrencia desequilibrada. La clase positiva es 100 veces menos frecuente que la clase negativa. Si bien no se utiliza la regularización, puedo obtener un 100% de precisión en el conjunto de trenes y un 30% en el conjunto de validación. Enciendo la …

10 neural-networks  deep-learning  regularization  rnn 

Leí este subtítulo en un documento y nunca he visto a AUC descrito de esta manera en ningún otro lugar. ¿Es esto cierto? ¿Hay alguna prueba o una forma simple de ver esto? La figura 2 muestra la precisión de predicción de variables dicotómicas expresadas en términos del área bajo …

10 classification  roc  auc 

Quiero profundizar en el aprendizaje automático (teoría y aplicación en finanzas). Quiero preguntar qué tan relevantes son el análisis complejo y el análisis funcional como base para el aprendizaje automático. ¿Necesito aprender estos temas o debo concentrarme en otro tema (si es así, en cuál?)

10 machine-learning  pac-learning 

Supongamos que tengo el mínimo, la media y el máximo de algún conjunto de datos, por ejemplo, 10, 20 y 25. ¿Hay alguna manera de: crear una distribución a partir de estos datos y saber qué porcentaje de la población probablemente se encuentra por encima o por debajo de la …

10 distributions  standard-deviation  mean  maximum  minimum 

En mi programa, necesito ejecutar N subprocesos separados, cada uno con su propio RNG, que se utiliza para muestrear un gran conjunto de datos. Necesito poder sembrar todo este proceso con un solo valor para poder reproducir los resultados. ¿Es suficiente simplemente aumentar secuencialmente la semilla para cada índice? Actualmente …

10 python  monte-carlo  random-generation  numpy 

¿Soy consciente de probar el supuesto de riesgos proporcionales en el contexto de los modelos Cox PH, pero no he encontrado nada relacionado con los modelos paramétricos? ¿Hay alguna manera factible de probar la suposición de PH de ciertos modelos paramétricos? Parece que debería darse que los modelos paramétricos son …

10 survival  assumptions  proportional-hazards 

¿Existe alguna definición formal (matemática) de lo que los frecuentas entienden bajo '' probabilidad ''? Leí que es la frecuencia relativa de ocurrencia "a largo plazo", pero ¿hay alguna forma formal de definirlo? ¿Hay alguna referencia conocida donde pueda encontrar esa definición? EDITAR: Con frecuentista (vea el comentario de @whuber …

10 probability  frequentist  definition 

Sé que esto probablemente se haya discutido en otro lugar, pero no he podido encontrar una respuesta explícita. Estoy tratando de usar la fórmula R2= 1 - SSR / SSTR2=1-SSR/ /SSTR^2 = 1 - SSR/SST para calcular fuera de muestra R2R2R^2de un modelo de regresión lineal, donde SSRSSRSSR es la …

10 regression  machine-learning  r-squared  out-of-sample 

Deseo probar algunas de mis ideas que creo que son mejores que cualquier cosa que haya visto. Podría estar equivocado, pero me gustaría probar mis ideas y vencer mis dudas con observaciones más ciertas. Lo que he estado pensando hacer es lo siguiente: Definir analíticamente un conjunto de distribuciones. Algunos …

10 hypothesis-testing  estimation  pdf  kernel-smoothing  model-evaluation 

De acuerdo, mi mensaje original no pudo obtener una respuesta; entonces, déjenme plantear la pregunta de otra manera. Comenzaré explicando mi comprensión de la estimación desde una perspectiva teórica de decisión. No tengo entrenamiento formal y no me sorprendería si mi pensamiento es defectuoso de alguna manera. Supongamos que tenemos …

10 bias  loss-functions  frequentist  decision-theory  risk