Estadísticas y Big Data

Hasta donde sé, la diferencia entre el modelo logístico y el modelo de respuesta fraccional (frm) es que la variable dependiente (Y) en la que frm es [0,1], pero la logística es {0, 1}. Además, frm usa el estimador de cuasi-verosimilitud para determinar sus parámetros. Normalmente, podemos utilizar glmpara obtener …

13 r  logistic  generalized-linear-model  quasi-likelihood 

Entonces, tengo un proceso aleatorio que genera variables aleatorias distribuidas normalmente XXX. Aquí está la función de densidad de probabilidad correspondiente: Quería estimar la distribución de unos pocos momentos de esa distribución original, digamos el primer momento: la media aritmética. Para hacerlo, dibujé 100 variables aleatorias 10000 veces para poder …

13 estimation  bias  fitting  lognormal  moments 

Mi pregunta se refiere a los antecedentes sobre los tamaños del efecto, en mi proyecto la medida es la de Cohen . Al leer la literatura, parece que a menudo se utilizan vagos antecedentes, como en el conocido ejemplo de ocho escuelas de un metanálisis bayesiano jerárquico. En el ejemplo …

13 bayesian  meta-analysis  effect-size 

Estoy modelando 15000 tweets para la predicción de sentimientos usando un LSTM de una sola capa con 128 unidades ocultas usando una representación similar a word2vec con 80 dimensiones. Obtengo una precisión de descenso (38% con aleatorio = 20%) después de 1 época. Más entrenamiento hace que la precisión de …

13 deep-learning  regularization  overfitting  lstm 

Los histogramas dan una buena idea de la distribución de una variable. Las gráficas de caja intentan hacer lo mismo, sin embargo, no dan una buena idea de la distribución de esta variable. No entiendo por qué la gente usa diagramas de cajas. Los histogramas son mejores en todos los …

13 data-visualization  histogram  boxplot 

Sé que los modelos estadísticos tradicionales como la regresión de riesgos proporcionales de Cox y algunos modelos de Kaplan-Meier se pueden usar para predecir días hasta la próxima ocurrencia de un evento, por ejemplo, falla, etc., es decir, análisis de supervivencia Preguntas ¿Cómo se puede usar la versión de regresión …

13 machine-learning  classification  survival  cox-model  kaplan-meier 

Digamos que quiero probar si dos muestras independientes tienen medios diferentes. Sé que la distribución subyacente no es normal . Si entiendo correctamente, mi estadística de prueba es la media , y para tamaños de muestra lo suficientemente grandes, la media debería distribuirse normalmente incluso si las muestras no lo …

13 t-test  central-limit-theorem  z-test 

Mientras leía casualmente algunos trabajos de mercado masivo sobre la teoría del caos en los últimos años, comencé a preguntarme cómo se podrían aplicar varios aspectos de la minería de datos y campos relacionados, como redes neuronales, reconocimiento de patrones, gestión de incertidumbre, etc. Hasta la fecha, yo Me he …

13 self-study  mathematical-statistics  references  data-mining  fractal 

Richard Dawkins ha descrito a Ronald Fisher como "el padre de las estadísticas modernas y el diseño experimental", una línea que se cita en la biografía de Fisher en Wikipedia . Y también Anders Hald lo llamó "un genio que casi por sí solo creó las bases para la ciencia …

13 history  ronald-fisher 

He leído sobre qué es la censura y cómo debe tenerse en cuenta en el análisis de supervivencia, pero me gustaría escuchar una definición menos matemática y una definición más intuitiva (¡las imágenes serían geniales!). ¿Alguien me puede dar una explicación de 1) censurar y 2) cómo afecta a cosas …

13 survival  cox-model  censoring 

Estoy tratando de entender la siguiente prueba de que el gaussiano tiene la máxima entropía. ¿Cómo tiene sentido el paso protagonizado? Una covarianza específica solo corrige el segundo momento. ¿Qué pasa con el tercer, cuarto, quinto momento, etc.?

13 entropy  information-theory  maximum-entropy 

Cuando evaluamos la calidad de un bosque aleatorio, por ejemplo, utilizando AUC, ¿es más apropiado calcular estas cantidades sobre las Muestras fuera de bolsa o sobre el conjunto de validación cruzada? Escuché que calcularlo a través de las muestras OOB ofrece una evaluación más pesimista, pero no veo por qué.

13 cross-validation  random-forest  auc 

En la sección 3.2 de Reconocimiento de patrones y Aprendizaje automático de Bishop , analiza la descomposición de la variación de sesgo, indicando que para una función de pérdida al cuadrado, la pérdida esperada puede descomponerse en un término de sesgo al cuadrado (que describe qué tan lejos están las …

13 self-study  variance  bias  regularization  loss-functions 

Tengo un pequeño conjunto de datos de 14 veces separadas para completar una tarea. Sin embargo, estoy teniendo dificultades para encontrar un gráfico apropiado para usar para graficar los datos. Si la muestra fuera más grande, usaría un diagrama de caja o un histograma, pero no estoy seguro de si …

13 data-visualization  descriptive-statistics  small-sample 

No entiendo cómo se derivó esta ecuación. P(I|M1∩M2)≤P(I)P(I′)⋅P(M1|I)P(M2|I)P(M1|I′)P(M2|I′)P(I|M1∩M2)≤P(I)P(I′)⋅P(M1|I)P(M2|I)P(M1|I′)P(M2|I′)P(I|M_{1}\cap M_{2}) \leq \frac{P(I)}{P(I')}\cdot \frac{P(M_{1}|I)P(M_{2}|I)}{P(M_{1}|I')P(M_{2}|I')} Esta ecuación fue del documento "Trial by Probability", donde se dio el caso de OJ Simpson como un problema de ejemplo. El acusado está siendo juzgado por doble asesinato y se presentan dos evidencias contra él. M1M1M_{1} es …

13 bayesian  conditional-probability  bayes