Estadísticas y Big Data

Necesito ayuda para explicar y citar textos estadísticos básicos, documentos u otras referencias, por qué generalmente es incorrecto usar la estadística de margen de error (MOE) informada en las encuestas para declarar ingenuamente un empate estadístico. Un ejemplo: el candidato A lidera al candidato B en una encuesta, por ciento, …

12 polling 

Mi pregunta está dirigida a técnicas para tratar datos incompletos durante el clasificador / entrenamiento modelo / ajuste. Por ejemplo, en un conjunto de datos con unos cientos de filas, cada fila tiene cinco dimensiones y una etiqueta de clase como último elemento, la mayoría de los puntos de datos …

12 missing-data 

Quiero realizar una prueba T de dos muestras para comprobar la diferencia entre dos muestras independientes que cada muestra cumple con los supuestos de la prueba T (se puede suponer que cada distribución es independiente e idénticamente distribuida como Normal con igual varianza) . La única complicación de la prueba …

12 t-test 

¿Cuándo tenderías a utilizar las curvas ROC sobre otras pruebas para determinar la capacidad predictiva de alguna medición en un resultado? Cuando se trata de resultados discretos (vivo / muerto, presente / ausente), ¿qué hace que las curvas ROC sean más o menos poderosas que algo así como un chi-cuadrado?

12 regression  roc 

Tengo un conjunto de datos compuesto por elementos de tres grupos, llamémoslos G1, G2 y G3. Analicé ciertas características de estos elementos y los dividí en 3 tipos de "comportamiento" T1, T2 y T3 (utilicé el análisis de conglomerados para hacerlo). Entonces, ahora tengo una tabla de contingencia de 3 …

12 contingency-tables 

¿Alguien sabe de una variación de la prueba exacta de Fisher que tenga en cuenta los pesos? Por ejemplo, muestreo de pesos . Entonces, en lugar de la tabla cruzada 2x2 habitual, cada punto de datos tiene un valor de "masa" o "tamaño" que pesa el punto. Datos de ejemplo: …

12 hypothesis-testing 

En inglés sencillo, ¿cómo se interpreta una trama de Bland-Altman? ¿Cuáles son las ventajas de usar una gráfica de Bland-Altman sobre otros métodos para comparar dos métodos de medición diferentes?

12 data-visualization  bland-altman-plot 

Mi pregunta es simple: ¿qué es la estimación conjunta? ¿Y qué significa en el contexto del análisis de regresión? Como se hace Estuve deambulando por Internet durante bastante tiempo, pero no encontré respuestas a estas preguntas.

12 regression  estimation  terminology 

Supongamos que tenemos un conjunto (medible y adecuadamente bien comportado) , donde es compacto. Además, supongamos que podemos extraer muestras de la distribución uniforme sobre wrt la medida de Lebesgue y que conocemos la medida . Por ejemplo, tal vez es una caja que contiene .S⊆B⊂RnS⊆B⊂RnS\subseteq B\subset\mathbb R^nBBBBBBλ(⋅)λ(⋅)\lambda(\cdot)λ(B)λ(B)\lambda(B)BBB[−c,c]n[−c,c]n[-c,c]^nSSS Para fijo …

12 probability  monte-carlo  unbiased-estimator  measure-theory 

He ajustado mi modelo y estoy tratando de entender si es bueno. He calculado las métricas recomendadas para evaluarlo ( / AUC / precisión / error de predicción / etc.) pero no sé cómo interpretarlas. En resumen, ¿cómo puedo saber si mi modelo es bueno en función de la métrica? …

12 goodness-of-fit  r-squared  accuracy  auc  diagnostic 

En el análisis bayesiano conjugado de Kevin Murphy de la distribución gaussiana , escribe que la distribución predictiva posterior es p ( x ∣ D ) = ∫p ( x ∣ θ ) p ( θ ∣ D ) dθp(x∣D)=∫p(x∣θ)p(θ∣D)dθ p(x \mid D) = \int p(x \mid \theta) p(\theta \mid …

12 bayesian  predictive-models  inference  posterior 

En el libro de aprendizaje profundo de Ian Goodfellow , está escrito que A veces, la función de pérdida que realmente nos importa (por ejemplo, error de clasificación) no es una que pueda optimizarse de manera eficiente. Por ejemplo, minimizar al mínimo la pérdida esperada de 0-1 es típicamente intratable …

12 neural-networks  deep-learning  loss-functions 

En la detección comprimida, existe una garantía de teorema de que tiene una solución dispersa única c (consulte el apéndice para obtener más detalles).argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc ¿Existe un teorema similar para el lazo? Si existe tal teorema, no …

12 regression  self-study  feature-selection  lasso  regularization 

He leído en varios lugares que R Squared no es una medida ideal cuando un modelo se ajusta usando LASSO. Sin embargo, no tengo claro exactamente por qué es eso. Además, ¿podría recomendar la mejor alternativa?

12 regression  lasso  r-squared  penalized 

¿El uso de "variacional" siempre se refiere a la optimización mediante inferencia variacional? Ejemplos: "Codificador automático variacional" "Métodos Bayesianos Variacionales" "Grupo de renormalización variacional"

12 machine-learning  optimization  inference