Estadísticas y Big Data

Obviamente, hay muchas formas de abusar de los métodos estadísticos. ¿Conoce algún ejemplo de mala práctica estadística que se publicó por primera vez como un consejo explícito (por ejemplo, "debe usar este método para ..."), en revistas académicas acreditadas que luego fueron citadas repetidamente? Un ejemplo podría ser la regla …

13 references  statistical-falsehoods 

En Kahneman y Deaton (2010) † , los autores escriben lo siguiente:††^\dagger Esta regresión explica el 37% de la varianza, con un error cuadrático medio (RMSE) de 0.67852. Para eliminar los valores atípicos y los informes de ingresos inverosímiles, descartamos observaciones en las que el valor absoluto de la diferencia …

13 regression  outliers 

Dado un conjunto de datos con resultados binarios algunas matrices de predicción , el modelo de regresión logística estándar estima los coeficientes que maximizan la probabilidad binomial. Cuando X es rango completo, \ beta_ {MLE} es único; cuando la separación perfecta no está presente, es finita.y∈{0,1}ny∈{0,1}ny\in\{0,1\}^nX∈Rn×pX∈Rn×pX\in\mathbb{R}^{n\times p}βMLEβMLE\beta_{MLE}XXXβMLEβMLE\beta_{MLE} ¿Este modelo de …

13 logistic  maximum-likelihood  auc 

¿Es válido usar la longitud media ( hhh ) y el peso medio ( www ) de una población dada para calcular el índice de masa corporal promedio ( BMI=wh2BMI=wh2BMI = \frac{w}{h^2} ) para esa población?

13 mean  sample  population 

Por lo general, en la regresión logística, ajustamos un modelo y obtenemos algunas predicciones sobre el conjunto de entrenamiento. Luego validamos de manera cruzada esas predicciones de entrenamiento (algo así como aquí ) y decidimos el valor umbral óptimo basado en algo como la curva ROC. ¿Por qué no incorporamos …

13 logistic  cross-validation  optimization  roc  threshold 

Las clases pronosticadas a partir de la regresión logística (binaria) se determinan utilizando un umbral en las probabilidades de pertenencia a la clase generadas por el modelo. Según tengo entendido, normalmente se usa 0.5 por defecto. Pero variar el umbral cambiará las clasificaciones predichas. ¿Esto significa que el umbral es …

13 machine-learning  logistic  scikit-learn  hyperparameter 

Actualmente estoy trabajando en un problema en el que tenemos un pequeño conjunto de datos y estamos interesados ​​en el efecto de causalidad de un tratamiento en el resultado. Mi asesor me ha indicado que realice una regresión univariada en cada predictor con el resultado como respuesta, luego la asignación …

13 regression  multivariate-analysis  model-selection  causality  univariate 

Este es un pensamiento extraño que tuve al revisar algunas estadísticas antiguas y, por alguna razón, parece que no puedo pensar en la respuesta. Un PDF continuo nos dice la densidad de los valores de observación en cualquier rango dado. Es decir, si , por ejemplo, entonces la probabilidad de …

13 normal-distribution  maximum-likelihood  pdf 

He enviado una encuesta a una muestra de artistas. Una de las preguntas era indicar el porcentaje de ingresos derivados de: actividad artística, apoyo gubernamental, pensión privada, actividades no relacionadas con las artes. Alrededor del 65% de los individuos respondieron de manera tal que la suma del porcentaje es 100. …

13 survey  bias 

He estado tratando de aprender qué distribuciones usar en GLM, y estoy un poco confundido sobre cuándo usar la distribución normal. En una parte de mi libro de texto, dice que una distribución normal podría ser buena para modelar los puntajes de los exámenes. En la siguiente parte, pregunta qué …

13 normal-distribution  generalized-linear-model  gamma-distribution  inverse-gaussian-distrib 

No es necesario que una regresión de en sea ​​causal si se omiten variables que influyen tanto en como en . Pero si no fuera por las variables omitidas y el error de medición, ¿es una regresión causal? Es decir, si todas las variables posibles se incluyen en la regresión?yyyxxxxxxyyy

13 regression  bias  causality 

He notado que en muchas aplicaciones prácticas, los métodos basados ​​en MCMC se usan para estimar un parámetro a pesar de que el posterior es analítico (por ejemplo, porque los anteriores fueron conjugados). Para mí, tiene más sentido usar estimadores MAP en lugar de estimadores basados ​​en MCMC. ¿Alguien podría …

13 bayesian  mcmc  posterior 

Estoy leyendo sobre la mejor selección de subconjuntos en el libro Elementos de aprendizaje estadístico. Si tengo 3 predictores x1,x2,x3x1,x2,x3x_1,x_2,x_3 , creo 23=823=82^3=8 subconjuntos: Subconjunto sin predictores subconjunto con predictor x1x1x_1 subconjunto con predictorx2x2x_2 subconjunto con predictor x3x3x_3 subconjunto con predictores x1,x2x1,x2x_1,x_2 subconjunto con predictores x1,x3x1,x3x_1,x_3 subconjunto con predictores x2,x3x2,x3x_2,x_3 …

13 regression  feature-selection  lasso  bias-variance-tradeoff 

Creo que esto es un poco básico, pero digamos que tengo una variable aleatoria XXX , ¿es la probabilidad PAG( X≤ a )PAG(X≤un)P(X \leq a) la misma que P(f(X)≤f(a))PAG(F(X)≤F(un))P(f(X) \leq f(a)) para cualquier función continua con valor real fFf ?

13 probability  distributions 

En muchos artículos que consideran tratamientos y resultados, veo tablas (generalmente "tabla 1") de lo que podría llamarse variables molestas (a menudo demográficas, a veces afecciones médicas) con pruebas de significación y texto como "los grupos fueron ampliamente similares, allí no hubo diferencias significativas en XXXXX, ver Tabla ". Entonces, …

13 equivalence  controlling-for-a-variable