Estadísticas y Big Data

Si encajamos un GAM como: gam.fit = gam::gam(Outstate ~ Private + s(Room.Board, df = 2) + s(PhD, df = 2) + s(perc.alumni, df = 2) + s(Expend, df = 5) + s(Grad.Rate, df = 2), data = College) Donde, usamos el conjunto de datos College, que se puede encontrar dentro …

12 anova  gam 

Cómo construir un ejemplo de una distribución de probabilidad para la cual cumple, suponiendo \ mathbb {P} (X \ ne0) = 1 ?E(1X)=1E(X)E(1X)=1E(X)\mathbb{E}\left(\frac{1}{X}\right)=\frac{1}{\mathbb{E}(X)}P(X≠0)=1P(X≠0)=1\mathbb{P}(X\ne0)=1 La desigualdad que se deriva de la desigualdad de Jensen para un RV XXX valor positivo es como E(1X)≥1E(X)E(1X)≥1E(X)\mathbb{E}\left(\frac{1}{X}\right)\ge\frac{1}{\mathbb{E}(X)} (la desigualdad inversa si X&lt;0X&lt;0X<0 ). Esto se …

12 probability  distributions  random-variable  expected-value 

Estoy leyendo Construcción de modelos multivariables: un enfoque pragmático para el análisis de regresión basado en polinomios fraccionados para modelar variables continuas de Patrick Royston y Willie Sauerbrei. Hasta ahora, estoy impresionado y es un enfoque interesante que no había considerado antes. Pero los autores no tratan con datos faltantes. …

12 regression  missing-data  fractional-polynomial 

EDITAR: Estoy más interesado en los problemas técnicos y la metodología para determinar la probabilidad de un máximo "verdadero" en una población dada dada una estadística de muestra. Hay problemas para estimar la probabilidad de que los corredores sean más rápidos que el Sr. Bolt a partir de tiempos de …

12 normal-distribution  maximum 

La función objetivo del Análisis de Componentes Principales (PCA) es minimizar el error de reconstrucción en la norma L2 (ver sección 2.12 aquí . Otra vista está tratando de maximizar la varianza en la proyección. También tenemos una excelente publicación aquí: ¿Cuál es la función objetivo de PCA? ? ) …

12 machine-learning  pca  optimization  convex 

Tengo un diagrama de dispersión que tiene un tamaño de muestra que es igual al número de personas en el eje xy el salario medio en el eje y, estoy tratando de averiguar si el tamaño de la muestra tiene algún efecto sobre el salario medio. Esta es la trama: …

12 data-visualization  median  scatterplot  pandas 

¿Es incorrecto que las splines solo estén disponibles en los modelos GAM y no en los modelos GLM? Escuché esto hace un tiempo, y me pregunto si esto es solo una idea falsa, o si tiene algo de verdad. Aquí hay una ilustración:

12 generalized-linear-model  splines 

En el libro de Gelman &amp; Hill (2007) (Análisis de datos utilizando regresión y modelos multinivel / jerárquicos), los autores afirman que incluir parámetros medios redundantes puede ayudar a acelerar MCMC. El ejemplo dado es un modelo no anidado de "simulador de vuelo" (Ec. 13.9): yiγjδk∼N(μ+γj[i]+δk[i],σ2y)∼N(0,σ2γ)∼N(0,σ2δ)yi∼N(μ+γj[i]+δk[i],σy2)γj∼N(0,σγ2)δk∼N(0,σδ2) \begin{align} y_i &\sim N(\mu …

12 mcmc  hierarchical-bayesian  gibbs 

Las competiciones de Kaggle determinan las clasificaciones finales en función de un conjunto de pruebas extendido. Un conjunto de prueba extendido es una muestra; puede no ser representativo de la población que se está modelando. Dado que cada presentación es como una hipótesis, el algoritmo que ganó la competencia puede, …

12 machine-learning  probability  hypothesis-testing  sample  kaggle 

Hay varias publicaciones sobre cómo seleccionar funciones. Uno de los métodos describe la importancia de la característica basada en estadísticas t. En R varImp(model)aplicado en modelo lineal con características estandarizadas, se utiliza el valor absoluto del estadístico t para cada parámetro del modelo. Entonces, básicamente elegimos una característica basada en …

12 regression  p-value  feature-selection 

Tengo una trayectoria de un objeto en un espacio 2D (una superficie). La trayectoria se da como una secuencia de (x,y)coordenadas. Sé que mis medidas son ruidosas y, a veces, tengo valores atípicos evidentes. Entonces, quiero filtrar mis observaciones. Hasta donde entendí el filtro de Kalman, hace exactamente lo que …

12 python  kalman-filter  smoothing 

¿Cuál es la mejor manera de explicar por qué no es una buena medida, por ejemplo, en comparación con F1?Precisión + recuperaciónPrecision+Recall\text{Precision} + \text{Recall}

12 precision-recall 

En R, tengo una muestra de 348 medidas, y quiero saber si puedo asumir que normalmente se distribuye para futuras pruebas. Básicamente, siguiendo otra respuesta de Stack , estoy mirando el gráfico de densidad y el gráfico QQ con: plot(density(Clinical$cancer_age)) qqnorm(Clinical$cancer_age);qqline(Clinical$cancer_age, col = 2) No tengo una gran experiencia en …

12 r  normal-distribution 

En un curso de aprendizaje automático, aprendí que un uso común de PCA ( Análisis de componentes principales ) es acelerar otros algoritmos de aprendizaje automático. Por ejemplo, imagine que está entrenando un modelo de regresión logística. Si tiene un conjunto de entrenamiento para i de 1 a n y …

12 machine-learning  pca 

He estado estudiando la regresión lineal y la probé en el siguiente conjunto {(x, y)}, donde x especificó el área de la casa en pies cuadrados e y especificó el precio en dólares. Este es el primer ejemplo en Andrew Ng Notes . 2104,400 1600,330 2400,369 1416,232 3000,540 Desarrollé un …

12 regression  least-squares  gradient-descent  supervised-learning