Estadísticas y Big Data

¿En qué circunstancias se debe considerar el uso de métodos de regularización (cresta, lazo o regresión de ángulos mínimos) en lugar de OLS? En caso de que esto ayude a dirigir la discusión, mi interés principal es mejorar la precisión predictiva.

83 regression  least-squares  lasso  ridge-regression  fused-lasso 

¿Cómo se comparan los diferentes métodos de validación cruzada en términos de varianza y sesgo del modelo? Mi pregunta está en parte motivada por este hilo: número óptimo de pliegues en la validación cruzada de - pliegues : ¿es el CV de dejar uno solo siempre la mejor opción? KKK …

83 machine-learning  variance  cross-validation  bias  bias-variance-tradeoff 

¿Cuál es la diferencia entre los tres términos a continuación? percentil cuantil cuartilla

83 descriptive-statistics  quantiles  median  percentage 

Cuando se resuelven problemas de negocios utilizando datos, es común que al menos una suposición clave de que las estadísticas clásicas no sean válidas. La mayoría de las veces, nadie se molesta en verificar esas suposiciones, por lo que nunca se sabe. Por ejemplo, que muchas de las métricas web …

82 model-selection  nonparametric  outliers  robust  philosophical 

Echa un vistazo a este gráfico de Excel: La línea de "sentido común" de mejor ajuste aparecería como una línea casi vertical recta a través del centro de los puntos (editada a mano en rojo). Sin embargo, la línea de tendencia lineal según lo decidido por Excel es la línea …

82 regression  excel  intuition 

La función de activación de tanh es: tanh(x)=2⋅σ(2x)−1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 Donde σ(x)σ(x)\sigma(x) , la función sigmoide, se define como: σ(x)=ex1+exσ(x)=ex1+ex\sigma(x) = \frac{e^x}{1 + e^x} . Preguntas: ¿Realmente importa entre usar esas dos funciones de activación (tanh vs. sigma)? ¿Qué …

82 machine-learning  neural-networks  optimization  cost-maximization 

Me he encontrado con el término "solución de forma cerrada" con bastante frecuencia. ¿Qué significa una solución de forma cerrada? ¿Cómo se determina si existe una solución de forma cerrada para un problema dado? Al buscar en línea, encontré información, pero nada en el contexto del desarrollo de un modelo …

82 regression  machine-learning  probability  terminology  stochastic-processes 

Estoy buscando una definición no técnica del lazo y para qué se utiliza.

82 regression  lasso  regularization  shrinkage 

Sé que esto es de un cómic famoso por aprovechar ciertas tendencias analíticas , pero en realidad parece bastante razonable después de unos minutos de mirar fijamente. ¿Alguien puede explicarme qué está haciendo este " teorema de Bayes modificado "?

81 bayesian  hierarchical-bayesian 

Me pregunto si existe una diferencia clara entre las llamadas distribuciones (modelos) infladas a cero y las llamadas distribuciones (modelos) de obstáculo a cero. Los términos aparecen con bastante frecuencia en la literatura y sospecho que no son iguales, pero ¿podría explicarme la diferencia en términos simples?

81 zero-inflation 

Bien, entonces creo que tengo una muestra lo suficientemente decente, teniendo en cuenta la regla general 20: 1: una muestra bastante grande (N = 374) para un total de 7 variables predictoras candidatas. Mi problema es el siguiente: cualquiera que sea el conjunto de variables predictoras que utilizo, las clasificaciones …

81 regression  logistic  sample-size  unbalanced-classes 

¿Cuál es la forma más limpia y fácil de explicarle a alguien el concepto de varianza? ¿Qué significa intuitivamente? Si uno le explica esto a su hijo, ¿cómo lo haría? Es un concepto que tengo dificultad para articular, especialmente cuando relaciono la varianza con el riesgo. Lo entiendo matemáticamente y …

81 distributions  variance  standard-deviation  inference  intuition 

Una pregunta reciente sobre la diferencia entre la confianza y los intervalos creíbles me llevó a comenzar a releer el artículo de Edwin Jaynes sobre ese tema: Jaynes, ET, 1976. "Intervalos de confianza versus intervalos bayesianos", en Fundamentos de teoría de la probabilidad, inferencia estadística y teorías estadísticas de la …

81 bayesian  confidence-interval 

Con respecto al valor p , me pregunto por qué el % y el % parecen ser el estándar de oro para . ¿Por qué no otros valores, como % o %?1115 555"statistical significance"6 666101010 ¿Existe una razón matemática fundamental para esto, o es solo una convención ampliamente celebrada?

80 hypothesis-testing  statistical-significance  p-value  history 

Para un intervalo de predicción en regresión lineal, todavía usa para generar el intervalo. También usa esto para generar un intervalo de confianza de . ¿Cuál es la diferencia entre los dos?E[Y| x0]mi^[ YEl | x]= β0 0^+ β^1XE^[Y|x]=β0^+β^1x\hat{E}[Y|x] = \hat{\beta_0}+\hat{\beta}_{1}xmi[ YEl | X0 0]E[Y|x0]E[Y|x_0]

80 regression  confidence-interval  predictive-models  prediction-interval