Estadísticas y Big Data

Estoy tratando de obtener una perspectiva global sobre algunas de las ideas esenciales en el aprendizaje automático, y me preguntaba si existe un tratamiento integral de las diferentes nociones de pérdida (cuadrado, log, bisagra, proxy, etc.). Estaba pensando en algo similar a una presentación más completa y formal de la …

16 references  loss-functions 

Tengo curiosidad acerca de por qué tratamos el ajuste de GLMS como si fueran un problema especial de optimización. ¿Son ellos? Me parece que son solo la máxima probabilidad, y que escribimos la probabilidad y luego ... ¡la maximizamos! Entonces, ¿por qué utilizamos la puntuación de Fisher en lugar de …

16 generalized-linear-model  optimization  fisher-scoring 

Tengo datos mensuales de series temporales y me gustaría hacer pronósticos con detección de valores atípicos. Esta es la muestra de mi conjunto de datos: Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec 2006 7.55 7.63 7.62 7.50 7.47 7.53 7.55 7.47 7.65 7.72 7.78 7.81 …

16 r  time-series  forecasting  arima  outliers 

Recientemente, dos compañeros de trabajo diferentes han utilizado una especie de argumento sobre las diferencias entre las condiciones que me parece incorrecto. Ambos compañeros de trabajo usan estadísticas, pero no son estadísticos. Soy un novato en estadística. En ambos casos, sostuve que, debido a que no había una diferencia significativa …

16 statistical-significance 

Estaba revisando la documentación de Stan que se puede descargar desde aquí . Estaba particularmente interesado en su implementación del diagnóstico Gelman-Rubin. El artículo original Gelman y Rubin (1992) define el factor de reducción de escala potencial (PSRF) de la siguiente manera: Deje que sea ​​la ésima cadena de Markov …

16 mcmc  convergence  gibbs  metropolis-hastings  stan 

Estoy tratando de leer sobre la investigación en el área de regresión de alta dimensión; cuando ppp es mayor que nnn , es decir, p>>np>>np >> n . Parece que el término logp/nlog⁡p/n\log p/n aparece a menudo en términos de tasa de convergencia para estimadores de regresión. Por ejemplo, aquí …

16 regression  lasso  convergence  high-dimensional 

Estoy buscando antecedentes no informativos para que la distribución beta funcione con un proceso binomial (Hit / Miss). Al principio pensé en usar que genera un PDF uniforme, o Jeffrey antes α = 0.5 , β = 0.5 . Pero en realidad estoy buscando antecedentes que tengan el mínimo efecto …

16 bayesian  prior  beta-distribution  uninformative-prior 

Esta es una cuestión de terminología. A veces veo que las personas se refieren a las redes neuronales profundas como "perceptrones de varias capas", ¿por qué es esto? Un perceptrón, me enseñaron, es un clasificador (o regresor) de una sola capa con una salida de umbral binario que usa una …

16 neural-networks  perceptron 

En la práctica, el uso de una prueba T estándar para verificar la importancia de un coeficiente de regresión lineal es una práctica común. La mecánica del cálculo tiene sentido para mí. ¿Por qué es que la distribución T puede usarse para modelar el estadístico de prueba estándar usado en …

16 regression  hypothesis-testing  linear-model  t-distribution 

Tengo un gran conjunto de datos de contaminación que se han registrado cada 10 minutos durante el transcurso de 2 años, sin embargo, hay una serie de lagunas en los datos (incluidos algunos que van durante algunas semanas a la vez). Los datos parecen ser bastante estacionales y hay una …

16 time-series  missing-data  data-imputation 

Mi pregunta es: ¿Cuál es la relación matemática entre el distribución Beta y los coeficientes del modelo de regresión logística ? Para ilustrar: la función logística (sigmoidea) viene dada por f(x)=11+exp(−x)f(x)=11+exp⁡(−x)f(x) = \frac{1}{1+\exp(-x)} y se usa para modelar probabilidades en el modelo de regresión logística. Sea AAA un resultado dicotómico …

16 regression  logistic  mathematical-statistics  beta-distribution 

¿Cuál es la diferencia entre las cadenas de Markov y los procesos de Markov? Estoy leyendo información contradictoria: a veces la definición se basa en si el espacio de estado es discreto o continuo, y otras veces se basa en si el tiempo es discreto o continuo. Diapositiva 20 de …

16 terminology  stochastic-processes  markov-process 

En el libro de reconocimiento de patrones y aprendizaje automático (fórmula 1.27), da dondex=g(y),px(x)es el pdf que corresponde apy(y)py(y)=px(x)∣∣∣dxdy∣∣∣=px(g(y))|g′(y)|py(y)=px(x)|dxdy|=px(g(y))|g′(y)|p_y(y)=p_x(x) \left | \frac{d x}{d y} \right |=p_x(g(y)) | g'(y) |x=g(y)x=g(y)x=g(y)px(x)px(x)p_x(x)py(y)py(y)p_y(y) con respecto al cambio de la variable. Los libros dicen que es porque las observaciones que caen en el rango , …

16 machine-learning  probability  self-study  derivative  jacobian 

Construí una curva ROC para un sistema de diagnóstico. El área bajo la curva se estimó entonces no paramétricamente como AUC = 0,89. Cuando intenté calcular la precisión en el umbral óptimo (el punto más cercano al punto (0, 1)), ¡obtuve la precisión del sistema de diagnóstico de 0,8, que …

16 roc  reliability  accuracy  auc 

¿Hay alguna explicación intuitiva para esta terminología? ¿Por qué es así, y no los predictores regresan sobre el resultado? Idealmente, espero que una explicación adecuada de por qué existe esta terminología ayudará a los estudiantes a recordarla y les impedirá decirla al revés.

16 regression  terminology  teaching