Estadísticas y Big Data

Soy un ingeniero de software que aprende el aprendizaje automático, particularmente a través de los cursos de aprendizaje automático de Andrew Ng . Mientras estudiaba la regresión lineal con la regularización , encontré términos que son confusos: Regresión con regularización L1 o regularización L2 LAZO Regresión de cresta Entonces mis …

33 regression  terminology  lasso  regularization  ridge-regression 

La regularización de Tikhonov y la regresión de crestas son términos que a menudo se usan como si fueran idénticos. ¿Es posible especificar exactamente cuál es la diferencia?

33 regression  terminology  regularization  ridge-regression  tikhonov-regularization 

Estoy buscando una explicación de cómo se calcula la importancia variable relativa en los árboles potenciados por gradientes que no es demasiado general / simplista como: Las medidas se basan en la cantidad de veces que se selecciona una variable para dividir, ponderada por la mejora al cuadrado del modelo …

33 machine-learning  data-mining  predictive-models  cart  boosting 

Estoy tratando de entender el origen de la forma curva de las bandas de confianza asociadas con una regresión lineal OLS y cómo se relaciona con los intervalos de confianza de los parámetros de regresión (pendiente e intercepción), por ejemplo (usando R): require(visreg) fit <- lm(Ozone ~ Solar.R,data=airquality) visreg(fit) Parece …

33 regression  confidence-interval 

¿Cómo se comparan los métodos de regularización de cresta, LASSO y elasticnet? ¿Cuáles son sus respectivas ventajas y desventajas? Cualquier buen documento técnico o apuntes de clase también serán apreciados.

33 references  lasso  regularization  ridge-regression  elastic-net 

Entiendo que los HMM (modelos ocultos de Markov) son modelos generativos, y CRF son modelos discriminativos. También entiendo cómo se diseñan y utilizan los CRF (campos aleatorios condicionales). Lo que no entiendo es en qué se diferencian de los HMM. Leí que en el caso de HMM, solo podemos modelar …

33 machine-learning  hidden-markov-model  natural-language  conditional-random-field 

He leído en algunas fuentes, incluida esta , que los bosques aleatorios no son sensibles a los valores atípicos (en la forma en que lo son la regresión logística y otros métodos de LD, por ejemplo). Sin embargo, dos piezas de intuición me dicen lo contrario: Cada vez que se …

33 random-forest  bootstrap  outliers  cart 

Sé que este es un tema bastante candente en el que nadie realmente puede dar una respuesta simple. Sin embargo, me pregunto si el siguiente enfoque no podría ser útil. El método bootstrap solo es útil si su muestra sigue más o menos (lea exactamente) la misma distribución que la …

33 bootstrap  sample-size  methodology 

Tengo un conjunto de datos X que tiene 10 dimensiones, 4 de las cuales son valores discretos. De hecho, esas 4 variables discretas son ordinales, es decir, un valor más alto implica una semántica más alta / mejor. 2 de estas variables discretas son categóricas en el sentido de que …

33 clustering  k-means  discrete-data  continuous-data  gaussian-mixture 

Andrew More define la ganancia de información como: IG(Y|X)=H(Y)−H(Y|X)IG(Y|X)=H(Y)−H(Y|X)IG(Y|X) = H(Y) - H(Y|X) donde es la entropía condicional . Sin embargo, Wikipedia llama a la cantidad anterior información mutua .H(Y|X)H(Y|X)H(Y|X) Wikipedia, por otro lado, define la ganancia de información como la divergencia Kullback-Leibler (también conocida como divergencia de información o …

33 information-theory 

¿Entonces qué? ¿Si no, porque no? Para una muestra en la línea, la mediana minimiza la desviación absoluta total. Parece natural extender la definición a R2, etc., pero nunca la he visto. Pero entonces, he estado en el jardín izquierdo durante mucho tiempo.

33 multivariate-analysis  spatial  median 

Mi padre es un entusiasta de las matemáticas, pero no le interesan mucho las estadísticas. Sería genial tratar de ilustrar algunos de los maravillosos datos estadísticos, y el CLT es un candidato excelente. ¿Cómo transmitirías la belleza matemática y el impacto del teorema del límite central a un no estadístico?

33 theory  central-limit-theorem 

En el curso de Redes neuronales y aprendizaje profundo de Andrew Ng en Coursera , dice que usar es casi siempre preferible a usar .tanhtanhtanhsigmoidsigmoidsigmoid La razón que da es que las salidas que usan centran alrededor de 0 en lugar de 's 0.5, y esto "hace que el aprendizaje …

33 machine-learning  neural-networks  backpropagation  sigmoid-curve 

Estoy realizando una agrupación jerárquica en los datos que he recopilado y procesado desde el volcado de datos reddit en Google BigQuery. Mi proceso es el siguiente: Recibe las últimas 1000 publicaciones en / r / política Reúne todos los comentarios Procese los datos y calcule una n x mmatriz …

33 clustering  distance  unsupervised-learning  hierarchical-clustering 

Entiendo cuál es la distribución predictiva posterior , y he estado leyendo sobre las comprobaciones predictivas posteriores , aunque todavía no tengo claro qué hace. ¿Qué es exactamente el control predictivo posterior? ¿Por qué algunos autores dicen que ejecutar verificaciones predictivas posteriores es "usar los datos dos veces" y no …

33 bayesian  model-selection  posterior