Estadísticas y Big Data

He estado buscando marcos teóricos para la selección de métodos (nota: no selección de modelos) y he encontrado muy poco trabajo sistemático motivado matemáticamente. Por "selección de método", me refiero a un marco para distinguir el método apropiado (o mejor, óptimo) con respecto a un problema o tipo de problema. …

11 machine-learning  methodology  theory 

Tengo cuatro modelos competitivos que utilizo para predecir una variable de resultado binaria (por ejemplo, situación laboral después de graduarme, 1 = empleado, 0 = no empleado) para n sujetos. Una métrica natural del rendimiento del modelo es la tasa de aciertos, que es el porcentaje de predicciones correctas para …

11 anova  chi-squared  generalized-linear-model 

El esquema estándar de la variable instrumental en términos de causalidad ( ->) es: Z -> X -> Y Donde Z es un instrumento, X una variable endógena e Y una respuesta. ¿Es posible que las siguientes relaciones: Z <- X ->Y Z <-> X ->Y también son válidos? Si …

11 causality  instrumental-variables  endogeneity 

Entonces, lo que he leído sobre el profeta de Facebook es que básicamente divide la serie temporal en tendencia y estacionalidad. Por ejemplo, un modelo aditivo se escribiría como: y( t ) = g( t ) + s ( t ) + h ( t ) + ety(t)=g(t)+s(t)+h(t)+et y(t) = …

11 regression  machine-learning  time-series  prophet 

Suponiendo que tengo dos variables aleatorias no independientes y quiero reducir la covarianza entre ellas tanto como sea posible sin perder demasiada "señal", ¿significa centrar la ayuda? Leí en alguna parte que el centrado medio reduce la correlación en un factor significativo, por lo que creo que debería hacer lo …

11 correlation  covariance  random-vector 

Mi pregunta es bastante semántica. Cuando un método produce rutinariamente valores p altos, se llama conservador. ¿Llamarías lo contrario, es decir, un método con una alta tasa de error tipo II liberal?

11 hypothesis-testing  statistical-significance  p-value  terminology  type-i-and-ii-errors 

Dada variable aleatoria , con distribución de probabilidad , la matriz de correlación es positivo semi-definidas, es decir, sus valores propios son positivos o ceronnnXiXiX_iP(X1,…,Xn)P(X1,…,Xn)P(X_1,\ldots,X_n)Cij=E[XiXj]−E[Xi]E[Xj]Cij=E[XiXj]−E[Xi]E[Xj]C_{ij}=E[X_i X_j]-E[X_i]E[X_j] Estoy interesado en las condiciones en que son necesarias y / o suficientes para que tenga valores propios cero. Por ejemplo, una condición suficiente …

11 correlation 

Como entendí, k-NN es un algoritmo de aprendizaje lento y no necesita una fase de entrenamiento. Entonces, ¿por qué necesitamos usar .fit()con sklearn y qué sucede cuando lo usamos?

11 classification  scikit-learn  k-nearest-neighbour 

¿Cuál es la mejor manera de dividir los datos de series temporales en conjuntos de tren / prueba / validación, donde el conjunto de validación se usaría para el ajuste de hiperparámetros? Tenemos 3 años de datos de ventas diarias, y nuestro plan es usar 2015-2016 como datos de capacitación, …

11 time-series  cross-validation  validation 

En su página wiki , los desarrolladores del estado de Stan: Algunos principios que no nos gustan: invariancia, Jeffreys, entropía En cambio, veo muchas recomendaciones de distribución normal. Hasta ahora utilicé métodos bayesianos que no dependían del muestreo, y me alegré de haber entendido por qué fue una buena opción …

11 bayesian  mcmc  prior  pymc  stan 

Mi comprensión de SVM es que es muy similar a una regresión logística (LR), es decir, se pasa una suma ponderada de características a la función sigmoidea para obtener una probabilidad de pertenecer a una clase, pero en lugar de la pérdida de entropía cruzada (logística) función, el entrenamiento se …

11 machine-learning  logistic  svm 

Estoy tratando de implementar el algoritmo Nelder-Mead para optimizar una función. La página de Wikipedia sobre Nelder-Mead es sorprendentemente clara sobre todo el algoritmo, excepto por su criterio de detención. Ahí dice tristemente: Verifique la convergencia [se necesita aclaración] . Probé y probé un par de criterios yo mismo: Deténgase …

11 optimization  algorithms 

Si consideramos un árbol de decisión completamente desarrollado (es decir, un árbol de decisión no podado) tiene una alta varianza y un bajo sesgo. El ensacado y los bosques aleatorios usan estos modelos de alta varianza y los agregan para reducir la varianza y así mejorar la precisión de la …

11 variance  random-forest  cart  bias  bagging 

A riesgo de hacer la pregunta específica del software, y con la excusa de su ubicuidad e idiosincrasia, quiero preguntar sobre la función biplot()en R y, más específicamente, sobre el cálculo y el trazado de sus flechas rojas superpuestas predeterminadas, correspondientes a las variables subyacentes. [Para dar sentido a algunos …

11 r  pca  biplot 

Los modelos de efectos lineales mixtos son extensiones de modelos de regresión lineal para datos que se recopilan y resumen en grupos. Las ventajas clave son que los coeficientes pueden variar con respecto a una o más variables de grupo. Sin embargo, estoy luchando con cuándo usar el modelo de …

11 regression  mixed-model  random-effects-model  linear