Estadísticas y Big Data

Encajo un conjunto de datos con una clase de destino binaria por el bosque aleatorio. En python, puedo hacerlo mediante randomforestclassifier o randomforestregressor. Puedo obtener la clasificación directamente de randomforestclassifier o podría ejecutar randomforestregressor primero y obtener un conjunto de puntajes estimados (valor continuo). Entonces puedo encontrar un valor de …

11 python  random-forest 

Estoy tratando de entender por qué OLS da un estimador sesgado de un proceso AR (1). Considere En este modelo, se viola la exogeneidad estricta, es decir, y están correlacionados pero y no están correlacionados. Pero si esto es cierto, ¿por qué no se cumple la siguiente derivación simple? ytεtyt-1εtPlim …

11 time-series  least-squares  bias  autoregressive  estimators 

Mi pregunta es sobre la diferencia conceptual entre Holt-Winters y ARIMA. Por lo que yo entiendo, Holt-Winters es un caso especial de ARIMA. Pero, ¿cuándo se prefiere un algoritmo sobre el otro? ¿Quizás Holt-Winters es incremental y, por lo tanto, sirve como un algoritmo en línea (más rápido)? Espero tener …

11 time-series  arima  exponential-smoothing 

Estoy experimentando una regresión gradual por el bien de la diversidad en mi enfoque del problema. Entonces, tengo 2 preguntas: ¿Cuáles son las ventajas de la regresión gradual? ¿Cuáles son sus puntos fuertes específicos? ¿Qué opina sobre el enfoque híbrido, donde utiliza la regresión gradual para seleccionar características y luego …

11 regression  feature-selection  stepwise-regression 

Para una tarea de procesamiento de lenguaje natural (PNL), a menudo se usan vectores word2vec como incrustación de las palabras. Sin embargo, puede haber muchas palabras desconocidas que no son capturadas por los vectores word2vec simplemente porque estas palabras no se ven con la suficiente frecuencia en los datos de …

11 natural-language  word2vec  lstm  word-embeddings 

Estoy haciendo un preprocesamiento de datos y luego construiré un Convonets en mis datos. Mi pregunta es: digamos que tengo un total de conjuntos de datos con 100 imágenes, estaba calculando la media de cada una de las 100 imágenes y luego las restaba de cada una de las imágenes, …

11 machine-learning  cross-validation  data-preprocessing 

¿Cuáles son las formas más aceptadas de visualizar los resultados de una prueba t independiente de dos muestras? ¿Se usa con mayor frecuencia una tabla numérica o algún tipo de gráfico? El objetivo es que un observador casual mire la figura e inmediatamente vea que probablemente sean de dos poblaciones …

11 data-visualization  t-test 

Considere un modelo AR ( ) (suponiendo una media cero por simplicidad):ppp xt=φ1xt−1+…+φpxt−p+εtxt=φ1xt−1+…+φpxt−p+εt x_t = \varphi_1 x_{t-1} + \dotsc + \varphi_p x_{t-p} + \varepsilon_t Se sabe que el estimador OLS (equivalente al estimador condicional de máxima verosimilitud) para está sesgado, como se señaló en un hilo reciente .φ:=(φ1,…,φp)φ:=(φ1,…,φp)\mathbf{\varphi} := (\varphi_1,\dotsc,\varphi_p) …

11 time-series  maximum-likelihood  autoregressive  unbiased-estimator 

(publicación bastante larga, lo siento. Incluye mucha información de fondo, así que no dudes en pasar a la pregunta en la parte inferior). Introducción: estoy trabajando en un proyecto en el que intentamos identificar el efecto de una variable endógena binaria, , en un resultado continuo, y . Se nos …

11 econometrics  interpretation  binary-data  instrumental-variables 

Tengo un problema con 6 clases. Así que construyo un clasificador multiclase, de la siguiente manera: para cada clase, tengo un clasificador de regresión logística, usando One vs. All, lo que significa que tengo 6 clasificadores diferentes. Puedo informar una matriz de confusión para cada uno de mis clasificadores. Pero …

11 machine-learning  logistic  classification  multi-class  confusion-matrix 

Cuando un conjunto de ecuaciones no puede resolverse analíticamente, entonces podemos usar un algoritmo de descenso de gradiente. Pero parece que también existe el método de simulación de Monte Carlo que puede usarse para resolver problemas que no tienen soluciones analíticas. ¿Cómo saber cuándo usar el descenso de gradiente y …

11 monte-carlo  gradient-descent 

Específicamente, suponga que e Y son variables aleatorias normales (independientes pero no necesariamente distribuidas de manera idéntica). Dado cualquier particular, una , hay una fórmula agradable para P ( max ( X , Y ) ≤ x ) o conceptos similares? ¿Sabemos que max ( X , Y ) se …

11 normal-distribution  extreme-value 

Problema básico Aquí está mi problema básico: estoy tratando de agrupar un conjunto de datos que contiene algunas variables muy sesgadas con recuentos. Las variables contienen muchos ceros y, por lo tanto, no son muy informativas para mi procedimiento de agrupación, que probablemente sea el algoritmo k-means. Bien, dices, simplemente …

11 clustering  data-transformation  k-means  count-data  compositional-data 

Estoy analizando una tabla de 2x2 de un pequeño conjunto de datos de 30 pacientes. Estamos intentando retrospectivamente encontrar algunas variables que den una pista sobre qué tratamiento elegir. Las variables (obs normal / extraño) y la decisión de tratamiento (A / B) son de especial interés y, por lo …

11 chi-squared  power  contingency-tables  fishers-exact 

Estoy tratando de modelar las intensidades medias de parásitos que afectan a un huésped en R usando un modelo binomial negativo. Sigo recibiendo 50 o más advertencias que dicen: In dpois(y, mu, log = TRUE) : non-integer x = 251.529000 ¿Cómo puedo lidiar con esto? Mi código se ve así: …

11 r  generalized-linear-model  negative-binomial