Estadísticas y Big Data predictive-models

5

¿Es importante el análisis de datos exploratorios al realizar modelos puramente predictivos?

Al construir un modelo predictivo utilizando técnicas de aprendizaje automático, ¿cuál es el punto de hacer un análisis exploratorio de datos (EDA)? ¿Está bien saltar directamente a la generación de características y construir su (s) modelo (s)? ¿Cómo son importantes las estadísticas descriptivas utilizadas en EDA?

23 machine-learning predictive-models descriptive-statistics eda

1

Explicación de lo que dijo Nate Silver sobre loess

En una pregunta que hice recientemente , me dijeron que era un gran "no-no" extrapolar con loess. Pero, en el artículo más reciente de Nate Silver en FiveThirtyEight.com , habló sobre el uso de loess para hacer predicciones electorales. Estaba discutiendo los detalles específicos de los pronósticos agresivos versus conservadores …

23 time-series forecasting predictive-models loess politics

3

Visualizando la calibración de la probabilidad predicha de un modelo

Supongamos que tengo un modelo predictivo que produce, para cada caso, una probabilidad para cada clase. Ahora reconozco que hay muchas formas de evaluar ese modelo si quiero usar esas probabilidades para la clasificación (precisión, recuperación, etc.). También reconozco que una curva ROC y el área debajo de ella se …

23 data-visualization classification predictive-models binary-data calibration

3

Sitios para competiciones de modelado predictivo

Participo en competencias de modelado predictivo en Kaggle , TunedIt y CrowdAnalytix . Creo que estos sitios son una buena forma de "hacer ejercicio" para estadísticas / aprendizaje automático. ¿Hay otros sitios que debería conocer? ¿Cómo se sienten con respecto a las competiciones donde el anfitrión tiene la intención de …

23 machine-learning predictive-models

2

Modelos generativos versus modelos discriminatorios (en contexto bayesiano)

¿Cuáles son las diferencias entre los modelos generativos y discriminativos (discriminantes) (en el contexto del aprendizaje bayesiano y la inferencia)? ¿Y qué tiene que ver con la predicción, la teoría de la decisión o el aprendizaje no supervisado?

22 bayesian predictive-models unsupervised-learning

3

¿Cómo predecir el resultado con solo casos positivos como entrenamiento?

En aras de la simplicidad, digamos que estoy trabajando en el ejemplo clásico de correos electrónicos no deseados / no deseados. Tengo un conjunto de 20000 correos electrónicos. De estos, sé que 2000 son spam, pero no tengo ningún ejemplo de correos electrónicos que no sean spam. Me gustaría predecir …

21 machine-learning predictive-models unsupervised-learning supervised-learning semi-supervised

2

¿Técnicas de aumento de datos para conjuntos de datos generales?

En muchas aplicaciones de aprendizaje automático, los llamados métodos de aumento de datos han permitido construir mejores modelos. Por ejemplo, suponga un conjunto de entrenamiento de100100100 imágenes de gatos y perros. Al girar, reflejar, ajustar el contraste, etc., es posible generar imágenes adicionales a partir de las originales. En el …

21 machine-learning predictive-models dataset independence data-augmentation

2

Función de "interés" para preguntas de StackExchange

Esta pregunta se migró de Mathematics Stack Exchange porque se puede responder en Cross Validated. Migrado hace 8 años . Estoy tratando de armar un paquete de minería de datos para los sitios de StackExchange y, en particular, estoy estancado en tratar de determinar las preguntas "más interesantes". Me gustaría …

20 data-mining predictive-models

2

Bayesiano pensando en sobreajustar

Dediqué mucho tiempo al desarrollo de métodos y software para validar modelos predictivos en el dominio estadístico frecuentista tradicional. Al poner en práctica más ideas bayesianas y enseñar, veo algunas diferencias clave que aceptar. Primero, el modelo predictivo bayesiano le pide al analista que piense detenidamente sobre las distribuciones anteriores …

20 bayesian cross-validation predictive-models validation regression-strategies

2

Impulso: ¿por qué la tasa de aprendizaje se llama parámetro de regularización?

El parámetro de velocidad de aprendizaje ( ) en Gradient Boosting reduce la contribución de cada nuevo modelo base, típicamente un árbol poco profundo, que se agrega en la serie. Se demostró que aumenta drásticamente la precisión del conjunto de pruebas, lo cual es comprensible ya que con pasos más …

19 machine-learning data-mining predictive-models boosting overfitting

1

Modelado predictivo: ¿debería importarnos el modelado mixto?

Para el modelado predictivo, ¿debemos preocuparnos por conceptos estadísticos como los efectos aleatorios y la no independencia de las observaciones (medidas repetidas)? Por ejemplo.... Tengo datos de 5 campañas de correo directo (ocurridas en el transcurso de un año) con varios atributos y una bandera de compra. Idealmente, usaría todos …

19 machine-learning predictive-models repeated-measures assumptions

2

¿Cómo predecir cuándo ocurre el próximo evento, en función de los tiempos de eventos anteriores?

Soy estudiante de secundaria y estoy trabajando en un proyecto de programación de computadoras, pero no tengo mucha experiencia en estadísticas y datos de modelado más allá de un curso de estadística de secundaria, así que estoy un poco confundido. Básicamente, tengo una lista razonablemente grande (supongo que es lo …

19 probability modeling data-mining predictive-models

4

Determinación de la función de ajuste de curva de mejor ajuste a partir de funciones lineales, exponenciales y logarítmicas

Contexto: De una pregunta sobre Mathematics Stack Exchange (¿Puedo construir un programa) , alguien tiene un conjunto de puntos y , y quiere ajustarle una curva, lineal, exponencial o logarítmica. El método habitual es comenzar eligiendo uno de estos (que especifica el modelo) y luego hacer los cálculos estadísticos.x−yx−yx-y Pero …

18 regression predictive-models model-selection curve-fitting

3

Obtención de una fórmula para los límites de predicción en un modelo lineal (es decir, intervalos de predicción)

Tomemos el siguiente ejemplo: set.seed(342) x1 <- runif(100) x2 <- runif(100) y <- x1+x2 + 2*x1*x2 + rnorm(100) fit <- lm(y~x1*x2) Esto crea un modelo de y basado en x1 y x2, utilizando una regresión OLS. Si deseamos predecir y para un x_vec dado, simplemente podríamos usar la fórmula que …

18 r regression predictive-models prediction-interval

1

AIC paso a paso: ¿existe controversia en torno a este tema?

He leído innumerables publicaciones en este sitio que están increíblemente en contra del uso de la selección gradual de variables usando cualquier tipo de criterio, ya sea basado en valores p, AIC, BIC, etc. Entiendo por qué estos procedimientos son en general bastante pobres para la selección de variables. La …

17 forecasting predictive-models arima aic stepwise-regression

Preguntas etiquetadas con predictive-models