Estadísticas y Big Data

Esto también se preguntó en Computational Science. Estoy tratando de calcular una estimación bayesiana de algunos coeficientes para una autorregresión, con 11 muestras de datos: donde ϵ i es gaussiano con media 0 y varianza σ 2 e La distribución previa en el vector ( μ , α ) t …

12 bayesian  mathematical-statistics  posterior 

Tengo algunas preguntas sobre las anotaciones utilizadas en la Sección 9.2 Falta de superioridad inherente de cualquier clasificador en la clasificación de patrones de Duda, Hart y Stork . Primero permítanme citar algunos textos relevantes del libro: Para simplificar, considere un problema de dos categorías, donde el conjunto de entrenamiento …

12 machine-learning 

Estoy tratando de clasificar los mensajes en diferentes categorías usando un SVM. He compilado una lista de palabras / símbolos deseables del conjunto de entrenamiento. Para cada vector, que representa un mensaje, configuro la fila correspondiente a 1si la palabra está presente: "corpus" es: [Mary, little, lamb, star, twinkle] primer …

12 classification  svm  sparse 

En el curso de aprendizaje automático de Stanford, Andrew Ng mencionó la aplicación de ML en TI. Algún tiempo después, cuando obtuve DDoS de tamaño moderado (alrededor de 20k bots) en nuestro sitio, decidí luchar contra él usando un simple clasificador de red neuronal. Escribí este script de Python en …

12 classification  neural-networks  unsupervised-learning 

La ingeniería de características es a menudo un componente importante para el aprendizaje automático (se utilizó mucho para ganar la Copa KDD en 2010 ). Sin embargo, creo que la mayoría de las técnicas de ingeniería de características destruir cualquier significado intuitivo de las características subyacentes o son muy específicos …

12 predictive-models  feature-selection  feature-construction 

Estoy buscando un programa (en R o SAS o independiente, si es gratuito o de bajo costo) que realizará análisis de potencia para la regresión logística ordinal.

12 logistic  power-analysis  ordered-logit 

Supongamos que estoy construyendo un modelo predictivo en el que intento predecir múltiples eventos (por ejemplo, tanto el lanzamiento de un dado como el lanzamiento de una moneda). La mayoría de los algoritmos con los que estoy familiarizado trabajan con un solo objetivo, por lo que me pregunto si existe …

12 machine-learning  classification  predictive-models  multi-class 

Deseo saber qué literatura estadística es relevante para el siguiente problema, y ​​tal vez incluso una idea sobre cómo resolverlo. Imagine el siguiente problema: Tenemos 4 posibles tratamientos para alguna enfermedad. Para verificar qué tratamiento es mejor, realizamos una prueba especial. En la prueba, comenzamos por no tener sujetos, luego, …

12 hypothesis-testing  chi-squared  p-value  multiple-comparisons  sequential-analysis 

¿Qué expresan los términos orden de correlación cero, primero, segundo, tercero, etc.? ¡Gracias!

12 correlation 

Tengo 2 preguntas generales / más teóricas. 1) Tengo curiosidad por saber cómo los SVM manejan las interacciones variables al construir modelos predictivos. Por ejemplo, si tengo dos funciones f1 y f2 y el objetivo depende de f1, f2 y digo f1 * f2 (o alguna función h (f1, f2)), …

12 machine-learning  predictive-models  svm  interaction 

La pregunta de ayer Determinar la precisión del modelo que estima la probabilidad de evento me dio curiosidad sobre la puntuación de probabilidad. La puntuación de Brier es una medida de error cuadrático medio. ¿El análogo significa la medida de rendimiento de error absoluto tener un nombre también?1N∑i=1N(predictioni−referencei)21N∑i=1N(predictioni−referencei)2\frac{1}{N}\sum\limits _{i=1}^{N}(prediction_i - …

12 classification  error  validation  scoring-rules  brier-score 

Estoy modelando un evento con dos resultados, ay b. He creado un modelo que estima la probabilidad de que a o b ocurra (es decir, el modelo calculará que a sucederá con un 40% de probabilidad yb sucederá con un 60% de probabilidad). Tengo un gran registro de resultados de …

12 predictive-models  scoring-rules 

¿Alguien puede decirme cómo hacer modelos de actualidad, frecuencia y valor monetario (RFM) y modelos de valor del cliente en R? Además, ¿alguien puede recomendarme algo de literatura al respecto?

12 r  references  marketing 

¿Cuál es una mejor función de costo para un árbol forestal aleatorio: índice de Gini o entropía? Estoy tratando de implementar un bosque aleatorio en Clojure.

12 classification  random-forest  cart 

¿Cuáles son los mejores métodos para ajustar el 'modo' de datos muestreados de una distribución continua? Dado que el modo es técnicamente indefinido (¿verdad?) Para una distribución continua, realmente pregunto '¿cómo encuentras el valor más común'? Si asume que la distribución principal es gaussiana, podría agrupar los datos y encontrar …

12 distributions  fitting  mode