Estadísticas y Big Data

Necesito entrenar un clasificador lineal en mi computadora portátil con cientos de miles de puntos de datos y alrededor de diez mil características. ¿Cuáles son mis opciones? ¿Cuál es el estado del arte para este tipo de problema? Parece que el descenso de gradiente estocástico es una dirección prometedora, y …

15 classification 

Supongamos que he construido un modelo de predicción para la aparición de una enfermedad en particular en un conjunto de datos (el conjunto de datos de construcción del modelo) y ahora quiero verificar qué tan bien funciona el modelo en un nuevo conjunto de datos (el conjunto de datos de …

15 predictive-models  cross-validation  survival  roc 

Estoy trabajando con un conjunto de datos que tiene N alrededor de 200,000. En las regresiones, veo valores de significancia muy pequeños << 0.001 asociados con tamaños de efectos muy pequeños, por ejemplo, r = 0.028. Lo que me gustaría saber es, ¿hay alguna forma de principio de decidir un …

15 regression  probability  statistical-significance  sample-size 

Ha pasado un tiempo desde que miré la partición de árboles. La última vez que hice este tipo de cosas, me gusta la fiesta en R (creada por Hothorn). La idea de inferencia condicional a través del muestreo tiene sentido para mí. Pero rpart también tuvo atractivo. En la aplicación …

15 r  cart  rpart  partitioning 

Ha habido varias buenas preguntas y conjuntos de respuestas sobre libros introductorios o enfoques para aprender R, por ejemplo, aquí y aquí . Pero tengo un problema ligeramente diferente: la mejor manera de ejecutar una sesión de una hora (o varias sesiones de este tipo) en un laboratorio de computación …

15 r  teaching 

En realidad, estoy escribiendo una implementación de Bosques aleatorios, pero creo que la pregunta es específica de los árboles de decisión (independientemente de los RF). Entonces, el contexto es que estoy creando un nodo en un árbol de decisión y tanto la predicción como las variables objetivo son continuas. El …

15 algorithms  cart  random-forest 

¿Alguien tiene referencia a un resumen de análisis de tiempo de ejecución para algoritmos comunes de aprendizaje automático (diferentes tipos de NN, SVM, etc.)?

15 machine-learning  references  algorithms 

Digamos que tengo un gran conjunto de valores SSS que a veces se repiten. Deseo estimar el número total de valores únicos en el conjunto grande. Si tomo una muestra aleatoria de valores y determino que contiene valores únicos , ¿puedo usar esto para estimar el número de valores únicos …

15 estimation  sampling 

La pregunta que quiero hacer es esta: ¿cómo varía la proporción de muestras dentro de 1 SD de la media de una distribución normal a medida que aumenta el número de variables? (Casi) todos saben que en una distribución normal unidimensional, el 68% de las muestras se pueden encontrar dentro …

15 normal-distribution  multivariate-analysis 

Una de las cosas que hace que la econometría sea única es el uso de la técnica del Método Generalizado de Momentos. ¿Qué tipos de problemas hacen que GMM sea más apropiado que otras técnicas de estimación? ¿Qué le da el uso de GMM en términos de eficiencia o sesgo …

15 econometrics  generalized-moments 

Soy nuevo en Machine Learning. En este momento estoy usando un clasificador Naive Bayes (NB) para clasificar textos pequeños en 3 clases como positivos, negativos o neutros, usando NLTK y python. Después de realizar algunas pruebas, con un conjunto de datos compuesto por 300,000 instancias (16,924 positivas 7,477 negativas y …

15 machine-learning  classification  naive-bayes  precision-recall 

Según tengo entendido, podemos obtener la correlación normalizando la covarianza usando la ecuación ρi,j=cov(Xi,Xj)σiσjρi,j=cov(Xi,Xj)σiσj\rho_{i,j}=\frac{cov(X_i, X_j)}{\sigma_i \sigma_j} donde es la desviación estándar deXi.σi=E[(Xi−μi)2]−−−−−−−−−−−√σi=E[(Xi−μi)2]\sigma_i=\sqrt{E[(X_i-\mu_i)^2]}XyoXiX_i Mi preocupación es ¿qué pasa si la desviación estándar es igual a cero? ¿Hay alguna condición que garantice que no puede ser cero? Gracias.

15 correlation  standard-deviation  covariance 

Tengo algunas mallas trianguladas en 3D. Las estadísticas para las áreas triangulares son: Min 0.000 Máx. 2341.141 Promedio 56.317 Std dev 98.720 Entonces, ¿significa algo particularmente útil sobre la desviación estándar o sugiere que hay errores al calcularla, cuando las cifras funcionan como las anteriores? Las áreas ciertamente están lejos …

15 distributions  mean  standard-deviation 

Espero que este sea el lugar correcto para publicar esto, consideré publicarlo en escépticos, pero creo que solo dirían que el estudio fue estadísticamente incorrecto. Tengo curiosidad sobre el otro lado de la pregunta que es cómo hacerlo bien. En el sitio web Quantified Self , el autor publicó los …

15 time-series  change-point 

¿Cuál es el mejor clasificador de 2 clases listo para usar? Sí, supongo que esa es la pregunta del millón de dólares, y sí, soy consciente del teorema de no almuerzo gratis , y también he leído las preguntas anteriores: ¿Cuál es el mejor clasificador de 2 clases listo para …

15 machine-learning  classification  references