Estadísticas y Big Data

Supongamos que quiero ver si mis datos son exponenciales en función de un histograma (es decir, sesgado a la derecha). Dependiendo de cómo agrupe o agrupe los datos, puedo obtener histogramas muy diferentes. Un conjunto de histogramas hará que parezca que los datos son exponenciales. Otro conjunto hará parecer que …

111 distributions  data-visualization  histogram  binning 

Estoy leyendo un artículo donde el autor descarta varias variables debido a la alta correlación con otras variables antes de hacer PCA. El número total de variables es de alrededor de 20. ¿Esto le da algún beneficio? A mí me parece una sobrecarga, ya que PCA debería manejar esto automáticamente.

111 correlation  pca 

El impulso del árbol de gradiente propuesto por Friedman utiliza árboles de decisión como aprendices básicos. Me pregunto si deberíamos hacer que el árbol de decisión base sea lo más complejo posible (completamente desarrollado) o más simple. ¿Hay alguna explicación para la elección? Random Forest es otro método de conjunto …

110 machine-learning  random-forest  cart  boosting  ensemble 

Estoy trabajando en un pequeño proyecto que involucra las caras de los usuarios de Twitter a través de sus imágenes de perfil. Un problema con el que me he encontrado es que después de filtrar todas las imágenes, excepto las fotos de retratos claros, un porcentaje pequeño pero significativo de …

110 machine-learning  clustering  image-processing 

Tengo una pregunta rara. Suponga que tiene una pequeña muestra donde la variable dependiente que va a analizar con un modelo lineal simple está muy sesgada. Por lo tanto, supone que utuu no se distribuye normalmente, ya que esto daría como resultado una distribución normal de . Pero cuando calcula …

110 regression  residuals  error  normality-assumption 

Siguiendo con esta pregunta, ¿cómo explicaría la covarianza a alguien que solo entiende la media? , que aborda el tema de explicar la covarianza a una persona laica, me planteó una pregunta similar. ¿Cómo se explicaría a un neófito estadístico la diferencia entre covarianza y correlación ? Parece que ambos …

109 correlation  covariance 

A partir de la función de densidad de distribución podríamos identificar una media (= 0) para la distribución de Cauchy tal como se muestra en el gráfico a continuación. Pero, ¿por qué decimos que la distribución de Cauchy no tiene sentido?

109 distributions  mathematical-statistics  mean  pdf  cauchy 

¿Cómo funciona una máquina de vectores de soporte (SVM) de trabajo, y lo que lo diferencia de otros clasificadores lineales, como el perceptrón lineal , análisis discriminante lineal o regresión logística ? * * (* Estoy pensando en términos de las motivaciones subyacentes para el algoritmo, las estrategias de optimización, …

109 machine-learning  classification  svm  statistical-learning 

Primero fue Brexit , ahora las elecciones estadounidenses. Muchas predicciones de modelos se cumplieron por un amplio margen, y ¿hay lecciones que aprender aquí? Hasta las 4 pm PST de ayer, los mercados de apuestas seguían favoreciendo a Hillary 4 a 1. Supongo que los mercados de apuestas, con dinero …

108 predictive-models  ensemble  confounding 

Aquí @gung hace referencia a la regla .632+. Una búsqueda rápida en Google no proporciona una respuesta fácil de entender sobre lo que significa esta regla y para qué se utiliza. ¿Alguien aclararía la regla .632+?

107 bootstrap 

Entiendo lo que significa "sobreajuste", pero necesito ayuda sobre cómo encontrar un ejemplo del mundo real que se aplique al sobreajuste.

107 overfitting 

Para una matriz de datos dada (con variables en columnas y puntos de datos en filas), parece que juega un papel importante en las estadísticas. Por ejemplo, es una parte importante de la solución analítica de los mínimos cuadrados ordinarios. O, para PCA, sus vectores propios son los componentes principales …

107 matrix  covariance-matrix  correlation-matrix 

Muchos trabajos estadísticos requieren experiencia con datos a gran escala. ¿Cuáles son los tipos de habilidades estadísticas y computacionales que serían necesarias para trabajar con grandes conjuntos de datos? Por ejemplo, ¿qué tal construir modelos de regresión dado un conjunto de datos con 10 millones de muestras?

107 regression  machine-learning  multivariate-analysis  large-data 

Esta es una pregunta general que se hizo indirectamente varias veces aquí, pero carece de una única respuesta autorizada. Sería genial tener una respuesta detallada a esto para la referencia. La precisión , la proporción de clasificaciones correctas entre todas las clasificaciones, es una medida muy simple y muy "intuitiva", …

107 machine-learning  classification  accuracy  model-evaluation  scoring-rules 

Actualmente estoy haciendo el Tutorial de aprendizaje profundo de Udacity. En la Lección 3, hablan sobre una convolución 1x1. Esta convolución 1x1 se usa en el Módulo de inicio de Google. Tengo problemas para entender qué es una convolución 1x1. También he visto esta publicación de Yann Lecun. ¿Alguien podría …

106 neural-networks  deep-learning  convolution  conv-neural-network