Estadísticas y Big Data

Nota: Soy consciente de las diferencias filosóficas entre las estadísticas bayesianas y frecuentistas. Por ejemplo, "cuál es la probabilidad de que la moneda en la mesa sea cara" no tiene sentido en las estadísticas frecuentistas, ya que ya ha caído cara o cruz, no hay nada probabilístico al respecto. Entonces …

54 bayesian  frequentist 

Soy nuevo en la selección de funciones y me preguntaba cómo usaría PCA para realizar la selección de funciones. ¿PCA calcula una puntuación relativa para cada variable de entrada que puede usar para filtrar variables de entrada no informativas? Básicamente, quiero poder ordenar las características originales en los datos por …

54 r  pca  feature-selection 

Encontramos los centros de clúster y asignamos puntos a k diferentes agrupaciones de clústeres en k-means clustering, que es un algoritmo muy conocido y se encuentra en casi todos los paquetes de aprendizaje automático en la red. Pero la parte faltante y más importante en mi opinión es la elección …

54 clustering  k-means 

¿O más, "será"? Big Data hace que las estadísticas y el conocimiento relevante sean aún más importantes, pero parece minimizar la teoría de muestreo. He visto esta exageración sobre 'Big Data' y no puedo evitar preguntarme por qué "¿por qué" querría analizar todo ? ¿No había una razón para que …

54 sampling  data-mining  large-data 

He estado trabajando en R por un tiempo y me he enfrentado a cosas como PCA, SVD, descomposiciones QR y muchos resultados de álgebra lineal (al inspeccionar estimaciones de regresiones ponderadas y demás), así que quería saber si alguien tiene una recomendación sobre un buen libro completo de álgebra lineal …

54 references  matrix  linear-algebra  weighted-regression 

A menudo escucho que las pruebas post hoc después de un ANOVA solo se pueden usar si el ANOVA en sí mismo fue significativo. Sin embargo, las pruebas post hoc ajustan los valores para mantener la tasa de error global tipo I al 5%, ¿no?ppp Entonces, ¿por qué necesitamos la …

54 anova  statistical-significance  post-hoc 

¿Qué es un estimador de la desviación estándar de la desviación estándar si se puede suponer la normalidad de los datos?

54 estimation  standard-deviation  normality-assumption 

¿Cuál es una buena introducción a las estadísticas para un matemático que ya está bien versado en probabilidad? Tengo dos motivaciones distintas para preguntar, que bien pueden dar lugar a sugerencias diferentes: Me gustaría entender mejor la motivación estadística detrás de muchos problemas considerados por los probabilistas. Me gustaría saber …

54 references 

Anteriormente pregunté esto en StackOverflow, pero parece que podría ser más apropiado aquí, dado que no obtuvo ninguna respuesta en SO. Es una especie de intersección entre estadísticas y programación. Necesito escribir un código para hacer PCA (Análisis de componentes principales). He examinado los algoritmos conocidos e implementado este , …

54 pca  algorithms  model-evaluation  high-dimensional 

Supongamos que es un investigador / econométrico de ciencias sociales que intenta encontrar predictores relevantes de la demanda de un servicio. Tiene 2 variables de resultado / dependientes que describen la demanda (utilizando el servicio sí / no y el número de ocasiones). Tiene 10 variables predictoras / independientes que …

54 regression  multivariate-analysis  predictive-models  multiple-regression  multiple-comparisons 

Una pregunta buscaba recomendaciones para libros de texto sobre estadística matemática ¿Alguien sabe de alguna buena video conferencia en línea sobre estadística matemática ? Los más cercanos que he encontrado son: Aprendizaje automático Econometría ACTUALIZACIÓN: Algunas de las sugerencias que se mencionan a continuación son buenas estadísticas: videos de tipo …

54 mathematical-statistics  references 

Parece que es posible obtener resultados similares a una red neuronal con una regresión lineal multivariada en algunos casos, y la regresión lineal multivariada es súper rápida y fácil. ¿En qué circunstancias pueden las redes neuronales dar mejores resultados que la regresión lineal multivariada?

54 regression  multiple-regression  neural-networks 

Para mí, parece que la validación de suspensión es inútil. Es decir, dividir el conjunto de datos original en dos partes (capacitación y evaluación) y usar el puntaje de evaluación como medida de generalización es algo inútil. La validación cruzada K-fold parece dar mejores aproximaciones de generalización (ya que entrena …

54 machine-learning  cross-validation  validation 

He leído mucho sobre PCA, incluidos varios tutoriales y preguntas (como este , este , este y este ). El problema geométrico que PCA está tratando de optimizar es claro para mí: PCA trata de encontrar el primer componente principal minimizando el error de reconstrucción (proyección), que maximiza simultáneamente la …

54 pca  optimization  linear-algebra  intuition 

Leí de mi libro de texto que no garantiza que X e Y sean independientes. Pero si son independientes, su covarianza debe ser 0. Todavía no se me ocurre ningún ejemplo adecuado; alguien podría proporcionar uno?cov ( X, Y) = 0cov(X,Y)=0\text{cov}(X,Y)=0

54 independence  covariance