Estadísticas y Big Data

Estoy en epidemiología. No soy estadístico, pero trato de realizar los análisis yo mismo, aunque a menudo encuentro dificultades. Hice mi primer análisis hace unos 2 años. Los valores de P se incluyeron en todas partes en mis análisis (simplemente hice lo que otros investigadores estaban haciendo) desde tablas descriptivas …

28 probability  hypothesis-testing  statistical-significance  p-value 

Tengo una pregunta relacionada con la regresión múltiple y la interacción, inspirada en este hilo CV: ¿ Término de interacción usando el análisis de regresión jerárquica de variables centradas? ¿Qué variables debemos centrar? Al verificar un efecto de moderación, centro mis variables independientes y multiplico las variables centradas para calcular …

28 regression  interaction  centering 

Me gustaría entender, ¿cuál es la principal diferencia de implementación entre los algoritmos de agrupación de medios k estándar y esféricos? En cada paso, k-means calcula las distancias entre los vectores de elementos y los centroides del grupo, y reasigna el documento a este grupo, cuyo centroide es el más …

28 clustering  data-mining  algorithms  k-means 

Hay tres variables aleatorias, . Las tres correlaciones entre las tres variables son las mismas. Es decir,x,y,zx,y,zx,y,z ρ=cor(x,y)=cor(x,z)=cor(y,z)ρ=cor(x,y)=cor(x,z)=cor(y,z)\rho=\textrm{cor}(x,y)=\textrm{cor}(x,z)=\textrm{cor}(y,z) ¿Cuál es el límite más ajustado que puede dar por ?ρρ\rho

28 correlation  correlation-matrix 

Me gustaría entender por qué, bajo el modelo OLS, el RSS (suma residual de cuadrados) se distribuye ( es el número de parámetros en el modelo, el número de observaciones).χ2⋅(n−p)χ2⋅(n−p)\chi^2\cdot (n-p)pppnnn Pido disculpas por hacer una pregunta tan básica, pero parece que no puedo encontrar la respuesta en línea (o …

28 regression  distributions  least-squares 

Tengo un conjunto de datos con 9 variables independientes continuas. Estoy tratando de seleccionar entre estas variables para ajustar un modelo a una sola variable de porcentaje (dependiente) Score. Desafortunadamente, sé que habrá una colinealidad seria entre varias de las variables. Intenté usar la stepAIC()función en R para la selección …

28 r  multiple-regression  feature-selection  multicollinearity 

He leído sobre controversias con respecto a la prueba de hipótesis con algunos comentaristas que sugieren que la prueba de hipótesis no debe usarse. Algunos comentaristas sugieren que los intervalos de confianza deberían usarse en su lugar. ¿Cuál es la diferencia entre intervalos de confianza y pruebas de hipótesis? Se …

28 hypothesis-testing  confidence-interval 

Un investigador desea producir un análisis combinado de varios conjuntos de datos. En algunos conjuntos de datos hay observaciones emparejadas para el tratamiento A y B. En otros, hay datos A y / o B no emparejados. Estoy buscando una referencia para una adaptación de la prueba t, o para …

28 hypothesis-testing  t-test  paired-data  change-scores 

En las estadísticas bayesianas, a menudo se menciona que la distribución posterior es intratable y, por lo tanto, se debe aplicar una inferencia aproximada. ¿Cuáles son los factores que causan esta intratabilidad?

28 bayesian  approximation  inference 

Tengo una matriz donde a (i, j) me dice cuántas veces he visto la página j individual. Hay 27K individuos y 95K páginas. Me gustaría tener un puñado de "dimensiones" o "aspectos" en el espacio de páginas que corresponderían a conjuntos de páginas que a menudo se ven juntas. Mi …

28 r  clustering  dimensionality-reduction 

Estoy entrenando una red neuronal simple en el conjunto de datos CIFAR10. Después de un tiempo, la pérdida de validación comenzó a aumentar, mientras que la precisión de la validación también está aumentando. La pérdida de prueba y la precisión de la prueba continúan mejorando. ¿Cómo es esto posible? Parece …

28 neural-networks  deep-learning  conv-neural-network  overfitting 

Acabo de empezar a leer sobre GP y, de forma análoga a la distribución gaussiana regular, se caracteriza por una función media y la función de covarianza o el núcleo. Estaba en una charla y el orador dijo que la función media suele ser poco interesante y que todo el …

28 gaussian-process 

Estaba leyendo sobre la clasificación Naive Bayes hoy. Leí, bajo el encabezado de Estimación de parámetros con agregar 1 suavizado : Deje que refiera a una clase (como Positivo o Negativo), y deje que refiera a una ficha o palabra.cccwww El estimador de máxima verosimilitud para esP(w|c)P(w|c)P(w|c)count(w,c)count(c)=counts w in class …

28 machine-learning  classification  text-mining  naive-bayes  laplace-smoothing 

Nunca tuve la oportunidad de visitar un curso de estadísticas de una facultad de matemáticas. Estoy buscando un libro de teoría y estadísticas de probabilidad que sea completo y autosuficiente. Por completo quiero decir que contiene todas las pruebas y no solo los resultados de los estados. Por autosuficiente quiero …

28 probability  self-study  mathematical-statistics  references 

¿Puede una distribución con media finita e infinita varianza tener una función generadora de momentos? ¿Qué pasa con una distribución con media finita y varianza finita pero infinitos momentos más altos?

28 variance  moments  mgf