Estadísticas y Big Data

Esta pregunta está un poco a la izquierda, ¡pero pensé que la comunidad aquí probablemente tenga fuertes puntos de vista sobre el tema! Estoy escribiendo mi tesis doctoral. Consistentemente, cuando hablo de cantidades que están formalmente relacionadas con una distribución gaussiana, he escrito con mayúscula la "N" en "Normal" para …

22 normal-distribution  terminology 

Me gustaría agrupar jerárquicamente mis datos, pero en lugar de usar la distancia euclidiana, me gustaría usar la correlación. Además, dado que el coeficiente de correlación varía de -1 a 1, con -1 y 1 denotando "corregulación" en mi estudio, estoy tratando a -1 y 1 como d = 0. …

22 correlation  clustering  distance  hierarchical-clustering 

¿Hay algún buen documento que cubra algunas formas metódicas de elegir las dimensiones de los filtros, agrupar las unidades y determinar el número de capas convolucionales?

22 neural-networks  deep-learning  conv-neural-network 

He estado leyendo Los elementos del aprendizaje estadístico y no podía entender de qué se trata la Sección 3.7 "Reducción y selección de resultados múltiples". Habla de RRR (regresión de rango reducido), y solo puedo entender que la premisa se trata de un modelo lineal multivariado generalizado donde los coeficientes …

22 regression  multivariate-analysis  dimensionality-reduction  regularization  reduced-rank-regression 

En la inferencia bayesiana, se deriva una distribución predictiva para datos futuros integrando parámetros desconocidos; la integración sobre la distribución posterior de esos parámetros da una distribución predictiva posterior, una distribución para datos futuros condicional a los ya observados. ¿Qué métodos no bayesianos para la inferencia predictiva existen que tengan …

22 prediction  inference  prediction-interval 

Ha habido cierta confusión en mi cabeza acerca de dos tipos de estimadores del valor poblacional del coeficiente de correlación de Pearson. A. Fisher (1915) mostró que para la población normal bivariada, empírico es un estimador de sesgado negativamente , aunque el sesgo puede ser de una cantidad prácticamente considerable …

22 correlation  pearson-r  unbiased-estimator  estimators  point-estimation 

La mayoría de los recursos sobre reglas de puntuación adecuadas mencionan una serie de reglas de puntuación diferentes como pérdida de registro, puntuación de Brier o puntuación esférica. Sin embargo, a menudo no dan mucha orientación sobre las diferencias entre ellos. (Anexo A: Wikipedia ). Elegir el modelo que maximiza …

22 machine-learning  classification  model-selection  theory  scoring-rules 

Como precuela de una pregunta sobre modelos lineales mixtos en R, y para compartir como referencia para principiantes / intermedios aficionados a la estadística, decidí publicar como un "estilo de preguntas y respuestas" independiente los pasos involucrados en el cálculo "manual" del coeficientes y valores predichos de una regresión lineal …

22 r  regression  linear-model  lm 

En PCA, cuando el número de dimensiones es mayor (o incluso igual) al número de muestras , ¿por qué tendrá como máximo vectores propios distintos de cero? En otras palabras, el rango de la matriz de covarianza entre las dimensiones es .N N - 1 d ≥ N N - …

22 pca  dimensionality-reduction  eigenvalues 

Dada una matriz de covarianza , ¿cómo generar datos de manera que tenga la matriz de covarianza de muestra \ hat {\ boldsymbol \ Sigma} = \ boldsymbol \ Sigma_s ?Σ = Σ sΣsΣs\boldsymbol \Sigma_sΣ^= ΣsΣ^=Σs\hat{\boldsymbol \Sigma} = \boldsymbol \Sigma_s En términos más generales: a menudo estamos interesados ​​en generar …

22 correlation  sampling  random-generation  covariance-matrix 

¿Cuál es la mejor gráfica, desde el punto de vista estadístico, para mostrar una tabla de contingencia , que generalmente se analiza mediante la prueba de chi-cuadrado? ¿Es una gráfica de barras esquivada, una gráfica de barras apiladas, un mapa de calor, una gráfica de contorno, una gráfica de dispersión …

22 data-visualization  contingency-tables 

Me preguntaba cuál es la diferencia teórica entre la prueba de suma de rangos de Wilcoxon y la prueba de rangos con signo de Wilcoxon usando observaciones emparejadas. Sé que la prueba de suma de rango de Wilcoxon permite diferentes cantidades de observaciones en dos muestras diferentes, mientras que la …

22 paired-data  wilcoxon-signed-rank  wilcoxon-mann-whitney 

Estoy interesado para estimar la densidad de una variable aleatoria continua . Una forma de hacerlo que aprendí es el uso de la Estimación de la densidad del núcleo.XXX Pero ahora estoy interesado en un enfoque bayesiano que siga las siguientes líneas. En principio creo que sigue una distribución . …

22 bayesian  pdf  nonparametric-bayes  dirichlet-process 

Estoy buscando un estudio de caso de regresión lineal avanzado que ilustre los pasos necesarios para modelar relaciones complejas y no lineales múltiples utilizando GLM u OLS. Es sorprendentemente difícil encontrar recursos que vayan más allá de los ejemplos básicos de la escuela: la mayoría de los libros que he …

22 multiple-regression  generalized-linear-model  data-transformation  splines  nonlinear 

Ni siquiera estoy seguro de que la pregunta tenga mucho sentido, pero creo que vi un par de títulos en los que proponían bosque aleatorio con efectos aleatorios. ¿Es esto posible en R?

22 r  random-forest  random-effects-model