Estadísticas y Big Data

El 25% superior es el cuartil superior. El 10% superior es el decil superior. El 1% superior es el percentil superior. ¿Existe un equivalente para el 0,5% superior, es decir, 1 en 200?

14 terminology  quantiles 

La estructura de esta pregunta es la siguiente: al principio, proporciono el concepto de aprendizaje en conjunto , luego proporciono una lista de tareas de reconocimiento de patrones , luego doy ejemplos de algoritmos de aprendizaje en conjunto y, finalmente, presento mi pregunta. Aquellos que no necesitan toda la información …

14 machine-learning  neural-networks  pattern-recognition  ensemble  ocr 

Pensé que el concepto de conjunto típico era bastante intuitivo: una secuencia de longitud pertenecería al conjunto típico si la probabilidad de que la secuencia saliera fuera alta. Entonces, cualquier secuencia que probablemente esté en . (Estoy evitando la definición formal relacionada con la entropía porque estoy tratando de entenderla …

14 entropy  intuition  information-theory 

Soy un principiante tratando de armar mi primer proyecto. Tenía en mente un proyecto de clasificación de canciones, pero dado que etiquetaría manualmente, solo podía reunir alrededor de 1000 canciones o 60 horas de música. Estaría clasificando con varias clases, por lo que es posible que una clase tenga tan …

14 neural-networks 

Tengo algunos datos interesantes sobre los artistas musicales más populares transmitidos divididos por ubicación en unos 200 distritos del Congreso. Quiero ver si es posible sondear a una persona sobre sus preferencias musicales y determinar si él o ella "escucha como un demócrata" o "escucha como un republicano". (Naturalmente, esto …

14 correlation  prediction  pooling  weighted-data 

¿Es cierto que es un estimador imparcial para ? Es decir, ρ X , Y E [ R X , Y ] = ρ X , Y ?RX,YRX,YR_{X,Y}ρX,YρX,Y\rho_{X,Y}E[RX,Y]=ρX,Y?E[RX,Y]=ρX,Y?\mathbf{E}\left[R_{X,Y}\right]=\rho_{X,Y}? Si no, ¿qué es un estimador imparcial para ? (¿Quizás haya un estimador imparcial estándar que se usa? Además, ¿es análogo a …

14 correlation 

Probablemente no tengo una comprensión clara de la paradoja de Simpson . Informalmente sé que el promedio de respuesta Y1, agrupado en todos los niveles posibles del factor A, puede ser mayor que el promedio de respuesta Y2 en todos los niveles de A, incluso si el promedio de Y1 …

14 mathematical-statistics  simpsons-paradox 

¿Alguien puede explicar la idea principal detrás de los métodos hamiltonianos de Monte Carlo y en qué casos arrojarán mejores resultados que los métodos de Markov Chain Monte Carlo?

14 bayesian  mcmc  hmc 

En ciertos casos, el Jeffreys anterior para un modelo multidimensional completo generalmente se considera inadecuado, este es, por ejemplo, el caso en: (donde ε ∼ N ( 0 , σ 2 ) , con μ y σ desconocido) donde se prefiere el siguiente prior (al Jeffreys anterior completo π ( …

14 distributions  bayesian  estimation  prior  jeffreys-prior 

¿Se han realizado estudios a gran escala de métodos MCMC que comparen el rendimiento de varios algoritmos diferentes en un conjunto de densidades de prueba? Estoy pensando en algo equivalente al artículo de Rios y Sahinidis (2013), que es una comparación exhaustiva de una gran cantidad de optimizadores de caja …

14 machine-learning  bayesian  references  mcmc 

Nota: = Suma de cuadrados totales, = Suma de errores al cuadrado, y = Suma de cuadrados de la regresión. La ecuación en el título a menudo se escribe como:SSTSSTSSTSSESSESSESSRSSRSSR ∑i=1n(yi−y¯)2=∑i=1n(yi−y^i)2+∑i=1n(y^i−y¯)2∑i=1n(yi−y¯)2=∑i=1n(yi−y^i)2+∑i=1n(y^i−y¯)2\sum_{i=1}^n (y_i-\bar y)^2=\sum_{i=1}^n (y_i-\hat y_i)^2+\sum_{i=1}^n (\hat y_i-\bar y)^2 Pregunta bastante directa, pero estoy buscando una explicación intuitiva. Intuitivamente, me parece …

14 regression  least-squares  r-squared 

Esta pregunta trata sobre la estimación de máxima verosimilitud restringida (REML) en una versión particular del modelo lineal, a saber: Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), donde es una matriz ( n × p ) parametrizada por α ∈ R k , como lo es Σ …

14 mixed-model  maximum-likelihood  linear-model  optimization  reml 

Estaba leyendo sobre la optimización para un problema mal planteado en la visión por computadora y encontré la explicación a continuación sobre la optimización en Wikipedia. Lo que no entiendo es, ¿por qué llaman a esta optimización " Minimización de energía " en Computer Vision? Un problema de optimización se …

14 machine-learning  optimization  computer-vision 

Tengo algunos datos que me gustaría suavizar para que los puntos suavizados disminuyan monotónicamente. Mis datos disminuyen bruscamente y luego comienzan a estabilizarse. Aquí hay un ejemplo usando R df <- data.frame(x=1:10, y=c(100,41,22,10,6,7,2,1,3,1)) ggplot(df, aes(x=x, y=y))+geom_line() ¿Cuál es una buena técnica de suavizado que podría usar? Además, sería bueno si …

14 regression  smoothing 

Esta pregunta se deriva de la pregunta: ¿ cuándo (si alguna vez) es un enfoque frecuentista sustancialmente mejor que un bayesiano? Como publiqué en mi solución a esa pregunta, en mi opinión, si usted es un frecuentista, no tiene que creer / adherirse al principio de probabilidad, ya que a …

14 bayesian  likelihood  likelihood-principle