Estadísticas y Big Data

Recientemente se publicó una pregunta en un servidor de listas que suscribo para preguntar (¿quizás cínicamente?) Cuando un enfoque bayesiano ha sido crucial para "hacer el trabajo" al abordar las preguntas en el campo de la ecología. Me pregunto, en general, cuándo un enfoque bayesiano ha sido esencial para progresar …

8 bayesian  multilevel-analysis 

Dejar Fffser una función no negativa Estoy interesado en encontrar tal que La advertencia : todo lo que puedo hacer es muestrear en puntos en . Sin embargo, puedo elegir los lugares donde muestreo al azar, si así lo deseo. z∈ [ 0 , 1 ]z∈[0,1]z \in [0,1]∫z0 0F( x …

8 sampling  monte-carlo  quantiles  quasi-monte-carlo 

Suponga que un supervisor sospecha que un alumno copia las respuestas del papel de otro alumno durante un examen de opción múltiple. Más tarde verifica sus respuestas y encuentra algunas similitudes, pero por otro lado, es probable que haya similitudes dada la naturaleza del examen. ¿Cómo debería determinar si sus …

8 correlation  terminology 

Estoy tratando de estandarizar las columnas del conjunto de datos para la regresión lineal. Una de las columnas tiene desviación estándar = 0. def standardize(X): return (X - mean(X)) / std(X) Entonces este código no funciona. ¿Hay algún truco para resolver este problema? He intentado dos cosas Deseche la columna …

8 regression  standardization 

¿Alguien sabe de una implementación (que no sea la macro SAS) del método de estimación doblemente robusto que se encuentra en: Funk, MJ, Westreich, D. y otros (2011). Estimación doblemente robusta de los efectos causales. American Journal of Epidemiology, 173 (7): 761-767. [DOI] ?

8 regression 

Esta sección de este artículo dice: Ronald Fisher en 1935 introdujo la inferencia fiducial para aplicarla a este problema. Se refirió a un artículo anterior de WV Behrens de 1929. Behrens y Fisher propusieron encontrar la distribución de probabilidad de T≡X¯1-X¯2s21/ /norte1+s22/ /norte2-----------√T≡x¯1−x¯2s12/n1+s22/n2 T \equiv {\bar x_1 - \bar x_2 …

8 inference  fiducial 

Estoy tratando de implementar la regularización múltiple en máquinas de vectores de soporte (SVM) en Matlab. Estoy siguiendo las instrucciones en el documento de Belkin et al. (2006), ahí está la ecuación: f∗=argminf∈Hk∑li=1V(xi,yi,f)+γA∥f∥2A+γI∥f∥2If∗=argminf∈Hk∑i=1lV(xi,yi,f)+γA‖f‖A2+γI‖f‖I2f^{*} = \text{argmin}_{f \in H_k}\sum_{i=1}^{l}V\left(x_i,y_i,f\right)+\gamma_{A}\left\| f \right\|_{A}^{2}+\gamma_{I}\left\| f \right\|_{I}^{2} donde V es alguna función de pérdida y es …

8 machine-learning  svm  regularization 

¿Para qué distribuciones x, aparte de beta, es buena la distribución x-binomial? Las distribuciones beta y binomial son famosamente conjugadas, pero tengo curiosidad por saber si otras distribuciones no conjugadas darán compuestos compuestos comparativamente simples. Por agradable quiero decir que el pmf es bueno para calcular sin recurrir a la …

8 beta-binomial 

Estoy calculando algunas probabilidades condicionales y los intervalos de confianza del 95% asociados. Para muchos de mis casos, tengo recuentos directos de xéxitos fuera de los nensayos (de una tabla de contingencia), por lo que puedo usar un intervalo de confianza binomial, como se proporciona binom.confint(x, n, method='exact')en R. Sin …

8 r  bayesian  confidence-interval  conditional-probability  hidden-markov-model  segmentation  hypothesis-testing  statistical-significance  multiple-comparisons  multiple-regression  r  regression  survey  sample  finite-population  pca  model-selection  dataset  partitioning  clustering  time-series  least-squares  regression  standard-error  causality  r  time-series  outliers  missing-data  machine-learning  svm  hypothesis-testing  discrete-data  r  data-visualization  survey  likert  finance  regression  pca  feature-selection  stepwise-regression  underdetermined  svm  natural-language 

Parece que cuando miro por aquí los modernos algoritmos de aprendizaje, se promueven cosas como redes neuronales, árboles potenciados, máquinas de vectores de soporte, bosques aleatorios y amigos para problemas de aprendizaje supervisados. Los procesos de Dirichlet y sus gustos parecen mencionarse principalmente en problemas de aprendizaje no supervisados, como …

8 dirichlet-process 

¿Se pueden considerar los valores de p entre múltiples pruebas en pares como una medida de similitud / distancia y aplicar una escala multidimensional sobre una matriz de valores de p en pares para reducir la dimensionalidad? Esta es una pregunta suave, pero ¿cuál sería el mayor problema aquí y …

8 multivariate-analysis  p-value  dimensionality-reduction 

Necesito hacer algunas comparaciones de medias simples entre grupos (pruebas F ANOVA básicas) en datos con valores faltantes. Utilizo el paquete de ratones en R para la imputación múltiple, pero solo puedo agrupar resultados para los coeficientes del modelo lineal, o .R2R2R^2 ¿Alguien sabe cómo combinar para agrupar múltiples estadísticas …

8 r  regression  t-test  f-test  multiple-imputation 

Quiero que R muestre los datos que me da de la summary()función en una tabla para poder compartir esto fácilmente. Actualmente solo estoy haciendo summary()en la consola y luego tomando una captura de pantalla, pero prefiero que esto se genere como una buena tabla al igual que todos mis gráficos. …

8 r  dataset  descriptive-statistics  tables 

Supongamos que son series de tiempo con , ( y es similar a la de , pero cambia cuando el dummy = 1). y , . En un entorno real, esto será un rendimiento periódico del mercado de valores sobre empresas (pero puede ignorar esto). Hay un ficticio, que es …

8 time-series  least-squares  residuals  bias 

Una variable de respuesta y es una función no lineal de varias variables predictoras X (en mis datos reales la respuesta está distribuida binomialmente, pero aquí estoy usando un valor normalmente distribuido para simplificar). Puedo modelar las relaciones entre los predictores y la respuesta usando splines / smooths (por ejemplo, …

8 r  ggplot2  splines  gam