Estadísticas y Big Data

Tuve una discusión con un estadístico en 2009 donde afirmó que el valor exacto de un valor p es irrelevante: lo único que es importante es si es significativo o no. Es decir, un resultado no puede ser más significativo que otro; sus muestras, por ejemplo, provienen de la misma …

31 statistical-significance  p-value  bonferroni 

Hinton y Salakhutdinov en la reducción de la dimensionalidad de los datos con redes neuronales, Science 2006 propusieron un PCA no lineal mediante el uso de un autoencoder profundo. He intentado construir y entrenar un codificador automático de PCA con Tensorflow varias veces, pero nunca he podido obtener un mejor …

31 pca  python  deep-learning  tensorflow  autoencoders 

Morey et al (2015) argumentan que los intervalos de confianza son engañosos y que existen múltiples sesgos relacionados con su comprensión. Entre otros, describen la falacia de precisión de la siguiente manera: La falacia de precisión El ancho de un intervalo de confianza indica la precisión de nuestro conocimiento sobre …

31 bayesian  confidence-interval  frequentist  precision 

Estoy leyendo un artículo muy interesante de Sellers y Shmueli sobre modelos de regresión para datos de conteo. Cerca del comienzo (p. 944) citan a McCullaugh y Nelder (1989) diciendo que la regresión binomial negativa es impopular y tiene un vínculo canónico problemático. Encontré el pasaje referido y dice (p. …

31 regression  modeling  negative-binomial 

¿Es "aprendizaje profundo" solo otro término para el modelado multinivel / jerárquico? Estoy mucho más familiarizado con este último que con el primero, pero por lo que puedo decir, la diferencia principal no está en su definición, sino en cómo se usan y evalúan dentro del dominio de su aplicación. …

31 machine-learning  multilevel-analysis  hierarchical-bayesian  deep-learning 

Johansson (2011) en " Salve lo imposible: valores p, evidencia y probabilidad " (aquí también hay un enlace a la revista ) afirma que los valores más bajos a menudo se consideran como una evidencia más fuerte contra el nulo. Johansson implica que las personas considerarían que la evidencia contra …

31 hypothesis-testing  statistical-significance  p-value  philosophical 

Dado que hoy es un día bisiesto, ¿alguien sabe la probabilidad de nacer en un día bisiesto?

31 probability 

Mucho se ha escrito sobre las opciones de color amigables para los daltónicos para mapas, polígonos y regiones sombreadas en general (ver, por ejemplo, http://colorbrewer2.org ). No he podido encontrar recomendaciones para colores de línea y grosores de línea variables para gráficos de líneas. Los objetivos son: distinguir líneas fácilmente …

31 r  data-visualization 

En un conjunto de datos de dos poblaciones no superpuestas (pacientes y sanos, total n = 60n=60n=60 ), me gustaría encontrar (de 300300300 variables independientes) predictores significativos para una variable dependiente continua. La correlación entre predictores está presente. Estoy interesado en averiguar si alguno de los predictores está relacionado con …

31 regression  pca  feature-selection  stepwise-regression  underdetermined 

¿Cuáles son algunas pautas útiles para probar parámetros (es decir, profundidad de interacción, minchild, frecuencia de muestreo, etc.) usando GBM? Digamos que tengo 70-100 características, una población de 200,000 y tengo la intención de probar la profundidad de interacción de 3 y 4. Claramente, necesito hacer algunas pruebas para ver …

31 r  hypothesis-testing  cart  boosting 

Esta pregunta fue hecha por mi amigo que no conoce Internet. No tengo antecedentes en estadísticas y he estado buscando en internet esta pregunta. La pregunta es: ¿es posible reemplazar los valores atípicos con valor medio? si es posible, ¿hay alguna referencia de libro / revistas para respaldar esta declaración?

31 mean  outliers  robust  winsorizing 

/ edit: Seguimiento adicional ahora puedes usar irlba :: prcomp_irlba / edit: siguiendo mi propio post. irlbaahora tiene argumentos de "centro" y "escala", que le permiten usarlo para calcular componentes principales, por ejemplo: pc <- M %*% irlba(M, nv=5, nu=0, center=colMeans(M), right_only=TRUE)$v Tengo una gran variedad Matrixde características que me …

31 r  pca  dimensionality-reduction  svd  matrix-decomposition 

Digamos, por ejemplo, que está haciendo un modelo lineal, pero los datos son complejos.yyy y= x β+ ϵy=xβ+ϵ y = x \beta + \epsilon Mi conjunto de datos es complejo, ya que en todos los números en son de la forma ( a + b i ) . ¿Hay algo …

31 regression  anova  data-transformation  complex-numbers 

Los procedimientos comunes de selección de variables basadas en datos (por ejemplo, hacia adelante, hacia atrás, paso a paso, todos los subconjuntos) tienden a generar modelos con propiedades indeseables, que incluyen: Coeficientes sesgados lejos de cero. Errores estándar que son demasiado pequeños e intervalos de confianza que son demasiado estrechos. …

31 modeling  feature-selection 

Wikipedia explica: Para un conjunto de datos, la media es la suma de los valores divididos por el número de valores. Sin embargo, esta definición corresponde a lo que yo llamo "promedio" (al menos eso es lo que recuerdo haber aprendido). Sin embargo, Wikipedia cita una vez más: Existen otras …

31 mean  interpretation  average