Estadísticas y Big Data

¿Alguien sabe cómo calcular (o extraer) el apalancamiento y las distancias de Cook para un merobjeto de clase (obtenido a través del lme4paquete)? Me gustaría trazar estos para un análisis de residuos.

10 r  mixed-model  linear-model  residuals  leverage 

Al dividir mis datos etiquetados en conjuntos de entrenamiento, validación y prueba, he escuchado de todo, desde 25/25/25 hasta 85/5/10. Estoy seguro de que esto depende de cómo va a utilizar su modelo y de cuán propenso es sobreajustar su algoritmo de aprendizaje. ¿Hay alguna forma de decidir o es …

10 machine-learning  cross-validation 

Tengo una pregunta muy básica sobre la agrupación. Después de haber encontrado k grupos con sus centroides, ¿cómo hago para interpretar las clases de los puntos de datos que he agrupado (asignando etiquetas de clase significativas a cada grupo). No estoy hablando de la validación de los grupos encontrados. ¿Se …

10 k-means 

Este es un extracto de "Estadística matemática moderna con aplicaciones" de Devore et al. Lo que me desconcierta es que el estimador no puede evitar depender de , ya que la muestra depende del parámetro.θθ\theta

10 estimation 

Estoy realizando una investigación sobre la relación entre el orden de nacimiento de una persona y el riesgo posterior de obesidad utilizando datos de varias cohortes de nacimiento de 1 año (por ejemplo, http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2908417/ ). Un desafío clave es que el orden de nacimiento está relacionado con otras características como …

10 timelines 

Para un problema de regresión logística bayesiana, he creado una distribución predictiva posterior. Tomo muestras de la distribución predictiva y recibo miles de muestras de (0,1) por cada observación que tengo. Visualizar la bondad de ajuste es menos que interesante, por ejemplo: Este gráfico muestra las 10 000 muestras + …

10 bayesian  data-visualization  classification  goodness-of-fit  binary-data 

Me pregunto si alguien podría proporcionar una idea de por qué es mejor una imputación de datos faltantes que simplemente construir diferentes modelos para casos con datos faltantes. Especialmente en el caso de modelos lineales [generalizados] (tal vez pueda ver en casos no lineales que las cosas son diferentes) Supongamos …

10 regression  missing-data  data-imputation 

Tengo experiencia en programación de computadoras y teoría elemental de números, pero no tengo entrenamiento en estadísticas reales, y recientemente he "descubierto" que el asombroso mundo de toda una gama de técnicas es en realidad un mundo estadístico. Parece que las factorizaciones de matrices, la terminación de matrices, los tensores …

10 machine-learning  estimation 

Una forma de encontrar la precisión del modelo de regresión logística usando 'glm' es encontrar el gráfico AUC. ¿Cómo verificar lo mismo para el modelo de regresión encontrado con la variable de respuesta continua (familia = 'gaussiano')? ¿Qué métodos se utilizan para verificar qué tan bien se ajusta mi modelo …

10 r  regression  generalized-linear-model 

Sean observaciones extraídas de una distribución de probabilidad desconocida (pero ciertamente asimétrica).{ x1, ... , xnorte}{X1,...,Xnorte}\{x_1,\ldots,x_N\} Me gustaría encontrar la distribución de probabilidad utilizando el enfoque KDE: Sin embargo, intenté usar un núcleo gaussiano, pero funcionó mal, ya que es simétrico. Por lo tanto, he visto que se han publicado …

10 probability  distributions  pdf  kernel-smoothing 

Me gustaría saber cómo interpretar correctamente las gráficas de densidad condicional. He insertado dos a continuación que creé en R con cdplot. Por ejemplo, ¿la probabilidad de que el resultado sea ​​igual a 1 cuando Var 1 es 150 aproximadamente 80%? El área gris oscuro es la que es la …

10 r  data-visualization  interpretation  conditional-probability  pdf 

Tengo algunos problemas para entender las líneas de puntos azules en la siguiente imagen de la función de autocorrelación: ¿Podría alguien darme una explicación simple, lo que me están diciendo?

10 r  time-series  autocorrelation 

Dada una moneda con sesgo desconocido , ¿cómo puedo generar variables, de la manera más eficiente posible, que estén distribuidas por Bernoulli con probabilidad 0.5? Es decir, usar el número mínimo de vueltas por variante generada.pagpagp

10 random-generation 

Actualmente estoy haciendo un análisis en un sitio web que requiere que cree un diagrama de árbol de decisión que muestre la ruta probable que las personas toman cada vez que llegan al sitio web. Estoy tratando con un data.frameque muestra los caminos de todos los clientes al sitio, comenzando …

10 r  probability  data-visualization  markov-process 

Los métodos de conjunto basados ​​en árboles como el Bosque aleatorio y las derivadas posteriores (por ejemplo, bosque condicional), todos pretenden ser útiles en los llamados problemas " n pequeña , p grande ", para identificar la importancia variable relativa. De hecho, este parece ser el caso, pero mi pregunta …

10 random-forest  small-sample  ensemble