Estadísticas y Big Data

Planeo hacer un estudio de simulación donde comparo el desempeño de varias técnicas de correlación robustas con diferentes distribuciones (sesgadas, con valores atípicos, etc.). Con robusto , me refiero al caso ideal de ser robusto contra a) distribuciones sesgadas, b) valores atípicos yc) colas pesadas. Junto con la correlación de …

18 r  correlation  robust  spearman-rho  winsorizing 

Estoy buscando usar el lazo como método para seleccionar características y ajustar un modelo predictivo con un objetivo binario. A continuación se muestra un código con el que estaba jugando para probar el método con regresión logística regularizada. Mi pregunta es si obtengo un grupo de variables "significativas", pero ¿puedo …

18 logistic  importance  glmnet 

Estoy buscando documentos o textos que comparen y discutan (ya sea empírica o teóricamente): Algoritmos de impulso y árboles de decisión como Random Forests o AdaBoost , y GentleBoost aplicado a los árboles de decisión. con Métodos de aprendizaje profundo como máquinas de Boltzmann restringidas , memoria temporal jerárquica , …

18 machine-learning  deep-learning  cart  rbm  adaboost 

En particular, ¿cómo deben calcularse los errores estándar de los efectos fijos en un modelo lineal de efectos mixtos (en un sentido frecuentista)? He estado llevan a creer que las estimaciones típicas ( Var(β^)=(X′VX)−1Var(β^)=(X′VX)−1{\rm Var}(\hat\beta)=(X'VX)^{-1} ), tales como los presentados en Laird y Ware [1982] darán SE de que se …

18 r  mixed-model  random-effects-model 

Estoy buscando hacer una clasificación en mis datos de texto. Tengo 300 classes200 documentos de capacitación por clase (más o menos 60000 documents in total) y es probable que esto genere datos dimensionales muy altos (es posible que estemos buscando más de 1 millón de dimensiones ). Me gustaría realizar …

18 machine-learning  classification  text-mining 

Tengo un punto (x, y) que necesito un regresor lineal para pasar dado un conjunto de datos (X, Y). ¿Cómo implemento esto en R?

18 r  regression 

Estoy tratando de minimizar una función personalizada. Debe aceptar cinco parámetros y el conjunto de datos y hacer todo tipo de cálculos, produciendo un solo número como salida. Quiero encontrar una combinación de cinco parámetros de entrada que produzca la salida más pequeña de mi función.

18 r  optimization 

¿Alguien sabe de una R equivalente a SAS PROC FREQ? Estoy tratando de generar estadísticas descriptivas resumidas para múltiples variables a la vez.

18 r  descriptive-statistics  sas 

A menudo se argumenta que el marco bayesiano tiene una gran ventaja en la interpretación (más frecuente), porque calcula la probabilidad de un parámetro dados los datos - lugar de como en el marco frecuentista. Hasta aquí todo bien.p(θ|x)p(θ|x)p(\theta|x)p(x|θ)p(x|θ)p(x|\theta) Pero, toda la ecuación se basa en: p(θ|x)=p(x|θ).p(θ)p(x)p(θ|x)=p(x|θ).p(θ)p(x)p(\theta|x) = {p(x|\theta) . …

18 bayesian  interpretation  prior  likelihood  posterior 

Encuentro que los ejercicios simples de análisis de datos a menudo pueden ayudar a ilustrar y aclarar conceptos estadísticos. ¿Qué ejercicios de análisis de datos utiliza para enseñar conceptos estadísticos?

18 teaching 

Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado 3 años . ¿Cómo puedo agregar una nueva variable al marco de datos que será el rango de percentil de …

18 r  quantiles 

Lectura de estadísticas de descubrimientos de campo utilizando SPSS (3ª edición) Me sorprendió un poco acerca de las pruebas post-hoc en ANOVA. Para aquellos que quieran controlar la tasa de error Tipo I, sugiere Bonferroni o Tukey y dice (p. 374): Bonferroni tiene más poder cuando el número de comparaciones …

18 anova  multiple-comparisons  post-hoc  bonferroni  tukey-hsd 

Quiero probar un modelo de ruta de múltiples etapas (por ejemplo, A predice B, B predice C, C predice D) donde todas mis variables son observaciones individuales anidadas dentro de grupos. Hasta ahora he estado haciendo esto a través de múltiples análisis multinivel únicos en R. Preferiría usar una técnica …

18 r  multilevel-analysis  sem  path-model 

Bloqueado . Esta pregunta y sus respuestas están bloqueadas porque la pregunta está fuera de tema pero tiene un significado histórico. Actualmente no acepta nuevas respuestas o interacciones. Me gustaría usar R para trazar algo como esto: Parecería posible pero muy complejo hacer un seguimiento de las coordenadas, el ancho, …

18 r  data-visualization  tables 

Tengo algunos datos que están altamente correlacionados. Si ejecuto una regresión lineal, obtengo una línea de regresión con una pendiente cercana a uno (= 0.93). Lo que me gustaría hacer es probar si esta pendiente es significativamente diferente de 1.0. Mi expectativa es que no lo es. En otras palabras, …

18 regression  correlation  hypothesis-testing