Estadísticas y Big Data

Últimamente he estado viendo muchos documentos sobre representaciones dispersas, y la mayoría de ellos usan la norma ℓpℓp\ell_p y minimizan un poco. Mi pregunta es, ¿cuál es la norma ℓpℓp\ell_p y la norma mixta ℓp,qℓp,q\ell_{p, q} ? ¿Y cómo son relevantes para la regularización? Gracias

12 machine-learning  regularization  sparse 

¿Cuáles son las pruebas estadísticas estándar para ver si los datos siguen distribuciones exponenciales o normales?

12 distributions  hypothesis-testing  normal-distribution 

Explique cuál es la diferencia entre si dos variables son linealmente dependientes o linealmente correlacionadas . Busqué el artículo de Wikipedia pero no obtuve un ejemplo adecuado. Por favor explícalo con un ejemplo.

12 correlation  non-independent 

¿Cuál es / son la / s diferencia / s entre estos modelos de representación de texto: bolsa de palabras y modelo de espacio vectorial?

12 machine-learning  text-mining 

Mientras leía un libro de texto sobre regresión me encontré con el siguiente párrafo: La estimación de mínimos cuadrados de un vector de coeficientes de regresión lineal ( ) esββ\beta β^= ( XtX)- 1Xtyβ^=(XtX)−1Xty \hat{\beta} = (X^{t}X)^{-1}{X^t}y que, cuando se ve como una función de los datos (considerando los predictores …

12 multiple-regression 

Estoy tratando de analizar datos de medidas repetidas y estoy luchando para que funcione R. Mis datos son esencialmente los siguientes, tengo dos grupos de tratamiento. Todos los sujetos de cada grupo se evalúan todos los días y se les asigna una puntuación (el porcentaje correcto en una prueba). Los …

12 r  mixed-model  repeated-measures  lme4-nlme 

Dadas las siguientes dos series de tiempo ( x , y ; ver más abajo), ¿cuál es el mejor método para modelar la relación entre las tendencias a largo plazo en estos datos? Ambas series de tiempo tienen pruebas significativas de Durbin-Watson cuando se modelan en función del tiempo y …

12 regression  time-series  arima 

Tengo un montón de conjuntos de datos relacionados. Las correlaciones de Pearson entre pares de ellas suelen ser definitivamente mayores que las correlaciones de Spearman. Eso sugiere que cualquier correlación es lineal, pero uno podría esperar que incluso si Pearson y Spearman fueran iguales. ¿Qué significa cuando hay una brecha …

12 correlation  spearman-rho  pearson-r 

Me han hecho la siguiente pregunta como parte de la tarea: Diseñe e implemente un estudio de simulación para examinar el rendimiento del bootstrap para obtener intervalos de confianza del 95% en la media de una muestra univariada de datos. Su implementación puede ser en R o SAS. Los aspectos …

12 r  self-study  bootstrap  monte-carlo 

El momento -ésima de una variable aleatoria es finito si rrrXXXE(|Xr|)&lt;∞E(|Xr|)&lt;∞ \mathbb E(|X^r|)< \infty Estoy tratando de mostrar que para cualquier número entero positivo , entonces el -ésimo momento también es finito.s&lt;rs&lt;rs<rsssE[|Xs|]E[|Xs|]\mathbb E[|X^s|]

12 self-study  moments  function 

En R, si configuro.seed () y luego uso la función de muestra para aleatorizar una lista, ¿puedo garantizar que no generaré la misma permutación? es decir... set.seed(25) limit &lt;- 3 myindex &lt;- seq(0,limit) for (x in seq(1,factorial(limit))) { permutations &lt;- sample(myindex) print(permutations) } Esto produce [1] 1 2 0 3 …

12 r  sampling  combinatorics  resampling 

Creo que esta es una pregunta directa, aunque el razonamiento detrás de por qué o por qué no puede no serlo. La razón por la que pregunto es que recientemente escribí mi propia implementación de un RF y, aunque funciona bien, no está funcionando tan bien como esperaba (según el …

12 algorithms  random-forest  cart 

Actualmente trabaja en Octave, pero debido a la pobre documentación, el progreso es muy lento. ¿Qué lenguaje es fácil de aprender y usar y está bien documentado para resolver problemas de aprendizaje automático? Estoy buscando crear un prototipo en un pequeño conjunto de datos (miles de ejemplos), por lo que …

12 r  machine-learning  matlab  software  python 

¿Alguien puede explicar cómo calcular el efecto marginal del modelo Probit y Logit en términos simples? Soy nuevo en estadísticas y estoy confundido acerca de estos dos modelos.

12 logistic  interpretation  logit  probit 

Me he encontrado con un muy buen texto sobre Bayes / MCMC. TI sugiere que una estandarización de sus variables independientes hará que un algoritmo MCMC (Metrópolis) sea más eficiente, pero también puede reducir la (multi) colinealidad. ¿Puede ser eso cierto? ¿Es esto algo que debería hacer como estándar ? …

12 bayesian  mcmc  multicollinearity  standardization