Estadísticas y Big Data

Entonces, teníamos a Secret Santa en el trabajo. Somos 8 personas Cada uno se turnaba y sacaba un pequeño trozo de papel de un tazón con un nombre. La única regla: si sacas tu nombre, debes volver a poner el papel en el tazón e intentarlo de nuevo. Llamemos a …

11 combinatorics  odds 

El hiperplano óptimo en SVM se define como: w⋅x+b=0,w⋅x+b=0,\mathbf w \cdot \mathbf x+b=0, donde representa el umbral. Si tenemos algún mapeo que mapea el espacio de entrada a algún espacio , podemos definir SVM en el espacio , donde el hiperplano óptimo será:ϕ Z Zbbbϕϕ\mathbf \phiZZZZZZ w⋅ϕ(x)+b=0.w⋅ϕ(x)+b=0.\mathbf w \cdot \mathbf …

11 svm  threshold 

Siempre he leído el término interacción en el contexto de regresión. ¿Deberíamos considerar también las interacciones con diferentes modelos, por ejemplo, knn o svm? Si hay , 100 o incluso más funciones y digamos 1000 observaciones, ¿cuál es la forma habitual de encontrar interacciones útiles? Prueba todas las combinaciones? ¿O …

11 machine-learning  interaction  terminology 

Parece haber algo en nuestra comprensión humana que crea dificultades para comprender intuitivamente la idea de variación. En un sentido estricto, la respuesta es inmediata: la cuadratura nos saca de nuestra comprensión reflexiva. Pero, ¿es solo la varianza la que presenta problemas, o es la idea completa de propagación en …

11 variance  dispersion 

Lo siguiente es un extracto de la Introducción a las estadísticas bayesianas de Bolstad . Para todos los expertos, esto puede ser trivial, pero no entiendo cómo el autor concluye que no tenemos que hacer ninguna integración para calcular la probabilidad posterior de algún valor de . Entiendo la segunda …

11 distributions  bayesian  beta-distribution  conjugate-prior 

Estaba leyendo casualmente un artículo (en economía) que tenía la siguiente aproximación para :log(E(X))log⁡(E(X))\log(E(X)) log(E(X))≈E(log(X))+0.5var(log(X))log⁡(E(X))≈E(log⁡(X))+0.5var(log⁡(X))\log(E(X)) \approx E(\log(X))+0.5 \mathrm{var}(\log(X)) , lo que el autor dice que es exacto si X es log-normal (lo cual sé). Lo que no sé es cómo derivar esta aproximación. Intenté calcular una aproximación de Taylor de …

11 lognormal  approximation  taylor-series 

Estoy tratando de construir una prueba para un problema en el que estoy trabajando y una de las suposiciones que estoy haciendo es que el conjunto de puntos de los que estoy tomando muestras es denso en todo el espacio. Prácticamente, estoy usando el muestreo latino de hipercubos para obtener …

11 sampling  asymptotics  latin-square  latin-hypercube 

Ya tengo una idea sobre los pros y los contras de la regresión de crestas y el LASSO. Para el LASSO, el término de penalización L1 producirá un vector de coeficiente disperso, que puede verse como un método de selección de características. Sin embargo, existen algunas limitaciones para el LASSO. …

11 feature-selection  lasso  regularization  ridge-regression  elastic-net 

Si se realizan 20 ensayos independientes de Bernoulli, cada uno con una probabilidad diferente de éxito y, por lo tanto, de fracaso. ¿Cuál es la probabilidad de que exactamente n de los 20 ensayos haya tenido éxito? ¿Existe una mejor manera de calcular estas probabilidades en lugar de simplemente sumar …

11 probability  distributions  bernoulli-distribution  poisson-binomial 

Estoy tratando de visualizar una gráfica apropiada para las observaciones en esta tabla de medias y desviaciones estándar de los puntajes de recuerdo: RecallControlMean37SD8ExperimentalMean21SD6ControlExperimentalMeanSDMeanSDRecall378216\begin{array} {c|c c|c c|} & \text{Control} & & \text{Experimental} & \\ & \text{Mean} & \text{SD} &\text{Mean} &\text{SD} \\ \hline \text{Recall} & 37 & 8 & 21 & …

11 data-visualization  standard-deviation  mean  descriptive-statistics  barplot 

Estoy leyendo el libro de Larry Wasserman, Todas las estadísticas , y actualmente sobre los valores p (página 187). Permítanme presentarles algunas definiciones (cito): RRRβ(θ)=Pθ(X∈R)β(θ)=Pθ(X∈R)\beta(\theta)=P_{\theta}(X\in R)α=supθ∈Θ0β(θ)α=supθ∈Θ0β(θ)\alpha = \sup_{\theta\in\Theta_0}\beta(\theta)αα\alphaαα\alpha Básicamente, esto dice que , el tamaño es la probabilidad "mayor" de un error de tipo I. El valor se define a …

11 hypothesis-testing  mathematical-statistics  p-value 

Estoy buscando recursos (libros, apuntes de clase, etc.) sobre técnicas que pueden manejar datos que tienen múltiples objetivos (Ej: tres variables dependientes: 2 discretas y 1 continua). ¿Alguien tiene algún recurso / conocimiento sobre esto? Sé que es posible usar redes neuronales para esto.

11 regression  machine-learning  predictive-models  references 

A diferencia del análisis de componentes principales, las soluciones para los modelos de análisis factorial no están necesariamente anidadas. Es decir, las cargas (por ejemplo) para el primer factor no serán necesariamente idénticas cuando solo se extrae el primer factor frente a cuando lo son los dos primeros factores. Con …

11 references  factor-analysis  psychometrics 

Contexto Esto es algo similar a esta pregunta , pero no creo que sea un duplicado exacto. Cuando busca instrucciones sobre cómo realizar una prueba de hipótesis de bootstrap, generalmente se indica que está bien usar la distribución empírica para intervalos de confianza, pero que necesita arrancar correctamente desde la …

11 confidence-interval  p-value  bootstrap 

Tengo una situación en la que puedo estimar (los primeros) momentos de un conjunto de datos, y me gustaría usarlo para producir una estimación de la función de densidad.kkk Ya me encontré con la distribución de Pearson , pero me di cuenta de que solo se basa en los primeros …

11 pdf  kernel-smoothing  moments