Estadísticas y Big Data

Me gustaría trazar en el mismo gráfico la interacción entre mi predictor continuo y mi moderador categórico. Sé cómo hacerlo cuando ambos son categóricos ( interacción factorial ), pero realmente no sé cómo hacerlo cuando uno es continuo y el otro es categórico.

9 data-visualization  categorical-data  interaction  continuous-data 

Sé que el álgebra lineal y el análisis (especialmente la teoría de la medida) son importantes. ¿Es útil tomar cursos de posgrado en análisis real y complejo? ¿Debo tomar cursos de álgebra abstracta más allá de los cursos introductorios, por ejemplo, álgebra conmutativa y geometría algebraica?

9 mathematical-statistics  academia  algebraic-statistics 

Estoy leyendo un libro que introduce la distribución Dirchilet y luego presentó cifras al respecto. Pero realmente no pude entender esas cifras. Adjunté la figura aquí en la parte inferior. Lo que no entiendo son los significados de los triángulos. Normalmente, cuando se quiere trazar una función de 2 variables, …

9 distributions  data-visualization  dirichlet-distribution 

Tengo muchas imágenes de trama de satélite disponibles de diferentes sensores. De estos, los más gruesos tienen una resolución temporal muy abundante. Los rásteres de resolución media tienden a tener menos fechas de adquisición, pero aún hay cierto grado de información disponible. Las de resolución más fina tienen una resolución …

9 time-series  machine-learning  predictive-models  multivariate-regression 

1) ¿Cómo puedo cambiar el umbral de clasificación (creo que es 0.5 por defecto) en RandomForest en sklearn? 2) ¿cómo puedo submuestrear en sklearn? 3) Tengo el siguiente resultado del clasificador RandomForest: [[1635 1297] [520 3624]] precision recall f1-score support class 0 0.76 0.56 0.64 2932 class 1 0.74 0.87 …

9 classification  random-forest  precision-recall  unbalanced-classes 

Supongamos que he hecho: ensayos independientes con una tasa de éxito desconocido p 1 y observado k 1 éxitos.norte1n1n_1pag1p1p_1k1k1k_1 ensayos independientes con una tasa de éxito desconocido p 2 y observado k 2 éxitos.norte2n2n_2pag2p2p_2k2k2k_2 Si, ahora pero aún desconocido, la probabilidad p ( k 2 ) de observar k 2 …

9 hypothesis-testing  binomial  references 

Parece que para el manejo con mediciones ordenadas, los investigadores generalmente se ocupan de la correlación policórica . (Por ejemplo, para hacer una matriz antes de hacer el Análisis Factorial). ¿Por qué? El coeficiente de correlación de rango de Kendall Tau y el coeficiente de correlación de rango de Spearman …

9 correlation  ordinal-data  spearman-rho  kendall-tau  polychoric 

Dados números, donde el valor de cada número es diferente, denotado como , y la probabilidad de seleccionar cada número es , respectivamente.nnnv1,v2,...,vnv1,v2,...,vnv_1, v_2, ..., v_np1,p2,...,pnp1,p2,...,pnp_1, p_2, ..., p_n Ahora, si selecciono números en función de las probabilidades dadas, donde , ¿cuál es la expectativa de la suma de esos …

9 probability 

El índice de estabilidad de la población cuantifica el cambio de una distribución de una variable comparando muestras de datos en dos períodos de tiempo. Se usa muy comúnmente para medir cambios en los puntajes. Se calcula de la siguiente manera: 1) La muestra del período base se discretiza. Por …

9 distributions  kullback-leibler 

No he encontrado ninguna literatura sobre la aplicación de bosques aleatorios a MNIST, CIFAR, STL-10, etc., así que pensé en probarlos con el MNIST invariante de permutación. En R , intenté: randomForest(train$x, factor(train$y), test$x, factor(test$y), ntree=500) Esto funcionó durante 2 horas y obtuvo un error de prueba del 2.8%. También …

9 r  machine-learning  classification  random-forest  scikit-learn 

Me gustaría codificar una agrupación de kmeans en python usando pandas y scikit learn. Para seleccionar la buena k, me gustaría codificar la estadística Gap de Tibshirani y al 2001 ( pdf ). Me gustaría saber si podría usar el resultado de inercia_ de scikit y adaptar la fórmula estadística …

9 clustering  python  k-means  scikit-learn  metric 

Tengo un conjunto de datos con dos variables nominales categóricas (ambas con 5 categorías). Me gustaría saber si (y cómo) puedo identificar posibles correlaciones entre las categorías de estas dos variables. En otras palabras, si, por ejemplo, los resultados de la categoría en la variable 1 muestran una fuerte correlación …

9 correlation  residuals  contingency-tables  categorical-data 

Soy nuevo en estadística y estoy tratando de entender la diferencia entre ANOVA y regresión lineal. Estoy usando R para explorar esto. Leí varios artículos sobre por qué ANOVA y la regresión son diferentes, pero siguen siendo los mismos y cómo se puede visualizar, etc. Creo que soy bonita, pero …

9 r  regression  anova 

Deje que sean observaciones distintas (sin vínculos). Deje que denote una muestra de bootstrap (una muestra del CDF empírico) y deje . Busque y .X1,...,XnX1,...,XnX_{1},...,X_{n}X∗1,...,X∗nX1∗,...,Xn∗X_{1}^{*},...,X_{n}^{*}X¯∗n=1n∑ni=1X∗iX¯n∗=1n∑i=1nXi∗\bar{X}_{n}^{*}=\frac{1}{n}\sum_{i=1}^{n}X_{i}^{*}E(X¯∗n)E(X¯n∗)E(\bar{X}_{n}^{*})Var(X¯∗n)Var(X¯n∗)\mathrm{Var}(\bar{X}_{n}^{*}) Lo que tengo hasta ahora es que es cada uno con probabilidad entonces y que da X∗iXi∗X_{i}^{*}X1,...,XnX1,...,XnX_{1},...,X_{n}1n1n\frac{1}{n}E(X∗i)=1nE(X1)+...+1nE(Xn)=nμn=μE(Xi∗)=1nE(X1)+...+1nE(Xn)=nμn=μ E(X_{i}^{*})=\frac{1}{n}E(X_{1})+...+\frac{1}{n}E(X_{n})=\frac{n\mu}{n}=\mu E(X∗2i)=1nE(X21)+...+1nE(X2n)=n(μ2+σ2)n=μ2+σ2,E(Xi∗2)=1nE(X12)+...+1nE(Xn2)=n(μ2+σ2)n=μ2+σ2,E(X_{i}^{*2})=\frac{1}{n}E(X_{1}^{2})+...+\frac{1}{n}E(X_{n}^{2})=\frac{n(\mu^{2}+\sigma^{2})}{n}=\mu^{2}+\sigma^{2}\>, Var(X∗i)=E(X∗2i)−(E(X∗i))2=μ2+σ2−μ2=σ2.Var(Xi∗)=E(Xi∗2)−(E(Xi∗))2=μ2+σ2−μ2=σ2. \mathrm{Var}(X_{i}^{*})=E(X_{i}^{*2})-(E(X_{i}^{*}))^{2}=\mu^{2}+\sigma^{2}-\mu^{2}=\sigma^{2} \>. Entonces, y desde …

9 self-study  variance  bootstrap  cdf  conditional-expectation 

ACTUALIZACIÓN 25 de enero de 2014: el error ahora está corregido. Ignore los valores calculados del valor esperado en la imagen cargada, están equivocados, no elimino la imagen porque ha generado una respuesta a esta pregunta. ACTUALIZACIÓN 10 de enero de 2014: se encontró el error: un error tipográfico matemático …

9 normal-distribution  expected-value  order-statistics  minimum