Estadísticas y Big Data

Estoy interesado en predecir Yy estoy estudiando diferentes técnicas de medición X1y X2. Podría ser, por ejemplo, que quiero predecir el sabor de un plátano, ya sea midiendo cuánto tiempo ha estado sobre la mesa o midiendo la cantidad de manchas marrones en el plátano. Quiero saber cuál de las …

9 regression  linear-model  mixed-model 

Estoy buscando la ecuación correcta para calcular la covarianza muestral imparcial ponderada. Las fuentes de Internet son bastante raras en este tema y todas usan ecuaciones diferentes. La ecuación más probable que he encontrado es esta: qjk=∑Ni=1wi(∑Ni=1wi)2−∑Ni=1w2i∑Ni=1wi(xij−x¯j)(xik−x¯k).qjk=∑i=1Nwi(∑i=1Nwi)2−∑i=1Nwi2∑i=1Nwi(xij−x¯j)(xik−x¯k).q_{jk}=\frac{\sum_{i=1}^{N}w_i}{\left(\sum_{i=1}^{N}w_i\right)^2-\sum_{i=1}^{N}w_i^2} \sum_{i=1}^N w_i \left( x_{ij}-\bar{x}_j \right) \left( x_{ik}-\bar{x}_k \right) . De: https://en.wikipedia.org/wiki/Sample_mean_and_sample_covariance#Weighted_samples Por supuesto, …

9 covariance  unbiased-estimator  weighted-data 

En el contexto de la inferencia basada en la probabilidad, he visto alguna notación sobre los parámetros de interés que he encontrado un poco confusa. Por ejemplo, notación como y .pθ(x)pθ(x)p_{\theta}(x)Eθ[S(θ)]Eθ[S(θ)]{\mathbb E}_{\theta}\left[S(\theta)\right] ¿Cuál es el significado del parámetro ( ) en la notación de subíndice anterior? En otras palabras, ¿cómo …

9 expected-value  pdf  likelihood  notation 

Soy nuevo en el aprendizaje automático y trato de usar scikit-learn (sklearn) para tratar un problema de clasificación. Tanto DecisionTree como SVM pueden entrenar a un clasificador para este problema. Utilizo sklearn.ensemble.RandomForestClassifiery sklearn.svm.SVCpara ajustar los mismos datos de entrenamiento (alrededor de 500,000 entradas con 50 funciones por entrada). El RandomForestClassifier …

9 machine-learning  classification  svm  scikit-learn 

Tengo un conjunto de entrenamiento con aproximadamente 3000 instancias positivas y 3000 instancias negativas. Pero mi conjunto de datos de prueba no está equilibrado. El conjunto positivo solo tiene 50 instancias y el negativo tiene 1500 instancias, lo que hace que la precisión sea muy baja. ¿Hay algún enfoque para …

9 machine-learning  classification  data-mining  svm 

De Wikipedia Formalmente, la correlación parcial entre e dado un conjunto de variables de control , escrita ρ_ {XY · Z} , es la correlación entre los residuos RX y RY resultantes de regresión lineal de X con Z y de Y con Z , respectivamente.XXXYYYnnnZ={Z1,Z2,…,Zn}Z={Z1,Z2,…,Zn}Z = \{Z_1, Z_2, …, …

9 correlation  partial-correlation  conditioning 

Tengo cerca de un millón de conjuntos de datos y cada vez que realizo una prueba de comparación de medias, ya sea ANOVA o una prueba t, obtengo un nivel de significancia de menos de .0001 en SPSS. Me preocupa que mi muestra sea tan grande que, por supuesto, cuando …

9 anova  t-test  effect-size  large-data 

Vi los libros de Vapnik sobre aprendizaje estadístico ... Leí los primeros capítulos. De todos modos, lo que más me sorprendió fue que pensó que la navaja de afeitar de Occam era obsoleta. Pensé que estaba relacionado con la situación en la que asumir una dimensión más alta mejora significativamente …

9 machine-learning  svm 

Para un clasificador probabilístico de múltiples clases podemos obtener probabilidades de pertenencia de un nuevo punto a cada clase ; en el caso de 3 clases, suponga que obtenemos , por lo tanto, la clase más probable de x es . Ahora suponga que tenemos un svm de varias clases …

9 probability  classification  svm  unsupervised-learning  uncertainty 

Me pregunto si hay una buena manera de calcular el criterio de agrupamiento basado en la fórmula BIC, para una salida de k-medias en R? Estoy un poco confundido sobre cómo calcular ese BIC para poder compararlo con otros modelos de agrupación. Actualmente estoy usando la implementación del paquete de …

9 r  clustering  k-means  bic 

Tenemos los siguientes puntos: ¿Cómo podemos encontrar la mejor línea de ajuste través de los puntos? Mi calculadora tiene la opción de encontrar la mejor línea de ajuste través de estos puntos, que es:( 0 , 0 ) ( 1 , 51.8 ) ( 1.9 , 101.3 ) ( 2.8 …

9 regression  intercept 

¿Es posible derivar una fórmula para la varianza de potencias de una variable aleatoria en términos del valor esperado y la varianza de X? y var(Xnorte) =?var⁡(Xn)=?\operatorname{var}(X^n)= \,?mi(Xnorte) =?E(Xn)=?E(X^n)=\,?

9 variance  expected-value 

Soy nuevo en Stats y me encontré con este problema al ejecutar mis análisis en SPSS que no puedo explicar. ¿Cómo es que incluso después de transformar mis datos al registrarlos, todavía tiene el mismo valor p que el conjunto de datos sin procesar que no se transformó?

9 data-transformation  p-value  wilcoxon-mann-whitney 

En gran parte de la literatura que estoy estudiando, es uno de esos términos que ocurre con frecuencia pero sin una definición rigurosa. Específicamente, me dicen: Para variables aleatorias indexadas en el tiempo (RV) {Xt}{Xt}\{X_t\}, el modelo de descomposición aditiva se da como Xt=ll(Xt−1,Xt−2,…)+fc(Xt−1,Xt−2,…,εt,εt−1,…)Xt=ll(Xt−1,Xt−2,…)+fc(Xt−1,Xt−2,…,εt,εt−1,…)X_t = {ll}(X_{t-1}, X_{t-2}, \ldots) + {fc}(X_{t-1}, …

9 time-series  definition 

Considere una respuesta y y matriz de datos X . Supongamos que estoy creando un modelo del formulario: y ~ g (X, )θθ\theta (g () podría ser cualquier función de X y )θθ\theta Ahora, para estimar utilizando el método de máxima verosimilitud (ML), podría seguir adelante con ML condicional (suponiendo …

9 estimation  maximum-likelihood  optimization