Estadísticas y Big Data

Actualmente estoy trabajando en una forma de transformar dos valores de prueba de fósforo diferentes entre sí. Antecedentes Existen muchos métodos (de extracción) para medir el fósforo disponible de la planta en el suelo. Diferentes países aplican diferentes métodos, por lo tanto, para comparar la fertilidad P entre países, es …

9 regression  total-least-squares 

Quiero determinar cuál de los dos conjuntos de datos (B1, B2) se correlaciona mejor (pearsons r) con otro conjunto (A). Faltan datos en todos los conjuntos de datos. ¿Cómo puedo determinar si la correlación resultante es significativamente diferente o no? Por ejemplo, los valores 8426 están presentes tanto en A …

9 hypothesis-testing  correlation  statistical-significance  missing-data 

Supongamos que tengo un montón de ciudades con diferentes tamaños de población, y quiero ver si hay una relación lineal positiva entre el número de tiendas de licores en una ciudad y el número de DUI. Donde estoy determinando si esta relación es significativa o no basada en una prueba …

9 regression  multicollinearity 

Hastie y col. "Los elementos del aprendizaje estadístico" (2009) consideran un proceso de generación de datos con E ( ε ) = 0 y Var ( ε ) = σ 2 ε .Y= f( X) + εY=f(X)+ε Y = f(X) + \varepsilon E(ε)=0E(ε)=0\mathbb{E}(\varepsilon)=0Var(ε)=σ2εVar(ε)=σε2\text{Var}(\varepsilon)=\sigma^2_{\varepsilon} Presentan la siguiente descomposición de sesgo-varianza del …

9 variance  forecasting  prediction  terminology  bias 

Este es el resultado de tendencias de Google obtenido para la frase "Naive Bayes" de enero de 2004 a abril de 2017 ( enlace ). Según esta cifra, el índice de búsqueda de "Naive Bayes" en abril de 2017 es aproximadamente un 25% mayor que el máximo en todo el …

9 naive-bayes  trend 

Pregunta: Un malentendido común de los valores p es que representan la probabilidad de que la hipótesis nula sea verdadera. Sé que eso no es correcto y sé que los valores p solo representan la probabilidad de encontrar una muestra tan extrema como esta, dado que la hipótesis nula es …

9 hypothesis-testing  bayesian  p-value  frequentist 

¿Cómo interpreta una curva de supervivencia del modelo de riesgo proporcional de Cox? En este ejemplo de juguete, supongamos que tenemos un modelo de riesgo proporcional de Cox ageen kidneydatos variables y generamos la curva de supervivencia. library(survival) fit <- coxph(Surv(time, status)~age, data=kidney) plot(conf.int="none", survfit(fit)) grid() Por ejemplo, en el …

9 r  survival  cox-model  likelihood  machine-learning  deep-learning  generative-models  machine-learning  reinforcement-learning  q-learning  regression  multicollinearity  convergence  beta-distribution  bernoulli-distribution  machine-learning  self-study  pattern-recognition  neural-networks  stochastic-processes  linear 

Me pregunto si la desviación estándar siempre se basó en el supuesto de una distribución normal. En otras palabras, si la muestra no se distribuye normalmente, ¿debería considerarse un error utilizar la desviación estándar?

9 normal-distribution  standard-deviation 

Estoy adaptando varios modelos de la forma. glm(DV ~ I(1/IV), family = Gamma(link = "log") .. y estoy buscando formas de comparar los modelos obtenidos para diferentes variables. Me pregunto si el valor alfa es de alguna utilidad práctica. Para las tres parcelas debajo de los valores alfa son 17.85, …

9 generalized-linear-model  gamma-distribution 

Estaba leyendo este documento sobre acuaponia y algunas de las estadísticas no tenían ningún sentido con respecto a los porcentajes enumerados. ¿Qué método permitiría que existan estos porcentajes? Los animales acuáticos criados más comúnmente por porcentaje fueron tilapia (69%), peces ornamentales (43%), bagre (25%), otros animales acuáticos (18%), perca (16%), …

9 percentage 

En la Econometría introductoria de Wooldridge hay una cita: El argumento que justifica la distribución normal de los errores por lo general es algo como esto: porque es la suma de muchos factores diferentes que afectan no observadas , podemos invocar el teorema del límite central a la conclusión de …

9 self-study  linear-model  econometrics  normality-assumption  central-limit-theorem 

Configuración del problema Tengo puntos de datos (imágenes) de alta dimensión (4096), que estoy tratando de visualizar en 2D. Para este fin, estoy usando t-sne de manera similar al siguiente código de ejemplo de Karpathy . La documentación de scikit-learn recomienda usar PCA para reducir primero la dimensión de los …

9 pca  dimensionality-reduction  high-dimensional  java  tsne 

En esta pregunta popular , la respuesta altamente votada hace que MLE y Baum Welch se separen en la adaptación HMM. Para problemas de entrenamiento podemos usar los siguientes 3 algoritmos: MLE (estimación de máxima verosimilitud), entrenamiento de Viterbi (NO confundir con la decodificación de Viterbi), Baum Welch = algoritmo …

9 hidden-markov-model  expectation-maximization 

¿Alguien sabe cuál es la función de distribución acumulativa inversa de la distribución normal? ¿Tiene una expresión de forma cerrada? No encontré ninguna buena respuesta con Google.

9 normal-distribution  inverse-cdf 

He hecho esta pregunta antes de otra manera en otros intercambios de pila, lo siento mucho por la nueva publicación. Le pregunté a mi profesor y a un par de estudiantes de doctorado, sin una respuesta definitiva. Primero expondré el problema, luego mi solución potencial y el problema con mi …

9 poisson-distribution  poisson-process