Estadísticas y Big Data

Tengo una matriz de términos de documentos , y ahora me gustaría extraer palabras clave para cada documento con un método de aprendizaje supervisado (SVM, Naive Bayes, ...). En este modelo, ya uso Tf-idf, etiqueta Pos, ...METROMETROM Pero ahora me pregunto sobre nexts. Tengo una matriz con las similitudes de …

12 text-mining  feature-construction  supervised-learning  cosine-distance  cosine-similarity 

¿Cómo debo interpretar las gráficas de altura de densidad? Por ejemplo, en la gráfica anterior, el pico es de aproximadamente 0.07 en x = 18. ¿Puedo inferir que alrededor del 7% de los valores son alrededor de 18? ¿Puedo ser más específico que eso? También hay un segundo pico en …

12 data-visualization  pdf 

Estoy considerando un espacio grande (pero finito) de modelos de complejidad variable que exploro usando RJMCMC . Lo anterior en el vector de parámetros para cada modelo es bastante informativo. ¿En qué casos (si corresponde) debería preocuparme la paradoja de Jeffreys-Lindley que favorece modelos más simples cuando uno de los …

12 bayesian  model-selection  mcmc  prior  improper-prior 

En dos bibliotecas de identificación de idiomas populares, Compact Language Detector 2 para C ++ y el detector de idiomas para java, ambos utilizaron n-gramos (basados ​​en caracteres) para extraer características de texto. ¿Por qué no se usa una bolsa de palabras (una sola palabra / diccionario), y cuál es …

12 machine-learning  classification  text-mining  natural-language 

Sea una secuencia de variables aleatorias st en probabilidad, donde es una constante fija. Estoy tratando de mostrar lo siguiente: y ambos con probabilidad. Estoy aquí para ver si mi lógica era sólida. Aquí esta mi trabajo{Xn}n≥1{Xn}n≥1\{X_n\}_{n\geq 1}Xn→aXn→aX_n \to aa>0a>0a>0Xn−−−√→a−−√Xn→a\sqrt{X_n} \to \sqrt{a}aXn→1aXn→1\frac{a}{X_n}\to 1 INTENTO Para la primera parte, tenemos Tenga …

12 random-variable  convergence  asymptotics  probability-inequalities  coverage-probability 

Dado iid X n ≈ N ( μ X , σ 2 X ) y μ X ≈ 0 , buscando:norte≥ 30N≥30N\geq30Xnorte≈ N( μX, σ2X)Xn≈N(μX,σX2)X_n\approx\mathcal{N}(\mu_X,\sigma_X^2)μX≈ 0μX≈0\mu_X \approx 0 aproximación precisa de distribución de forma cerrada de Ynorte= ∏1norteXnorteYN=∏1NXnY_N=\prod\limits_{1}^{N}{X_n} aproximación asintótica ( ¿ exponencial ?) del mismo producto Este es un …

12 distributions  normal-distribution  asymptotics  approximation 

Acabo de pensar en una forma ordenada (no necesariamente buena) de crear estimaciones de densidad unidimensionales y mi pregunta es: ¿Este método de estimación de densidad tiene un nombre? Si no, ¿es un caso especial de algún otro método en la literatura? Aquí está el método: Tenemos un vector que …

12 r  estimation  nonparametric  pdf  kernel-smoothing 

La de Cohen es una de las formas más comunes en que medimos el tamaño de un efecto ( ver Wikipedia ). Simplemente mide la distancia entre dos medias en términos de la desviación estándar agrupada. ¿Cómo podemos derivar la fórmula matemática de la estimación de la varianza de la …

12 variance  effect-size  cohens-d 

Recientemente leí algunos artículos sobre la red neuronal bayesiana (BNN) [Neal, 1992] , [Neal, 2012] , que proporciona una relación de probabilidad entre la entrada y la salida en una red neuronal. La capacitación de una red neuronal de este tipo es a través de MCMC, que es diferente del …

12 bayesian  neural-networks  bayesian-network 

Resumen : intentar encontrar el mejor método resume la similitud entre dos conjuntos de datos alineados con un solo valor. Detalles : Mi pregunta se explica mejor con un diagrama. Los gráficos a continuación muestran dos conjuntos de datos diferentes, cada uno con valores etiquetados nfy nr. Los puntos a …

12 similarities 

Estoy estudiando reconocimiento de patrones y aprendizaje automático, y me encontré con la siguiente pregunta. Considere un problema de clasificación de dos clases con igual probabilidad de clase previaP(D1)=P(D2)=12P(D1)=P(D2)=12P(D_1)=P(D_2)= \frac{1}{2} y la distribución de instancias en cada clase dada por p(x|D1)=N([00],[2001]),p(x|D1)=N([00],[2001]), p(x|D_1)= {\cal N} \left( \begin{bmatrix} 0 \\0 \end{bmatrix}, \begin{bmatrix} …

12 machine-learning  self-study  classification  discriminant-analysis 

Encontré muchos artículos que afirman que los métodos de impulso son sensibles a los valores atípicos, pero ningún artículo explica por qué. En mi experiencia, los valores atípicos son malos para cualquier algoritmo de aprendizaje automático, pero ¿por qué los métodos de refuerzo son especialmente sensibles? ¿Cómo clasificarían los siguientes …

12 machine-learning  svm  outliers  cart  boosting 

Espero que no haya una respuesta definitiva a esta pregunta. Pero he utilizado varios algoritmos de aprendizaje automático en el pasado y estoy tratando de aprender sobre las redes bayesianas. Me gustaría entender bajo qué circunstancia, o para qué tipo de problemas elegiría usar Bayesian Network sobre otros enfoques.

12 machine-learning  bayesian-network 

Suponga la siguiente situación: tenemos un gran número (por ejemplo, 20) con grupos pequeños (por ejemplo, n = 3). Noté que si genero valores a partir de la distribución uniforme, los residuos se verán aproximadamente normales a pesar de que la distribución del error es uniforme. El siguiente código R …

12 anova  normal-distribution  small-sample 

Estaba leyendo una publicación de blog del estadístico William Briggs, y la siguiente afirmación me interesó por decir lo menos. ¿Que haces de eso? ¿Qué es un intervalo de confianza? Es una ecuación, por supuesto, que le proporcionará un intervalo para sus datos. Su objetivo es proporcionar una medida de …

12 confidence-interval  frequentist  philosophical