Preguntas etiquetadas con natural-language

Tratando de entender la relación entre la entropía cruzada y la perplejidad. En general, para un modelo M , Perplejidad (M) = 2 ^ entropía (M) . ¿Esta relación es válida para todos los n-gramos diferentes, es decir, unigram, bigram, etc.?

10 natural-language  entropy  perplexity 

Según la documentación de la removeSparseTermsfunción del tmpaquete, esto es lo que implica la escasez: A term-document matrix where those terms from x are removed which have at least a sparse percentage of empty (i.e., terms occurring 0 times in a document) elements. I.e., the resulting matrix contains only terms …

10 r  text-mining  natural-language 

Ejemplos: Tengo una oración en la descripción del trabajo: "Ingeniero senior de Java en el Reino Unido". Quiero usar un modelo de aprendizaje profundo para predecirlo en 2 categorías: English y IT jobs. Si uso el modelo de clasificación tradicional, solo puede predecir 1 etiqueta con softmaxfunción en la última …

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

Mi libro de texto enumera el idf como dondel o g( 1 + Nnortet)log(1+Nnt)log(1+\frac{N}{n_t}) norteNN : número de documentos nortetntn_t : número de documentos que contienen el términottt Wikipedia enumera esta fórmula como una versión suavizada del real . Eso lo entiendo: varía de a que parece intuitivo. Pero va …

9 text-mining  natural-language  smoothing 

Mi pregunta es generalmente sobre la descomposición del valor singular (SVD), y particularmente sobre la indexación semántica latente (LSI). Digamos que tengo que contiene frecuencias de 5 palabras para 7 documentos.UNAw o r d× do c u m e n tAword×document A_{word \times document} A = matrix(data=c(2,0,8,6,0,3,1, 1,6,0,1,7,0,1, 5,0,7,4,0,5,6, 7,0,8,5,0,8,5, …

9 r  svd  natural-language  latent-semantic-indexing 

No estoy seguro de si esta pregunta es totalmente apropiada aquí, de lo contrario, elimínela. Soy un estudiante graduado en economía. Para un proyecto que investiga problemas en seguros sociales, tengo acceso a una gran cantidad de informes de casos administrativos (> 200k) que se ocupan de las evaluaciones de …

9 machine-learning  data-mining  econometrics  text-mining  natural-language 

Inicialmente pregunté esto en el desbordamiento de la pila y me remitieron a este sitio, así que aquí va: Estoy implementando algunos métodos no supervisados ​​de resumen de documentos basados ​​en selección / extracción de contenido y estoy confundido acerca de lo que mi libro de texto llama la "relación …

9 natural-language  text-summarization 

Estoy leyendo este artículo: el traductor de Skype donde usan CD-DNN-HMM (Redes neuronales profundas dependientes del contexto con modelos ocultos de Markov). Puedo entender la idea del proyecto y la arquitectura que han diseñado, pero no entiendo cuáles son los senones . He estado buscando una definición pero no he …

9 neural-networks  deep-learning  terminology  natural-language  hidden-markov-model 

En los modelos CBOW y skip-gram de word2vec, ¿cómo funciona elegir vectores de palabras de WWW(matriz de palabras de entrada) frente a elegir vectores de palabras de (matriz de palabras de salida) ¿afecta la calidad de los vectores de palabras resultantes?W′W′W' CBOW: Saltar-gramo:

9 neural-networks  natural-language  word2vec  word-embeddings 

Quiero entrenar una red neuronal con una secuencia de caracteres como un vector de entrada. Los ejemplos de aprendizaje tienen una longitud diferente y por esta razón no sé cómo representarlos. Digamos que tengo dos ejemplos de secuencias, aquí los nombres: john doe maurice delanoe El primer ejemplo es de …

9 machine-learning  neural-networks  feature-selection  natural-language 

Quiero realizar análisis de sentimientos en el texto, he revisado varios artículos, algunos de ellos usan "Naive Bayes" y otros son "Recurrent Neural Network (LSTM)" , por otro lado, he visto una biblioteca de Python para el análisis de sentimientos que es nltk Utiliza "Naive Bayes". ¿Alguien puede explicar cuál …

8 machine-learning  neural-networks  python  natural-language 

Estoy calculando algunas probabilidades condicionales y los intervalos de confianza del 95% asociados. Para muchos de mis casos, tengo recuentos directos de xéxitos fuera de los nensayos (de una tabla de contingencia), por lo que puedo usar un intervalo de confianza binomial, como se proporciona binom.confint(x, n, method='exact')en R. Sin …

8 r  bayesian  confidence-interval  conditional-probability  hidden-markov-model  segmentation  hypothesis-testing  statistical-significance  multiple-comparisons  multiple-regression  r  regression  survey  sample  finite-population  pca  model-selection  dataset  partitioning  clustering  time-series  least-squares  regression  standard-error  causality  r  time-series  outliers  missing-data  machine-learning  svm  hypothesis-testing  discrete-data  r  data-visualization  survey  likert  finance  regression  pca  feature-selection  stepwise-regression  underdetermined  svm  natural-language 

En muchas aplicaciones de procesamiento de lenguaje natural, como corrección ortográfica, traducción automática y reconocimiento de voz, utilizamos modelos de lenguaje. Los modelos de lenguaje se crean generalmente contando con qué frecuencia ocurren secuencias de palabras (n-gramos) en un corpus grande y normalizando los recuentos para crear una probabilidad. Para …

8 distributions  modeling  natural-language  language-models