Preguntas etiquetadas con neural-networks

Estoy entrenando una red neuronal artificial (retropropagación, retroalimentación) con datos distribuidos no normales. Además de la raíz del error cuadrático medio, la literatura a menudo sugiere el coeficiente de correlación de Pearson para evaluar la calidad de la red entrenada. Pero, ¿es razonable el coeficiente de correlación de Pearson si …

9 correlation  neural-networks  spearman-rho 

Un autoencoder variacional (VAE) proporciona una forma de aprender la distribución de probabilidad relaciona una entrada con su representación latente . En particular, el codificador asigna una entrada a una distribución en . Un codificador típico generará parámetros , que representa la distribución gaussiana ; Esta distribución se utiliza como …

9 neural-networks  deep-learning  autoencoders  variational-bayes 

El título lo dice todo: ¿cuántos parámetros entrenables hay en una capa GRU? Este tipo de pregunta surge mucho cuando se intenta comparar modelos de diferentes tipos de capas RNN, como las unidades de memoria a largo plazo (LSTM) frente a GRU, en términos del rendimiento por parámetro. Dado que …

9 neural-networks  rnn  gru 

En este https://cs231n.github.io/neural-networks-case-study/ ¿por qué menciona que "el clasificador Softmax interpreta que cada elemento de ff contiene las probabilidades de registro (no normalizadas) de las tres clases". Entiendo por qué no está normalizado, pero no por qué es un registro. ¿Qué significa una probabilidad logarítmica? ¿Por qué no solo decir …

9 machine-learning  neural-networks  information-theory  softmax 

Estoy usando el modelo preformado de TensorFlow de la red neuronal convolucional. https://github.com/tensorflow/models/blob/master/slim/nets/resnet_v2.py#L130 Encontré la siguiente oración: Sin embargo, para tareas de predicción densas, recomendamos que se utilicen entradas con dimensiones espaciales que sean múltiplos de 32 más 1, por ejemplo, [321, 321]. ¿Alguien sabe cuál es la predicción densa …

9 neural-networks  conv-neural-network 

He estado tratando de crear un programa para entrenar redes neuronales en mi computadora. Para la red en cuestión, he decidido usar la función Error de entropía cruzada: mi= -∑jtjEnojE=−∑jtjln⁡ojE = -\sum_jt_j\ln o_j Dónde tjtjt_j es la salida objetivo para la neurona jjjy ojojo_j es la salida de esa neurona, …

9 machine-learning  neural-networks  derivative  cross-entropy  differential-equations 

He etiquetado los datos compuestos por 10000 ejemplos positivos y 50000 ejemplos negativos, dando un total de 60000 ejemplos. Obviamente estos datos están desequilibrados. Ahora digamos que quiero crear mi conjunto de validación, y quiero usar el 10% de mis datos para hacerlo. Mi pregunta es la siguiente: ¿Debo asegurarme …

9 machine-learning  neural-networks  cross-validation  dataset  unbalanced-classes 

El documento sobre GAN dice que el discriminador usa el siguiente gradiente para entrenar: ∇θre1metro∑i = 1metro[ logD (X( i )) +log( 1 - D ( G (z( i )) ) ) ]∇θre1metro∑yo=1metro[Iniciar sesión⁡re(X(yo))+Iniciar sesión⁡(1-re(sol(z(yo))))]\nabla _{\theta_d} \frac{1}{m}\sum^{m}_{i=1} [\log{D(x^{(i)})} + \log{(1-D(G(z^{(i)})))}] Los valores se muestrean, se pasan a través del generador …

9 machine-learning  neural-networks 

Hay tantas técnicas de regularización que no es práctico probar todas las combinaciones: l1 / l2 norma máxima abandonar parada temprana ... Parece que la mayoría de las personas están contentas con una combinación de abandono escolar y parada temprana: ¿hay casos en los que tenga sentido usar otras técnicas? …

9 neural-networks  regularization  dropout 

Cuando se aplica el abandono en redes neuronales artificiales, uno debe compensar el hecho de que en el momento del entrenamiento una parte de las neuronas se desactivaron. Para hacerlo, existen dos estrategias comunes: escalar la activación en el momento de la prueba invertir el abandono durante la fase de …

9 neural-networks  deep-learning  dropout 

Estoy leyendo este artículo: el traductor de Skype donde usan CD-DNN-HMM (Redes neuronales profundas dependientes del contexto con modelos ocultos de Markov). Puedo entender la idea del proyecto y la arquitectura que han diseñado, pero no entiendo cuáles son los senones . He estado buscando una definición pero no he …

9 neural-networks  deep-learning  terminology  natural-language  hidden-markov-model 

En los modelos CBOW y skip-gram de word2vec, ¿cómo funciona elegir vectores de palabras de WWW(matriz de palabras de entrada) frente a elegir vectores de palabras de (matriz de palabras de salida) ¿afecta la calidad de los vectores de palabras resultantes?W′W′W' CBOW: Saltar-gramo:

9 neural-networks  natural-language  word2vec  word-embeddings 

Me gustaría utilizar una red neuronal para predecir series de tiempo financieras. Vengo de un entorno de TI y tengo algunos conocimientos de redes neuronales y he estado leyendo sobre estos: TDNN RNN He estado buscando paquetes R para ellos y solo encontré uno para RNN, el paquete RSNNS que …

9 time-series  forecasting  neural-networks  finance 

Estoy tratando con un problema relacionado con encontrar el gradiente de la función de pérdida de entropía cruzada wrt el parámetro donde:θθ\theta CE(θ)=−∑iyi∗log(y^i)CE(θ)=−∑iyi∗log(y^i)CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})} Donde, y es una entrada vectorial.y^i=softmax(θi)y^i=softmax(θi)\hat{y}_{i} = softmax(\theta_i)θiθi\theta_i Además, es un vector caliente de la clase correcta y es la predicción para cada clase que …

9 machine-learning  neural-networks 

Mi maestro demostró que la segunda derivada de la entropía cruzada siempre es positiva, por lo que la función de costo de las redes neuronales que usan entropía cruzada es convexa. ¿Es esto cierto? Estoy bastante confundido acerca de esto porque siempre he aprendido que la función de costo de …

9 neural-networks  convex