Preguntas etiquetadas con neural-networks

La función de activación de tanh es: tanh(x)=2⋅σ(2x)−1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 Donde σ(x)σ(x)\sigma(x) , la función sigmoide, se define como: σ(x)=ex1+exσ(x)=ex1+ex\sigma(x) = \frac{e^x}{1 + e^x} . Preguntas: ¿Realmente importa entre usar esas dos funciones de activación (tanh vs. sigma)? ¿Qué …

82 machine-learning  neural-networks  optimization  cost-maximization 

En los últimos años, las redes neuronales convolucionales (o quizás redes neuronales profundas en general) se han vuelto cada vez más profundas, con redes de vanguardia que van de 7 capas ( AlexNet ) a 1000 capas ( Redes residuales) en el espacio de 4 años. La razón detrás del …

73 machine-learning  classification  neural-networks  deep-learning  conv-neural-network 

Una época en el descenso de gradiente estocástico se define como un solo paso a través de los datos. Para cada minibatch SGD, se extraen muestras, se calcula el gradiente y se actualizan los parámetros. En la configuración de época, las muestras se extraen sin reemplazo.kkk Pero esto parece innecesario. …

69 neural-networks  deep-learning  gradient-descent 

Acabo de escuchar que es una buena idea elegir los pesos iniciales de una red neuronal del rango , donde es el cantidad de entradas a una neurona dada. Se supone que los conjuntos están normalizados: media 0, varianza 1 (no sé si esto importa).d( - 1re√, 1re√)(−1d,1d)(\frac{-1}{\sqrt d} , …

68 neural-networks  normalization 

Las redes neuronales recurrentes difieren de las "regulares" por el hecho de que tienen una capa de "memoria". Debido a esta capa, se supone que los NN recurrentes son útiles en el modelado de series temporales. Sin embargo, no estoy seguro de entender correctamente cómo usarlos. Digamos que tengo las …

67 time-series  machine-learning  neural-networks 

¿Hay alguna guía general sobre dónde colocar capas de abandono en una red neuronal?

65 neural-networks  dropout 

Estoy entrenando una red neuronal para clasificar un conjunto de objetos en n-clases. Cada objeto puede pertenecer a múltiples clases al mismo tiempo (multi-clase, multi-etiqueta). Leí que para problemas de varias clases generalmente se recomienda usar softmax y entropía cruzada categórica como la función de pérdida en lugar de mse …

64 neural-networks  python  loss-functions  keras  cross-entropy 

Un niño humano a los 2 años necesita alrededor de 5 instancias de un automóvil para poder identificarlo con una precisión razonable independientemente del color, la marca, etc. Cuando mi hijo tenía 2 años, pudo identificar tranvías y trenes, a pesar de que había visto sólo algunos. Como generalmente se …

64 neural-networks  neuroscience 

Tengo la impresión de que cuando las personas se refieren a una red de "creencias profundas", se trata básicamente de una red neuronal pero muy grande. ¿Es esto correcto o una red de creencias profundas también implica que el algoritmo en sí mismo es diferente (es decir, no alimenta la …

62 machine-learning  neural-networks  deep-learning  deep-belief-networks 

Veo que muchos algoritmos de aprendizaje automático funcionan mejor con la cancelación media y la ecualización de covarianza. Por ejemplo, las redes neuronales tienden a converger más rápido, y K-Means generalmente ofrece una mejor agrupación con características preprocesadas. No veo que la intuición detrás de estos pasos de preprocesamiento conduzca …

61 machine-learning  neural-networks  covariance  normalization 

¿Cuál es la diferencia entre una red neuronal recurrente y de retroalimentación ? ¿Por qué usarías uno sobre el otro? ¿Existen otras topologías de red?

59 machine-learning  neural-networks  terminology  rnn  topologies 

Encontré dos preguntas aquí y aquí sobre este problema, pero todavía no hay una respuesta o explicación obvia. Hago cumplir el mismo problema donde el error de validación es menor que el error de entrenamiento en mi red neuronal de convolución. Qué significa eso?

58 machine-learning  mathematical-statistics  neural-networks  cross-validation 

Tanto PCA como autoencoder pueden reducir la degradación, entonces, ¿cuál es la diferencia entre ellos? ¿En qué situación debo usar uno sobre otro?

56 machine-learning  pca  neural-networks  autoencoders 

Me preguntaba si hay buenas bibliotecas R para redes neuronales de aprendizaje profundo. Sé que está el nnet,, neuralnety RSNNS, pero ninguno de estos parece implementar métodos de aprendizaje profundo. Estoy especialmente interesado en el aprendizaje no supervisado seguido del aprendizaje supervisado y en el uso de la deserción escolar …

56 r  neural-networks  deep-learning  rbm  deep-belief-networks 

¿Alguien puede explicar qué es una capa de agrupación máxima global y por qué y cuándo la usamos para entrenar una red neuronal? ¿Tienen alguna ventaja sobre la capa de agrupación máxima ordinaria?

55 neural-networks  conv-neural-network  pooling