Preguntas etiquetadas con derivative

Estoy tratando de entender cómo funciona la retropropagación para una capa de salida softmax / cross-entropy. La función de error de entropía cruzada es E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j con ttt y ooo como objetivo y salida en la neurona jjj , respectivamente. La suma está sobre cada neurona en la …

40 backpropagation  derivative  softmax  cross-entropy 

Estoy haciendo el curso Stanford de Machine Learning en Coursera. En el capítulo sobre Regresión logística, la función de costo es esta: Entonces, se deriva aquí: Intenté obtener la derivada de la función de costo, pero obtuve algo completamente diferente. ¿Cómo se obtiene la derivada? ¿Cuáles son los pasos intermedios?

29 regression  logistic  gradient-descent  derivative 

No estoy seguro si esta pregunta pertenece aquí, pero está estrechamente relacionada con los métodos de gradiente en la optimización, que parece estar en el tema aquí. De todos modos, siéntase libre de migrar si cree que alguna otra comunidad tiene una mejor experiencia en el tema. En resumen, estoy …

27 optimization  derivative  tensorflow  automatic-differentiation 

En el libro de reconocimiento de patrones y aprendizaje automático (fórmula 1.27), da dondex=g(y),px(x)es el pdf que corresponde apy(y)py(y)=px(x)∣∣∣dxdy∣∣∣=px(g(y))|g′(y)|py(y)=px(x)|dxdy|=px(g(y))|g′(y)|p_y(y)=p_x(x) \left | \frac{d x}{d y} \right |=p_x(g(y)) | g'(y) |x=g(y)x=g(y)x=g(y)px(x)px(x)p_x(x)py(y)py(y)p_y(y) con respecto al cambio de la variable. Los libros dicen que es porque las observaciones que caen en el rango , …

16 machine-learning  probability  self-study  derivative  jacobian 

Tengo un conjunto de datos que contiene, digamos, algunas mediciones de posición, velocidad y aceleración. Todos provienen de la misma "carrera". Podría construir un sistema lineal y ajustar un polinomio a todas esas medidas. ¿Pero puedo hacer lo mismo con splines? ¿Cuál es una forma 'R' de hacer esto? Aquí …

14 r  model  fitting  splines  derivative 

Creo que la derivada de un proceso gaussiano (GP) es otra GP, por lo que me gustaría saber si hay ecuaciones de forma cerrada para las ecuaciones de predicción de la derivada de una GP. En particular, estoy usando el núcleo de covarianza exponencial al cuadrado (también llamado gaussiano) y …

12 stochastic-processes  gaussian-process  derivative 

En el libro de Goodfellow (2016) sobre aprendizaje profundo, habló sobre la equivalencia de la parada temprana a la regularización L2 ( https://www.deeplearningbook.org/contents/regularization.html página 247). La aproximación cuadrática de la función de costo viene dada por:jjj J^(θ)=J(w∗)+12(w−w∗)TH(w−w∗)J^(θ)=J(w∗)+12(w−w∗)TH(w−w∗)\hat{J}(\theta)=J(w^*)+\frac{1}{2}(w-w^*)^TH(w-w^*) donde es la matriz de Hesse (Ec. 7.33). ¿Falta esto el término medio? …

11 neural-networks  deep-learning  loss-functions  derivative 

He visto en algunos puntos el uso de la derivada Radon-Nikodym de una medida de probabilidad con respecto a otra, especialmente en la divergencia Kullback-Leibler, donde es la derivada de la medida de probabilidad de un modelo para algún parámetro arbitrario con respecto al parámetro real :θθ\thetaθ0θ0\theta_0 dPθdPθ0dPθdPθ0\frac {dP_\theta}{dP_{\theta_0}} Donde …

11 mathematical-statistics  kullback-leibler  derivative  measure-theory 

En el curso de aprendizaje automático de Andrew Ng, usa esta fórmula: ∇UNAt r ( A B ATC) = CA B + CTA BT∇Atr(ABATC)=CAB+CTABT\nabla_A tr(ABA^TC) = CAB + C^TAB^T y él hace una prueba rápida que se muestra a continuación: ∇UNAt r ( A B ATC)= ∇UNAt r ( f( …

10 machine-learning  matrix  derivative 

Entiendo que las redes neuronales (NN) pueden considerarse aproximadores universales a ambas funciones y sus derivadas, bajo ciertos supuestos (tanto en la red como en la función para aproximar). De hecho, he realizado una serie de pruebas en funciones simples pero no triviales (p. Ej., Polinomios), y parece que realmente …

10 machine-learning  neural-networks  function  derivative 

He estado tratando de crear un programa para entrenar redes neuronales en mi computadora. Para la red en cuestión, he decidido usar la función Error de entropía cruzada: mi= -∑jtjEnojE=−∑jtjln⁡ojE = -\sum_jt_j\ln o_j Dónde tjtjt_j es la salida objetivo para la neurona jjjy ojojo_j es la salida de esa neurona, …

9 machine-learning  neural-networks  derivative  cross-entropy  differential-equations 

Muchas referencias (incluidas wikipedia y http://www.atmos.washington.edu/~dennis/MatrixCalculus.pdf y http://michael.orlitzky.com/articles/the_derivative_of_a_quadratic_form.php ) definen la derivada de un funcionar por un vector como derivadas parciales de la función organizada en una fila (por lo que una derivada de una función de valor escalar es un vector de fila). En esta convención, el gradiente y …

9 linear-algebra  derivative