Preguntas etiquetadas con loss-functions

Sé que k-means generalmente se optimiza usando Maximización de Expectativas . Sin embargo, podríamos optimizar su función de pérdida de la misma manera que optimizamos cualquier otra. Encontré algunos documentos que en realidad usan el descenso de gradiente estocástico para medios k a gran escala, pero no pude responder a …

14 optimization  k-means  expectation-maximization  loss-functions 

En la sección 3.2 de Reconocimiento de patrones y Aprendizaje automático de Bishop , analiza la descomposición de la variación de sesgo, indicando que para una función de pérdida al cuadrado, la pérdida esperada puede descomponerse en un término de sesgo al cuadrado (que describe qué tan lejos están las …

13 self-study  variance  bias  regularization  loss-functions 

El clasificador Naive Bayes es el clasificador que asigna elementos a una clase función de la maximización de la posterior para la pertenencia a clases, y supone que las características de los elementos son independientes.C P ( C | x )xxxCCCP(C|x)P(C|x)P(C|x) La pérdida 0-1 es la pérdida que asigna a …

13 machine-learning  bayesian  optimization  naive-bayes  loss-functions 

Estoy tratando de entrenar una red neuronal para la clasificación, pero las etiquetas que tengo son bastante ruidosas (alrededor del 30% de las etiquetas están equivocadas). La pérdida de entropía cruzada realmente funciona, pero me preguntaba si hay alguna alternativa más efectiva en este caso. o es la pérdida de …

13 machine-learning  neural-networks  loss-functions  noise 

En el libro de aprendizaje profundo de Ian Goodfellow , está escrito que A veces, la función de pérdida que realmente nos importa (por ejemplo, error de clasificación) no es una que pueda optimizarse de manera eficiente. Por ejemplo, minimizar al mínimo la pérdida esperada de 0-1 es típicamente intratable …

12 neural-networks  deep-learning  loss-functions 

Comencé a aprender sobre redes neuronales con el tutorial de redes neuronales y aprendizaje de punto com. En particular, en el tercer capítulo hay una sección sobre la función de entropía cruzada, y define la pérdida de entropía cruzada como: C=−1n∑x∑j(yjlnaLj+(1−yj)ln(1−aLj))C=−1n∑x∑j(yjln⁡ajL+(1−yj)ln⁡(1−ajL))C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) …

12 neural-networks  loss-functions  softmax  cross-entropy 

Haría una pregunta relacionada con este . Encontré un ejemplo de escritura de la función de pérdida personalizada para xgboost aquí : loglossobj <- function(preds, dtrain) { # dtrain is the internal format of the training data # We extract the labels from the training data labels <- getinfo(dtrain, "label") …

12 r  machine-learning  gradient-descent  boosting  loss-functions 

Quiero usar el aprendizaje profundo para entrenar una detección binaria facial / no facial, qué pérdida debo usar, creo que es SigmoidCrossEntropyLoss o Hinge-loss . ¿Es correcto, pero también me pregunto si debería usar softmax pero con solo dos clases?

11 deep-learning  loss-functions  computer-vision  conv-neural-network 

En el libro de Goodfellow (2016) sobre aprendizaje profundo, habló sobre la equivalencia de la parada temprana a la regularización L2 ( https://www.deeplearningbook.org/contents/regularization.html página 247). La aproximación cuadrática de la función de costo viene dada por:jjj J^(θ)=J(w∗)+12(w−w∗)TH(w−w∗)J^(θ)=J(w∗)+12(w−w∗)TH(w−w∗)\hat{J}(\theta)=J(w^*)+\frac{1}{2}(w-w^*)^TH(w-w^*) donde es la matriz de Hesse (Ec. 7.33). ¿Falta esto el término medio? …

11 neural-networks  deep-learning  loss-functions  derivative 

Estoy tratando de hacer un detector de objetos que ocurren muy raramente (en imágenes), planeando usar un clasificador binario CNN aplicado en una ventana deslizante / redimensionada. He construido entrenamientos balanceados positivos y negativos 1: 1 y conjuntos de pruebas (¿es correcto hacerlo en este caso por cierto?), Y el …

11 logistic  classification  unbalanced-classes  loss-functions 

Esta es la función de pérdida de desviación binomial de GradientBoosting de scikit, def __call__(self, y, pred, sample_weight=None): """Compute the deviance (= 2 * negative log-likelihood). """ # logaddexp(0, v) == log(1.0 + exp(v)) pred = pred.ravel() if sample_weight is None: return -2.0 * np.mean((y * pred) - np.logaddexp(0.0, pred)) …

11 machine-learning  scikit-learn  boosting  loss-functions 

La solución al problema: minmetromi[ | m - XEl | ]minmE[|m−X|] \min_{m} \; E[|m-X|] se sabe que es la mediana de XXX , pero ¿cómo se ve la función de pérdida para otros percentiles? Ej: el percentil 25 de X es la solución para: minmetromi[ L ( m , X) …

11 expected-value  loss-functions 

Tengo una duda sobre cómo se entrena exactamente la función de pérdida de una red Deep Q-Learning. Estoy usando una red de alimentación de 2 capas con capa de salida lineal y capas ocultas relu. Supongamos que tengo 4 acciones posibles. Por lo tanto, la salida de mi red para …

11 least-squares  deep-learning  loss-functions  reinforcement-learning  q-learning 

Me he encontrado con estas diapositivas (diapositiva 16 y 17) en uno de los cursos en línea. El instructor intentaba explicar cómo la Estimación posterior máxima (MAP) es en realidad la solución , donde es el parámetro verdaderoL(θ)=I[θ≠θ∗]L(θ)=I[θ≠θ∗]L(\theta) = \mathcal{I}[\theta \ne \theta^{*}]θ∗θ∗\theta^{*} ¿Alguien puede explicar cómo sigue esto? Editar: se …

10 bayesian  optimization  loss-functions  decision-theory  map-estimation 

Estoy trabajando en el documento Cho 2014 que introdujo la arquitectura codificador-decodificador para el modelado seq2seq. En el documento, parecen usar la probabilidad de la entrada dada de salida (o es la probabilidad de registro negativa) como la función de pérdida para una entrada de longitud M y salida y …

10 deep-learning  loss-functions  rnn