Regresión logística para multiclase.

10

Obtuve el modelo para la regresión logística para multiclase que viene dada por

P (Y = j | X^{(i)}) = \frac{\exp (θ_{j}^{T} X^{(i)})}{1 + \sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^TX^{(i)})}{1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})}$

donde k es el número de clases theta es el parámetro a estimar j es la jésima clase Xi son los datos de entrenamiento

Bueno, una cosa que no entendí es cómo es que el denominador parte normalizó el modelo. Quiero decir que hace que la probabilidad permanezca entre 0 y 1.

1 + \sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})

$1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})$

Quiero decir que estoy acostumbrado a ser regresión logística

P (Y = 1 | X^{(i)}) = 1 / (1 + \exp (- θ^{T} X^{(i)}))

$P(Y=1|X^{(i)}) = 1/ (1 + \exp(-\theta^T X^{(i)}))$

En realidad, estoy confundido con lo de la nomalización. En este caso, dado que es una función sigmoidea, nunca permite que el valor sea menor que 0 o mayor que 1. Pero estoy confundido en el caso de clases múltiples. ¿Por que es esto entonces?

Esta es mi referencia https://list.scms.waikato.ac.nz/pipermail/wekalist/2005-February/029738.html . Creo que debería haber sido normalizar

P (Y = j | X^{(i)}) = \frac{\exp (θ_{j}^{T} X^{(i)})}{\sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^T X^{(i)})}{\sum_{m=1}^{k} \exp(\theta_m^T X^{(i)})}$

logistic multinomial

— usuario34790
fuente

2

Y = 1

$Y=1$

Y = 0

$Y=0$

1

$1$

1

L A T E X

$\LaTeX$

2

T E X

$\TeX$

He editado la ecuación. @ Whuber En realidad, estoy confundido en relación con la regresión logística multiclase no binaria. Me preocupa cómo es que cuando agrego todos los elementos en el donominator normalizó la probabilidad

— user34790

X^{(i)}

$X^{(i)}$

13

$K$ $K> 2$ $K-1$ $K$

P (y_{i} = K | x_{i}) = 1 - \sum_{k = 1}^{K - 1} P (y_{i} = k | x_{i}) .

$P(y_i = K | x_i) = 1 - \sum_{k=1}^{K-1} P(y_i = k | x_i) .$

P (y_{i} = k | x_{i}) = \frac{\exp (θ_{i}^{T} x_{i})}{\sum_{i = 1}^{K} \exp (θ_{i}^{T} x_{i})} .

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{\sum_{i=1}^K \exp(\theta_i^T x_i)} .$

K

$K$

θ_{K} = (0, \dots, 0)^{T}

$\theta_K = (0, \ldots, 0)^T$

\sum_{i = 1}^{K} \exp (θ_{i}^{T} x_{i}) = \exp (0) + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i}) = 1 + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i}) .

$\sum_{i=1}^K \exp(\theta_i^T x_i) = \exp(0) + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) = 1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) .$

k < K

$k < K$

P (y_{i} = k | x_{i}) = \frac{\exp (θ_{i}^{T} x_{i})}{1 + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i})}

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i)}$

— sebp
fuente

44

tenga en cuenta que la elección de la clase de referencia no es importante, si está haciendo la máxima probabilidad. Pero si está haciendo una máxima probabilidad penalizada, o una inferencia bayesiana, a menudo puede ser más útil dejar las probabilidades sobre-parametrizadas y dejar que la penalización elija una forma de manejar la sobre-parametrización. Esto se debe a que la mayoría de funciones de penalización / priores no son invariantes con respecto a la elección de la clase de referencia

— probabilityislogic

i

$i$

i

$i$

k

$k$

4

$k$ $k-1$ $\exp(0)$ $k$ $\theta=0$

$\theta_1 X=b$

\frac{\exp (b)}{\exp (0) + \exp (b)} = \frac{\exp (0)}{\exp (0) + \exp (- b)} = \frac{1}{1 + \exp (- b)}

$\frac{\exp(b)}{\exp(0)+\exp(b)} = \frac{\exp(0)}{\exp(0)+\exp(-b)} = \frac{1}{1+\exp(-b)}$

— conjugadoprior
fuente