¿Por qué la puntuación f beta define beta de esa manera?

10

Esta es la puntuación F beta:

F_{β} = (1 + β^{2}) \cdot \frac{p r e c i s i o n \cdot r e c a l l}{(β^{2} \cdot p r e c i s i o n) + r e c a l l}

$F_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}}$

El artículo de Wikipedia dice que . $F_\beta$ "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision"

No entendí la idea. ¿Por qué definir así? ¿Puedo definir esta manera: $\beta$ $F_\beta$

F_{β} = (1 + β) \cdot \frac{p r e c i s i o n \cdot r e c a l l}{(β \cdot p r e c i s i o n) + r e c a l l}

$F_\beta = (1 + \beta) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta \cdot \mathrm{precision}) + \mathrm{recall}}$

¿Y cómo mostrar β times as much importance?

machine-learning precision-recall model-evaluation

— ordenado
fuente

2

Vea una respuesta más reciente a continuación que incluye el cálculo diferencial que aborda "por qué Beta al cuadrado y no Beta".

— javadba

18

Dejando que sea el peso en la primera definición que proporcione y el peso en la segunda, las dos definiciones son equivalentes cuando establece , por lo que estas dos definiciones representan solo diferencias notacionales en La definición de la puntuación . Lo he visto definido tanto en la primera forma (por ejemplo, en la página de Wikipedia ) como en la segunda (por ejemplo, aquí ). $\beta$ $\tilde\beta$ $\tilde\beta = \beta^2$ $F_\beta$

La medida se obtiene tomando la media armónica de precisión y recuperación, es decir, el recíproco del promedio del recíproco de precisión y el recíproco de recuperación: $F_1$

\begin{aligned} F_{1} & = \frac{1}{\frac{1}{2} \frac{1}{precision} + \frac{1}{2} \frac{1}{recall}} \\ = 2 \frac{precision \cdot recall}{precision + recall} \end{aligned}

$\begin{align*} F_1 &= \frac{1}{\frac{1}{2}\frac{1}{\text{precision}}+\frac{1}{2}\frac{1}{\text{recall}}} \\ &= 2\frac{\text{precision}\cdot\text{recall}}{\text{precision}+\text{recall}} \end{align*}$

En lugar de usar pesos en el denominador que son iguales y suman 1 ( para recordar y para precisión), podríamos asignar pesos que aún suman 1 pero cuyo peso en la recuperación es veces mayor que el peso en la precisión ( para la recuperación y para la precisión). Esto produce su segunda definición de la puntuación : $\frac{1}{2}$ $\frac{1}{2}$ $\beta$ $\frac{\beta}{\beta+1}$ $\frac{1}{\beta+1}$ $F_\beta$

\begin{aligned} F_{β} & = \frac{1}{\frac{1}{β + 1} \frac{1}{precision} + \frac{β}{β + 1} \frac{1}{recall}} \\ = (1 + β) \frac{precision \cdot recall}{β \cdot precision + recall} \end{aligned}

$\begin{align*} F_\beta &= \frac{1}{\frac{1}{\beta+1}\frac{1}{\text{precision}}+\frac{\beta}{\beta+1}\frac{1}{\text{recall}}} \\ &= (1+\beta)\frac{\text{precision}\cdot\text{recall}}{\beta\cdot\text{precision}+\text{recall}} \end{align*}$

Nuevamente, si hubiéramos usado lugar de aquí, habríamos llegado a su primera definición, por lo que las diferencias entre las dos definiciones son simplemente notacionales. $\beta^2$ $\beta$

— josliber
fuente

1

¿por qué multiplicaron con el término de precisión en lugar del término de recuerdo?

β

$\beta$

— Anwarvic

1

El cálculo diferencial que aborda "por qué Beta al cuadrado y no Beta" se incluye en una respuesta más reciente a continuación.

— javadba

@Anwarvic Multiplicaron con el recuerdo inverso . Después de factorizar y la ampliación con hay un término de la izquierda

β

$\beta$

(1 + β)

$(1+ \beta)$

precision \cdot recall

$\text{precision} \cdot \text{recall}$

β \cdot precision

$\beta \cdot \text{precision}$

— user2740

5

La razón para definir el puntaje F-beta con es exactamente la cita que proporciona (es decir, querer adjuntar veces más importante para recordar que precisión) dada una definición particular de lo que significa adjuntar veces más importante para recordar que la precisión. $\beta^{2}$ $\beta$ $\beta$

La forma particular de definir la importancia relativa de las dos métricas que conduce a la formulación se puede encontrar en Recuperación de información (Van Rijsbergen, 1979): $\beta^{2}$

Definición: La importancia relativa que un usuario otorga a la precisión y el recuerdo es la relación en la que , donde es la medida de efectividad basada en la precisión y el recuerdo. $P/R$ $\partial{E}/ \partial{R} = \partial{E}/ \partial{P}$ $E = E(P, R)$

La motivación para este ser:

La forma más simple que sé de cuantificar esto es especificar la relación a la que el usuario está dispuesto a cambiar un incremento de precisión por una pérdida igual en el recuerdo. $P/R$

Para ver que esto conduce a la de formulación que pueden comenzar con la fórmula general para la media armónica ponderada de y y calcular sus derivadas parciales con respecto a y . La fuente citó usos (para "medir la eficacia"), que está a sólo y la explicación es equivalente si consideramos o . $\beta^{2}$ $P$ $R$ $P$ $R$ $E$ $1-F$ $E$ $F$

F = \frac{1}{(\frac{α}{P} + \frac{1 - α}{R})}

$\begin{equation} F = \frac{1}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})} \end{equation}$

\partial F / \partial P = \frac{α}{(\frac{α}{P} + \frac{1 - α}{R})^{2} P^{2}}

$\begin{equation} \partial{F}/\partial{P} = \frac{\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}P^{2}} \end{equation}$

\partial F / \partial R = \frac{1 - α}{(\frac{α}{P} + \frac{1 - α}{R})^{2} R^{2}}

$\begin{equation} \partial{F}/\partial{R} = \frac{1-\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}R^{2}} \end{equation}$

Ahora, el establecimiento de los derivados iguales entre sí impone una restricción sobre la relación entre y la relación . Dado que deseamos asignar veces tanta importancia para recordar como precisión, consideraremos la relación¹ : $\alpha$ $P/R$ $\beta$ $R/P$

\partial F / \partial P = \partial F / \partial R \to \frac{α}{P^{2}} = \frac{1 - α}{R^{2}} \to \frac{R}{P} = \sqrt{\frac{1 - α}{α}}

$\begin{equation} \partial{F}/\partial{P} = \partial{F}/\partial{R} \rightarrow \frac{\alpha}{P^{2}} = \frac{1-\alpha}{R^{2}} \rightarrow \frac{R}{P} = \sqrt{\frac{1-\alpha}{\alpha}} \end{equation}$

Definir como esta relación y reorganizar para da las ponderaciones en términos de : $\beta$ $\alpha$ $\beta^{2}$

β = \sqrt{\frac{1 - α}{α}} \to β^{2} = \frac{1 - α}{α} \to β^{2} + 1 = \frac{1}{α} \to α = \frac{1}{β^{2} + 1}

$\begin{equation} \beta = \sqrt{\frac{1-\alpha}{\alpha}} \rightarrow \beta^{2} = \frac{1-\alpha}{\alpha} \rightarrow \beta^{2} + 1 = \frac{1}{\alpha} \rightarrow \alpha = \frac{1}{\beta^{2} + 1} \end{equation}$

1 - α = 1 - \frac{1}{β^{2} + 1} \to \frac{β^{2}}{β^{2} + 1}

$\begin{equation} 1 - \alpha = 1 - \frac{1}{\beta^{2} + 1} \rightarrow \frac{\beta^{2}}{\beta^{2} + 1} \end{equation}$

Obtenemos:

F = \frac{1}{(\frac{1}{β^{2} + 1} \frac{1}{P} + \frac{β^{2}}{β^{2} + 1} \frac{1}{R})}

$\begin{equation} F = \frac{1}{(\frac{1}{\beta^{2} + 1}\frac{1}{P} + \frac{\beta^{2}}{\beta^{2} + 1}\frac{1}{R})} \end{equation}$

Que se puede reorganizar para dar el formulario en su pregunta.

Por lo tanto, dada la definición citada, si desea asignar veces tanta importancia para recordar como precisión, entonces debe usarse la formulación . Esta interpretación no se cumple si uno usa . La interpretación equivalente, menos intuitiva, en el caso de que solo usemos , sería que queremos adjuntar veces más importante para recordar que precisión. $\beta$ $\beta^{2}$ $\beta$ $\beta$ $\sqrt{\beta}$

Puede definir una puntuación como sugiere, sin embargo, debe tener en cuenta que, en este caso, la interpretación discutida ya no es válida o está implicando alguna otra definición para cuantificar el equilibrio entre precisión y recuperación.

Notas al pie:

$P/R$ se utiliza en la recuperación de información, pero esto parece ser un error tipográfico, ver La verdad de la medida F (Saski, 2007).

Referencias

— Una persona
fuente

1

Esta debería ser la respuesta aceptada.

— javadba

3

Señalar algo rápidamente.

Significa que a medida que aumenta el valor beta, valoras más la precisión.

De hecho, creo que es lo contrario: dado que mayor es mejor en la puntuación F-β, desea que el denominador sea pequeño. Por lo tanto, si disminuye β, el modelo se castiga menos por tener una buena puntuación de precisión. Si aumenta β, entonces el puntaje F-β se castiga más cuando la precisión es alta.

Si desea ponderar la puntuación F-β para que valore la precisión, β debe ser 0 <β <1, donde β-> 0 solo valora la precisión (el numerador se vuelve muy pequeño y lo único en el denominador es recordar, entonces la puntuación F-β disminuye a medida que aumenta el recuerdo).

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.fbeta_score.html

— H Froedge
fuente

0

La razón por la que β ^ 2 se multiplica con precisión es la forma en que se definen los F-Scores. Significa que a medida que aumenta el valor beta, valoras más la precisión. Si quisieras multiplicarlo con un retiro que también funcionaría, solo significaría que a medida que el valor beta aumenta, tu valor recuerda más.

— Mahmoud
fuente

0

El valor beta mayor que 1 significa que queremos que nuestro modelo preste más atención al retiro del modelo en comparación con la precisión. Por otro lado, un valor de menos de 1 pone más énfasis en la precisión.

— Mohit Sharma
fuente