¿Cuándo es más importante la precisión que la recuperación?

¿Alguien puede darme algunos ejemplos donde la precisión es importante y algunos ejemplos donde recordar es importante?

• Para el modelado de datos de cáncer raro, cualquier cosa que no tenga en cuenta los falsos negativos es un delito. Recordar es una mejor medida que la precisión.
• Para las recomendaciones de YouTube, los falsos negativos son menos preocupantes. La precisión es mejor aquí.

Puedo darte mi caso real cuando recordar es más importante:

Tenemos miles de clientes gratuitos que se registran en nuestro sitio web cada semana. El equipo del centro de llamadas quiere llamarlos a todos, pero es imposible, por lo que me piden que seleccione a aquellos con buenas posibilidades de ser un comprador (con alta temperatura es como nos referimos a ellos). No nos importa llamar a un tipo que no va a comprar (por lo que la precisión no es importante), pero para nosotros es muy importante que todos ellos con alta temperatura siempre estén en mi selección, para que no se queden sin comprar. Eso significa que mi modelo necesita tener un alto recuerdo , sin importar si la precisión se va al infierno.

¡Espero que ayude! Miguel

Aunque en algunas situaciones el recuerdo puede ser más importante que la precisión (o viceversa), necesita ambos para obtener una evaluación más interpretable.

Por ejemplo, como señaló @SmallChess, en la comunidad médica, un falso negativo suele ser más desastroso que un falso positivo para los diagnósticos preliminares. Por lo tanto, uno podría considerar el recuerdo como una medida más importante. Sin embargo, podría tener una recuperación del 100% pero tener un modelo inútil: si su modelo siempre genera una predicción positiva, tendría una recuperación del 100% pero sería completamente no informativo.

Es por eso que observamos múltiples métricas:

• curva de recuperación de precisión
• AUROC
• y a veces métricas como la puntuación F

Lo que es más importante simplemente depende de los costos de cada error.

La precisión tiende a implicar costos directos; Cuantos más falsos positivos tenga, mayor será el costo por verdadero positivo. Si sus costos son bajos, entonces la precisión no importa tanto. Por ejemplo, si tiene 1 millón de direcciones de correo electrónico y le costará $ 10 enviar un correo electrónico a todas ellas, probablemente no valga la pena intentar identificar a las personas que tienen más probabilidades de responder, en lugar de enviarles correo no deseado.

Recordar, por otro lado, tiende a implicar costos de oportunidad; Estás perdiendo oportunidades cada vez que tienes un falso negativo. Por lo tanto, recordar es menos importante cuando el valor marginal de la identificación correcta adicional es pequeño, por ejemplo, hay múltiples oportunidades, hay pocas diferencias entre ellas y solo se puede buscar un número limitado. Por ejemplo, suponga que quiere comprar una manzana. Hay 100 manzanas en la tienda, y 10 de ellas son malas. Si tiene un método para distinguir las manzanas malas que no llega al 80% de las buenas, entonces identificará unas 18 manzanas buenas. Normalmente, un retiro del 20% sería terrible, pero si solo quieres 5 manzanas, entonces perder esas otras 72 manzanas realmente no importa.

Entonces recordar es más importante cuando:

-El número de oportunidades es pequeño (si solo hubiera 10 manzanas buenas, entonces es poco probable que encuentre 5 buenas con una tasa de retiro del mercado de solo 20%)
-Hay diferencias significativas entre las oportunidades (si algunas manzanas son mejores que otras) , entonces una tasa de retiro del 20% es suficiente para obtener 5 manzanas buenas, pero no necesariamente serán las mejores manzanas)
O
-El beneficio marginal de las oportunidades sigue siendo alto, incluso para una gran cantidad de oportunidades. Por ejemplo, mientras que la mayoría de los compradores no se beneficiarán mucho de más de 18 manzanas buenas, la tienda quisiera tener más de 18 manzanas para vender.

Por lo tanto, la precisión será más importante que recordar cuando el costo de actuar es alto, pero el costo de no actuar es bajo. Tenga en cuenta que este es el costo de actuar / no actuar por candidato, no el "costo de tener ninguna acción" versus el "costo de no tener ninguna acción". En el ejemplo de la manzana, es el costo de comprar / no comprar una manzana en particular, no el costo de comprar algunas manzanas versus el costo de no comprar ninguna manzana; El costo de no comprar una manzana en particular es bajo porque hay muchas otras manzanas. Dado que el costo de comprar una manzana podrida es alto, pero el costo de dejar pasar una manzana buena en particular es bajo, la precisión es más importante en ese ejemplo. Otro ejemplo sería la contratación cuando hay muchos candidatos similares.

Recordar es más importante que la precisión cuando el costo de actuar es bajo, pero el costo de oportunidad de dejar pasar a un candidato es alto. Existe el ejemplo de spam que di antes (el costo de perder una dirección de correo electrónico no es alto, pero el costo de enviar un correo electrónico a alguien que no responde es aún más bajo), y otro ejemplo sería identificar candidatos para la vacuna contra la gripe: administre la vacuna contra la gripe a alguien que no la necesita, y cuesta unos pocos dólares, no se la dé a alguien que sí la necesita y podría morir. Debido a esto, los planes de atención médica generalmente ofrecerán la vacuna contra la gripe a todos, sin tener en cuenta la precisión.

Acumulación tiene una excelente respuesta sobre cómo puede encontrar más ejemplos que expliquen la importancia de la precisión sobre la recuperación y viceversa.

La mayoría de las otras respuestas hacen un caso convincente de la importancia del recuerdo, así que pensé en dar un ejemplo sobre la importancia de la precisión. Este es un ejemplo completamente hipotético, pero es el caso.

Digamos que se crea un modelo de aprendizaje automático para predecir si un día determinado es un buen día para lanzar satélites o no según el clima.

• Si el modelo predice accidentalmente que un buen día para lanzar satélites es malo ( falso negativo ), perdemos la oportunidad de lanzarlo. Esto no es un gran problema.

• Sin embargo, si el modelo predice que es un buen día, pero en realidad es un mal día para lanzar los satélites ( falso positivo ), entonces los satélites pueden destruirse y el costo de los daños será de miles de millones.

Este es un caso donde la precisión es más importante que el recuerdo.

Me costó recordar la diferencia entre precisión y recuperación, hasta que se me ocurrió esta mnemónica:

PRECISIÓN es para pruebas de embarazo como reCALL es para LLAMAR al centro.

Con una prueba de embarazo, el fabricante de la prueba debe asegurarse de que un resultado positivo signifique que la mujer está realmente embarazada. Las personas pueden reaccionar a una prueba positiva casándose repentinamente o comprando una casa (si muchos consumidores obtuvieran falsos positivos y sufrieran enormes costos sin ninguna razón, el fabricante de la prueba carecería de clientes). Una vez me hice una prueba de embarazo falsamente negativa, y solo significaba que me tomó unas semanas más descubrir que estaba embarazada ... la verdad finalmente se hizo APRECIENTE. (Juego de palabras previsto)

Ahora imagine un centro de llamadas para reclamos de seguros. La mayoría de los reclamos fraudulentos se llaman los lunes, después de que los estafadores se conectan con sus colaboradores y elaboran sus historias inventadas ("digamos que el auto fue robado") durante el fin de semana. ¿Qué es lo mejor que puede hacer una compañía de seguros los lunes? Tal vez deberían sintonizar para favorecer el recuerdo sobre la precisión. Es mucho mejor señalar más reclamos como positivos (probable fraude) para una mayor investigación que perder parte del fraude y pagar en efectivo que nunca debería haberse pagado. Un falso positivo (marcado por un escrutinio adicional como posiblemente fraude, pero la pérdida del cliente fue real) probablemente se puede eliminar asignando un ajustador experimentado, que puede insistir en un informe policial, solicitar un video de seguridad del edificio, etc. Un falso negativo (aceptar un estafador

F1 es excelente, pero entender cómo se usará la prueba / predicción es realmente importante, porque siempre existe el riesgo de estar equivocado ... desea saber qué tan graves serán las consecuencias si están mal.

Detección de correo electrónico no deseado : este es uno de los ejemplos en los que la precisión es más importante que la recuperación .

Resumen rápido :

• Precisión : Esto le dice cuando predice algo positivo, cuántas veces fueron realmente positivas. mientras,

• Recordar : Esto indica a partir de datos positivos reales, cuántas veces pronosticó correctamente.

Dicho lo anterior, en caso de detección de correo electrónico no deseado, uno debería estar bien si un correo electrónico no deseado (caso positivo) no se detecta y no va a la carpeta de correo no deseado , pero si un correo electrónico es bueno (negativo), entonces no debe ir a carpeta de correo no deseado. es decir, la precisión es más importante. (Si el modelo predice algo positivo (es decir, spam), es mejor que sea spam. De lo contrario, puede perder correos electrónicos importantes).

Espero que aclare.