Quiero comparar dos algoritmos de clasificación. En estos algoritmos, el cliente especifica algunas condiciones en su búsqueda. De acuerdo con los requisitos del cliente, este algoritmo debe asignar una puntuación para cada elemento en la base de datos y recuperar los elementos con las puntuaciones más altas.
He leído diferentes temas relacionados con mi pregunta en este sitio y busqué en la red. Según mis búsquedas, el artículo más relevante que explica algunas métricas para comparar algoritmos de clasificación fue: Brian McFee y Gert RG Lanckriet, Metric Learning to Rank, ICML 2010 ( https://bmcfee.github.io/papers/mlr .pdf ). Creo que prec @ k, MAP, MRR y NDCG son buenas métricas para usar, pero tengo un problema:
Mi algoritmo ordena los resultados, por lo que el primer elemento de mi lista de resultados es el mejor con la puntuación más alta, el segundo resultado tiene la segunda puntuación más alta, y así sucesivamente. Limito mi algoritmo de búsqueda para, por ejemplo, encontrar 5 mejores resultados. Los resultados son los 5 elementos más importantes. Entonces, la precisión será 1. Cuando limito mi búsqueda para encontrar el mejor resultado, encuentra el mejor. Nuevamente, la precisión será 1. Pero el problema es que es inaceptable para las personas que ven este resultado.
¿Que puedo hacer? ¿Cómo puedo comparar estos algoritmos y mostrar que uno es mejor que el otro?