Combinación de varias métricas para proporcionar comparaciones / clasificación de k objetos [Pregunta y solicitud de referencia]


14

Recopilar métricas sobre objetosnk

Supongamos que recopilo métricas sobre objetos. Estoy buscando formas válidas de comparar los objetos para que puedan "clasificarse". Creo que esto puede ser un terreno bien pisado (estadísticas deportivas como la calificación total de mariscal de campo, etc.) pero no estoy familiarizado con esta área.nkk

Quiero responder a la pregunta ¿qué objeto es el mejor ?

Información sobre las métricas recopiladas

Para cada métrica mi , donde i varía de 1in , la puntuación para la métrica mi varía de [0,ri] . Tenga en cuenta que algunas de estas métricas tendrán máximos teóricos como 100% por ciento, otras ri serán la puntuación máxima recopilada en la muestra (por ejemplo, velocidad máxima, altura, etc.).

Normalización / estandarización de las puntuaciones métricas

Mi intuición es normalizar primero todas estas puntuaciones entre [0,1] , de modo que cada puntuación contribuya igualmente a la puntuación general, que se calculará más adelante.

Es decir, para cada métrica mi la puntuación para esa métrica sería mimax(ri) , donde max(ri) es la puntuación máxima para esa métrica en la muestra. Mi intuición no me permite confiar en que esto es válido, así que esa es mi pregunta 1: ¿ es válido este procedimiento de normalización?

Also for each question the implicit question is I am probably completely wrong, what resources and topics should I be studying?

Ponderar las métricas para mi comparación general

Supongamos además que deseo ponderar algunas métricas sobre otras. Me parece que hay algunos enfoques, pero esbozaré uno que estoy tratando de aproximar.

Estaba pensando que un método posible sería hacer una comparación por pares para cada métrica, y preguntarle a cada comparación: si que ver una reducción del en la métrica , cuánto de un aumento en la métrica compensaría esa reducción ? 10%mimjSi las parejas no tienen una influencia real entre sí, ¿podría calificar esto como un tal vez?0

Terminaría con una tabla de valores para mis ponderaciones, llena de comparaciones por pares de esta naturaleza. Pregunta 2: ¿Tendría que ser coherente cuando compare v y v ? ¿O podrían ser no simétricos? Es decir, si digo que una reducción del en debe explicarse por un aumento del en , ¿puedo decir que una reducción del en debe explicarse por un aumento del en ? ¿Sería esto válido?mimjmjmi10%mi20%mj10%mj50%mi

¿Quizás podría tomar un promedio de cada columna y tener eso como mi ponderación para la métrica?

Parecería a mí que un sistema de ponderación como este sería cuantitativamente decir cosas como "para mí objeto de valor objeto sobre , cuando 's métrica es 10% menos que ' s , necesito ver al menos una ganancia del en la métrica "abbmiami20%mj .

Pregunta 3: ¿Qué pasaría si tuviera que comenzar a incluir consideraciones más complejas para que las comparaciones o compensaciones sean no lineales? O comparaciones mutlivariables? ¿Quizás algunos puntajes deberían ser negativos, etc.?

La pregunta esencial Realmente me gustaría saber sobre qué temas y libros debería estar leyendo para poder responder a este tipo de preguntas.

Gracias

Respuestas:


10

Impresionante pregunta.

Pregunta 1 :

Abordo este problema usando desviaciones estándar ( ) para crear una escala estandarizada donde es el número de desviaciones estándar de la media ( ) y es la desviación estándar.nσnμσ

Desviación Estándar

Usaré un ejemplo de un agente del centro de llamadas que realiza llamadas. Aquí hay una posible forma de definir la escala usando :n

  • m+=n : métricas que desea maximizar. Relación directa, así como aumenta, también lo hace el puntaje, mientras disminuye, el puntaje baja. Ejemplo: número de ventas.nn
  • m = -n: Métricas que desea minimizar. Relación inversa para que disminuya la puntuación aumenta. Ejemplo: número de errores cometidos en una llamada.n
  • mμ=|n| : Métricas que desea lo más cercanas posible a la media. A medida que se aleja de la media en cualquier dirección, la puntuación baja. Una puntuación perfecta es 0, en la mediana. Ejemplo: # de mensajes de voz / bloqueos / solicitudes de no llamada que recibió un agente (debe distribuirse equitativamente).n

Luego tiene una escala que es independiente de las unidades de medida, tamaño / amplitud, etc. Luego, puede normalizar fácilmente la escala anterior desde donde siempre es lo peor y siempre es lo mejor. Entonces cada métrica normalizada se convierte en: , [0,1]01m¯+m¯ y m¯μ

Entonces la solución simple (fs) se convierte en:

fs=m¯++m¯+m¯μ

Pregunta 2

Con la solución anterior para fs Agregar pesos asimétricos (W) nos da la solución ponderada fw. Cada uno se puede pesar multiplicando cada una de las métricas por el peso:

fw=j+(W+1m¯+1+W+2m¯+2...W+j+m¯+j+)+j(W1m¯1+W1m¯2...Wjm¯j)+jμ(Wμ1m¯μ1+Wμ2m¯μ2...Wμjm¯μjμ)

O más sucintamente:

fw=j+Wj+m¯+j++jWjm¯j+jμWjμm¯μjμ

Ahora tiene una puntuación que puede tener en cuenta los pesos individuales, minimizando las métricas, maximizando las métricas y las métricas que desea cerca de la media.

Pregunta 3

Ejemplo

Ahora que tienes tu puntaje fwnuevamente puede normalizarlo y multiplicarlo contra un peso si desea una unidad de medida. Siguiendo el ejemplo del agente del centro de atención telefónica: * agente 1: 1 venta, registrado durante 30 minutos * agente 2: 5 ventas, registrado durante 5 horas * agente 3: 12 ventas, registrado durante 4 horas

Elegir sus métricas es muy, muy importante.

Mal ejemplo: solo ventas

μ=1+5+123=6

Var(fw)=5+1+63=4

σ=Var(fw)=4=2

Entonces ahora necesitamos el número de desviaciones estándar:

  • a1=2.5σ lejos de la media
  • a2=0.5σ lejos de la media
  • a3=+3σ lejos de la media

Entonces, la clasificación de la pila de mejor a peor sería a3, a2, a1. El problema es que el agente 2 ha sido pagadero / facturable durante mucho más tiempo y es realmente lo peor. Por lo tanto, debe tener cuidado al elaborar las métricas para asegurarse de que tengan el efecto deseado. En el ejemplo anterior, sería mejor adoptar un enfoque de ventas / hora como métrica y luego multiplicar al final por cuánto tiempo el agente ha estado haciendo llamadas.

Mejor ejemplo: ventas / hora

Ventas por hora:

  • a1=112=2
  • a2=55=1
  • a3=124=3

μ=2+1+33=2

Var(fw)=0+1+13=23

σ=230.82

Entonces, en este caso, los agentes tienen lo siguiente n desviaciones estándar de μ:

  • a1=0σ
  • a21.2σ
  • a31.2σ

Así que ahora están en el orden correcto, pero aún no tenemos un indicador de cuánto problema es ese agente a2está rezagado Es más un problema porque ese agente ha estado conectado durante un período de tiempo más largo. Entonces agregando un pesoW del tiempo de inicio de sesión le ofrece lo siguiente:

  • a1=0
  • a21.256.12
  • a31.244.90

Ahora puede normalizar estos números para compararlos con otras métricas de la misma manera. Como puedes ver,a1 lo está haciendo bien, a3 está haciendo lo mejor y a1en el escenario está muy rezagado. Estos son los resultados que esperarías. Este número ahora retrata:

  1. calidad (del agente)
  2. severidad (para el negocio)

Esta no es la única forma de resolver problemas de análisis de decisiones con criterios múltiples, pero es una forma muy práctica. Por lo que entiendo, este método se llama "Programación de objetivos" y es una forma bastante directa de llegar a conclusiones sobre problemas complejos.

Para más información ver Charnes, A. y Cooper, WW (1961). Modelos de gestión y aplicaciones industriales de programación lineal. Nueva York: Wiley.


¿Dices "pregunta asombrosa" pero no votas?
kjetil b halvorsen

Esta es mi primera respuesta en esta parte del intercambio de pila ... Así que no me lo permitirá 😉
hazmat

No entiendo por qué calculas la varianza como (5 + 1 + 6) / 3. Yo esperaría (5 * 5 + 1 * 1 + 6 * 6) / 3 o (5 * 5 + 1 * 1 + 6 * 6) / 2.
qbolec
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.