Digamos que tenemos una pregunta simple de "sí / no" a la que queremos saber la respuesta. Y hay N personas "votando" por la respuesta correcta. Cada votante tiene un historial: una lista de 1 y 0, que muestra si tenían razón o no sobre este tipo de preguntas en el pasado. Si asumimos la historia como una distribución binomial, podemos encontrar el rendimiento promedio de los votantes en tales preguntas, su variación, CI y cualquier otro tipo de métrica de confianza.
Básicamente, mi pregunta es: ¿cómo incorporar información de confianza en el sistema de votación ?
Por ejemplo, si consideramos solo el rendimiento medio de cada votante, entonces podemos construir un sistema de votación ponderado simple:
Es decir, podemos sumar los pesos de los votantes multiplicados por (para "sí") o por (para "no"). Tiene sentido: si el votante 1 tiene un promedio de respuestas correctas igual a , y el votante 2 tiene solo , entonces, probablemente, el voto de la primera persona debería considerarse como más importante. Por otro lado, si la primera persona ha respondido solo 10 preguntas de este tipo, y la segunda persona ha respondido 1000 de esas preguntas, tenemos mucha más confianza en el nivel de habilidad de la segunda persona que en las de la primera, es posible que la primera persona haya tenido suerte , y después de 10 respuestas relativamente exitosas, continuará con resultados mucho peores.
Entonces, una pregunta más precisa puede sonar así: ¿existe una métrica estadística que incorpore ambos: fuerza y confianza sobre algún parámetro?