Tengo múltiples codificadores independientes que están tratando de identificar eventos en una serie de tiempo, en este caso, viendo videos de conversaciones cara a cara y buscando comportamientos no verbales particulares (por ejemplo, cabezazos) y codificando el tiempo y la categoría de cada uno. evento. Estos datos podrían tratarse razonablemente como una serie de tiempo discreto con una alta tasa de muestreo (30 cuadros / segundo) o como una serie de tiempo continuo, con lo que sea más fácil trabajar.
Me gustaría calcular alguna medida de confiabilidad entre evaluadores, pero espero que haya cierta incertidumbre sobre cuándo ocurrieron los eventos; es decir, espero que un codificador pueda, por ejemplo, codificar que un movimiento en particular comenzó un cuarto de segundo más tarde de lo que otros codificadores pensaron que comenzó. Estos son eventos raros, si eso ayuda; típicamente al menos varios segundos (cientos de cuadros de video) entre eventos.
¿Existe una buena manera de evaluar la confiabilidad entre evaluadores que tenga en cuenta estos dos tipos de acuerdo y desacuerdo: (1) ¿los evaluadores están de acuerdo en qué evento ocurrió (si lo hubo) y (2) están de acuerdo en cuándo ocurrió? El segundo es importante para mí porque estoy interesado en ver el momento de estos eventos en relación con otras cosas que suceden en la conversación, como lo que dice la gente.
La práctica estándar en mi campo parece ser dividir las cosas en segmentos de tiempo, digamos 1/4 de segundo, agregar los eventos que cada codificador informó por segmento de tiempo, luego calcular el kappa de Cohen o alguna medida similar. Pero la elección de la duración del segmento es ad-hoc, y no tengo una buena idea de la incertidumbre en el momento de los eventos.
El mejor pensamiento que tengo hasta ahora es que podría calcular algún tipo de curva de confiabilidad; algo así como kappa en función del tamaño de la ventana dentro de la cual considero que dos eventos están codificados al mismo tiempo. Sin embargo, no estoy seguro de a dónde ir desde allí ...