12 maestros están enseñando a 600 estudiantes. Las 12 cohortes impartidas por estos maestros varían en tamaño de 40 a 90 estudiantes, y esperamos diferencias sistemáticas entre las cohortes, ya que los estudiantes graduados fueron asignados desproporcionadamente a cohortes particulares, y la experiencia previa ha demostrado que los estudiantes graduados en promedio obtienen una puntuación considerablemente más alta que los estudiantes de pregrado.
Los maestros han calificado todos los documentos de su grupo y les han asignado una calificación de 100.
Cada maestro también examinó un artículo seleccionado al azar de otros tres maestros y le dio una calificación de 100. Cada maestro ha marcado tres de sus documentos con otro maestro. De este modo, se han marcado 36 documentos diferentes de esta manera, y yo llamo a esto mis datos de calibración.
También puedo ver cuántos estudiantes graduados había en cada cohorte.
Mis preguntas son:
A) ¿Cómo puedo usar estos datos de calibración para ajustar las marcas originales para hacerlas más justas? En particular, me gustaría eliminar tanto como sea posible los efectos de los fabricantes demasiado generosos / poco generosos.
B) ¿Qué tan apropiados son mis datos de calibración? No tuve elección en los 36 puntos de datos de calibración bastante limitados que obtuve en este curso, y no tengo ninguna opción para recopilar más durante el semestre actual. Sin embargo, si esta situación se repite, podría recopilar más datos de calibración o, de lo contrario, recopilar diferentes tipos de datos de calibración.
Esta pregunta es un pariente de una pregunta popular que hice en: ¿Cómo puedo lidiar mejor con los efectos de los marcadores con diferentes niveles de generosidad en la calificación de los documentos de los estudiantes? . Sin embargo, es un curso diferente y no estoy seguro de qué tan útil sería leer esa pregunta como antecedente para esta pregunta actual, ya que el principal problema era que no tenía datos de calibración.
lm(score ~ gradStudent + ... + teacherID
debería hacerlo.