¿Cómo evaluar automáticamente el rendimiento de un jugador en un juego?

Supongamos que tengo un juego completo. No tengo calificaciones Elo de los jugadores. Mi propósito es evaluar el desempeño de un jugador en el juego basado únicamente en sus movimientos. ¿Se puede hacer esto automáticamente usando un programa de ajedrez?

El resultado puede ser su calificación aproximada de Elo, o simplemente algún valor que indique su fuerza o tasa de error.

Si ayuda, se puede proporcionar una base de datos de los juegos del jugador. De nuevo, sin calificaciones Elo.

Mi motivación es simple. Juego al ajedrez en Internet y me gustaría hacer un seguimiento automático de mi progreso, en función de los juegos en sí, no de la clasificación en los sitios. Soy un nivel de principiante (superior).

Una solución simple es anotar el juego usando cualquier motor de computadora y rastrear el número de?!,? y ?? marcas. Sin embargo, no es muy preciso, y me gustaría tener más ideas :)

Las clasificaciones del sitio en controles de tiempo lento pueden ser bastante confiables para servidores en los que se congregan jugadores fuertes (ICC, FICS, por nombrar algunos), ya que las clasificaciones reflejan MUY bien su verdadera fuerza de juego si ha jugado suficientes juegos. Para sistemas de calificación muy estandarizados como USCF y FIDE / ELO, notará que las diferentes clases de calificación tienden a señalar los tipos de errores que esos jugadores aún están cometiendo. El Mejorador de ajedrez de NM Dan Heisman hace un excelente trabajo al analizar los tipos de errores que cometen los jugadores en las clases de clasificación.

¿Has probado los muchos libros de autoevaluación que hay? El examen de calificación de ajedrez de Igor Khmelnitsky y la prueba de Danny Kopec , Evaluar y mejorar su ajedrez son excelentes libros que le permiten seguir su progreso al ver cómo se desempeña en las posiciones de prueba graduadas.

Su enfoque de comparar mis movimientos con un motor es otra forma de hacerlo, pero una vez más, el ?? /? los movimientos realmente solo indican errores tácticos, no errores estratégicos o posicionales o incluso de comportamiento o gestión del tiempo que pueda estar cometiendo.

Es por eso que jugar OTB / juegos en línea con control de tiempo lento contra una oposición igual a más fuerte y hacer que sean revisados ​​+ criticados por jugadores más fuertes es una forma eficiente de mejorar. Sus errores en cada categoría (tácticas, conocimiento, proceso de pensamiento, gestión del tiempo, etc.) se destacan y simplemente puede medir el progreso en términos de los errores que ha dejado de cometer.

Aunque una variante divertida que puedes probar con un motor en casa: ¿por qué no amplías tu método de evaluación del motor para observar visualmente la calidad / rendimiento de un jugador a través de gráficos de evaluación? En otras palabras, tome los puntajes de evaluación del motor por movimiento y grábelos (algunos programas gratuitos como SCID lo hacen por usted) sobre los movimientos.

Por ejemplo: Dos principiantes de rango tendrían un juego que se vería así:

Observe cuán irregulares son estos. Ambas partes cometen muchos errores terribles (¡pendientes de los picos!) Y también con qué frecuencia no explotan los terribles errores de la otra persona.

Los picos siempre son divertidos de ver:

Dos jugadores intermedios (USCF 1400-1600) pueden tener juegos que se parecen a:

Parece irregular, pero observe cómo el eje y (evaluación del motor) es mucho más pequeño ... lo que indica que estos jugadores son más experimentados y juegan ajedrez de mayor calidad que los novatos.

Para una comparación final, un juego Grandmaster de 1911 se vería así:

No hay comentarios necesarios aquí :) Estos tipos realmente no cometen muchos errores, ¿verdad?

Si pudiera idear su propia heurística para mapear las pendientes + escala de un gráfico de evaluación para la habilidad / rendimiento del jugador , ¿tal vez esta sea una forma de hacerlo? :)

Para obtener un rango muy preciso de la calidad de un jugador, puede utilizar la excelente herramienta proporcionada por www.chess-db.com Te permite subir tus juegos y después de unos minutos genera la calidad de ambos jugadores en porcentaje en comparación con los mejores movimientos de un motor fuerte.

Esta es la página para cargar un archivo PGN: http://chess-db.com/public/game_upload.jsp

Y este es un ejemplo de los resultados: http://chess-db.com/public/game.jsp?id=Pablo%20Bento.Shredder%20Android.107755008

Lo que estás preguntando no existe por mi conocimiento. Sin embargo, esta es mi idea:

Necesitará muestras con las siguientes características, (1) Posición de ajedrez, (2) Movimiento realizado en la posición, (3) Calificación del jugador que realizó el movimiento.

Digamos que tienes mil millones de muestras. Puede entrenar un algoritmo informático en estas muestras que puede predecir para cada movimiento en una posición la calidad del movimiento con respecto a una calificación. Todas las clasificaciones de todos los movimientos se pueden promediar para obtener la clasificación aproximada del jugador y, en efecto, la calidad de su juego.

Esta es una idea aproximada que puede pulirse aún más.

chess.com MAYÚSCULAS. Compare el puntaje de CAPS de chess.com (requiere suscripción) con la tabla que se encuentra en un gráfico sobre esto: https://www.chess.com/article/view/better-than-ratings-chess-com-s-new-caps -sistema . También de interés: https://www.chess.com/article/view/who-was-the-best-world-chess-champion-in-history

Nota de precaución: los puntajes de topes para cualquier juego en particular son volátiles; es mejor hacer un promedio de puntajes CAPS en un lote de juegos. En este momento, que yo sepa, CAPS puede, por extensión, predecir una calificación Elo a partir de un conjunto de movimientos. Otra nota: las puntuaciones CAPS existen en el vacío sin tener en cuenta los controles de tiempo. Juego mejor ajedrez en controles de tiempo más lento que en un juego de bala de 1 minuto. CAPS verá esta diferencia en la fuerza del juego y, en consecuencia, asignará una calificación más baja a los juegos de bala. ¡Esto no significa que no soy la misma persona que jugó los juegos de control de tiempo más lento!

Aquí hay algunas ideas sobre qué parámetros medir. Número de errores por juego. Con qué frecuencia tiene una posición igual o mejor después de 10 movimientos, 15 movimientos, 20 movimientos. Con qué frecuencia tienes éxito al usar los errores de tu oponente. Con qué frecuencia dibujas o ganas finales finales objetivamente dibujados. Con qué frecuencia logras encontrar combinaciones de apareamiento forzado. Con qué frecuencia defiendes con éxito objetivos finales perdidos objetivamente. Con qué frecuencia pierdes a tiempo.