Sistemas de clasificación, eficiencia y curvas de aprendizaje y olvido

Hace ya un tiempo que estoy revisando e interiorizándome acerca de los sistemas de clasificación que se utilizan en algunos de los juegos de mesa tradicionales, tales como el Ajedrez, el Go y el Othello o Reversi, derivado de una entrada anterior publicada por Tomás, llamada “Curvas de Aprendizaje“. Y de manera relacionada, debido a que en Boardgamearena, sitio donde se puede jugar en linea, se utiliza un sistema llamado ELO para indicar el nivel de los jugadores y clasificarlos. Buscando esta información encontré que no solo existe esta metodología, sino que hay otras que corrigen o mejoran algunas deficiencias y particularidades que el método ELO no resuelve, además de comprender que el proceso mental de aprender tiene un cierto ritmo, así como el proceso del olvido, lo que me pareció curioso de estudiar y ver si nos es relevante.

Adicionalmente, al empezar a comprender cómo funcionan estos “Rankings” me comenzaron a surgir preguntas relacionadas con otros elementos asociados. Una de las primeras preguntas fue, ¿qué hace a un jugador mejor que otros?, y en la misma línea, ¿qué influencia tiene el método o manera en que aprendes un determinado juego en tu efectividad?, ¿cómo afecta al aprendizaje la frecuencia de juego o si este factor es totalmente independiente al paso del tiempo?, entre otras. Y derivada de esta línea de pensamiento, me comencé a preguntar de si la frecuencia de juego es importante, entonces ¿cómo nos afecta en nuestro desempeño el proceso del olvido?, y naturalmente ¿cómo podemos evitar que esto nos suceda? Puras preguntas que le surgen a un jugón que deja de jugar forzosamente ya que se encuentra trabajando solo y en un lugar del planeta bien aislado como es el desierto de Atacama XDD. Pero entremos de inmediato en materia…

Sistema de clasificación ELO

Buscando información encontré que el sistema de clasificación ELO nació como una herramienta para clasificar a los jugadores de ajedrez en Estados Unidos en los años 50 y fue adoptado por la Federación de Ajedrez de los Estados Unidos en 1960. En años posteriores fue adoptado por otras federaciones de ajedrez y por otras federaciones vinculadas a otros tipos de juegos o actividades.

Su creador fue un aficionado al ajedrez, un profesor de física de origen Húngaro llamado Árpád Élö, quien conservó en su método algunos de los elementos de los sistemas de clasificación previos.

¿Pero de qué trata este método? Pues de determinar la habilidad de un jugador en relación al resto de jugadores de un determinado juego. Es un método estadístico, por lo que de manera práctica permite determinar la probabilidad de que un jugador le gane a otro, y así, a mayor diferencia mayor es la probabilidad de que la partida sea ganada por quien tenga el mayor valor de clasificación ELO.

La gráfica muestra la probabilidad de victoria en función de la diferencia de ranking entre jugadores

La gráfica muestra la probabilidad de victoria en función de la diferencia de ranking entre jugadores

A esta altura, ya me estaba haciendo otras preguntas y quise averiguar un poco más respecto de esta herramienta.

Me encontré con que las fórmulas asociadas son sencillas y el método es muy fácil de implementar. Sobre todo con las herramientas informáticas que actualmente poseemos y con la cantidad de datos que somos capaces de capturar.

Un jugador que recién se inicia en la clasificación, comienza con un puntaje de ELO 1500, y a partir de él, la frecuencia de juego y el nivel de los rivales que enfrente, el indicador aumentará o disminuirá en función de las victorias, derrotas o empates (o tablas) que obtenga. Como es de esperar, mientras más juegue un individuo, este sistema le entregará un valor de clasificación más preciso respecto de sus contrincantes.

Sin embargo, esta metodología presenta algunos inconvenientes relacionados con la determinación de la clasificación cuando un jugador juega mucho más seguido que el resto o cuando lo hace muy ocasionalmente. Por ejemplo, si un jugador juega semanalmente y tiene un ELO de 1800 contra otro que juega una vez cada seis meses y tiene el mismo valor de clasificación, el sistema les otorga las mismas probabilidades de ganar, es decir, un 50% a cada uno. Cosa que en la práctica no es cierta, ya que los jugadores más regulares tienen ventaja por sobre los que no lo son. Otro problema que se presenta en este sistema es el que se produce cuando un jugador compite frecuentemente con jugadores de menor clasificación, lo que incrementará su valor ELO, producto de las repetidas victorias, a una posición no representativa de la realidad del jugador.

Para evitar lo anterior, las diferentes asociaciones han debido implementar mecanismos o normativas que aseguren que los jugadores miembros compitan con cierta regularidad, que el sistema de torneos asegure puntos ELO para los participantes, entre otras.

Si se han dado cuenta, el sistema ELO adolece de incorporar en su proceso de cálculo la variable del tiempo. Y lo bueno es que actualmente existen otras metodologías que resuelven este inconveniente. Dentro de éstas, me gustaría mencionarles una en particular.

Sistema de clasificación GLICKO

El sistema de clasificación Glicko, debe su nombre al profesor de la Universidad de Boston Mark Glickman, quién quiso resolver o más bien, buscar una metodología de clasificación que resolviera los vacíos del sistema ELO. Lo que encontró como resultado de su búsqueda, por allá en el año 1995, fue un sistema general donde una de las posibles soluciones es el mismísimo sistema ELO.

Sin entrar en detalles técnicos, se puede explicar el sistema de clasificación Glicko diciendo que al valor de clasificación tradicional, por ejemplo un valor de 1800, se le agrega un valor denominado “Rating Deviation o RD” o valor de desviación de la clasificación, por ejemplo de 50. Así, este jugador tendrá un valor Glicko de [1800,+50] o lo que es lo mismo, este jugador estará clasificado en torno a los valores [1750, 1850]. Como se puede ver, el valor de clasificación no es específico sino que se ha transformado en un rango, y ésta diferencia o característica nos permite agregar un componente de precisión a la probabilidad de victoria de un jugador sobre otro.

Recordando el ejemplo anterior, en que se enfrenta un jugador habitual contra otro jugador esporádico, el sistema ELO nos indicaba que ambos tenían 50% de posibilidades de victoria, pero el sistema Glicko, incorporando la variable temporal, nos muestra que si bien ambos pueden tener el mismo valor de clasificación, 1800, la precisión será diferente. Así, por ejemplo, para el jugador habitual su puntaje será de [1800,+10] o [1790, 1810] y para el esporádico será de [1800,+100] o [1700, 1900]. Esta representación, de clasificación “en torno” a un valor, nos permite ajustar o predeterminar con mayor precisión el resultado esperado de un enfrentamiento y el nuevo cálculo de clasificación para ambos tras la partida.

Hablando un poco más técnicamente, podemos decir que los valores de clasificación miden la fortaleza de un jugador, y el sistema Glicko incorpora para ese factor de fortaleza, un rango de incerteza de la medición. Así, mientras un jugador juegue más frecuentemente, el valor de incerteza será más pequeño, entregándonos un valor de clasificación o fortaleza más precisa contra otro de un jugador que juega ocasionalmente.

Solo como antecedente quiero mencionar que las formulas relacionadas con la implementación de este sistema son tan sencillas como las del sistema ELO.

Sin duda este sistema corrige y mejora a su predecesor, pero asi y todo presenta algunos inconvenientes, dentro de los cuales hay dos que quiero mencionar. El primero es que si un jugador tiene una frecuencia de juego alta, el valor de RD será más pequeño y por consiguiente si un jugador está progresando rápidamente, esta mejora no se verá reflejada en su Rating o valor de clasificación tan rápidamente. Para resolver esto, es posible definir por reglamento, un valor mínimo de RD, para asegurar una progresión mínima establecida. El segundo tema que no está resuelto por esta metodología es lo que sucede cuando un jugador presenta un comportamiento errático en sus resultados, lo que nos hará pensar que el valor de clasificación es o no acertado para tal jugador. Esta problemática se ha resuelto en un segundo sistema de cálculo, denominado Glicko-2, el cual incorpora una componente nueva llamada Volatilidad que en el fondo mide el grado de fluctuación esperada del valor de clasificación de un jugador. Este valor de volatilidad será alto cuando en jugador es errático y bajo en caso contrario.

Como se ve hay harta información relativa a los sistemas de clasificación, y en la página del profesor Glickman hay bastante material de lectura asociado para quien esté interesado en seguir aprendiendo.

Si bien he indicado 2 de los principales métodos de clasificación usados existen otros utilizados por otras asociaciones y por otros juegos. Ver por ejemplo el sistema de Clasificación Europea, el cual utiliza el sistema de clasificación Jech, o el sistema de clasificación Dan, utilizado por la federación italiana de Othello.

Curvas de Aprendizaje

Como decía al principio de esta entrada, hace un tiempo Tomás publicó una entrada asociada al tema del aprendizaje, pero creo que sin quererlo la entrada en el fondo hablaba sobre la efectividad, o el grado de éxito que tienes al jugar un determinado juego midiendo tus victorias o el grado de avance que experimentas en el tiempo al incrementar tu puntuación. Esto me llevó a buscar información asociada a temas de aprendizaje, y primero, tal como ya lo he hecho, tuve que entender qué diantres miden los sistemas de clasificación, para pasar a analizar cómo y de qué manera nos influye el aprendizaje.

El tema del aprendizaje es un tema muy estudiado, se puede decir que su curva describe el grado de éxito obtenido durante el aprendizaje en el transcurso del tiempo y del cual ya existe un consenso respecto de la forma que describe su gráfica. Si ésta la representamos indicando la cantidad aprendida versus el tiempo, esta curva será de tipo logarítmico, y por tal, nos mostrará que cuando se inicia el aprendizaje la progresión en el conocimiento será muy rápida, y luego ésta irá disminuyendo hasta llegar a un avance casi nulo en el tiempo. Lo que está en perfecta armonía con lo que sucede en realidad. Frente a un tema nuevo, ganamos conocimiento rápidamente, y a medida que avanzamos en el aprendizaje del mismo cada vez podemos aprender menos, hasta en el caso ideal, aprender todo, por lo que el aprendizaje se estancaría en ese límite.

La gráfica muestra en rojo nuestra capacidad de aprender y en azul el efecto de olvidar

La gráfica muestra en rojo nuestra capacidad de aprender y en azul el efecto de olvidar

La capacidad de aprender se ve influenciada por varios factores, dentro de los cuales me gustaría destacar algunos como la habilidad, la capacidad y talento del alumno, la metodología utilizada para enseñar, el contexto donde se produce el aprendizaje, el contexto temático y la sucesión didáctica como elementos que contribuyen a aumentar la cantidad aprendida.

Tal vez, quienes estén acostumbrados a temas informáticos se sientan extrañados por esta definición, y vale decir que en el mundo de los juegos de consolas u ordenador se suele decir que una “Curva de Aprendizaje Elevada” está asociada a la dificultad de aprender y no a la velocidad en que se aprende a jugar tal o cual juego. Así, la primera definición se enfoca en el éxito obtenido al aprender y el segundo al esfuerzo utilizado en el proceso de aprendizaje.

Permítanme colocar un ejemplo de este tipo de curvas llevado al extremo. Siempre me ha gustado la imagen que muestra la dificultad de aprender el juego Dwarf Fortress frente a otros MMOPRG XDD… Es muy clara y desafiante.

Como ven aquí el enfoque  de la g´rafica es mostrar cuánto cuesta aprender un determinado juego XDD

Como ven aquí el enfoque de la gráfica es mostrar cuánto cuesta aprender un determinado juego XDD

Natural y lamentablemente, nuestro amigo el tiempo, nos juega malas pasadas, ya que a medida que con él aprendemos, también al pasar sin jugar o estudiar nos afecta el fenómeno del olvido.

Curva del Olvido

La curva del olvido representa la pérdida retentiva de lo aprendido con el tiempo, o dicho de otra forma, muestra cómo afecta el tiempo a la intensidad de los recuerdos o cuánto tiempo éstos se mantienen en el cerebro.

Cuanto más fijo o intenso está en nuestro cerebro un recuerdo más tiempo permanecerá en nuestro cerebro. Esa es la idea. Y en este caso, la curva que describe este fenómeno tiene un comportamiento exponencial. Puede sonar raro, pero de manera sencilla se puede decir que en unos días o semanas se puede olvidar la mitad de lo aprendido, a no ser que estemos repasando los contenidos. Así como el aprendizaje tiene factores que le favorecen, el olvido tiene asociado factores que lo intensifican.

Dentro de estos factores se pueden mencionar la dificultad de la materia estudiada, la forma en que la información a aprender está representada y naturalmente algunos factores personales como el estrés y el sueño. Algo relevante de mencionar es que cada individuo crea sus propias reglas mentales para memorizar y aprender, y por lo tanto, una metodología puede ser más favorable para unos que para otros. Interesante.

A pesar de que el olvido nos afecta ineludiblemente a todos, es posible remediarlo, utilizando técnicas de repaso frecuente. Pero esto no implica que me esté re aprendiendo todo cada cierto periodo de tiempo fijo, por ejemplo cada 5 días, sino que una vez aprendido, los repasos deben ejecutarse cada vez con mayor espacio de tiempo, hasta casi desaparecer. Este proceso, además, refuerza nuestra capacidad de recordar con más eficiencia.

¿Cómo nos afecta en esta materia el diseño de manuales de los juegos? ¿Cómo nos afecta una mecánica con un tema bien implementado? ¿Cómo nos afecta jugar de manera frecuente

Como vemos, olvidar es inevitable, pero tiene remedio, y es un remedio que nos ayuda más allá del conocimiento específico que queremos retener. Para quien quiera profundizar en este punto, puede ver el tema asociado “Repeticiones Espaciadas” en internet.

Algunas Reflexiones

Como es de suponer, en un blog sobre juegos de mesa, deberemos enfocarnos en lo que nos interesa y en lo primero que me gustaría enfocarme es en los sistemas de clasificación.

Respecto de los sistemas de clasificación actuales está claro que no pueden actuar libremente ya que adolecen todavía de algunas particularidades, y por tal motivo, asociaciones o páginas web que las utilicen, deben contar con un claro reglamento, respecto de cuáles partidas se considerarán válidas, y contra quiénes y cuándo puedo jugar. Frecuencias mínimas y máximas de juego deben estar establecidas así como la obligatoriedad de alternancia de jugadores. La idea es evitar que un jugador juegue demasiado frecuentemente respecto del resto y que no enfrente al mismo rival o a si mismo.

A través de los sitios web también se deben establecer controles, para evitar falsas partidas, y penalizar comportamientos reñidos con las normas establecidas. Existen en BGA algunos clasificados con unos puntajes asombrosos, y en algunos casos, cuesta entender cómo han logrado tal clasificación. Recordemos que BGA permite los enfrentamientos con jugadores del mismo nivel. Cuestiones como el abandono de partidas y la demora también se penalizan, incentivando el juego completo y a tiempo. Creo que deben implementarse otras regulaciones asociadas con las características de la red, todo con el objetivo de que los valores de clasificación sean representativos de la realidad.

A nivel local, creo que Elo o Glicko son herramientas muy buenas si contamos con un grupo de jugadores aceptables y donde se juegue regularmente a ciertos juegos. Esto no nos sirve si somos fans del culto a lo nuevo, ya que estas metodologías se aplican sobre el mismo juego o deporte.

Particularmente, soy muy del gusto de juegos abstractos, y creo que estas metodologías son perfectas para este tipo de juegos.

Creo también que la transparencia de los procesos y reglas claras son elementos básicos para lograr el éxito de estas metodologías. Así como también el análisis adecuado de los datos para saber frente a quienes mi rendimiento de victorias es mejor o peor, con el objeto de estudiar estrategias y aprender nuevas formas o características de juego que me permitan progresar en el conocimiento del mismo.

Un elemento que no vi que se considerara en estas metodologías es el puntaje final de las partidas, ni la posibilidad de que estos sistemas de clasificación permitan considerar partidas en solitario para puntuar. Pero en fin, ya son lo bastante completos para utilizarlos con tranquilidad.

Entendiendo un poco más respecto de las curvas de aprendizaje y el fenómeno del olvido, pienso que quienes desarrollan manuales o reglamentos debieran estudiar el tema, para producir documentos que sean “rápidos de aprender”, entendiendo que existen diferentes maneras de cómo el cerebro es capaz de aprender, y que contengan elementos que nos permitan repasarlos para evitar olvidar su contenido.

La misma mecánica del juego debiera estar aceitada de tal manera y en resonancia con el reglamento que al jugarlo nos recuerde por sí sola los pasos que deben seguirse. En el caso de juegos con un número alto de reglas o juegos donde estas reglas son complejas, debieran existir ayudas que exploten nuestra capacidad de recordar, ya sea utilizando estructuras en el ordenamiento de la información, estructuras gráficas en el diagramado de la misma o utilizando técnicas lingüísticas o en el mejor de los casos una combinación de todo lo anterior y mucho más.

Actualmente hay empresas de juegos cuyos manuales de juegos tienen la misma estructura entre diferentes juegos, hay otras que se ayudan de los elementos del juego, como tablero, cartas, tokens entre otros para ir explicando contextualmente el reglamento, algunos traen “ayuda memorias” o resúmenes para facilitar la memorización de los pasos o etapas que deben seguirse al jugar. Pero también contamos con reglamentos bastante estériles y donde a veces necesitamos que un tercero que ya ha aprendido el funcionamiento nos explique las reglas y mecánicas asociadas.

Afortunadamente la comunidad jugona cuenta con ayudas que los mismos jugadores hacen y comparten y que reemplazan o completan elementos que perfectamente podrían haber sido incluidos en el juego.

Naturalmente, creo que lo mejor de todo esto, y dado que los grupos de jugadores y comunidades son super abiertas a recibir a nuevos jugadores, es participar de estos grupos y aprender a jugar con ellos. Siempre habrá alguien dispuesto a enseñar tal o cual juego, y en mi experiencia siempre ha resultado más eficiente leerme el manual y jugar con alguien que ya sabe.

Mi reflexión final apunta a que tanto los sistemas de clasificación como el aprendizaje se dan de mejor manera en vivo, y no utilizando elementos o plataformas informáticas. Creo que hay factores personales que pueden influenciar tanto el aprendizaje, el disfrute de la experiencia y el resultado del juego, tal como lo demostró el genial enfrentamiento entre Bobby Fischer y Boris Spassky allá por 1972.