Las IA para juegos que interactúan con los humanos están sentando bases importantes para las aplicaciones del mundo real 03 diciembre 2022...
 |
| Las IA para juegos que interactúan con los humanos están sentando bases importantes para las aplicaciones del mundo real |
03 diciembre 2022.- Otro juego que durante mucho tiempo se consideró extremadamente difícil de dominar para la inteligencia artificial (IA) ha recaído en las máquinas. Una IA llamada DeepNash, fabricada por la empresa londinense DeepMind, ha emparejado a humanos expertos en Stratego, un juego de mesa que requiere un pensamiento estratégico a largo plazo frente a información imperfecta.
El logro, descrito en Science el 1 de diciembre , llega inmediatamente después de un estudio que informa sobre una IA que puede jugar a Diplomacy 2 , en el que los jugadores deben negociar mientras cooperan y compiten.
La velocidad a la que la IA ha conquistado características de juegos cualitativamente diferentes, o las ha dominado a nuevos niveles, en los últimos años es bastante notable. Stratego y Diplomacy son bastante diferentes entre sí y también poseen características desafiantes notablemente diferentes de los juegos para los que se han alcanzado hitos análogos.
Información imperfecta
Stratego tiene características que lo hacen mucho más complicado que el ajedrez, el Go o el póquer, todos los cuales han sido dominados por IA (los dos últimos juegos en 2015 3 y 2019 4 ). En Stratego, dos jugadores colocan 40 piezas cada uno en un tablero, pero no pueden ver cuáles son las piezas de su oponente. El objetivo es mover piezas por turnos para eliminar las del oponente y capturar una bandera.
El árbol de juegos de Stratego, el gráfico de todas las formas posibles en las que podría desarrollarse el juego, tiene 10 535 estados, en comparación con los 10 360 de Go . En términos de información imperfecta al comienzo de un juego, Stratego tiene 10 66 posibles posiciones privadas, lo que empequeñece las 10 6 situaciones iniciales de este tipo en el póquer Texas Hold'em para dos jugadores.
“La gran complejidad de la cantidad de resultados posibles en Stratego significa que los algoritmos que funcionan bien en juegos de información perfecta, e incluso aquellos que funcionan para el póquer, no funcionan”.
Entonces, los investigadores desarrollaron DeepNash. El nombre de la IA es un guiño al matemático estadounidense John Nash, cuyo trabajo condujo al término equilibrio de Nash, un conjunto estable de estrategias que pueden seguir todos los jugadores de un juego, de modo que ningún jugador se beneficia cambiando de estrategia por su cuenta. Los juegos pueden tener cero, uno o varios equilibrios de Nash.
DeepNash combina un algoritmo de aprendizaje por refuerzo con una red neuronal profunda para encontrar un equilibrio de Nash. El aprendizaje por refuerzo implica encontrar la mejor política para dictar la acción para cada estado de un juego. Para aprender una política óptima, DeepNash ha jugado 5.500 millones de juegos contra sí mismo. Si un lado obtiene una recompensa, el otro es penalizado y los parámetros de la red neuronal, que representan la política, se modifican en consecuencia. Finalmente, DeepNash converge en un equilibrio de Nash aproximado. A diferencia de las IA de juegos anteriores, como AlphaGo, DeepNash no busca en el árbol del juego para optimizarse.
Durante dos semanas en abril, DeepNash compitió con jugadores humanos de Stratego en la plataforma de juegos en línea Gravon. Después de 50 partidas, DeepNash ocupó el tercer lugar entre todos los jugadores de Gravon Stratego desde 2002.
“Los resultados son impresionantes”, coincide Noam Brown, investigador de Meta AI, con sede en la ciudad de Nueva York, que dirigió el equipo que en 2019 informó sobre la IA Pluribus 4 para jugar al póquer .
Máquina de la diplomacia
Brown y sus colegas de Meta AI se fijaron en un desafío diferente: construir una IA que pueda jugar a Diplomacy, un juego con hasta siete jugadores, cada uno de los cuales representa una potencia importante de la Europa anterior a la Primera Guerra Mundial. El objetivo es hacerse con el control de los centros de suministro moviendo unidades (flotas y ejércitos). Es importante destacar que el juego requiere comunicación privada y cooperación activa entre los jugadores, a diferencia de los juegos de dos jugadores como Go o Stratego.
“Cuando vas más allá de los juegos de suma cero de dos jugadores, la idea del equilibrio de Nash ya no es tan útil para jugar bien con los humanos”.
Entonces, el equipo entrenó su IA, llamada Cicero, con datos de 125.261 juegos de una versión en línea de Diplomacy que involucraba a jugadores humanos. Combinando estos con algunos datos de juego propio, el módulo de razonamiento estratégico (SRM) de Cicero aprendió a predecir, para un estado dado del juego y los mensajes acumulados, las políticas probables de los otros jugadores. Usando esta predicción, el SRM elige una acción óptima y señala su 'intención' al módulo de diálogo de Cicero.
El módulo de diálogo se construyó sobre un modelo de lenguaje de 2.700 millones de parámetros entrenado previamente en texto de Internet y luego ajustado usando mensajes de juegos de Diplomacia jugados por personas. Dada la intención del SRM, el módulo genera un mensaje conversacional.
En un artículo de Science del 22 de noviembre 2 , el equipo informó que en 40 juegos en línea, "Cicero logró más del doble del puntaje promedio de los jugadores humanos y se ubicó en el 10% superior de los participantes que jugaron más de un juego".
Comportamiento en el mundo real
Los científicos creen que las IA de los juegos que pueden interactuar con los humanos y dar cuenta de las acciones humanas subóptimas o incluso irracionales podrían allanar el camino para las aplicaciones del mundo real.
“Si está fabricando un automóvil autónomo, no quiere asumir que todos los demás conductores en la carretera son perfectamente racionales y se comportarán de manera óptima”.
Muchas de estas técnicas son de hecho relevantes más allá de los juegos recreativos para las aplicaciones del mundo real. Sin embargo, en algún momento, los principales laboratorios de investigación de IA deberán ir más allá de los entornos recreativos y descubrir cómo medir el progreso científico en los 'juegos' más blandos del mundo real que realmente nos importan.
Referencias:
1. Perolat, J. et al. Science 378, 990–996 (2022).
2. Bakhtin, A. et al. Science https://doi.org/10.1126/science.ade9097 (2022).
3. Silver, D. et al. Nature 529, 484–498 (2016).
4. Brown, N. & Sandholm, T. Science 365, 885–890 (2019).
COMENTARIOS