Los nuevos FabFive: La IA que derrotó a los campeones de DOTA 2

La hazaña no es menor, ya que OG estaría siendo lo mejor que la humanidad tiene para ofrecer en términos de esports. El equipo se formó en 2015 y en poco tiempo se convirtió en la fuerza dominante de la escena competitiva de DOTA 2, logrando en 2018 coronarse como el equipo ganador en “The International”, el torneo organizado por Valve con más de veinticinco millones de dólares en premios.

Por muy fan que sea de Queer Eye – lo siento, Karamo – hay unos nuevos #FabFive en la ciudad, y no son humanos…

Como especie venimos de una mala racha. En 1997, Deep Blue de IBM inauguró la tendencia venciendo al campeón de ajedrez Garry Kasparov mientras que en 2016 AlphaGo, programa desarrollado por Google Deepmind, le pintó la cara a Lee Sedol en el complejísimo juego oriental Go (aclaración: nada que ver con Pokemon, ni con Teen Titans…)

Un dato un poco más oscuro: el puntaje perfecto de Ms.Pac-Man le pertenece a una IA creada por la empresa Maluuba de Microsoft. En verdad, más que una IA eran más de 150 agentes artificiales (como el Sr. Smith de Matrix) trabajando colectivamente de forma coordinada, que rompieron el juego asignando tareas específicas a cada uno, con una táctica de “dividir y conquistar” la meta del  high score. Resumiendo, perdimos hasta en el programa de televisión de concursos “Jeopardy!”, donde Watson dejó sin trabajo a los que hasta entonces la tenían atada

Sin embargo, los avances no son lineales, las destrezas que se necesitan para triunfar en cada juego son distintas, y por eso las técnicas que se aplican también lo son.

Primero aclaremos algo, el término IA que vemos en todas las noticias se popularizó como una forma genérica para hablar de distintas cosas. En realidad, el área de inteligencia artificial estudia cómo los sistemas desarrollan acciones que se consideran inteligentes, y dentro de todo ese campo hay distintas técnicas que usan actualmente para construir estas “IA”.

Entre ellas, la más popular es la que se llama “aprendizaje automático” (el famoso “machine learning”), en el que las máquinas aprenden sin necesidad de ser programadas.

¿Cómo? Usando toneladas de datos procesadas por distintos tipos de algoritmos para inferir reglas, todo gracias a la inmensa cantidad de información disponible recopilada por los dispositivos “smart” de Internet de las Cosas. Básicamente, sentas a la IA a mirar fotos de gatitos hasta que es capaz de “entender” que esa foto que le estas mostrando es un adorable felino.

Esta es la técnica que usaron para que los bots de OpenAI aprendan a jugar Dota 2 como unos supercampeones. No les programaron las reglas del juego, sino las reglas de como aprender a jugar, y de ahí en más la pusieron a practicar hasta que entendió de qué iba la cosa.

De esto se trata la técnica de aprendizaje por refuerzo (reinforcement learning o RL), un enfoque basado en la prueba y el error, con un sistema de recompensas y mecanismos de incentivo que le permiten ir perfeccionándose en cada iteración. Los bots de OpenAI llevan jugados en 10 meses el equivalente de más de 45.000 años, solo practicando Dota2 y mejorandose a sí mismos con cada partida.

Así no se puede… ¿cómo podemos competir contra “eso”?

A no desesperar que todavía no estamos obsoletos. Como las máquinas no piensan en la forma en que lo hacemos nosotros y trabajan en base estadística, hay cosas que les “cuestan”, como por ejemplo dentro del reconocimiento de imágenes con posiciones de pixeles y colores similares.

En estos casos dudosos ahí vamos los humanos al rescate, distinguiendo números, vidrieras,motos y señales de tránsito entre otras. No es casualidad que siempre se trate de cuestiones relacionadas con lo vial, porque las aplicaciones comerciales de estas tecnologías van mucho por ese lado, tratando de perfeccionar los autos sin pilotos.

Que el dinero determina en donde se van a poner los fondos para investigar no es una novedad. Seguramente, nadie invertiría millones y millones de dólares sòlo para aprender a jugar Dota 2, menos cuando no tiene chances de competir por el pozo multimillonarios de premios. El interés se explica cuando tenemos en cuenta las aplicaciones comerciales de esta recopilación de datos.

La relación de los videojuegos con las IA es de ida y vuelta. Por un lado la inteligencia artificial se usa de muchas maneras en el desarrollo de un videojuego: generación procedural de contenidos (¡como el infame No Man’s Sky!), la inteligencia de los enemigos (usado en el sistema Nemesis de Middle-earth: Shadow of Mordor), o incluso para bajar el “ban hammer” controlando la toxicidad de los jugadores online.

Del otro lado, los entornos de videojuegos son lugares controlados y seguros para que las IA puedan aprender, con la ventaja de que, a diferencia del mundo real, los objetos ya están estructurados y rotulados.

En el código de programación de los juegos ya está claro que eso sobre lo que tu avatar se desplaza es un carretera, y que eso otro que viene de frente es otro auto. Por esto no es extraño que los investigadores vieran a Grand Theft Auto V, un juego que relacionamos con colisiones a toda velocidad, como campo de prueba para que los autos sin piloto aprendan, irónicamente, a navegar mejor.

Los mundos virtuales en general son una gran oportunidad de aprendizaje. Microsoft financia el llamado “Proyecto Malmo”, en el cual se usa Minecraft como entorno para que agentes artificiales aprendan a interactuar con el mundo y dar sentido a ambiente complejos. El objetivo final es que esta IA pueda aprender habilidades y transferirlas para resolver problemas nuevos.

Esto último es súper importante: en su estado actual las IA sólo están capacitadas para resolver los problemas para los que fueron entrenadas (lo que se conoce como “inteligencia artificial estrecha” o ANI por sus siglas en inglés). Los que logren encontrar la fórmula para que se puedan resolver distintos tipos de problemas propiciarán una verdadera revolución en este campo.

En el caso de Open AI, se usa DOTA 2 como entorno de prueba para tratar de crear un sistema inteligente que pueda captar el desorden y el dinamismo del mundo real, así como reglas implícitas que tienen que ver con el trabajo en equipo, los estímulos dinámicos, o la planificación a gran escala.

Obviamente, el objetivo último es desarrollar una inteligencia artificial general (AGI) aplicable a otras áreas. Actualmente, los algoritmos desarrollados para jugar Dota 2 están siendo usados para controlar una mano robótica, un problema que no se había resuelto con anterioridad.

Si después de leer esto tenés curiosidad de ver cómo funciona, el fin de semana se abrió un desafío para que cualquier se pueda medir contra OpenAI. Se pudo jugar tanto en modo competitivo como co-op, pero con una ayudita para la IA: los bots estuvieron limitados a 17 héroes. El triunfo de OpenAI, de cualquier manera, fue avasallante. De 7257 partidas, los humanos sólo lograron ganar… 42.

Obviamente, el desafio abierto no es más que otra forma de seguir entrenando y mejorando. No sabemos si de acá saldrá el futuro Skynet, pero si alguna vez toma el poder, por lo menos va a saber jugar DOTA.