Germán Kruszewski es Licenciado en Ciencias de la Computación, UBA. Desde 2017 es investigador posdoctoral en Facebook AI Research. Previamente realizó un doctorado en lingüística computacional en Center for Mind/Brain Sciences de la Universidad de Trento y su tesis se basó en modelos distribucionales del lenguaje. Fue pasante de investigación en IBM/WATSON y asistente de investigación en INRIA/LORIA.  En julio de este año fue profesor invitado del curso “Procesamiento del lenguaje natural con redes neuronales”, en el marco de la ECI 2019.

En esta entrevista con Conectados, Germán nos cuenta cuáles son los desafíos que se intentan resolver para que las computadoras puedan comunicarse de la misma forma que lo hacen los humanos y cómo fue la experiencia de dictar el curso en el track de Inteligencia Artificial en la ECI.

¿Cómo fue tu llegada al grupo de investigación de Facebook y cómo es el trabajo diario allí?

Estaba trabajando en mi doctorado en CIMeC, Universidad de Trento, en el norte de Italia, bajo la dirección de Marco Baroni. Frecuentemente recibíamos la colaboración de varios investigadores. Uno de estos investigadores con el que comencé a colaborar era de Facebook AI Research. Esto me dio la posibilidad de hacer una pasantía de verano en 2016 y, finalmente al año siguiente cuando terminé el doctorado, fui entrevistado para un puesto posdoctoral. Comencé a trabajar en la oficina de Paris, hasta mediados de 2018, y luego me mudé a Londres (que es una oficina relativamente nueva).

En cuanto al trabajo diario, Facebook AI Research es similar a un laboratorio académico, hacemos investigación abierta y nuestros trabajos se publican en las principales conferencias, journals académicos o revistas de inteligencia artificial. El laboratorio funciona de una manera autoorganizada, cada investigador tiene la libertad de elegir a los colaboradores con los que desea desarrollar proyectos. Tengo colaboraciones con investigadores de Facebook de todo el mundo y con otros investigadores de universidades e institutos. Algo que particularmente me gusta de la investigación científica es la colaboración multidisciplinar, que te permite ampliar tu perspectiva para resolver problemas científicos complejos y te saca de tu zona de confort.

¿Cuál es tu objetivo de investigación?

Me interesa que las computadoras puedan comprender y comunicarse en el mismo lenguaje humano, el mismo lenguaje con el que nosotros nos comunicamos diariamente. Desde ya que significa resolver un problema muy ambicioso, propio del procesamiento del lenguaje natural (Natural Language Processing o NLP). Hoy en día, a través de diferentes métodos y herramientas disponibles, su comprensión se limita a conjuntos acotados de expresiones. Por ejemplo, yo me puedo comunicar con mi asistente virtual para pedirle que realice una tarea entre algunas tantas que tiene preprogramadas, como configurar la alarma del reloj o buscar la dirección de la reunión a la que asistiré mañana, pero yo no le puedo explicar cómo resolver un nuevo problema.  El propósito de todo esto implica cómo desarrollar un algoritmo que nos permita comunicarnos de manera eficiente y natural con una computadora para especificar las tareas que hoy indicamos a través de los lenguajes artificiales.

¿Y cómo hacen las computadoras para lograr ese mayor nivel de comprensión?

En lugar de confiar en un aprendizaje basado en ejemplos asignando a cada expresión su correspondiente interpretación, que es lo que predomina hoy en día, buscamos generar modelos que puedan desarrollar la capacidad de comunicarse. Para esto intentamos que para aprender puedan valerse de recompensas dadas por el usuario cuando el modelo responde efectivamente.  Esta capacidad de comunicación se debe desarrollar de manera incremental, por lo que es crucial que la computadora sea capaz de utilizar las soluciones encontradas en los problemas simples para resolver problemas más complejos. Utilizando esta capacidad, podrían no sólo responder a las tareas para las que observaron ejemplos específicos, sino también podrían aprender a interpretar información que les indique cómo resolver una tarea que nunca habían visto antes.

¿En Facebook se está pensando en el desarrollo de asistentes virtuales de comando por voz o más bien se desea avanzar en el estado del arte de NLP?

Nuestro laboratorio no está necesariamente ligado a aplicaciones concretas, sino que hacemos investigación de base. Después los resultados pueden ser llevados a aplicaciones concretas, pero el objetivo de Facebook AI Research es avanzar en la investigación de inteligencia artificial en general.

Más allá de una instrucción para resolver una tarea concreta, ¿cómo se hace para que las computadoras entiendan cada vez mejor el contexto de una conversación cotidiana, un diálogo trivial entre humanos?

En el caso de lo que te referís, que es chit-chat, me parece que es más difícil de evaluar o comprender si la computadora está respondiendo como uno espera. Uno de los problemas que muchos modelos suelen tener es la consistencia. Quizás puede darte una respuesta adecuada que sólo funciona bien en ese contexto específico, pero quizás no entienda nada de la conversación que tenemos en general. Quizás puedo preguntar lo mismo, el mismo contenido pero dicho de manera distinta, y que la computadora me dé respuestas contradictorias. La comprensión general de la situación o el contexto, es parte de un problema abierto en NLP.

Por el contrario, lo que tiene que ver con agregación y descubrimiento de patrones, la computadora puede hacerlo muy efectivamente. Por ejemplo, yo no me puedo dar cuenta fácilmente de que el escritor G.K. Chesterton usaba más seguido determinadas palabras en lugar de otras cuando escribía sus libros, porque resultan patrones que no son útiles a mi comprensión. Pero si la computadora descubre que ese patrón es útil para resolver el problema específico que le estoy asignando, por ejemplo reconocer a un determinado escritor de un texto, lo va a explotar. La computadora termina siendo muy buena en encontrar ese tipo de sistematicidades, no así en otras.

Cambiando un poco de tema, ¿cómo fue la experiencia de volver a Argentina para dictar el curso en Exactas en el marco de la ECI 2019?

Fue muy emocionante volver al lugar donde cursé tantos años, incluso al Aula Magna del Pabellón 1, reinaugurada con el nuevo mural.  Hacía mucho que no pasaba por Exactas, salvo para visitar a algún amigo.

¿Qué receptividad tuviste de alumnos y alumnas y cómo resultó la interacción?

Tuve un público diverso con conocimientos previos muy distintos: 65% venía de Computación mientras que 35% venía de otras disciplinas como Matemática, Física, Biología, Psicología y Letras. Si bien esto hace difícil conformar a todos, la recepción de los temas fue muy positiva. Me llegaron muchos mensajes de agradecimiento por el curso y siento que la gran mayoría se pudo llevar al menos alguna cosa que le interesó, motivó o enriqueció de algún modo.

¿De qué modo encaraste esta diversidad disciplinar en el curso?

Primero di una base sólida sobre redes neuronales y su aplicación al procesamiento en el lenguaje humano, sin asumir conocimientos previos de aprendizaje automático. Pude mostrar las técnicas recientes, con un pantallazo sobre las técnicas más populares para clasificar oraciones, establecer relaciones entre distintas frases, producir texto o traducirlo en distintos idiomas. Además incluí una demostración práctica de cómo implementarlo usando los frameworks más populares. Si bien abordé cada tema en profundidad, busqué clarificar el funcionamiento de cada una de estas técnicas, de modo que no sean entendidas como una caja negra, sino más bien que tengan un cierto nivel de intuición sobre cuáles son los mecanismos que se utilizan en esos modelos. Todo esto fue acompañado de casos de estudio con las aplicaciones comunes para estudiar las distintas formas de procesar el lenguaje.

Por último, siendo graduado de la Facultad, ¿qué valor diferencial crees que ofrece la formación que brinda Exactas?

Creo que el diferencial que nos da Exactas es esta noción de proveer herramientas generales para abarcar una gran cantidad de posibles situaciones y problemas que pueden encontrarse a lo largo de nuestra vida profesional, a diferencia de otros colegas que tienen herramientas muy acotadas a una disciplina específica. En este mundo en el cual los cambios tecnológicos son moneda corriente, siendo tan frecuentes y a veces tan profundos, me parece que es fundamental contar con una sólida base teórica más general. En ese sentido, Exactas forma profesionales e investigadores de excelente nivel gracias a esta capacidad de construirnos como generalistas del conocimiento.

Prof. Germán Kruszewski

Curso «Procesamiento del lenguaje natural con redes neuronales»

La vocación de Germán y su decisión de irse a vivir al exterior

Creo que siempre tuve la vocación bastante clara. Ya en los primeros años de la secundaria había incursionado en la programación aprendiendo Basic y Visual Basic con un amigo. De todos modos, no sé bien de dónde viene esta vocación por la Computación. Con mis hermanas somos primera generación de universitarios, y soy el único al que se le dio por las exactas. La otra carrera que me llama mucho la atención es Biología. Si hubiese estudiado otra carrera tampoco me hubiera ido muy lejos, solamente a un pabellón distinto. Me fascinan la creatividad y los mecanismos que hay detrás de la vida. Creo que en el fondo hay muchos puntos de contacto entre las dos disciplinas.
En cuanto a mi decisión de irme a vivir afuera, mi primera experiencia sucedió cuando fui a trabajar a Nancy, Francia. Y sí, me costó un poco adaptarme porque al principio no entendés cómo funcionan las cosas ni qué esperarte. Por dar un ejemplo, en las primeras semanas que me mudé me cortaron la luz porque no había hecho el cambio de nombre en el contrato, cosa que a mí no se me pasó por la cabeza que pudiera pasar.
De Argentina, extraño sobre todo a mi familia y mis amistades. En segundo lugar, aunque no muy lejos, está la comida. Más allá de la carne o el dulce de leche, tenemos cosas como la pizza porteña o las facturas que son realmente únicas. ¿Si pensé en volver? Me gustaría volver en algún momento, aunque tengo que ver cómo se conciliaría con otros aspectos de la vida personal.