Learning to act and observe in partially observable domains

Abstract

Este trabajo estudia un agente de aprendizaje que actúa en un entorno parcialmente observable con el que no ha interactuado previamente y sobre el que debe aprender tanto qué aspectos puede observar como cómo sus acciones modifican el entorno. El agente adquiere conocimiento a partir de la experiencia obtenida al ejecutar acciones y observar sus resultados, bajo restricciones observacionales dadas. Se presentan varios algoritmos de aprendizaje capaces de aprender, en un sentido formalmente definido, el máximo conocimiento posible sobre la estructura observable del dominio y sobre los efectos de las acciones. El artículo distingue los distintos niveles de conocimiento del dominio que cada algoritmo puede alcanzar y caracteriza el tipo de observaciones necesarias para lograrlo. Para representar de manera simbólica la información aprendida, los algoritmos emplean lógica epistémica dinámica. El trabajo amplía investigaciones previas basadas en este marco lógico, extendiéndolas desde dominios totalmente observables a entornos parcialmente observables.

We consider a learning agent in a partially observable environment, with which the agent has never interacted before, and about which it learns both what it can observe and how its actions affect the environment. The agent can learn about this domain from experience gathered by taking actions in the domain and observing their results. We present learning algorithms capable of learning as much as possible (in a well-defined sense) both about what is directly observable and about what actions do in the domain, given the learner’s observational constraints. We differentiate the level of domain knowledge attained by each algorithm, and characterize the type of observations required to reach it. The algorithms use dynamic epistemic logic (DEL) to represent the learned domain information symbolically. Our work continues that of Bolander and Gierasimczuk (2015), which developed DEL-based learning algorithms based to learn domain information in fully observable domains.