Moral control and ownership in AI systems

Abstract

Los sistemas de IA están aportando un aumento de las capacidades humanas para dar forma al mundo. También pueden arrastrar un reemplazo de la conciencia humana en grandes trozos de vida. Los sistemas de IA pueden ser diseñados para dejar el control moral en manos humanas, para obstruir o disminuir ese control moral, o incluso para prevenirlo, reemplazando la moralidad humana con "soluciones" preempaquetadas o desarrolladas por la propia máquina "inteligente". Los sistemas inteligentes artificiales (SIA) se utilizan cada vez más en múltiples aplicaciones y reciben más atención de las organizaciones públicas y privadas. El propósito de este artículo es ofrecer un mapa de las arquitecturas tecnológicas que soportan los AIS, bajo el enfoque específico de la agencia moral. A través de un proceso de investigación y reflexión de la literatura, se cubren las siguientes áreas: una breve introducción y revisión de la literatura sobre el tema de la agencia moral; un análisis usando el modelo lógico BDI (Bratman 1987); una revisión elemental de las arquitecturas artificiales de "razonamiento" en el AIS; la influencia de la entrada de datos y la calidad de los mismos; el posicionamiento de los sistemas de IA en los escenarios de apoyo y toma de decisiones; y finalmente, se ofrecen algunas conclusiones sobre la potencial pérdida de control moral por parte de los humanos debido al AIS. Este artículo contribuye al campo de la Ética y la Inteligencia Artificial al proporcionar un debate para que los desarrolladores e investigadores comprendan cómo y en qué circunstancias el "sujeto humano" puede, total o parcialmente, perder el control moral y la propiedad de las tecnologías de IA. El tema es pertinente porque los AIS no suelen ser máquinas únicas sino complejas redes de máquinas que se alimentan mutuamente de información y decisiones y las transmiten a operadores humanos. El seguimiento detallado de la entrada, el proceso y la salida en cada nodo de la red es esencial para que ésta permanezca dentro del ámbito de la agencia moral. La agencia moral está entonces en la base de nuestro sistema de responsabilidad legal, y es poco probable que se obtenga la aprobación social para confiar funciones importantes a sistemas complejos en los que no se puede identificar ninguna agencia moral.

AI systems are bringing an augmentation of human capabilities to shape the world. They may also drag a replacement of human conscience in large chunks of life. AI systems can be designed to leave moral control in human hands, to obstruct or diminish that moral control, or even to prevent it, replacing human morality with pre-packaged or developed 'solutions' by the 'intelligent' machine itself. Artificial Intelligent systems (AIS) are increasingly being used in multiple applications and receiving more attention from public and private organisations. The purpose of this article is to offer a mapping of the technological architectures that support AIS, under the specific focus of moral agency. Through a literature research and reflection process, the following areas are covered: a brief introduction and review of the literature on the topic of moral agency; an analysis using the BDI logic model (Bratman 1987); an elemental review of artificial 'reasoning' architectures in AIS; the influence of the data input and the data quality; AI systems’ positioning in decision support and decision making scenarios; and finally, some conclusions are offered about regarding the potential loss of moral control by humans due to AIS. This article contributes to the field of Ethics and Artificial Intelligence by providing a discussion for developers and researchers to understand how and under what circumstances the 'human subject' may, totally or partially, lose moral control and ownership over AI technologies. The topic is relevant because AIS often are not single machines but complex networks of machines that feed information and decisions into each other and to human operators. The detailed traceability of input-process-output at each node of the network is essential for it to remain within the field of moral agency. Moral agency is then at the basis of our system of legal responsibility, and social approval is unlikely to be obtained for entrusting important functions to complex systems under which no moral agency can be identified.