Inteligencia artificial en el sector público: ¿avance tecnológico o riesgo invisible?

El proyecto Sistemas de Algoritmos Públicos de la Universidad de los Andes reveló que Colombia es pionera en la región en el uso de herramientas de inteligencia artificial (IA) en el sector público, con 176 sistemas en operación, superando a Brasil (81) y México (72).

Estas herramientas apoyan sectores críticos del Estado colombiano, como educación, salud, servicios públicos, medioambiente y seguridad, entre otros. Además, hay 44 herramientas de IA en etapa de pilotaje en el sector público del país, por lo que en el futuro próximo su rol en los procesos públicos aumentará.

El creciente protagonismo de las herramientas de IA en la toma de decisiones y en el apoyo a procesos públicos en Colombia plantea interrogantes sobre el futuro del Estado y su relación con la ciudadanía.

Este texto, basado en los hallazgos del proyecto Sistemas de Algoritmos Públicos, se centra en cuatro aspectos clave: los sistemas de IA empleados por el Estado colombiano, las implicaciones de la automatización con herramientas de IA, los retos de la regulación de la IA y las tareas pendientes del Estado colombiano en los dos primeros frentes.

Colombia a la vanguardia del uso de IA en la gestión pública

Los Estados de América Latina y el Caribe utilizan actualmente 512 sistemas de IA para apoyar diversas actividades públicas, con casi 100 proyectos piloto adicionales en fase de prueba.

En este contexto, Colombia se posiciona como uno de los líderes regionales en la implementación de tecnologías de IA para la gestión pública. El Gobierno Nacional es el mayor usuario, con 94 sistemas en ejecución. Le siguen la Rama Judicial y los organismos autónomos, con 32 herramientas; los gobiernos locales, con 27; y las empresas estatales e instituciones de educación superior públicas, con 23.

La mayoría de los sistemas de IA empleados por el Estado colombiano realizan funciones de reconocimiento de objetos, personas y rostros. De los 77 sistemas que realizan tareas de reconocimiento, 14 utilizan imágenes satelitales para identificar patrones (vías terciarias, minería ilegal, ciertos cultivos). Además, al menos una docena se emplea para hacer reconocimiento facial.

Otro dato relevante es que más de 34 de los sistemas desplegados por el Estado colombiano son chatbots que operan a partir de modelos de IA, y no solo brindan información a la ciudadanía sobre servicios o trámites públicos, sino que también han sido utilizados para promover la participación ciudadana, como es el caso de Chatico, de la Alcaldía Mayor de Bogotá.

¿Qué significa esto para los ciudadanos?

La automatización de procesos y de decisiones públicas a partir de herramientas de IA tiene implicaciones profundas para el funcionamiento del Estado y los derechos ciudadanos. Aquí es fundamental estar atentos: estas tecnologías pueden generar impactos tanto positivos como negativos, y no es prudente hacer caso omiso a alguna de sus facetas.

Los sistemas de IA prometen mayor eficiencia, reducción de costos administrativos y una mejora en la calidad de los servicios públicos. Estos objetivos son loables y, en algunos casos, es posible corroborar directamente sus resultados. Por ejemplo, el Departamento Nacional de Planeación publicó mapas detallados de las vías terciarias del país gracias a la implementación de un sistema de IA que las identificó a partir de imágenes satelitales.

Sin embargo, no se puede asumir que la adopción de herramientas tecnológicas genere necesariamente efectos positivos. El impacto de las herramientas de IA depende de muchos factores: que la herramienta seleccionada sea idónea para el objetivo trazado, que los datos utilizados para operarla sean de calidad y que los responsables de su implementación la operen correctamente, entre otros.

Evaluar los efectos de la implementación de estas herramientas por parte del Estado colombiano resulta complejo debido a la escasa información disponible sobre sus costos y resultados. Este aspecto de la transparencia algorítmica es una de las deudas del Estado, que suele anunciar la puesta en marcha de estos sistemas, pero rara vez proporciona información sobre su desempeño.

Además, surgen preguntas clave para la protección de los derechos fundamentales: ¿Quién supervisa estos algoritmos? ¿Cómo se garantiza que no reproduzcan ni amplifiquen sesgos presentes en los datos con los que fueron entrenados? ¿Cómo se previenen y gestionan los potenciales riesgos asociados a su uso? ¿Los ciudadanos saben cuándo una decisión que los afecta ha sido tomada a partir de un algoritmo? ¿El desarrollo y operación de estas herramientas cumple con las normas sobre los derechos de protección de datos y privacidad?

Por ejemplo, el 59 % de las herramientas de IA usadas por el Estado colombiano trata datos personales. Es fundamental que el Estado tenga respuestas claras a todas estas inquietudes.

Auge de iniciativas de regulación de la IA

Mientras los Estados adoptan rápidamente estas tecnologías, los legisladores y reguladores intentan ponerse al día. El proyecto Sistemas de Algoritmos Públicos documentó que, en América Latina y el Caribe, se están tramitando o se han adoptado al menos 340 regulaciones sobre IA, tanto a nivel nacional como subnacional, en doce países de la región y en Puerto Rico.

Brasil es el país con el mayor número de instrumentos regulatorios (139), seguido por México (67), Argentina (39), Colombia (37) y Perú (21). En conjunto, estos cinco países concentran el 89 % de los instrumentos regulatorios tramitados o adoptados en la región.

El común denominador de estos proyectos es la diversidad de enfoques regulatorios propuestos. La variedad de propuestas y visiones sobre cómo regular el ciclo de vida de los sistemas de IA en América Latina y el Caribe refleja distintas prioridades nacionales, así como los diferentes retos asociados con estas tecnologías.

Los proyectos de ley que cursan en los órganos legislativos de la región buscan alcanzar diferentes objetivos. Algunos proponen establecer un marco legal básico que defina términos clave, comenzando por qué se entiende por sistema de IA, y que incluya principios para su desarrollo y operación de manera fiable. Otros buscan prevenir problemas específicos, como el uso de ultrafalsificaciones (deepfakes) para suplantar identidades, vulnerar la dignidad de las personas –principalmente mujeres– mediante imágenes o videos falsos de connotación sexual, o propagar desinformación en procesos electorales.

En el Congreso de la República de Colombia hay, al menos, once proyectos de ley de IA en trámite. Además, el Ministerio de Ciencia, Tecnología e Innovación recientemente socializó una nueva propuesta: el proyecto de ley “por medio del cual se regula la inteligencia artificial en Colombia para garantizar su desarrollo ético y sostenible”.

Las tareas pendientes del Estado colombiano

El Estado colombiano tiene varias tareas pendientes para maximizar los beneficios del uso de herramientas de IA y minimizar sus riesgos. En primer lugar, la gran cantidad de proyectos de ley que cursan en el Congreso de la República dificulta un debate público profundo sobre su contenido. Es necesario un marco regulatorio claro y preciso que fomente la innovación y, al mismo tiempo, proteja los derechos fundamentales.

El año pasado se establecieron tres comisiones accidentales de IA en el Congreso de la República: una en la Cámara de Representantes, otra en el Senado y una bicameral. Hasta la fecha, no han logrado unificar los proyectos de ley sobre IA para organizar el debate. Por el contrario, todo indica que en lo que resta de la legislatura llegarán nuevos proyectos, lo que reducirá la capacidad del Congreso para debatir estos asuntos en profundidad.

Recientemente, el Gobierno Nacional adoptó la nueva Política Nacional de IA a través del documento Conpes 4144. Esta política establece un norte y una hoja de ruta para alcanzar diferentes objetivos de política pública con el fin de “impulsar la transformación social y económica de Colombia al 2030”.

Será fundamental hacer seguimiento a la implementación de la Política Nacional de IA, que abarca seis tipos de retos: gobernanza de la IA, datos e infraestructura, investigación, talento digital, mitigación de riesgos y adopción de IA. Dado que la anterior política de IA, adoptada en el documento Conpes 3975 de 2019, nunca fue formalmente evaluada por el Gobierno Nacional, es aún más necesario monitorear el avance de las 106 acciones establecidas en el nuevo Conpes 4144.

Finalmente, el Estado tiene el deber de abrir espacios para que la sociedad colombiana participe en el debate sobre las reglas necesarias para garantizar que las tecnologías desarrolladas sean fiables y que su implementación no vulnere derechos fundamentales. Los ciudadanos tenemos derecho a saber cuándo las decisiones que afectan nuestras vidas han sido tomadas o influenciadas por algoritmos. Tenemos derecho a exigir que estos sistemas no discriminen ni perpetúen desigualdades existentes. También tenemos derecho a cuestionar qué áreas de la toma de decisiones públicas son adecuadas para la automatización mediante herramientas de IA.

¿Estamos preparados para asumir estos retos? La respuesta dependerá de la construcción de una gobernanza abierta e inclusiva, como lo plantea el documento Conpes 4144, que se traduzca en un trabajo colaborativo entre sector público, las empresas, la sociedad civil y la academia.

Juan David Gutiérrez, PhD (*)

Para EL TIEMPO

(*) Profesor asociado de la Escuela de Gobierno de la Universidad de los Andes y director del proyecto Sistemas de Algoritmos Públicos.