El pasado lunes 19 de abril, Derechos Digitales presentó públicamente la iniciativa Inteligencia Artificial e Inclusión en América Latina. El proyecto incluye estudios desarrollados por especialistas en cuatro países de la región sobre la implementación de sistemas tecnológicos con aspectos de automatización a partir del sector público.

Hasta el momento, las características de este tipo de despliegue tecnológico en la región han sido escasamente documentadas. Sin embargo, más rápido que cualquier análisis, la implementación de tecnologías digitales sigue avanzando silenciosamente, con pocos espacios de debate y participación ciudadana. Así lo evidencian los casos analizados en Brasil, Chile, Colombia y Uruguay.

Es preocupante observar cómo antes de enfrentar los desafíos relacionados a la digitalización y al establecimiento de procedimientos adecuados de gobernanza de datos, los gobiernos se empeén en automatizar procesos por medio de sistemas tecnológicos que agregan nuevas capas de complejidad y opacidad. Aún más cuando pueden afectar derechos fundamentales como a la asistencia social, el empleo, la justicia o la salud; o culminar en intervenciones discriminatorias en la vida de las personas por parte del Estado.

Un nuevo fetiche

A partir de los casos analizados, una de las primeras cuestiones que llama la atención es la adopción de tecnologías que, antes de su despliegue, carecían de cualquier evidencia sobre su necesidad o utilidad. Es decir, se desarrollan e implementan “soluciones” a problemas insuficientemente descritos, pues en general no existe un diagnóstico previo que las justifique.

Esta falta de diagnóstico resulta crítica en tres aspectos: 1) a qué finalidad sirve la solución tecnológica específica (incluido el análisis de su adecuación al problema),  2) la preparación en el aparato administrativo para su implementación y 3) la capacidad de la ciudadanía de comprender los efectos de la solución tecnológica. Como consecuencia, la implementación de sistemas tecnológicos complejos resulta por sí sola problemática frente a un contexto insuficientemente preparado para su despliegue e impotente frente a su funcionamiento.

En los cuatro países analizados, la manera en que implementadas las distintas iniciativas revela una importante discrecionalidad y ausencia de planificación sobre el uso de tecnologías a nivel gubernamental. Por cierto, esta condición refleja una tendencia a nivel regional más allá de los cuatro países inicialmente considerados en nuestra investigación.

La característica común parece ser una aproximación de “solucionismo tecnológico”: la expectativa de que la tecnología digital sea solución a complejos problemas políticos y sociales. En este sentido, la enorme promoción a nivel global de tecnologías de inteligencia artificial las convierte en objeto de deseo para servidores públicos dispuestos a poner en riesgo a la ciudadanía para satisfacer la imagen de un Estado fuerte y moderno, independientemente de sus reales capacidades “inteligentes”.

Los cimientos del sistema

Si bien la innovación a nivel estatal es bienvenida y puede ser útil para lidiar con problemas de la gestión pública, es inaceptable que iniciativas que puedan implicar el acceso y procesamiento de inmensas cantidades de datos personales no pasen por discusiones previas y sin contar con un marco de legalidad adecuado. Pese a la ausencia de una discusión específica sobre la implementación de sistemas automatizados, los marcos normativos para lidiar con la protección de datos en los países analizados son todavía muy desiguales.

Como es sabido, el marco de protección de datos personales es demasiado limitado para regular sistemas de inteligencia artificial, pues apunta apenas a una arista de los mismos: la recolección y tratamiento de la información sobre personas naturales. No obstante, es ese ámbito del derecho donde, por su conexión con nuevas e intensas formas de procesamiento, se observan avances normativos, como garantías específicas para favorecer la “explicabilidad” de decisiones automatizadas o para integrar la revisión humana de esas decisiones. El intento brasileño de incorporar ambos aspectos en su normativa, detenido por veto presidencial, revela una importante falta de voluntad política por poner los intereses de la ciudadanía por encima de los imperativos de las industrias de tecnología, lo que seguramente no es exclusivo de un país.

Al mismo tiempo, la existencia de normas de protección de datos en los cuatro países analizados no han asegurado que los principios y reglas de la temática estuvieran en el centro de la atención estatal. Por el contrario, una característica común es la variación en la base legal para el tratamiento de datos, con el consentimiento como un factor a veces relevante, pero a menudo con bases de datos distintas y autorizaciones legales difusas para la inclusión de información desde diversas fuentes. Es decir, el aparato público extiende su función a partir de su legitimidad legal, sin tomar los debidos resguardos en obtener el consentimiento de las personas que se convierten en objeto de intervención estatal.

Esta es la clase de razones que explicitan la demanda no solo de una normativa para la fiscalización de los datos personales, sino de una autoridad pública de control, dedicada, especializada y con atribuciones para intervenir en la acción de otras agencias estatales si fuera necesario.

Pero como hemos dicho, la regulación de datos personales es apenas una arista. Parte importante de la acción estatal pasa por el estímulo a la inteligencia artificial, entendida como una vía de desarrollo industrial nacional. No obstante, esto tampoco es suficiente sin una visión completa sobre los distintos aspectos que confluyen en esta problemática. Si, por un lado, algunos gobiernos tratan de propagar sus principios o estrategias generales de inteligencia artificial, por otro, hay muy poca especificidad en cómo esos documentos guiarán la implementación de tecnologías desde el sector público. Por ejemplo, cuál será la importancia que darán a los derechos fundamentales y la transparencia.

Opacidad sin límites

Quizás uno de los problemas más relevantes que observamos cuando se trata de la adquisición estatal de tecnologías es la ausencia o insuficiencia de mecanismos para la integración directa de los intereses de la ciudadanía. En otras palabras: la falta de análisis conjunto con actores relevantes del sistema de forma previa a cada despliegue, la ausencia de mecanismos de control compartidos por intereses multisectoriales y la carencia de mecanismos de evaluación posterior.

Las falencias son múltiples: a la opacidad tradicionalmente asociada a sistemas de decisión automatizada, se suma la exclusión de la participación pública en el despliegue de los sistemas y la ausencia de mecanismos abiertos y transparentes de evaluación en la consecución de sus fines.

Los problemas que derivan de esa opacidad potenciada son también numerosos y conllevan, incluso, la insuficiencia de perspectivas diversas sobre los posibles impactos. La decisión pública sustentada únicamente en máquinas resulta una forma extrema de tecnocracia, que puede erosionar la legitimidad del aparato estatal y pone en discusión la real vinculación con los problemas que en teoría están destinados a abordar.

Hacia una agenda de gobernanza desde los gobernados

A partir de la recolección de datos empíricos sobre la implementación de sistemas automatizados o semi-automatizados es posible buscar factores comunes que faciliten, con base en el Sistema Interamericano de Derechos Humanos, una inminente discusión sobre el desarrollo de estándares regionales para su uso. Estos deberán orientar la producción de marcos normativos que hagan de la implementación de tecnologías, desde lo público, una expresión de las aspiraciones de la ciudadanía sobre el Estado, y no de las aspiraciones de una modernidad vacía.

Pero este es apenas un paso inicial y el desarrollo normativo está lejos de responder a los inmensos desafíos que se presentan. Derechos Digitales seguirá trabajando para generar evidencia y explorando nuevos espacios de diálogo sobre el desarrollo futuro de la tecnología en América Latina.

Revisa Inteligencia Artificial e inclusión aquí.