CC:BY (Maria José Porras Sepúlveda)

Durante el primer semestre de 2022, Derechos Digitales desarrolló, con apoyo de la red f<A+i>r, una guía sobre Inteligencia Artificial (IA) feminista titulada Hacia un marco feminista para el desarrollo de IA: de los principios a la práctica.

El documento comienza con la pregunta «¿Es posible desarrollar IA que no reproduzca lógicas de opresión?», invitándonos a reflexionar en torno a cómo entendemos el campo de la IA y cuál es la participación de América Latina en los escenarios de producción de conocimiento en este campo, cuáles son los problemas de discriminación asociados a la manera en que se configura el campo de la IA actualmente y qué propuestas alternativas para la gestión cuidadosa de los datos existen. En el fondo, se trata de intentar comprender cómo las prácticas feministas pueden sentar las bases para el desarrollo de una IA inclusiva y con sentido de justicia social.

Para continuar esta discusión, entre enero y febrero de 2023, Derechos Digitales organizó una serie de conversatorios entre mujeres latinoamericanas que se encuentran desarrollando sistemas de Inteligencia Artificial al alero de la red f<A+i>r, junto a otras mujeres expertas en IA en la región. El objetivo principal de estos encuentros fue incentivar la reflexión a partir de experiencias de desarrollo de proyectos concretos. Intercambiar recomendaciones y metodologías aplicables al diseño de los sistemas, con perspectivas feministas.

Este texto está disponible en inglés y portugués.

Sobre la construcción de este texto

Este texto busca sintetizar las conversaciones desarrolladas durante los encuentros, enfatizando conceptos, desafíos y aprendizajes que pueden inspirar iniciativas futuras de desarrollo de IA. Además de referencias directas a los diálogos y a las intervenciones de las participantes, el texto busca expandir sus ideas y combinarlas con otras referencias.

Abajo se encuentra una breve descripción de las temáticas abordadas en cada uno de los espacios de diálogo realizados a lo largo del proyecto:

• El primer encuentro, realizado el 26 de enero de 2023, se tituló “Las tecnologías como procesos colectivos” y contó con la participación de Sofía Trejo e Iván Meza, quienes se encuentran desarrollando el proyecto “Agente conversacional para apoyar el ejercicio digno de la interpretación en lenguas indígenas en el ámbito jurídico en México”. Conversaron con Karla Prudencio, directora de la Licenciatura en Derecho del Centro de Investigación y Docencia Económicas de México, sobre compromisos metodológicos para el codiseño entre comunidades, entendiendo, comprendiendo y colaborando con sus necesidades.
  
  
• En el encuentro “Inteligencia Artificial, ¿para qué y para quién?”, realizado el 31 de enero de 2023 junto a la experta Fernanda Carles, se intentó responder a la pregunta: ¿cuáles son los pasos a seguir para construir un sistema de IA? Carles mencionó algunas consideraciones a tener en cuenta en cada paso del desarrollo de proyectos de IA con un objetivo social.
  
  
• La tercera sesión, realizada el 2 de febrero bajo el título “Poder feminista – Poder de la IA. Conexiones y disrupciones”, se planteó como una conversación entre Cristina Martínez Pinto y Luz Elena González, coordinadoras del proyecto “Perspectiva de género en el trabajo colectivo de IA en el Sur Global”, con Gina Neff, directora ejecutiva del Minderoo Center for Technology and Democracy. Las participantes dialogaron sobre cómo desarrollar posibles estrategias para lograr la participación de las mujeres trabajadoras colectivas o crowd workers en esfuerzos de conexión y organización de forma digital.
  
  
• En  “¿Se puede ajustar el enfoque feminista a los protocolos?”, cuarta y última sesión del ciclo, realizada el 8 de febrero,  Virginia Brussa, una de las responsables del proyecto “Integración de la perspectiva de género al diseño de proyectos de Data Science para el sector público en Latam”, intercambió con Maia Numerosky, ingeniera en ciencia de datos, quien compartió sus perspectivas sobre el desarrollo y despliegue de proyectos de este tipo desde el sector público y la academia.
  

Los conversatorios contaron con la facilitación de Adriana Castrillón y Juliana Guerra, y la participación activa de personas del equipo de Derechos Digitales y del nodo de América Latina y el Caribe del proyecto f<a+i>r.

Iniciativas de IA feminista en América Latina

CC:BY (Maria José Porras Sepúlveda)

América Latina ha sido un importante centro de producción y reflexión sobre tecnologías feministas y en materia de IA no es diferente. Desde 2020, la red f<a+i>r, viene creando un espacio de intercambio y fortalecimiento de una serie de iniciativas que se proponen pensar y desarrollar una IA inclusiva y transformadora. Actualmente, la red es liderada por Women at the Table, el Tecnológico de Costa Rica y el Tecnológico de Monterrey, con el apoyo del International Development Research Centre (IDRC), y tiene un activo nodo en América Latina y el Caribe. Además de constituir una red, f<a+i>r promueve la investigación y la experimentación con la producción de IA feminista.

A continuación encontrarás más detalles de los proyectos de IA feminista discutidos durante los diálogos impulsados por Derechos Digitales y que fueron apoyados y financiados por la red f<a+i>r en América Latina entre 2022 y 2023

Agente conversacional para el apoyo al ejercicio digno de la interpretación en lenguas indígenas en el ámbito legal

La iniciativa buscó codiseñar con intérpretes de lenguas indígenas un agente conversacional que permitiera a las personas intérpretes generar datos de forma colaborativa para visibilizar las problemáticas que enfrentan en el día a día al desarrollar su labor; mejorar la planeación y toma de decisiones; dar mayor poder de incidencia en política pública a las personas intérpretes y a sus organizaciones en temas relacionados con interpretación y acceso a justicia en México. De manera complementaria el agente permitiría a las personas intérpretes construir conocimientos colectivos (como glosarios) que pudieran servirles como herramientas de apoyo en su labor. 

El proyecto buscó alinear todos sus procesos y resultados con los principios de codiseño, beneficios compartidos, autonomía digital y soberanía de los datos. Para poder accionar estos principios, una parte fundamental del trabajo de investigación se sustentó en talleres presenciales, que sirvieron como espacio de diálogo y escucha. Además de los principios, el proyecto tomó en consideración la perspectiva de género de manera transversal durante todo su desarrollo. No solo al buscar la equidad en cifras, sino al generar un espacio (un taller de género) que permitiera incorporar la perspectiva de género en el diseño del proyecto y del agente.

Fue importante para el proyecto que todos los procesos de desarrollo estuvieran enfocados en balancear las relaciones de poder entre los diversos actores involucrados, particularmente entre el equipo de investigación, las personas intérpretes y los grupos de intérpretes. Este ejercicio se vio reflejado en la metodología de trabajo, que incluyó la elaboración de un protocolo de investigación y acuerdos comunitarios, y el establecimiento de estrategias para accionar los Principios CREA para el manejo de datos indígenas a lo largo del proyecto.

Más información sobre el proyecto y las personas intérpretes que colaboraron en su desarrollo puede ser consultada en su sitio web.

Integración de la perspectiva de género al diseño de proyectos de ciencia de datos para el sector público

Esta iniciativa tuvo por objetivo formular una metodología de diseño de proyectos de ciencia de datos para funcionarios públicos, a partir de dimensiones alternativas de análisis y de propuestas de acción regional. En el análisis se integran enfoques provenientes del campo de la justicia de datos, del diseño y la interseccionalidad, para promover una implementación crítica de la ciencia de datos en la arena pública y profundizar etapas claves que fortalezcan la formulación de preguntas, conformación de equipos y la naturaleza híbrida de los datos inherentes a los procesos de toma de decisiones.

La metodología de desarrollo incluyó la realización de tres talleres en octubre y noviembre de 2022 en Rosario, Argentina, dirigidos a funcionarios públicos y activistas de diversos campos de la región. Durante los talleres se exploraron y validaron cambios a una ficha de diseño de proyecto utilizada en Chile y publicada en una guía del Banco Interamericano de Desarrollo (BID) para América Latina. En esas instancias se buscó entender la necesidad de una estrategia de gobernanza, la importancia de la participación pública en proyectos de ciencias de datos desde el Estado y el concepto de justicia de datos como alternativa a la idea de ética de datos.

Como resultado, la iniciativa propone la reformulación de las fichas de proyectos de ciencias de datos en el sector público considerando una revisión interna, los aportes colectivos de los talleres en línea realizados y un análisis a partir de un conjunto de dimensiones exploratorias. Los cambios principales se refieren a la inclusión de instrumentos participativos en las distintas etapas del diseño, de una estrategia de gobernanza de proyectos y una visión transversal e iterativa de justicia de datos, en clave feminista.

«Tuvimos que adaptar los materiales para los talleres, no solo para hablar de las cuestiones técnicas, sino del enfoque feminista. Surgieron preocupaciones con la afectación al derecho a la privacidad, pero no tanto con los derechos a la comunicación o la información. Hay que seguir pensando en cómo comunicar los temas de ciencia de datos para poblaciones afectadas por este tipo de proyectos y en qué derechos necesitamos», indicaron Virginia Brussa y María Paz Hermosilla, responsables del proyecto.

Un artículo completo sobre el proyecto se puede leer aquí.

Avanzando una perspectiva de género para las Crowd Workers en IA desde el Sur Global

Se trata de un proyecto de investigación sobre las mujeres latinoamericanas que trabajan etiquetando contenidos que serán utilizados para el entrenamiento de modelos de IA, las llamadas Crowd Workers. La investigación incluyó la realización de encuestas para comprender quiénes son, cómo trabajan y cuáles son sus necesidades.

A partir de la comprensión de sus contextos, sus realidades familiares y los principales desafíos que enfrentan, el proyecto propone el desarrollo de una plataforma de IA que incluya perspectivas feministas para las plataformas de Crowd Work, permitiendo a las trabajadoras intercambiar informaciones, generar asociaciones y conseguir escalar los sistemas.

«Encontramos que estas mujeres no cuentan con canales de comunicación para conectar con otras trabajadoras ni con herramientas de traducción para muchas de las tareas que realizan. Nuestra plataforma, apoyada por IA, va a recomendarles herramientas que les ayuden a desarrollar habilidades para su crecimiento profesional y les permitirá conectar con otras colegas», afirman las responsables del proyecto.

La descripción completa del proyecto y sus hallazgos puede ser encontrada aquí.

Reflexiones feministas sobre IA

CC:BY (Maria José Porras Sepúlveda)

Revisitando conceptos

La Inteligencia Artificial ha incorporado una serie de conceptos específicos al lenguaje cotidiano y la construcción de sistemas de IA feminista requiere examinarlos e interrogarlos. En IA, como en cualquier campo, el lenguaje no es neutral y las expertas latinoamericanas investigando y desarrollando sistemas han repensado esos conceptos en sus propios términos y palabras.

La misma idea de “Inteligencia Artificial” ha estado sujeta a cuestionamientos y fue objeto de discusión durante los diálogos. Fernanda Carles la define como la capacidad de un sistema de adaptarse a su ambiente para resolver un problema, operando con insuficiencia de conocimientos y recursos. Se trataría de sistemas que están diseñados para procesar una cantidad enorme de información y que pueden resolver problemas que los humanos no. En algunos casos es más rápida «y, bien diseñada, puede ser más objetiva», apunta. 

Carles diferencia dos tipos de IA: la Inteligencia Artificial angosta y la general.  «La IA angosta es la que vemos que se está desplegando hoy en día, la que existe fuera de la teoría. Está enfocada en tareas específicas o delimitadas. No tienen conciencia, autoconciencia o habilidad de pensar», a diferencia de lo que la idea misma de “inteligencia” podría sugerir.

Por su parte, la experta apunta que la IA general es un desarrollo que solo existe en teoría, pues no se ha hecho realidad. La idea es generar sistemas computacionales que puedan experimentar la información de formas similares a la de los seres humanos, que tengan la capacidad de aprender, generalizar, aplicar conocimientos y planificar el futuro, que sea creativa, exprese emociones y que pueda trabajar sin supervisión.

Matteo Pasquinelli y Vladan Joler, en un manifiesto sobre la IA como mecanismo de extracción del conocimiento, apuntan que en la expresión “Inteligencia Artificial” el adjetivo artificial conlleva un mito de autonomía de la tecnología, tal como explica Carles sobre la idea de IA general. Según ellos, tal idea mistifica dos procesos de alienación en favor de un régimen corporativo extractivista del conocimiento humano: la autonomía geopolítica de las empresas de tecnología y la invisibilización de la autonomía de las personas trabajadoras. En su trabajo, plantean cambiar tal lógica y pensar el aprendizaje de máquinas como un instrumento para ampliar el conocimiento. Su reflexión completa puede ser leída en portugués aquí.

Fernanda Carles introdujo otros dos conceptos también centrales para el desarrollo de proyectos de Inteligencia Artificial: modelado y ponderación.

El modelado de datos es el proceso de documentar un diseño de sistema de software complejo como un diagrama de fácil comprensión, usando texto y símbolos para representar la forma en que los datos necesitan fluir. El modelado no indica cómo va a ser la red, sino el tipo de datos que lo va a alimentar.  «Agrego datos que yo conozco, controlo lo que salga y con eso analizo qué nueva información puede darme», indica Carles. 

Ella explica que el análisis de correlación permite entender qué grado de dependencia tiene la variable objetivo (lo que se quiere predecir o clasificar) con otras variables. Con esto es posible tomar decisiones acerca de qué datos usar o no, y qué importancia tiene cada variable en el sistema desde un punto de vista matemático.  

Maia Numerosky apunta que «los datos son un aspecto fundamental» en un sistema de IA. Ella enfatiza cómo los datos representan relaciones de poder: la disponibilidad de unos datos u otros representa relaciones sociales más profundas. «Por ejemplo contamos con menos datos de las personas que trabajan de manera informal, menos datos de abortos clandestinos, menos datos de personas trans y no binarias. Ningún trabajo de mitigación de sesgos que se haga sobre los algoritmos produce una mejora sobre la base de datos».

De esta manera, un primer problema a la hora de considerar implementar un modelo de IA está en la disponibilidad y representatividad de los datos, además de los criterios considerados a la hora de su recolección. La indisponibilidad o falta de representatividad de los datos puede producir una serie de problemas. Por ejemplo, respecto del entrenamiento de los sistemas, la falta de datos va a significar que hay cosas que los sistemas nunca van a poder “aprender” y eso va a impactar en sus resultados.

En la investigación Inteligencia Artificial & Inclusión, liderada por Derechos Digitales y desarrollada en alianza con un conjunto de organizaciones académicas y de sociedad civil latinoamericanas, se pudo detectar los impactos de conjuntos sesgados de datos a la decisión mediada por sistemas automatizados.  En esos casos, los sesgos pueden impactar en la calidad de vida y la autonomía de las personas afectadas, además de potencialmente reiterar su condición de exclusión y profundizar desigualdades pre-existentes.

Hablando sobre el uso de IA en el ámbito de políticas públicas, Numerosky apunta que «el problema es dónde y cómo se recogen los datos. Los datos deben ser recogidos con calidad y con criterios claros por los distintos organismos». De lo contrario, será imposible analizarlos y generar información relevante para el desarrollo de políticas públicas.

Numerosky distingue entre dos tipos de datos sobre los que trabaja la IA: datos críticos y datos no críticos. Los primeros serían datos personales, mientras que los segundos son datos que refieren a objetos o accesorios. En cualquier caso, puede tratarse de una distinción tenue, porque también los objetos pueden revelar informaciones personales e incluso, sensibles.

La disponibilidad y exactitud de los datos, por lo tanto, puede implicar la existencia de sesgos que, si no son detectados y abordados desde el inicio, pueden impregnar todo el sistema, afectando sus resultados. Un sesgo ocurre cuando hay un peso desproporcionado a favor o en contra de un dato u otro. Ahí es importante recordar lo que resaltaba Numerosky: al hablar de datos, muchas veces nos referimos a informaciones recolectadas o inferidas de personas reales, que serán afectadas por dichos sesgos.

Los sesgos pueden ocurrir en la fuente de recolección, cuando la población no es representativa del fenómeno a ser estudiado. También puede haber sesgos en el diseño del protocolo, sesgos de ingeniería de datos o de los mismos algoritmos. Por ejemplo, arreglos estadísticos realizados en las bases de datos pueden distorsionar la investigación: «si metes basura en tu modelo, te va a devolver basura», resume Fernanda Carles.

Otro concepto importante surgido en las conversaciones fue el de datos abiertos, que se refiere a una filosofía y práctica que persigue que determinados tipos de datos estén disponibles de forma libre para todo el mundo, sin restricciones de derechos de autor, de patentes o de otros mecanismos de control técnicos o jurídicos. Los datos abiertos son datos digitales que son puestos a disposición con ciertas características técnicas y jurídicas necesarias para que puedan ser usados, reutilizados y redistribuidos libremente por cualquier persona, en cualquier momento y en cualquier lugar.

Cabe resaltar que, de acuerdo con la Carta Internacional de Datos Abiertos, la apertura de datos solo puede ocurrir cuando las personas tienen certeza de que eso “no comprometerá su derecho a la privacidad” y tengan el “derecho a influir en la recolección y uso de sus datos personales o de datos generados como resultado de su interacción con los gobiernos”. Por otro lado, no se trata simplemente de publicar información: hay una serie de criterios que deben cumplirse para que un conjunto de datos pueda ser considerado abierto y pueda ser utilizado libremente en distintas aplicaciones.

CC:BY (Maria José Porras Sepúlveda)

Durante el diálogo entre Virginia Brussa y Maia Numerosky se habló además de la importancia de la interoperabilidad, la característica de los datos de poder ser procesados en distintos tipos de sistemas y de diferentes formas, sin ningún tipo de traba técnica. Pensando en la importancia de los datos abiertos en el ámbito público, se cuestionó «¿cómo tener una justicia menos machista, por ejemplo, si no podemos entender los datos de manera sistemática o si los datos no están disponibles?». 

El punto no solo retoma la discusión sobre sesgos en la recolección y disponibilidad de bases de datos y las luchas históricas del movimiento feminista para que ciertas informaciones sean recolectadas de manera sistemática por el Estado, por ejemplo, en materia de violencia contra las mujeres. También toca debates sobre el derecho de acceso a la información, la transparencia pública y la transparencia algorítmica: temas actuales en las discusiones sobre la regulación de IA y, a la vez, fundantes en las discusiones sobre derechos humanos y los límites a la operación estatal.

La idea de datos abiertos fue presentada en contraposición al diagnóstico de que «los códigos funcionan y a veces no entendemos muy bien por qué», como lo sintetizó Virginia Brussa. La referencia es a la idea diseminada de que los algoritmos de IA funcionan como una “caja negra” y que es imposible conocer su funcionamiento de manera completa.

Brussa señala que este es un problema común en el sector público, donde muchas veces se adquiere y adaptan tecnologías de terceros ya desarrolladas sin que haya un conocimiento acabado de sus características: «en el sector estatal se compran muchos empaquetados de software que son de código privativo, y no sabemos cómo funciona el código». Esto es particularmente problemático cuando se trata de IA, puesto que las decisiones tomadas de manera automatizada en el sector público también deben ser justificadas y explicadas. La adopción de sistemas en los modos indicados por Brussa agrega una capa de opacidad a la operación estatal y, en el caso de afectación de derechos, hace también más complejo reparar eventuales daños.

Las propuestas de explicabilidad y de transparencia algorítmica desarrolladas en normas sobre protección de datos y sobre IA, así como en distintas propuestas de marcos éticos desarrollados en diferentes sectores, buscan responder a esos desafíos. La transparencia algorítmica implica que los factores que influencian las decisiones tomadas por los algoritmos sean visibles a las personas que utilizan, regulan y son afectadas por ellos. Por otro lado, la explicabilidad garantiza que estas decisiones puedan ser comprensibles y es un elemento clave para la transparencia.

Más allá de la necesidad de nuevas normas, las participantes enfatizaron que América Latina ha sido pionera en implementar políticas y prácticas de datos abiertos, incluso por medio de contrataciones abiertas y que hay que visibilizar esas iniciativas desde el sector público, como forma de incidencia para que se mantengan y puedan institucionalizarse y expandirse, incluso en favor de mayor transparencia algorítmica.

CC:BY (Maria José Porras Sepúlveda)

Desafíos

El avance en el uso de la Inteligencia Artificial ha conllevado una serie de desafíos que permean la labor de las personas dedicadas a desarrollar iniciativas feministas y a pensar cómo las prácticas feministas pueden ser incorporadas en proyectos de IA. Muchos de ellos son ampliamente conocidos, aunque haya poco espacio en el debate público para su discusión.

Durante los diálogos, las participantes indicaron distintos peligros potenciales a la implementación de sistemas de IA, empezando por los sesgos, que pueden estar en las bases o los modelos, pero que también reflejan patrones de discriminación históricos. «Toda tecnología que hace predicciones o nos da conclusiones a partir de la detección automática de patrones en conjuntos de datos, va a potenciar los sesgos existentes y, por lo tanto, los va a amplificar y propagar», resume Maia Numerosky.

Los sesgos en las bases de datos pueden ser más o menos evidentes. Entrenar un sistema que automatice la selección de personas a puestos de dirección con base en datos existentes sobre quienes ocupan tales puestos puede implicar reproducir un sesgo histórico en favor de un grupo social bastante específico, por ejemplo: hombres y personas de piel blanca, que son quienes mayoritariamente han ocupado dichos puestos.

Por otro lado, hay sesgos más sutiles que requieren una mirada atenta: entrenar un sistema para identificar patrones de contagio por COVID19 y orientar políticas de mitigación utilizando datos de autodiagnóstico disponibles a partir de una aplicación en línea, por ejemplo, implica potencialmente desconsiderar una serie de casos no reportados por parte de personas que no gozan del acceso a dispositivos o conexiones con la calidad requerida para utilizar aplicaciones de autodiagnóstico. Las desigualdades y brechas sociales, por lo tanto, también se reflejan en las bases de datos.

«Los modelos son opiniones incrustadas en la matemática. Cualquier modelo, sea algorítmico o no, constituye una abstracción de la realidad y simplifica e ignora detalles», explica Numerosky, quien también sugiere que «tenemos que tener en consideración los sesgos en todo el proceso de trabajo con los datos, desde la recolección del modelo hasta la evaluación de su funcionamiento», una lección clave para iniciativas de IA feministas, pero también para cualquier proyecto del tipo.

Por otro lado, se identifican actualmente una serie de desafíos en obtener información sobre el uso de sistemas automatizados en los Estados en la región, como apuntó Derechos Digitales en sus estudios sobre IA & Inclusión en América Latina. En los diálogos se ha enfatizado la existencia de iniciativas interesantes en la disponibilización de información sobre el uso de algoritmos en países como Chile, por ejemplo, donde el Consejo de Transparencia en conjunto con la Universidad Adolfo Ibáñez ha publicado un estudio con un listado de 219 sistemas en operación y una propuesta de estándar para orientar tal publicación. Sin embargo, las participantes señalan la importancia de que se adopten principios de datos abiertos en su publicación y se considere incorporar mecanismos que faciliten obtener información significativa sobre los sistemas implementados, sin tener que consultar individualmente a cada una de las agencias sobre su operación.

Pensando en el desarrollo de sistemas por parte de grupos feministas, se discutió el desafío que implica adquirir conocimiento para la creación de una aplicación que incorpore elementos de IA para resolver problemas relevantes en una comunidad, especialmente cuando hay que desarrollar código desde etapas muy iniciales. Este tipo de iniciativa es clave para reivindicar la IA en favor de intereses colectivos, comunes y públicos, más allá de la lógica comercial que ha orientado su desarrollo.

Según Virginia Brussa, proyectos ciudadanos que proponen crear una aplicación implican un enorme desgaste durante el desarrollo para obtener y poner en común el conocimiento. Ella considera que no hay suficientes materiales accesibles que puedan ser replicados, adaptados y reutilizados en el marco de esos proyectos y «es necesario que más materiales circulen».

Para ella, es importante que en proyectos de este tipo se hagan esfuerzos por gestionar mejor el conocimiento y documentar no solo los resultados, sino también los procesos de desarrollo. En la misma línea, una propuesta que surgió en los diálogos en respuesta a tal desafío fue la importancia de fomentar la creación, promoción y la sostenibilidad de bibliotecas de código abierto: repositorios que contengan código con licencias libres que permitan a cualquier persona reutilizar, modificar o publicarlos, sin la necesidad de solicitar permiso a sus desarrolladores.

Pensando en iniciativas feministas, Sofía Trejo resalta que cualquier proceso de apertura de información debe estar anclado en los acuerdos desarrollados en el marco de cada proyecto y con cada comunidad: «trabajamos mucho el qué es compartir; para cada uno, qué es compartir para el mundo», cuenta. Ella enfatiza que la decisión sobre qué conocimiento compartir o no cabe a las comunidades.

Iván Meza complementa apuntando a que es necesario entender la política que hay por detrás de la elección de una tecnología. Él resalta que las tecnologías no son neutrales y, al contrario, son impactadas y tienen impactos en las relaciones de poder. Por ello, hay que preguntarse sobre los “porqués” antes de llegar al “cómo”.

Karla Prudencio resalta la importancia de desarrollar procesos más largos y que permitan generar relaciones duraderas para que estas reflexiones puedan darse de manera significativa. Sobre el proyecto desarrollado con Meza, ella cuenta: «uno de nuestros principios es que solo vamos a comunidades que nos han llamado». Un desafío que persiste, según ella, es obtener fuentes de financiación para desarrollar iniciativas que se enfoquen en procesos más que en resultados, y que vayan más allá de lo tecnológico.

A modo de guía: aprendizajes desde las iniciativas feministas latinoamericanas

CC:BY (Maria José Porras Sepúlveda)

Durante los diálogos, las participantes identificaron principios y valores que guiaron su trabajo construyendo procesos y proyectos de IA orientados por una ética y unas prácticas feministas. Sus aprendizajes pueden inspirar futuras iniciativas que apunten en la misma dirección.

Construyendo un equipo comprometido y colaborativo

• Un proyecto de IA feminista debe empezar por la construcción de un equipo de trabajo diverso, considerando una perspectiva interseccional. Se debe priorizar la inclusión de personas que históricamente han sido excluidas de los espacios de decisión y desarrollo de tecnologías, como mujeres y personas LGBTQIA+, y la creación de equipos multidisciplinarios que incluyan, por ejemplo, expertas en ética.
       
  
• Acuerdos de trabajo y colaboración entre el equipo y la comunidad que participan en el desarrollo del proyecto deben ser establecidos de manera explícita: eso implica identificar y tratar eventuales conflictos de interés, establecer acuerdos sobre la propiedad y la autoría de cualquier material derivado de la interacción, definir las licencias que se utilizarán para la publicación y difusión de datos, artículos, reportes, etc.
  
  
• Es necesario fortalecer espacios para poner en común los saberes, de manera que se pueda ampliar la comunicación y el aprendizaje, no solo sobre IA, sino sobre tecnología.
  

Eligiendo, utilizando y cuidando las tecnologías, los datos y las personas

• Es importante explorar opciones de abordaje considerando el contexto donde el proyecto se va a implementar. La selección de una determinada tecnología no es neutra y tiene impacto en las relaciones de poder que establecen.
  
  
• Las tecnologías o la Inteligencia Artificial no debe ser entendidas como la solución para todo. Los proyectos deben desarrollarse con base en las necesidades concretas identificadas, no meramente como una herramienta de consumo.
  
  
• «Es fundamental detenerse un rato para decidir si es necesario un sistema de IA y capacitar a las personas en hacerse esa pregunta», resalta Maia Numerosky. En el caso de que se decida por un sistema así, ella recomienda «pensar en el objetivo de la aplicación: si será descriptiva, predictiva, prescriptiva; los cuidados y los efectos que tendrá».
  
  
• Al elegir una aplicación tecnológica hay que entender las políticas que las orientan y, en el caso de propuestas que adapten sistemas utilizados previamente, conocer la historia de su implementación en otros contextos, para incorporar aprendizajes y evitar utilizar bases de datos reconocidamente construidas de manera poco ética.
  
  

• Todas las personas participantes de un proyecto de IA deben contar con las capacidades necesarias para apropiarse de las tecnologías, incluso las utilizadas a lo largo del proceso de desarrollo del sistema o aplicación. Si bien es importante distribuir funciones en un equipo de trabajo, todas las personas del equipo deben sentirse capaces de intervenir en las decisiones sobre las tecnologías utilizadas y las funciones proyectadas para el sistema. La creación de talleres u otros espacios de intercambio de conocimientos sobre las tecnologías es central para que eso sea posible.
  
  
• Cualquier proceso de desarrollo de IA debe guiarse por la protección de las personas y de su autonomía. Fuertes criterios de anonimato y pseudonimato deben ser considerados en la construcción y uso de bases de datos, y en su posterior puesta a disposición.
  

A modo de conclusión: fomentar la participación, expandir comunidades, construir futuros

CC:BY (Maria José Porras Sepúlveda)

«La AI que tenemos hoy va a ser la infraestructura de la sociedad digital de mañana» advierte Gina Neff. De ahí la importancia de contrarrestar narrativas dominantes que presentan a la IA como una solución ahistórica, ajena a las desigualdades sociales estructurales y que, de no ser reconocidas, pueden ser enquistadas en nuestro futuro.

Una Inteligencia Artificial al servicio de la justicia social es una tecnología territorializada, creada para la comunidad, con la comunidad: las comunidades no están fuera del proceso y no deben ser consideradas de manera externa a la iniciativa en desarrollo. Al contrario, deben estar presentes en todo el ciclo de vida de la creación de un sistema o aplicación de IA, desde las etapas de planificación y diseño. Deben no solo poder intervenir, sino poder cuestionar las intervenciones propuestas.

Generar y mantener un espacio para el diálogo y escucha es fundamental, así como permitir que puedan tener efectiva agencia en los procesos de investigación y desarrollo. La creación de metodologías específicas para facilitar la participación y escucha de las diferentes comunidades potencialmente afectadas por una iniciativa de IA es clave para seguir avanzando en propuestas feministas.

Además, existe un deber ético de todas las personas que han participado en iniciativas de desarrollo de IA desde una perspectiva feminista de compartir y difundir sus experiencias y conocimientos, considerando siempre los acuerdos colectivos establecidos durante el proceso. Respetando las particularidades de cada contexto y la protección de la privacidad y autonomía de las personas y comunidades involucradas, es importante documentar las distintas etapas de desarrollo o discusión y considerar la disponibilización de códigos o datos en formato abierto para contribuir con iniciativas futuras que puedan fundarse en principios y compromisos comunes.

Junto con ello, la opción por bases de datos, modelos y códigos libres, abiertos e interoperables y por infraestructuras que no dependan de grandes empresas de tecnologías, siempre que sea posible, también es una decisión política al representar una forma de apoyar formas alternativas de desarrollar tecnologías.

Estas medidas pueden ayudar a la necesaria tarea de imaginar futuros comunes más justos y libres de opresión.

CC:BY (Maria José Porras Sepúlveda)

Participantes en los conversatorios

• Cristina Martínez Pinto es la fundadora y CEO del PIT Policy Lab. Trabajó como consultora de desarrollo digital en el Banco Mundial, dirigió AI for Good Lab de C Minds y cofundó la Coalición Nacional de IA de México IA2030Mx. Es exalumna de la comunidad Global Shapers del Foro Económico Mundial (WEF), miembro de The Day One Project Technology Policy Accelerator y la miembro más joven de la Junta de Asesores del Centro Beeck para el Impacto Social y la Innovación.
  
  
• Fernanda Carles es activista, educadora y programadora. Trabajó durante 5 años en roles de coordinación, gerencia y consultoría para organizaciones de la sociedad civil, abordando temas como educación con tecnología, seguridad digital, tecnología ética y derechos humanos en internet. Actualmente es encargada de un espacio maker educativo y trabaja en investigación en el Laboratorio de Mecánica y Energía de la Universidad Nacional de Asunción, utilizando aprendizaje de máquina para monitoreo y predicción de polución en el aire en la ciudad.
  
  
• Gina Neff dirige el Centro Minderoo para la Tecnología y la Democracia de la Universidad de Cambridge. Su investigación galardonada se centra en cómo la información digital está cambiando nuestro trabajo y nuestra vida cotidiana. Sus libros incluyen Venture Labor (MIT Press 2012), Self-Tracking (MIT Press 2016) y Human-Centered Data Science (MIT Press 2022).
  
  
• Iván Meza es investigador de la Universidad Nacional Autónoma de México (UNAM), especializado en Procesamiento del Lenguaje Natural y ha trabajado en el desarrollo de traductores de lenguas indígenas.
  
  
• Karla Prudencio es jefa de Incidencia Política en Redes A.C. e Investigadora del Centro Mexicano de Tecnología y Conocimiento Comunitario (CITSAC). Fue Asesora Jurídica Principal del Instituto Federal de Telecomunicaciones de México y jefa de la Oficina de Transparencia y Protección de Datos del Centro de Investigación y Docencia Económicas. También tiene un historial de trabajo con comunidades rurales e indígenas en México en conectividad y derechos digitales.
  
  
• Luz Elena González es una tecnóloga comprometida con el diseño ético de políticas tecnológicas para crear ciudades más inclusivas, sostenibles y resilientes en América Latina. Como líder de proyecto en PIT Policy Lab, ha desarrollado el flujo de género de la organización, gestionando equipos de investigación y desarrollando recomendaciones de políticas públicas.
  
  

• Maia Numerosky es Data Science Engineer en Eryx Coop. Ha trabajado como docente multidisciplinaria en enseñanza media y superior de matemática. Es licenciada en Matemática Aplicada de la Universidad de Buenos Aires.
  
  

• María Paz Hermosilla es Fundadora y Directora del GobLab, laboratorio de innovación pública de la Escuela de Gobierno de la Universidad Adolfo Ibáñez, experta en innovación pública y uso de tecnologías para la transformación del Gobierno. Ha ejercido posiciones en la administración del Estado y asesorado a agencias en temáticas de transformación del Estado, innovación y uso ético de información. Docente en ética de datos en posgrados en varias escuelas de la UAI.
  
  

• Sofía Trejo es doctora en matemática e investigadora del Centro Nacional de Supercomputación de España (BSC-CNS), especializada en los aspectos éticos, legales, sociales, económicos y culturales de la Inteligencia Artificial.  Interesada en promover el entendimiento crítico de la tecnología dentro y fuera de espacios académicos, con un enfoque particular en temas relacionados con género y los “Sures Globales”.
  
  

• Virginia Brussa es docente e investigadora en temas de datos, género, contexto internacional en gobernanza tecnológica y políticas públicas. Coordina el proyecto +Datalab (UNR), es co-directora de la unidad de investigación sobre Educación Abierta Ambiental en la Plataforma de Estudios Ambientales y Sostenibilidad (PEAS-UNR) y contraparte de proyectos locales sobre datos abiertos del Plan Federal de Gobierno Abierto de Argentina.
  
  

---

Créditos

Este proyecto ha sido idealizado y liderado por Juliana Guerra en conjunto con el equipo de Derechos Digitales y contó con la colaboración de Adriana Castrillón y Maria José Porras Sepúlveda.

Este esfuerzo ha sido viable gracias al apoyo de la Red f<a+i>r.

Equipo de realización de los conversatorios

Alejandra Erramuspe
Adriana Castrillón
Juliana Guerra
Ileana Silva
María Encalada

Sistematización y notas

Adriana Castrillón
Juliana Guerra
Ileana Silva

Texto

Ileana Silva
Jamila Venturini
Vladimir Garay

Revisión y correcciones

Vladimir Garay

Traducción

Alice Nunes, Jennifer Marshall e Sarah Reimann de Urgas Tradu.c.toras

Video (concepción y guión)

Ileana Silva
Vladimir Garay

Ilustraciones y animaciones

Maria José Porras Sepúlveda

Apoyo financiero y administrativo

Camila Lobato
Juan Carlos Lara
Paula Jaramillo

Supervisión general

Jamila Venturini
Juan Carlos Lara
Michel Souza
Vladimir Garay

Versión y licencia

“Reflexiones feministas para el desarrollo de Inteligencia Artificial”.

Versión 2.0 del 24 de mayo de 2023.

Esta obra se encuentra bajo una licencia Creative Commons Atribución 4.0 Internacional (CC BY 4.0): https://creativecommons.org/licenses/by/4.0/deed.es