CC:BY (Maria José Porras Sepúlveda)

Durante o primeiro semestre de 2022, a Derechos Digitales desenvolveu, com o apoio da rede f<A+I>r, um guia sobre Inteligência Artificial (IA) feminista, intitulado Rumo a uma estrutura feminista para o desenvolvimento da IA: dos princípios à prática.

O artigo começa com a pergunta: «É possível desenvolver uma IA que não reproduza lógicas de opressão?», e faz um convite à reflexão de como entendemos o campo da IA e qual é a participação da América Latina nos cenários de produção de conhecimento nele. Além disso, ele convida a pensar quais são os problemas de discriminação associados à forma como a esfera da IA é configurada atualmente e quais são as propostas alternativas para a gestão cuidadosa dos dados que existem. No fundo, é preciso tentar entender como as práticas feministas podem estabelecer as bases para o desenvolvimento de uma IA inclusiva e com senso de justiça social.

Esta discussão teve continuidade entre janeiro e fevereiro de 2023, quando a Derechos Digitales organizou uma série de diálogos entre mulheres latino-americanas que estão desenvolvendo sistemas de IA na rede f<A+I>r com outras mulheres especialistas da região. O objetivo principal desses encontros foi incentivar a reflexão a partir de experiências de desenvolvimento de projetos concretos, compartilhando recomendações e metodologias aplicáveis ao planejamento do sistema com perspectivas feministas.

Este texto está disponível em espanhol e inglês.

Sobre a construção deste texto

Este texto visa sintetizar as conversas desenvolvidas durante os encontros, enfatizando conceitos, desafios e aprendizagens que podem inspirar futuras iniciativas de desenvolvimento de IA. Além de referências diretas aos diálogos e às intervenções das participantes, o texto pretende expandir estas ideias e combiná-las com outras referências.

Abaixo encontra-se uma breve descrição das temáticas abordadas em cada um dos espaços de diálogo realizados ao longo do projeto.

• O primeiro encontro, realizado em 26 de janeiro de 2023, foi intitulado “Tecnologias como processos coletivos” e contou com a participação de Sofía Trejo e Iván Meza, do projeto “Agente conversacional para apoiar o exercício digno da interpretação de línguas indígenas no âmbito jurídico no México”. A conversa ocorreu com Karla Prudencio, diretora da licenciatura em Direito do Centro de Investigación y Docencia Económicas de México, sobre compromissos metodológicos para o coplanejamento entre comunidades. Este diálogo buscou compreender e colaborar com as suas necessidades.
  
  
• No encontro “Inteligência artificial, para quê e para quem?”,realizado em 31 de janeiro de 2023, com a especialista Fernanda Carles, tentou-se responder à pergunta: quais são os passos necessários para construir um sistema de IA? Carles mencionou alguns aspectos relevantes em cada etapa do desenvolvimento de projetos de IA com um objetivo social.
  
  
• A terceira sessão, realizada em 2 de fevereiro, sob o título “Poder feminista — Poder da IA. Conexões e disrupções”, foi uma conversa entre Cristina Martínez Pinto e Luz Elena González, coordenadoras do projeto “Perspectiva de gênero no trabalho coletivo de IA no Sul Global”, con Gina Neff, diretora executiva do Minderoo Center for Technology and Democracy. As participantes dialogaram sobre como desenvolver possíveis estratégias para alcançar a participação das mulheres trabalhadoras da multidão (ou crowd workers) em esforços de conexão e organização digital.
  
  
• Em “É possível ajustar a abordagem feminista dos protocolos?”, quarta e última sessão do ciclo, realizada em 8 de fevereiro, Virginia Brussa, uma das responsáveis pelo projeto “Integração da perspectiva de gênero ao planejamento de projetos de Data Science para o setor público na América Latina”, e Maia Numerosky, engenheira em ciência de dados, trocaram perspectivas sobre o desenvolvimento e implementação deste tipo de projetos no setor público e na academia.
  

As conversas contaram com a facilitação de Adriana Castrillón e Juliana Guerra, e a participação ativa da equipe da Derechos Digitales e do núcleo da América Latina e do Caribe do projeto f<A+I>r.

Iniciativas de IA feminista na América Latina

CC:BY (Maria José Porras Sepúlveda)

A América Latina é um importante centro de produção e reflexão sobre tecnologias feministas e também sobre IA. Desde 2020, a rede f<A+I>r cria espaços de intercâmbio e fortalecimento de uma série de iniciativas que pensam e desenvolvem uma IA inclusiva e transformadora. Atualmente, a rede é liderada pela Women at the Table, pelo Instituto Tecnológico de Costa Rica e pelo Instituto Técnológico de Monterrey, com o apoio do International Development Research Centre (IDRC), e tem um núcleo ativo na América Latina e no Caribe. Além de constituir uma rede, a f<A+I>r promove a pesquisa e a experimentação com a produção de IA feminista.

Abaixo é possível encontrar mais detalhes dos projetos de IA feminista discutidos durante os diálogos impulsionados pela Derechos Digitales, que foram apoiados e financiados pela rede f<A+I>r na América Latina entre 2022 e 2023.

Agente conversacional para o apoio ao exercício digno da interpretação de línguas indígenas no âmbito legal

A iniciativa buscou co-criar com intérpretes de línguas indígenas um agente conversacional que permitisse gerar dados de forma colaborativa para visibilizar os problemas que enfrentam no dia a dia ao desenvolver seu trabajo; melhorar o planejamento e tomada de decisões; dar maior poder de incidência em políticas públicas às pessoas que atuam como intérpretes e suas organizações em temas relacionados com interpretação e acesso à justiça no México. De forma complementar, o agente permitiria construir conhecimentos coletivos (como glossários) que pudessem servir como ferramentas de apoio ao trabalho de intérprete.

O projeto buscou alinhar todos seus processos e resultados com princípios de co-design, benefícios compartilhados, autonomia digital e soberania de dados. Para ativar esses princípios, uma parte fundamental do trabalho de pesquisa consistiu em oficinas presenciais, que serviram como espaço de diálogo e escuta. Além dos princípios, o projeto tomou em consideração a perspectiva de gênero de maneira transversal durante todo seu desenvolvimento. Não somente ao buscar a equidade em números, mas também em gerar um espaço (uma oficina de gênero) que permitisse incorporar a perspectiva de gênero na concepção do projeto e do agente.

Foi importante para o projeto que todos os processos de desenvolvimento estivessem enfocados em balancear as relaçõoes de poder entre os diversos atores envolvidos, particulamente entre a equipe de pesquisa e as pessoas intérpretes na elaboração de um protocolo de pesquisa e acordos comunitários, e o estabelecimento de estratégias para ativar os Princípios CREA para o manejo de dados indígenas ao longo do projeto.

Mais informações sobre o projeto e as pessoas intérpretes que colaboraram com seu desenvolvimento podem ser consultadas na página do projeto.

Integração da perspectiva de gênero ao planejamento de projetos de ciência de dados para o setor público

Esta iniciativa teve por objetivo formular uma metodologia de planejamento de projetos de ciência de dados para o funcionalismo público, a partir de dimensões alternativas de análise e de propostas de ações regionais. Na pesquisa, integram-se enfoques provenientes dos campos da interseccionalidade, da justiça de dados e de planejamento. O objetivo é promover uma implementação crítica da ciência de dados no âmbito público e aprofundar as etapas-chave. Elas irão fortalecer a formulação de perguntas, a formação de equipes e a natureza híbrida dos dados inerentes aos processos de tomada de decisões.

A metodologia de desenvolvimento incluiu a realização de três oficinas em outubro e novembro de 2022 em Rosário, Argentina, dirigidas a funcionárias/os públicas/os e ativistas de diversos campos da região. Durante as oficinas, foram exploradas e validadas alterações de uma planilha de planejamento de projeto utilizada no Chile e publicada em um guia do Banco Interamericano de Desenvolvimento (BID) para a América Latina. Nessas instâncias buscou-se entender a necessidade de uma estratégia de governança, a importância da participação pública em projetos de ciência de dados desde o Estado e o conceito de justiça de dados como alternativa à ideia de ética de dados.

Como resultado, a iniciativa propõe a reformulação das planilhas de projetos de ciência de dados no setor público, considerando uma revisão interna, as contribuições coletivas das oficinas on-line realizadas e uma análise a partir de um conjunto de dimensões exploratórias. As principais mudanças dizem respeito à inclusão de instrumentos participativos nas diferentes etapas do planejamento, de uma estratégia de governança de projetos e uma visão transversal e iterativa de justiça de dados com perspectivas feministas.

«Tivemos que adaptar os materiais para as oficinas, não só para falar das questões técnicas, mas da abordagem feminista. Surgiram preocupações com a afetação ao direito à privacidade, mas não tanto com os direitos à comunicação ou à informação. Temos que continuar pensando em como falar sobre os assuntos de ciência de dados com as populações afetadas por estes tipos de projetos e sobre quais direitos necessitamos», indicaram Virginia Brussa e María Paz Hermosilla, responsáveis pelo projeto.

Encontre aqui um artigo completo sobre o projeto.

A incorporação de perspectivas de gênero para as Trabalhadoras da Multidão (Crowd Workers) em IA do Sul Global

Trata-se de um projeto de pesquisa sobre as mulheres latino-americanas que trabalham etiquetando conteúdos que serão utilizados para o treinamento de modelos de IA, as chamadas trabalhadoras da multidão (Crowd Workers). A pesquisa incluiu a realização de pesquisas para entender quem são, como trabalham e quais são as suas necessidades.

A partir da compreensão de seus contextos, suas realidades familiares e os principais desafios que enfrentam, o projeto propõe desenvolver uma plataforma de IA que inclua perspectivas feministas para as plataformas de Crowd Work, permitindo às trabalhadoras trocar informações, gerar parcerias e conseguir escalar os sistemas.

«Descobrimos que essas mulheres não contam com canais de comunicação para se conectar com outras trabalhadoras, nem com ferramentas de tradução para muitas das tarefas que realizam. Nossa plataforma, apoiada por IA, vai recomendar ferramentas que lhes ajudem a desenvolver habilidades para seu crescimento profissional e permitirá que se conectem com outras colegas», afirmam as responsáveis pelo projeto.

Aqui você encontra as descobertas e a descrição completa do projeto.

Reflexões feministas sobre IA

CC:BY (Maria José Porras Sepúlveda)

Revisando conceitos

A Inteligência Artificial incorporou uma série de conceitos específicos à linguagem cotidiana e a construção de sistemas feministas de IA exige examiná-los e interrogá-los. Na IA, como em qualquer campo, a linguagem não é neutra. As especialistas latino-americanas, ao pesquisar e desenvolver sistemas, repensaram conceitos em seus próprios termos e palavras.

A própria ideia de “Inteligência Artificial” foi submetida a questionamentos e foi objeto de discussão durante os diálogos. Fernanda Carles a define como a capacidade de um sistema de se adaptar ao seu ambiente para resolver um problema, operando com insuficiência de conhecimentos e recursos. Seriam sistemas projetados para processar uma quantidade enorme de informações que podem resolver problemas que as pessoas não conseguem. Em alguns casos, é mais rápida «e, se bem projetada, pode ser mais objetiva», aponta. 

Carles diferencia dois tipos de IA: a Inteligência Artificial limitada e a geral. «A IA limitada é a que é implantada hoje, a que existe fora da teoria. Está focada em tarefas específicas ou delimitadas. Não têm consciência, autoconsciência ou a habilidade de pensar», ao contrário do que a própria ideia de “inteligência” pode sugerir.

Por sua vez, a especialista aponta que a IA geral é um desenvolvimento que só existe na teoria, pois não se tornou realidade. A ideia é gerar sistemas computacionais que experimentem as informações de maneiras semelhantes às dos seres humanos, que consigam aprender, generalizar, aplicar conhecimento e planejar o futuro. Sistemas criativos, expressivos e autônomos.

Matteo Pasquinelli e Vladan Joler, em um manifesto sobre a IA como mecanismo de extração do conhecimento, apontam que na expressão “Inteligência Artificial” o adjetivo artificial carrega um mito de autonomia da tecnologia, tal como explica Carles sobre a ideia de IA geral. Segundo eles, tal ideia mistifica dois processos de alienação em favor de um regime corporativo extrativista do conhecimento humano: a autonomia geopolítica das empresas de tecnologia e a invisibilização da autonomia das pessoas trabalhadoras. Em seu trabalho, eles propõem mudar tal lógica e pensar o aprendizado de máquina como um instrumento para ampliar o conhecimento. Aqui está a reflexão completa em português.

Fernanda Carles introduziu outros dois conceitos também centrais para o desenvolvimento de projetos de IA: modelagem e ponderação.

A modelagem de dados é o processo de documentar um projeto de sistema de software complexo na forma de um diagrama de fácil compreensão, usando texto e símbolos para representar a maneira como os dados precisam fluir. A modelagem não indica como será a rede, mas o tipo de dados que a alimentará. «Adiciono dados que eu conheço, controlo o que sai e com isso analiso que nova informação [o sistema] pode me dar», indica Carles. 

Ela explica que a análise de correlação permite entender o grau de dependência da variável objetivo (ou seja, o que se pretende prever ou classificar) das demais variáveis. Com isso é possível se tomar decisões sobre quais dados usar ou não e a importância de cada variável no sistema de um ponto de vista matemático.

Maia Numerosky aponta que «os dados são um aspecto fundamental em um sistema de IA». Ela enfatiza como os dados representam relações de poder: a disponibilidade de alguns dados, mas não de outros, representa relações sociais mais profundas. «Por exemplo, temos menos dados de pessoas que trabalham informalmente, menos dados de abortos clandestinos, menos dados de pessoas trans e não binárias. Nenhum trabalho de mitigação de vieses que se realize nos algoritmos produz uma melhoria no banco de dados».

Dessa forma, um primeiro problema ao considerar a implementação de um modelo de IA é a disponibilidade e representatividade dos dados, além dos critérios considerados para a coleta. A indisponibilidade ou falta de representatividade dos dados pode produzir uma série de problemas. Por exemplo, no treinamento dos sistemas, a falta de dados mostra haver coisas que os sistemas nunca vão poder “aprender” e isso vai impactar nos resultados.

Na pesquisa Inteligência artificial & inclusão na América Latina, liderada pela Derechos Digitales e desenvolvida em parceria com um conjunto de organizações acadêmicas e da sociedade civil latino-americanas, foi possível detectar os impactos de conjuntos enviesados de dados nas decisões mediadas por sistemas automatizados. Nesses casos, os vieses podem impactar na qualidade de vida e na autonomia das pessoas afetadas, além de potencialmente reiterar sua condição de exclusão e aprofundar desigualdades pré-existentes.

Sobre o uso da IA no âmbito de políticas públicas, Numerosky aponta que «o problema é onde e como os dados são coletados. Os dados devem ser recolhidos com qualidade e com critérios evidentes pelos diferentes organismos». Caso contrário, será impossível analisá-los e gerar informações relevantes para o desenvolvimento de políticas públicas.

Numerosky distingue dois tipos de dados sobre os quais a IA trabalha: os dados críticos e os dados não críticos. Os primeiros seriam dados pessoais, enquanto os últimos são os dados que se referem a objetos ou acessórios. De qualquer forma, essa pode ser uma distinção tênue, porque os objetos também podem revelar informações pessoais e, inclusive, sensíveis.

A disponibilidade e exatidão dos dados, portanto, pode implicar a existência de vieses que, se não forem detectados e abordados desde o início, podem permear todo o sistema, afetando seus resultados. Um viés ocorre quando há um peso desproporcional a favor ou contra um dado, ou outro. Nesse aspecto, é importante lembrar o que destacava Numerosky: ao falar de dados, muitas vezes nos referimos a informações coletadas ou inferidas de pessoas reais, que serão afetadas por ditos vieses.

Os vieses podem ocorrer na fonte de coleta, quando a população não é representativa do fenômeno a ser estudado. Também pode haver vieses no planejamento do protocolo, vieses de engenharia de dados ou dos próprios algoritmos. Por exemplo, tabelas estatísticas feitas nos bancos de dados podem distorcer a pesquisa: «Se você colocar lixo no seu modelo, ele vai te devolver lixo», resumiu Fernanda Carles.

Outro conceito importante surgido nas conversas foi o de dados abertos, que se refere a uma filosofia e prática que visa que certos tipos de dados estejam disponíveis gratuitamente para todes, sem restrições de direitos autorais, patentes ou outros mecanismos de controle técnicos, ou legais. Os dados abertos são dados digitais disponibilizados com certas características técnicas e jurídicas necessárias para poderem ser usados, reutilizados e redistribuídos livremente por qualquer pessoa, a qualquer hora e em qualquer lugar.

Cabe ressaltar que, conforme a Carta Internacional de Dados Abertos, a abertura de dados só pode ocorrer quando as pessoas têm certeza de que isso “não comprometerá seu direito à privacidade” e tenham o “direito de influenciar a coleta e o uso de seus dados pessoais, ou de dados gerados como resultado de sua interação com os governos”. Por outro lado, não se trata apenas de publicar informações: há uma série de critérios que devem ser cumpridos para que um conjunto de dados possa ser considerado aberto e possa ser utilizado livremente em distintas aplicações.

CC:BY (Maria José Porras Sepúlveda)

Durante o diálogo entre Virginia Brussa e Maia Numerosky, falou-se ainda da importância da interoperabilidade, que se refere às características dos dados de poder ser processados em diferentes tipos de sistemas e de formas distintas, sem qualquer tipo de bloqueio técnico. A partir da importância dos dados abertos no âmbito público, questiona-se: «Como ter uma justiça menos machista, por exemplo, se não conseguimos entender os dados sistematicamente ou se os dados não estiverem disponíveis?» 

Esse questionamento retoma a discussão sobre vieses na coleta e disponibilidade de bases de dados e as lutas históricas do movimento feminista para certas informações serem coletadas de maneira sistemática pelo Estado, por exemplo, com respeito à violência contra as mulheres. Além disso, propõe o debate sobre o direito de acesso à informação, transparência pública e transparência algorítmica: temas atuais nas discussões sobre a regulação da IA e, ao mesmo tempo, fundantes nas discussões sobre direitos humanos e limites da operação estatal.

A ideia de dados abertos foi apresentada em contraposição ao diagnóstico de que «os códigos funcionam e às vezes não entendemos muito bem o porquê», como sintetizou Virginia Brussa. A referência é à ideia disseminada de que os algoritmos de IA funcionam como uma “caixa oculta” e que é impossível conhecer o seu funcionamento de maneira completa.

Brussa indica que este é um problema comum no setor público, onde muitas vezes se adquirem e adaptam tecnologias de terceiros já desenvolvidas sem que haja um conhecimento acabado de suas características: «no setor estatal muitos pacotes de software de código privativo são comprados e não sabemos como o código funciona». Isto é problemático sobretudo quando se trata de IA, uma vez que as decisões tomadas de forma automatizada no setor público também devem ser justificadas e explicadas. A adoção de sistemas nos moldes indicados por Brussa acrescenta uma camada de opacidade à operação estatal e, no caso de afetação de direitos, torna também mais complexo reparar os eventuais danos.

As propostas de explicabilidade e de transparência algorítmica desenvolvidas em normas sobre proteção de dados e sobre IA, assim como em distintas propostas de marcos éticos desenvolvidos em diferentes setores, buscam responder a esses desafios. A transparência algorítmica implica que os fatores que influenciam as decisões tomadas pelos algoritmos sejam visíveis às pessoas que utilizam, regulam e são afetadas por eles. Em paralelo, a explicabilidade garante que essas decisões possam ser compreensíveis e é um elemento-chave para a transparência.

Além da necessidade de novas normas, as participantes enfatizaram que a América Latina tem sido pioneira na implementação de políticas e práticas de dados abertos, inclusive por meio de contratações abertas. Também realçaram ser necessário dar visibilidade a essas iniciativas no setor público, como forma de incidência para que se mantenham e possam se institucionalizar e expandir, inclusive em favor de mais transparência algorítmica.

CC:BY (Maria José Porras Sepúlveda)

Desafios

O avanço no uso da Inteligência Artificial trouxe uma série de desafios que permeiam o trabalho das pessoas dedicadas a desenvolver iniciativas feministas e de pensar como as práticas feministas podem ser incorporadas em projetos de IA. Muitos desafios são bastante conhecidos, embora haja pouco espaço no debate público para discussão.

Durante os diálogos, as participantes indicaram diferentes perigos potenciais à implementação de sistemas de IA, começando pelos vieses, que podem estar nas bases ou nos modelos, mas que também refletem padrões históricos de discriminação. «Toda tecnologia que faz previsões ou nos dá conclusões a partir da detecção automática de padrões em conjuntos de dados, vai potencializar os vieses existentes e, portanto, amplificá-los e propagá-los», resume Maia Numerosky.

Os vieses nos bancos de dados podem ser mais ou menos evidentes. Treinar um sistema que automatize a seleção de pessoas para cargos de direção com base em dados existentes sobre quem ocupa esses cargos pode implicar reproduzir um viés histórico em favor de um grupo social bastante específico: homens e pessoas de pele branca, pessoas que mais ocupam esses cargos.

Por outro lado, há vieses mais sutis que exigem um olhar atento: treinar um sistema para identificar padrões de contágio por covid-19 e orientar políticas de mitigação usando dados de autodiagnóstico disponíveis em um aplicativo on-line envolve, por exemplo, desconsiderar uma série de casos não relatados. Isso ocorre, pois há pessoas que não têm acesso a dispositivos ou conexões com a qualidade necessária para usar aplicativos de autodiagnóstico. As desigualdades e brechas sociais, portanto, também são refletidas nos bancos de dados.

«Os modelos são opiniões incorporadas na matemática. Qualquer modelo, seja algorítmico ou não, constitui uma abstração da realidade, simplificando e ignorando os detalhes», explica Numerosky, que também sugere que «temos que considerar os vieses em todo o processo de trabalho com os dados, desde a coleta do modelo até a avaliação de seu funcionamento». Essa é uma lição fundamental para iniciativas feministas de IA, mas também para qualquer projeto do tipo.

Atualmente também se identificam uma série de desafios na obtenção de informações sobre o uso de sistemas automatizados nos Estados da região, como a Derechos Digitales apontou em seus estudos sobre Inteligência Artificial & inclusão na América Latina. Nos diálogos foi enfatizada a existência de iniciativas interessantes de disponibilização de informação sobre o uso de algoritmos em alguns países. No Chile, por exemplo, o Conselho de Transparência, em conjunto com a Universidade Adolfo Ibáñez, publicou um estudo com uma lista de 219 sistemas em operação e uma proposta de padrão para orientar tal publicação. No entanto, as participantes salientaram a importância de que se adotem princípios de dados abertos em sua publicação e se considere incorporar mecanismos que facilitem a obtenção de informações significativas sobre os sistemas implementados, sem ter que consultar cada uma das agências sobre a sua operação.

Foi discutido o desafio que é adquirir conhecimento para a criação de um aplicativo que incorpore elementos de IA para resolver problemas relevantes em uma comunidade, quando grupos feministas são responsáveis pelo desenvolvimento de sistemas. Especialmente quando é preciso desenvolver códigos desde estágios muito iniciais. Esse tipo de iniciativa é fundamental para reivindicar a IA em favor de interesses coletivos, comuns e públicos, fora da lógica comercial que orientou o seu desenvolvimento.

Segundo Virginia Brussa, projetos cidadãos que propõem a criação de um aplicativo implicam um enorme desgaste durante o desenvolvimento para obter e compartilhar o conhecimento. Ela considera não haver materiais acessíveis suficientes que possam ser replicados, adaptados e reutilizados no âmbito desses projetos e «é necessário circularem mais materiais».

Para ela, é importante que em projetos deste tipo exista um esforço para gerir melhor o conhecimento e documentar não apenas os resultados, mas também os processos de desenvolvimento. Na mesma linha, uma proposta que surgiu nos diálogos em resposta a tal desafio foi a importância de promover a criação, promoção e sustentabilidade de bibliotecas de código aberto: repositórios que contêm códigos com licenças livres que permitam a qualquer pessoa reutilizá-los, modificá-los ou publicá-los, sem a necessidade de solicitar permissão de quem os desenvolveu.

Pensando em inicitivas com uma perspectiva feminista, Sofía Trejo ressalta que qualquer processo de abertura de informações deve estar fundado nos acordos desenvolvidos no âmbito de cada projeto e com cada comunidade. «Trabalhamos muito o que é compartilhar, para cada pessoa, e o que é compartilhar para o mundo», conta. Ela enfatiza que a decisão sobre qual conhecimento compartilhar ou não cabe às comunidades.

Iván Meza complementa apontando que é necessário entender a política que existe por detrás da escolha de uma tecnologia. Ele ressalta que as tecnologias não são neutras e, ao contrário, são impactadas e têm impactos sobre as relações de poder. Por isso é necessário se perguntar sobre os “porquês” antes de se chegar ao “como”, diz.

Karla Prudencio, ressalta, em síntese, a importância de desenvolver processos longos e que permitam gerar relações duradouras para que essas reflexões possar ocorre de maneira significativa. Sobre o projeto realizado com Meza, ela conta: «um dos nossos princípios é que só vamos a comunidades que nos convidam». Nesse sentido, o desafio que ainda persiste, em sua opinião, é obter fontes de financiamento para desenvolver iniciativas que se enfoquem em processos mais que em resultados e que superem o âmbito meramente tecnológico.

A modo de guia: aprendizagens a partir das iniciativas feministas latino-americanas

CC:BY (Maria José Porras Sepúlveda)

Durante os diálogos, as participantes identificaram os princípios e valores que orientaram os trabalhos, construindo processos e projetos de IA, orientados por uma ética e práticas feministas. Seus aprendizados podem inspirar futuras iniciativas na mesma direção.

Construindo uma equipe engajada e colaborativa

• Um projeto de IA feminista deve começar pela construção de uma equipe de trabalho diversificada, considerando uma perspectiva interseccional. Deve-se priorizar a inclusão de pessoas que foram historicamente excluídas dos espaços de decisão e desenvolvimento de tecnologias, como mulheres e pessoas LGBTQIA+, e a criação de equipes multidisciplinares que incluam, por exemplo, especialistas em ética.
  
  
• Acordos de trabalho e colaboração entre a equipe e a comunidade que participam no desenvolvimento do projeto devem ser estabelecidos de maneira explícita. Isso implica identificar e tratar eventuais conflitos de interesse, estabelecer acordos sobre a propriedade e a autoria de qualquer material derivado da interação, definir as licenças que serão utilizadas para a publicação e difusão de dados, artigos, relatórios, etc.
  
  
• É necessário fortalecer espaços para colocar em comum os saberes, de maneira que seja possível ampliar a comunicação e a aprendizagem, não só sobre IA, mas sobre tecnologia.
  

Escolhendo, usando e cuidando de tecnologias, dados e pessoas

• É importante explorar opções de abordagem considerando o contexto em que o projeto será implementado. A seleção de uma determinada tecnologia não é neutra e tem impacto nas relações de poder que se estabelecem.
  
  
• As tecnologias e a Inteligência Artificial não devem ser entendidas como a solução para tudo. Os projetos devem ser desenvolvidos com base nas necessidades específicas identificadas, não apenas como uma ferramenta de consumo.
  
  
• «É fundamental pausar um pouco para decidir se um sistema de IA é necessário e capacitar as pessoas a se fazerem essa pergunta», ressalta Maia Numerosky. Nos casos em que tal sistema for selecionado, ela recomenda «pensar no objetivo da implementação: se será descritiva, preditiva, prescritiva; os cuidados e os efeitos que terá».
  
  
• Ao escolher uma implementação tecnológica é preciso entender as políticas que a orientam e, no caso de propostas que adaptem sistemas utilizados previamente, conhecer a história de sua implementação em outros contextos, para incorporar aprendizagens e evitar utilizar bases de dados reconhecidamente construídas de maneira antiética.
  
  
• Participantes de um projeto de IA devem ter as capacidades necessárias para se apropriar das tecnologias, inclusive aquelas usadas ao longo do processo de desenvolvimento do sistema ou aplicativo. Embora seja importante distribuir funções em uma equipe de trabalho, todas as pessoas da equipe devem se sentir capazes de intervir nas decisões sobre as tecnologias usadas e as funções projetadas para o sistema. A criação de oficinas e outros espaços de troca de conhecimentos sobre as tecnologias é central para que isso seja possível.
  
  
• Qualquer processo de desenvolvimento de IA deve ser guiado pela proteção das pessoas e de sua autonomia. Fortes critérios de anonimato e pseudonimato devem ser considerados na construção e uso de bases de dados, e na sua posterior disponibilização.
  

A modo de conclusão: Promovendo a participação, expandindo comunidades, construindo futuros

CC:BY (Maria José Porras Sepúlveda)

«A IA que temos hoje será a infraestrutura da sociedade digital de amanhã», adverte Gina Neff. Daí a importância de contrapor as narrativas dominantes que apresentam a IA como uma solução a-histórica, alheia às desigualdades sociais estruturais e que, se não forem reconhecidas, podem estar entrincheiradas no nosso futuro.

Uma Inteligência Artificial ao serviço da justiça social é uma tecnologia territorializada, criada para a comunidade, com a comunidade: as comunidades não estão fora do processo e não devem ser consideradas externas à iniciativa em desenvolvimento. Em vez disso, elas devem estar presentes durante todo o ciclo de vida da criação de um sistema ou aplicativo de IA, desde os estágios de planejamento e design. Elas devem não apenas ser capazes de intervir, mas também ser capazes de desafiar as intervenções propostas.

Gerar e manter um espaço de diálogo e escuta é fundamental, bem como permitir que tenham agência efetiva nos processos de pesquisa e desenvolvimento. A criação de metodologias específicas para facilitar a participação e escuta das diferentes comunidades potencialmente afetadas por uma iniciativa de IA é fundamental para continuar avançando em abordagens feministas.

Além disso, há um dever ético de todas as pessoas que participaram de iniciativas de desenvolvimento de IA a partir de uma perspectiva feminista de compartilhar e disseminar suas experiências e conhecimentos, sempre considerando os acordos coletivos estabelecidos durante o processo. Respeitando as particularidades de cada contexto e a proteção da privacidade e autonomia das pessoas e comunidades envolvidas, é importante documentar as diferentes etapas de desenvolvimento ou discussão e considerar a disponibilização de códigos ou dados em formato aberto para contribuir com futuras iniciativas que pode ser fundada em princípios e compromissos comuns.

A par disto, a opção por bases de dados, modelos e códigos gratuitos, abertos e interoperáveis ​​e por infraestruturas que não dependam de grandes empresas tecnológicas, sempre que possível, é também uma decisão política por representar uma forma de apoiar formas alternativas de desenvolvimento de tecnologias.

Essas medidas podem ajudar na necessária tarefa de imaginar futuros comuns mais justos e livres de opressão.

CC:BY (Maria José Porras Sepúlveda)

Participantes das conversas

• Cristina Martínez Pinto é fundadora e CEO do PIT Policy Lab. Ela trabalhou como consultora de desenvolvimento digital no Banco Mundial, dirigiu o AI for Good Lab da C Minds e cofundou a Coalizão Nacional de IA do México IA2030Mx. Ela é ex-aluna da comunidade Global Shapers do Fórum Econômico Mundial (FEM), integrante do The Day One Project Technology Policy Accelerator e é a integrante mais jovem do Conselho Consultivo do Beeck Center for Social Impact and Innovation.
  
  
• Fernanda Carles é ativista, educadora e programadora. Trabalhou durante cinco anos em funções de coordenação, gerência e consultoria para organizações da sociedade civil, abordando temas como educação com tecnologia, segurança digital, tecnologia ética e direitos humanos na internet. Atualmente é responsável por um espaço maker educacional e pesquisa no Laboratório de Mecânica e Energia da Universidade Nacional de Asunción, utilizando aprendizado de máquina para o monitoramento e a previsão de poluição no ar na cidade.
  
  
• Gina Neff dirige o Minderoo Center for Technology and Democracy da Universidade de Cambridge. Sua pesquisa premiada foca em como a informação digital está mudando o nosso trabalho e a nossa vida cotidiana. Seus livros incluem Venture Labor (MIT Press 2012), Self-Tracking (MIT Press 2016) e Human-Centered Data Science (MIT Press 2022).
  
  
• Iván Meza é pesquisador da Universidade Nacional Autônoma do México (UNAM), especializado em Processamento de Linguagem Natural e trabalhou no desenvolvimento de tradutoras/es de línguas indígenas.
  
  
• Karla Prudencio é chefe de Incidência Política, em Redes A.C., e pesquisadora do Centro Mexicano de Tecnología y Conocimiento Comunitario (CITSAC). Foi assessora jurídica principal do Instituto Federal de Telecomunicações do México e chefe do Escritório de Transparência e Proteção de Dados do Centro de Investigación y Docencia Económicas. Ela também tem um histórico de trabalho com comunidades rurais e indígenas no México em conectividade e direitos digitais.
  
  
• Luz Elena González é uma tecnóloga comprometida com o planejamento ético de políticas tecnológicas para criar cidades mais inclusivas, sustentáveis e resilientes na América Latina. Como líder de projeto no PIT Policy Lab, ela desenvolveu a corrente de gênero da organização, gerenciando equipes de pesquisa e desenvolvendo recomendações de políticas públicas.
  
  
• Maia Numerosky é engenheira de Ciência de Dados na Eryx Coop. Atuou como professora multidisciplinar no Ensino Secundário e Superior em Matemática. É bacharel em Matemática Aplicada pela Universidade de Buenos Aires.
  
  
• María Paz Hermosilla é fundadora e diretora do GobLab, laboratório de inovação pública da Escola do Governo da Universidade Adolfo Ibáñez, especialista em inovação pública e uso de tecnologias para a transformação do Governo. Exerceu cargos na administração do Estado e assessorou agências em temáticas de transformação do Estado, inovação e uso ético da informação. É docente em ética de dados em pós-graduações em várias escolas da UAI.
  
  
• Sofía Trejo é doutora em matemática e pesquisadora do Centro Nacional de Supercomputação da Espanha (BSC-CNS), especializada nos aspectos éticos, legais, sociais, econômicos e culturais da Inteligência Artificial. Ela está interessada em promover o entendimento crítico da tecnologia dentro e fora dos espaços acadêmicos, com uma abordagem particular em temas relacionados ao gênero e aos “Suls Globais”.
  
  
• Virginia Brussa é docente e pesquisadora em temas de dados, gênero, contexto internacional em governança tecnológica e políticas públicas. Ela coordena o projeto + Datalab (UNR), é codiretora da unidade de pesquisa sobre Educação Aberta Ambiental na Plataforma de Estudos Ambientais e Sustentabilidade (PEAS-UNR) e colaboradora em projetos locais sobre Dados Abertos do Plano Federal de Governo Aberto da Argentina.
  
  

---

Créditos

Este projeto foi idealizado e liderado por Juliana Guerra em conjunto com a equipe da Derechos Digitales e contou com a colaboração de Adriana Castrillón e Maria José Porras Sepúlveda.

Este esforço foi viável graças ao apoio da rede f<A+I>r.

Equipe de realização das oficinas:

Alejandra Erramuspe
Adriana Castrillón
Juliana Guerra
Ileana Silva
María Encalada

Sistematização e notas:
 
Adriana Castrillón
Juliana Guerra
Ileana Silva

Texto:

Ileana Silva
Jamila Venturini
Vladimir Garay
            
Revisão e correções:

Vladimir Garay

Tradução:

Alice Nunes, Jennifer Marshall e Sarah Reimann de Urgas Tradu.c.toras

Vídeo (concepção e roteiro):

Ileana Silva
Vladimir Garay

Ilustrações e animações:

María José Porras Sepúlveda

Supervisão geral:

Jamila Venturini
Juan Carlos Lara
Michel Souza
Vladimir Garay

Apoio financeiro e administrativo:

Camila Lobato
Juan Carlos Lara
Paula Jaramillo

Versão e licença

“Reflexões feministas para o desenvolvimento de Inteligência Artificial”.

Versão 2.0 de 24 de maio de 2023.

Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International (CC BY 4.0): https://creativecommons.org/licenses/by/4.0/deed.pt