Breve contexto

Não há dúvidas de que estamos diante de um crescimento exponencial do uso de tecnologias de reconhecimento facial automatizado para os mais diversos fins. O barateamento da tecnologia junto com uma expansão das finalidades para as quais é utilizada fez com que aumentassem os casos de sua utilização por governos e empresas.

Mas a tecnologia tem sido amplamente contestada, por órgãos internacionais e pela sociedade civil organizada, seja por meio de manifestos, de protestos e até mesmo por ações judiciais. Os pedidos têm se dado na esteira de algumas regulamentações, por exemplo em algumas cidades dos Estados Unidos da América, que decidiram banimento do uso desse tipo de tecnologia, já que ainda não se tem garantias mínimas de que os direitos humanos e civis serão respeitados. Alguns acadêmicos chegam a dizer que a tecnologia de reconhecimento facial é o mecanismo de vigilância mais perigoso jamais inventado, pois é a máquina perfeita para opressão.

No caso governamental, cidades como Salvador, São Paulo, Rio de Janeiro, Lima, Nova Iorque, Londres e Buenos Aires tem adotado esse tipo de sistema para vigilância da população em diversos lugares, para fins de segurança pública.

Esta semana surgiram novos desdobramentos de um caso que promete um avanço regulatório na Cidade de Buenos Aires, Argentina.

Críticas e ações contra o sistema de reconhecimento facial em Buenos Aires, Argentina

O  “Sistema de Reconhecimento Facial de Fugitivos” (ou SRFP) consiste em um sistema com 300 câmeras de vigilância nas ruas e estações do metrô, as promessas foram as mais variadas, mas sempre seguindo a linha de que mais tecnologia iria aumentar a segurança e cuidar das pessoas. Apesar das fortes críticas, o sistema foi implementado em menos de 22 dias.

O  relator especial das Nações Unidas sobre o Direito à Privacidade, Joseph Canatacci, criticou a falta de avaliação de impacto anterior à implementação do sistema, falta de necessidade e proporcionalidade das medidas. Além disso, fez críticas ao banco de dados que alimenta o SRFP, o sistema de Consulta de Rebeldías y Capturas (CONARC), no sentido de desproporcionalidade da inserção no banco de dados, divulgação de dados indevidamente, falta de informação sobre quais crimes são imputados, divulgação de dados de menores de idade de forma contrária aos melhores interesses da criança e do adolescente, erros e falhas e falta de atualização.

No caso específico, a ONG Human Rights Watch foi enfática quanto à existência de lesões graves aos direitos das crianças e dos adolescentes, pois ao analisar o banco de dados encontrou ao menos 166 menores, incluindo crianças suspeitas de cometer crimes de menor potencial ofensivo.

Ações judiciais promovidas pela sociedade civil

Não bastassem as críticas, o sistema foi contestado ao menos por duas ações judiciais. Uma demanda, proposta pela organização Asociación por los Derechos Civiles (ADC), pede que o Tribunal Superior de Justiça declare a inconstitucionalidade das mudanças legais. A outra, proposta pelo Observatorio de Derecho Informático Argentino (ODIA) pede uma ação de amparo, em primeiro grau de jurisdição, requerendo a análise do sistema por meio de constitucionalidade e convencionalidade, além de medidas liminares para suspender sua utilização.

Recentemente, em 13 de outubro deste ano, a Derechos Digitales foi admitida como amicus curiae na ação proposta pelo ODIA. A participação social no caso foi ampliada recebendo também contribuições de outras organizações, como Access Now e  Asociación Trabajadores   del Estado (ATE), além da adesão e participação de cidadãos como autores da demanda.

Reflexões sobre o caso da Cidade de Buenos Aires

O caso argentino demonstra claramente três questões importantes, que de alguma forma se reproduzem em casos de outros países. A primeira é uma questão técnica, com relevantes implicações sociais referentes à utilização da inteligência artificial e o que isso significa para os cidadãos. Já a segunda questão, está ligada à própria democracia e à transparência do sistema. E a terceira questão relacionada ao respeito aos direitos humanos.

1. Implicações sociais: falsos positivos e discriminação

De início, é impressionante a questão da celeridade com que o projeto foi desenvolvido e entregue. Apenas 22 dias se passaram desde o lançamento do projeto até a sua implementação, uma velocidade que seria “invejável e até suspeita”, segundo ODIA. Contudo, a questão técnica que tem maiores implicações sociais diz respeito à precisão e qualidade do banco de dados utilizado. Os mais variados estudos demonstram uma taxa menor de acerto em pessoas negras e mulheres.

O estudo “Gender Shades”, realizado pelas pesquisadoras Joy Buolamwini e Timnit Gebru, por exemplo, demonstra que as taxas de erro são diversas de acordo com o grupo que se analisa, chegando a mais de 90% de identificação incorreta para pessoas de pele escura e menos de 1% de erro para pessoas de pele mais clara. Apesar de poder ser uma falha na calibração dos dados, seja por conta da utilização de base de dados enviesados ou por outros motivos, o certo é que devemos analisar se esse tipo de tecnologia afeta de forma desproporcional a garantia de igualdade também a pessoas que são tradicionalmente discriminadas e vulneráveis, como povos originários, mulheres, crianças, idosos e pessoas trans.

2. Democracia e transparência

Com relação à questão democrática e de transparência, verifica-se que há pouco ou nenhum debate no legislativo sobre a implementação desse tipo de sistema. Além disso, não se tem análises de impacto ou escuta daqueles que serão impactados pela medida. Do mesmo modo, em muitos dos casos há uma grande opacidade com relação à utilização da tecnologia, sob o argumento de que o tema não deve ser debatido, que é técnico demais para ampla participação social e ainda que a transparência não seria necessária.

No caso de Buenos Aires, tanto a ADC quanto o ODIA fizeram questionamentos importantes e extensos sobre a criação, contratação, utilização, salvaguardas do sistema de reconhecimento facial, mas com pouca um nenhuma resposta. Apesar de pesquisas apontarem que a tecnologia que geralmente é criada no exterior e usada em casa, falta transparência sobre quais as empresas responsáveis pela implementação e uso da tecnologia, ainda mais nos processos de definição de contratação da tecnologia.

3. Vigilância e direitos humanos

Por fim, a questão dos direitos humanos envolvidos na aplicação de uma tecnologia de vigilância em massa. Desde 2013, após o caso Snowden, Brasil e Alemanha propuseram uma resolução para a Assembleia Geral da ONU, sobre a “O Direito à privacidade na era digital”.

Com a atualização da referida resolução, agora em outubro de 2021, foi dada maior robustez às questões sobre utilização de dados biométricos, com o reconhecimento expresso de que os usos de inteligência artificial (IA) podem colocar sérios riscos ao direito à privacidade, citando como exemplo o emprego de IA para identificação, reconhecimento facial, rastreamento, perfilização, previsão comportamental e pontuação de indivíduos.

A conclusão da assembleia da ONU é que os Estados devem assegurar que as tecnologias de identificação e reconhecimento biométrico, incluindo as tecnologias de reconhecimento facial por atores públicos e privados, não permitam a vigilância arbitrária ou ilegal, inclusive de quem exerce seu direito à liberdade de reunião pacífica.