Para frenar la difusión de material de abuso sexual infantil (CSAM), Apple ha anunciado importantes cambios y nuevas funcionalidades en sus sistemas, incluyendo el análisis de las imágenes enviadas y recibidas por parte del software instalado en los dispositivos, un mecanismo de clasificación de imágenes con contenido sexual para el control parental en cuentas familiares y cambios en algunas funciones de Siri y Search para bloquear términos de búsqueda que tengan relación con el abuso sexual infantil. Estas funciones, que inicialmente regirán para usuarios en Estados Unidos de las versiones más recientes de iOS, iPadOS, watchOS y macOS, sientan un peligroso precedente para la privacidad y la seguridad de las personas en todo el mundo.

El uso de sistemas de identificación de contenidos por medio de inteligencia artificial para levantar alertas supone un tratamiento por lo menos opaco del problema. Por último, aunque sea legítima la búsqueda de soluciones frente a crímenes como el abuso sexual infantil, cualquier funcionalidad técnica que permita que terceros accedan a contenidos privados pone en riesgo a todas las personas que utilizan dichos sistemas. En este caso, a quienes utilizan cualquier dispositivo conectado a internet.  

Escaneo de imágenes en el dispositivo

Una de las funcionalidades presentadas consiste en la detección de imágenes que se capturan y comparten entre dispositivos Apple mediante un algoritmo hash, es decir, una cadena fija de caracteres que identifica de manera única cada imagen.

A partir de ahora los dispositivos analizarán todas las imágenes que pasen por ellos, generarán un hash para cada una y lo contrastarán con una base de datos dispuesta por el National Center for Missing and Exploited Children(NCMEC), organización estadounidense que colabora con la justicia en la persecución de delitos de abuso sexual infantil. Así, dentro de cada dispositivo el sistema se encargará de escanear y contrastar todas las imágenes con esa base de datos, para identificar cualquier coincidencia. Una vez las imágenes se suben a iCloud, se agregan los resultados del cotejo a través del hash. Si se supera un umbral predefinido en la cantidad de coincidencias, un humano dentro de la compañía revisará manualmente el caso, luego de descifrar el contenido. Vale decir que, hasta hoy, Apple ofrece cifrado e2e en todos los contenidos que se comparten en sus sistemas.

Esta implementación es problemática porque la base de datos de hash de imágenes preparada por el NCMEC no es auditable, y si es manipulada arbitrariamente no hay manera de detectar dicho cambio, por lo que podría utilizarse, por ejemplo, para fines de persecución política, cultural o de género. Una vez el sistema está diseñado para cumplir una función, los fines y medios para ejecutarla pueden fácilmente salirse de las manos de quienes la diseñaron.

Por otra parte, existe la probabilidad matemática de que dos imágenes totalmente distintas o lejanamente similares coincidan en el hash generado, provocando falsos positivos, que solamente serán verificados luego de la intervención humana de alguien afiliado a la compañía, y habiendo roto la promesa de cifrado e2e, esto es, la promesa de privacidad sobre la que sustenta su oferta de valor.

Aprendizaje automático para clasificación de imágenes

Otra funcionalidad es la implementación de un algoritmo de aprendizaje automático que se aplicará a las cuentas de iMessage para menores de 18 años y sus tutores, en el marco de una cuenta “Familiar”. El algoritmo clasificará las imágenes, enviadas o recibidas, en cuanto al contenido sexual explícito que puedan contener. El sistema enviará una alerta a las personas usuarias menores de 18 años sobre el tipo de contenido que están compartiendo. Si la persona es menor de 13 años, el sistema alertará también a sus tutores y la imagen quedará almacenada en el dispositivo del menor, sin posibilidad de remoción.

Como se ha demostrado muchas veces en el pasado, los algoritmos de aprendizaje automático, sin supervisión humana, presentan muchos problemas de funcionamiento en la clasificación de contenidos. Así, los tutores de niños, niñas y adolescentes que no estén compartiendo contenidos sexuales explícitos pueden recibir alertas y los menores pueden ser sujetos de vigilancia e intromisión a su privacidad. Además, frente a una definición vaga de “infancia” —como menores de 18 y 13 años—existe el riesgo de atentar contra la normal expresión sexual y corporal, así como al acceso a la información, por ejemplo, en el caso de personas LGBTQ+.

Además, tal como está planteado el funcionamiento del sistema podría ocurrir la siguiente paradoja: en caso de que un menor que no tiene una cuenta Familiar enviare una fotografía calificada por el sistema como “sexualmente explícita” a un menor de 13 años que sí es parte de un plan Familiar,  la fotografía del primer menor quedaría indeleblemente almacenada en el dispositivo del segundo menor y podría ser revisada por sus tutores, sin que el emisor original lo supiera. ¿En manos de quién queda definir la legitimidad de las imágenes compartidas en el marco de una comunicación que se garantiza como privada?

Finalmente, como hemos mencionado, el desarrollo de una tecnología con fines legítimos puede ser perfectamente aplicable a otros fines. Así, la modificación mínima de parámetros en el algoritmo de aprendizaje automático permitiría identificar, bloquear y perseguir, contenidos no solamente ilegales, sino que necesarios, con fines represivos.  

Algunas conclusiones

Bajo la premisa de su compromiso en la lucha contra la explotación sexual infantil, y aunque defiendan la idea de que sus soluciones técnicas respetan la privacidad y el principio de cifrado extremo a extremo, la verdad es que Apple está abriendo una brecha de seguridad importante, con el potencial de atentar contra el derecho a la intimidad de niños, niñas y adolescentes, así como generando un precedente que podría facilitar la persecución política y la vigilancia a todo tipo de grupos vulnerables y emisores de discursos incómodos.

Cabe recordar que uno de los principales ganchos publicitarios de Apple ha sido precisamente ofrecer los más altos estándares de privacidad y seguridad en las comunicaciones, lo que sin duda ha llevado a muchas personas a preferirles. Un ecosistema cerrado, no interoperable era lo que había que transar en favor de dicha protección. Sin embargo, hoy, cuando la continuidad de esa promesa está en entredicho, a aquellas personas que confiaron en la marca les será muy difíciles migrar a alternativas más respetuosas de su privacidad. Así, el monopolio de los sistemas operativos (OS, iOS, iPadOS) genera una dependencia directa que ata a las personas a las arbitrariedades del fabricante.