Desde algoritmos de reconocimiento facial que fallan más con afrodescendientes y asiáticos hasta permitir que gente rica financie plataformas para defender la ideología supremacista, pasando por los bots que interfieren en elecciones y asuntos políticos, el actual modelo comercial de las redes sociales más populares se beneficia activamente de la información falsa, el racismo y la intolerancia para hacer negocio, denuncia una experta independiente de la ONU.
Las tecnologías digitales emergentes impulsadas por macro datos e inteligencia artificial afianzan la desigualdad racial, la discriminación y la intolerancia, asegura el informe de una experta de la ONU en derechos humanos.
Según Tendayi Achiume, relatora especial sobre racismo, incluso cuando los desarrolladores y usuarios de tecnología no pretenden que la tecnología discrimine, a menudo lo hace de todos modos.
«La tecnología no es neutral ni objetiva. Está fundamentalmente conformada por las desigualdades raciales, étnicas, de género y de otro tipo que prevalecen en la sociedad, y típicamente empeora estas desigualdades. Está resultando en discriminación y trato desigual en todas las áreas de la vida, desde la educación y el empleo hasta la atención médica y la justicia penal”.
Según Achiume, el problema no es simplemente el racismo extremista, la xenofobia y la intolerancia y va mucho más allá de eso.
«Las empresas como Facebook tienen modelos económicos y comerciales que significan que se benefician activamente de la información errónea, la discriminación y la intolerancia. Además, muchos gobiernos han adoptado algoritmos que discriminan estructuralmente a los grupos marginados», explicó.
Tecnologías racistas
En su informe, la relatora describe varios casos en los que las tecnologías emergentes están promoviendo la discriminación.
Por ejemplo, una revisión de 2019 de 189 algoritmos de reconocimiento facial de 99 desarrolladores de todo el mundo descubrió que «muchos de estos algoritmos tenían de 10 a 100 veces más probabilidades de identificar de manera incorrecta una fotografía de un rostro afrodescendiente o de Asia oriental, en comparación con una blanca». Al buscar en una base de datos para encontrar una cara determinada, la mayoría de ellas eligieron imágenes incorrectas entre mujeres negras a tasas significativamente más altas que entre otras características demográficas.
“Ya no puede haber ninguna duda de que las tecnologías digitales emergentes tienen una capacidad sorprendente para reproducir, reforzar e incluso exacerbar la desigualdad racial dentro y entre las sociedades”, asegura el informe que explica que varios estudios académicos importantes han demostrado concretamente que el diseño y el uso de tecnologías ya están teniendo este efecto preciso en una variedad de contextos.
Tecnologías desarrolladas en un entorno de poca diversidad
Las corporaciones privadas ejercen una influencia monumental en el diseño y uso de las tecnologías digitales emergentes. Entre las plataformas digitales, siete «super plataformas» – Microsoft, Apple, Amazon, Google, Facebook, Tencent y Alibaba – representan dos tercios del valor total de mercado de las 70 plataformas más grandes del mundo.
A pesar del alcance global de sus tecnologías digitales emergentes, las corporaciones que ejercen la mayor influencia sobre ellas se concentran predominantemente en Silicon Valley, en los Estados Unidos de América, mientras que la participación de Europa es del 3,6%, la de África del 1,3% y la de América Latina 0,2%.
Por ejemplo, Google tiene el 90% del mercado mundial de búsquedas en Internet. Ocupando dos tercios del mercado global de redes sociales, mientras Facebook es la principal plataforma en más del 90% ciento de las economías mundiales. Amazon tiene una participación de casi el 40T% de la actividad minorista en línea del mundo. Como resultado, los valores culturales, económicos y políticos específicos de Silicon Valley determinan fundamentalmente cuántas de las tecnologías digitales emergentes operan a nivel mundial, incluso en contextos muy alejados de esta pequeña región de América del Norte.
Mientras tanto, los sectores emergentes de tecnología digital, como los de Silicon Valley, se caracterizan por una «crisis de diversidad» en términos de género y raza, especialmente en los niveles más altos de toma de decisiones.
Según un importante estudio de campo, actualmente, los sistemas de inteligencia artificial a gran escala se desarrollan casi exclusivamente en un puñado de empresas de tecnología y un pequeño conjunto de laboratorios universitarios de élite, espacios que en Occidente tienden a ser extremadamente masculinos, blancos, ricos y orientados técnicamente.
Estos también son espacios que tienen un historial de problemas de discriminación, exclusión y acoso sexual «.
El estudio encuentra que «esto es mucho más que una cuestión de uno o dos actores malvados” y señala la existencia de una relación sistemática entre los patrones de exclusión dentro del campo de la inteligencia artificial y la industria que impulsa su producción, por un lado, y los prejuicios que se manifiestan en la lógica y la aplicación de las tecnologías en el otro.
Es probable que la tecnología producida en tales campos excluya desproporcionadamente a las mujeres, las razas, las razas étnicas y otras minorías y reproduzca estas desigualdades cuando se implemente.
La extrema derecha, por ejemplo, está desarrollando sus plataformas alternativas de redes sociales, de microfinanciación e incluso de citasCaptura de pantalla.
La extrema derecha, por ejemplo, está desarrollando sus plataformas alternativas de redes sociales, de microfinanciación e incluso de citas
Una cuestión de negocio y política
La relatora explica que las fuerzas económicas y de mercado ejercen una poderosa influencia en el diseño y el uso de tecnologías digitales emergentes, que a su vez tienen un efecto transformador en los mercados, incluso en el propio capitalismo.
Por un lado, cierta influencia económica busca intencionalmente promover la discriminación y la intolerancia. Los ejemplos incluyen individuos ricos que financian plataformas en línea que defienden la ideología supremacista. Por otro lado, las fuerzas de mercado más poderosas pueden buscar principalmente resultados rentables de las tecnologías digitales emergentes sin intenciones explícitamente racistas o intolerantes.
Pero la evidencia muestra que los productos rentables pueden producir discriminación racial. Cuando las economías están estructuradas por la desigualdad racial y étnica, como es el caso en todo el mundo, la maximización de las ganancias generalmente será coherente y, en muchos casos, reforzará o agravará la desigualdad racial y étnica.
Los actores que buscan difundir el discurso racista y la incitación a la discriminación y la violencia han confiado en las tecnologías digitales emergentes, con las plataformas de redes sociales desempeñando un papel fundamental.
Achiume ha destacado estas tendencias en informes anteriores sobre grupos neonazis y otros grupos supremacistas blancos que dependen de las plataformas de redes sociales para reclutar, recaudar fondos y coordinarse.
Otro ejemplo destacado del uso explícitamente motivado por los prejuicios de las tecnologías digitales emergentes es el uso de Facebook por grupos budistas nacionalistas radicales y actores militares en Myanmar para exacerbar la discriminación y la violencia contra los musulmanes y la minoría étnica rohingya, en particular.
En 2018, el director ejecutivo de Facebook, Mark Zuckerberg, testificó ante el Senado de los Estados Unidos que los sistemas de inteligencia artificial de Facebook no podían detectar el discurso de odio en tales contextos.
Estos no son los únicos casos. También destacó el uso de Facebook para amplificar el contenido discriminatorio e intolerante, incluido el contenido que incita a la violencia contra los grupos minoritarios religiosos y lingüísticos en la India.
Además, los bots de redes sociales (cuentas automatizadas) se han utilizado para cambiar el discurso político y tergiversar la opinión pública.
De un estudio sobre 70 países, los bots se usaron en 50 para campañas de manipulación de redes sociales en 2019. Para los grupos que confían en las tecnologías digitales emergentes como una estrategia para promover la discordia y la intolerancia racial, étnica y religiosa, los bots son fundamentales para su capacidad. difundir discurso racista o desinformación.
Un mal uso de los Gobiernos
El informe asegura que los ejemplos de diferentes partes del mundo muestran que el diseño y el uso de diferentes tecnologías digitales emergentes se pueden combinar de manera intencional y no intencional para producir estructuras racialmente discriminatorias que socavan de manera holística o sistemática el disfrute de los
derechos humanos para ciertos grupos, debido a su raza, etnia u origen nacional, en combinación con otras características.
China utiliza la identificación biométrica y la vigilancia para rastrear y restringir los movimientos y actividades del grupo minoritario étnico uigur, violando los derechos de los miembros de este grupo a la igualdad y la no discriminación, entre otros. Los uigures experimentan frecuentes detenciones policiales sin fundamento y están sujetos a que sus teléfonos sean escaneados en los puntos de control policial, lo que viola su derecho a la privacidad.
Kenia e India han implementado la identificación biométrica para acceder a los servicios públicos, conocidos como Huduma Namba y Aadhaar, respectivamente. Los programas incluyen la recolección de varias formas de datos biométricos, incluyendo huellas digitales, patrones de retina e iris, patrones de voz y otros identificadores. Al intentar acceder a los servicios públicos a través de estos sistemas, ciertos grupos minoritarios raciales y étnicos en ambos países descubren que están excluidos de ellos, mientras que otros enfrentan barreras logísticas y largos procesos de investigación que, en efecto, pueden resultar en la exclusión de hecho del acceso a los servicios públicos a los que tienen derecho.
Tecnologías con derechos humanos en el centro
La relatora pidió un mayor escrutinio del diseño de la tecnología digital, reparaciones para los afectados por el racismo arraigado y la posible prohibición de algunas tecnologías.
«La muerte de George Floyd y muchos otros han provocado un levantamiento transnacional contra el racismo sistémico en la aplicación de la ley. Parte de la respuesta de derechos humanos debe incluir un mayor escrutinio de cómo el diseño y el uso de las tecnologías digitales están afianzando aún más este racismo sistémico», afirmó Achiume.
Al señalar que la pandemia de COVID-19 ha afectado más a las minorías raciales y étnicas, también advirtió que la tecnología utilizada para combatir la propagación de la enfermedad «es el mismo tipo que se ha utilizado para excluir a estas comunidades del pleno disfrute de sus derechos humanos en el pasado».
«Las obligaciones de los Estados de prevenir y eliminar la discriminación racial en el diseño y uso de estas tecnologías requieren la inclusión de las minorías raciales y étnicas en el proceso de toma de decisiones de la industria de una manera no simbólica. Sus obligaciones también les obligan a ordenar evaluaciones de impacto en los derechos humanos que incluyen énfasis en la igualdad y la no discriminación”, afirmó.
Los Estados también deben proporcionar el espectro completo de reparaciones efectivas para aquellos contra quienes las tecnologías digitales emergentes han discriminado racialmente. Esto incluye la toma de responsabilidad por la discriminación racial y las reparaciones a las personas y comunidades afectadas. Como muestran las recientes medidas para prohibir las tecnologías de reconocimiento facial en algunas partes del mundo, en algunos casos el efecto discriminatorio de las tecnologías digitales requerirá su prohibición total.
El informe incluye otras recomendaciones concretas para implementar protecciones de derechos humanos contra la discriminación racial en el diseño y uso de tecnologías digitales.
Los relatores especiales forman parte de lo que se conoce como los Procedimientos Especiales del Consejo de Derechos Humanos. Los Procedimientos Especiales, el mayor órgano de expertos independientes del sistema de derechos humanos de la ONU, es el nombre general de los mecanismos independientes de investigación y supervisión del Consejo que se ocupan de situaciones de países específicos o de cuestiones temáticas en todas las partes del mundo. Los expertos de los Procedimientos Especiales trabajan de forma voluntaria; no son personal de la ONU y no reciben un salario por su trabajo. Son independientes de cualquier gobierno u organización y sirven a título individual.