Inteligencia artificial y estereotipos, ¿Detección? ¿Tratamiento?

*Por Catalina Tassin Wallace

El desarrollo de sistemas generativos basados en inteligencia artificial (IA), como ser ChatGPT o Gemini, ha abierto nuevas posibilidades en sectores tan diversos como la educación, la salud, la publicidad y el derecho. Entre los aspectos más llamativos, se afirma que algunas de estas tecnologías son capaces de “detectar estereotipos” en textos escolares, avisos publicitarios o incluso sentencias judiciales.

A pesar de lo anterior, existen motivos para desconfiar de los modelos entrenados por IA, ya que no solo no evitaron los estereotipos, sino que los reprodujeron y amplificaron. Uno de los casos más citados es el del sistema de reclutamiento de Amazon, que, al ser entrenado con datos históricos de contratación mayoritariamente masculina, descartaban sistemáticamente a mujeres candidatas para puestos bien remunerados. Otro ejemplo es el sistema COMPAS, utilizado en Estados Unidos para predecir el riesgo de reincidencia en procesos judiciales, el cual arrojaba continuamente puntuaciones más altas para personas negras, incluso cuando sus condiciones eran equivalentes a las de personas blancas. Ello ilustra un problema estructural: estas herramientas aprenden del pasado, y si los datos de los que se nutren están atravesados por estereotipos, los reproducen.

Frente a este escenario en el que surgen nuevas propuestas de detección de estereotipos a través de sistemas basados en IA, es necesario primero detenerse a pensar qué son los estereotipos y por qué su identificación es problemática.

Los estereotipos son esquemas sociales persistentes que condensan valoraciones, expectativas y funciones en torno a determinadas identidades. No se trata de simples ideas falsas o prejuicios individuales, sino de formas compartidas de clasificación que vinculan una categoría social con una determinada característica, rol o conducta, estructurando la percepción y la acción. Así, por ejemplo, la asociación entre el género femenino y los roles de cuidado naturaliza la idea de que “las mujeres” —en abstracto— poseen una disposición biológica o moral hacia la atención de otres. Esta operación no sólo invisibiliza la heterogeneidad de las experiencias reales, sino que también normativiza ese vínculo, generando expectativas sociales que castigan la desviación y consolidan jerarquías. 

Por ello, organismos internacionales como la CEDAW (Convención sobre la Eliminación de Todas las Formas de Discriminación contra la Mujer) y la Corte Interamericana de Derechos Humanos han destacado la necesidad de identificar y desarticular estereotipos como condición para garantizar la igualdad. 

Como decíamos antes, en los últimos años, se han desarrollado sistemas generativos basados en IA que prometen detectar estereotipos en textos. La pregunta es si estos dispositivos, entrenados a partir de datos estadísticos y patrones lingüísticos, pueden realmente intervenir en fenómenos que son, ante todo, sociales, históricos y relacionales.

Sistemas entrenados en base a IA: entre la ilusión de neutralidad y la reproducción de estereotipos

La integración de herramientas de IA en la tarea de identificar estereotipos presenta desafíos que son tanto técnicos como epistémicos. En primer lugar, estas tecnologías se entrenan con corpus lingüísticos masivos, extraídos de redes sociales, noticias, foros, documentos públicos y/o privados. Estos repositorios no son neutros: arrastran décadas —cuando no siglos— de representaciones estereotipadas sobre género, raza, clase o nacionalidad. Al aprender de ellos, los modelos algorítmicos no sólo replican estos patrones, sino que pueden reforzarlos al dotarlos de legitimidad estadística. 

En segundo lugar, aunque estos modelos pueden reconocer estructuras complejas del lenguaje —incluida la ironía, la resignificación o el uso metafórico—, carecen de criterios políticos para evaluar los efectos de una expresión en contextos de poder. Por ejemplo, una frase como “puta orgullosa”, que puede ser parte de una reapropiación feminista, o “negro hermoso”, enunciada desde un activismo antirracista, pueden ser clasificadas como “potencialmente ofensivas” si los parámetros de evaluación no consideran su valor estratégico o emancipador. A la vez, formulaciones aparentemente amables —como “las mujeres son naturalmente más sensibles”— pueden pasar inadvertidas, aun cuando reproduzcan una lógica esencialista.

A ello se suma la opacidad de los sistemas algorítmicos. Muchos de estos modelos no permiten saber con claridad cómo clasifican una frase como “estereotipada”. Las categorías de análisis, los criterios de anotación y los umbrales de decisión suelen quedar encapsulados en procesos técnicos no auditables por quienes usan, regulan o sufren los efectos de estas tecnologías. La presentación de estas herramientas como “objetivas” u “eficientes” desplaza la deliberación sobre qué es un estereotipo, por qué lo es, y cómo debería ser abordado.

Detección y ¿tratamiento?

Frente a estas tensiones, distintas iniciativas buscan desarrollar enfoques más críticos e inclusivos. Proyectos como StereoSet (Princeton) o CrowS-Pairs (NYU) han generado benchmarks (estándar) para medir la reproducción de estereotipos en modelos de lenguaje, y herramientas como BiasFinder o Gender-Bias Detector permiten evaluar desigualdades en medios de comunicación o textos institucionales. Sin embargo, estos dispositivos —por útiles que sean en el plano técnico— no abordan la raíz política del problema.

Detectar estereotipos no equivale a desactivarlos. Identificar una frase “problemática” no transforma, por sí solo, las condiciones materiales y simbólicas que sostienen esa representación. En esta línea, el proyecto AymurAI, impulsado por el Observatorio de DataGénero, propone una alternativa situada: en lugar de buscar una herramienta basada en IA “objetiva”, promueve el desarrollo de tecnologías con perspectiva feminista, que incorporen saberes locales, memoria política y participación de los grupos afectados.

El proyecto ARVAGE (Arguments with Gender Perspective), por su parte, no sólo busca detectar expresiones discriminatorias, sino analizar cómo los argumentos —aun los aparentemente “racionales”— pueden estar estructurados por esquemas estereotipados, omisiones sistemáticas o presunciones jerárquicas. En esa misma línea, entre las investigaciones en curso se destaca el proyecto “Estereotipos, imparcialidad judicial e inteligencia artificial: una apuesta transformadora” (Fundación Manuel Serra Domínguez), que explora estrategias de lenguaje en modelos generativos, con el fin de analizarlos críticamente y reflexionar sobre su potencial para detectar estereotipos en el ámbito jurídico. 

Si bien estas herramientas pueden parecer, en términos técnicos, aún incipientes o en fase exploratoria, su valor principal no reside en la sofisticación algorítmica, sino en el horizonte político y epistémico que inauguran: desplazar la promesa de una detección “objetiva” hacia una interrogación crítica de las condiciones que hacen posible y persistente la reproducción de estereotipos. Más que soluciones cerradas, constituyen intervenciones que abren preguntas urgentes sobre el vínculo entre lenguaje, poder y justicia.

Así, la pregunta de si una IA puede reconocer estereotipos no admite una respuesta técnica. Porque los estereotipos no son errores en un sistema: son parte del sistema. Son dispositivos de inteligibilidad social que ordenan el mundo, muchas veces bajo el velo de la normalidad. Por eso, el problema no es sólo qué detecta, sino qué sociedades permiten que ciertas asociaciones sigan pareciendo naturales.

Las herramientas automatizadas pueden ser funcionales, pero sólo si se subordinan a una tarea más profunda: disputar los sentidos comunes que organizan lo decible, lo pensable y lo legítimo. En ese camino, no hay algoritmo que reemplace la reflexión política ni la acción colectiva. 

¿Queremos que una IA reconozca estereotipos… o queremos dejar de necesitarlos?