Por Jeffrey Dastin
Los especialistas en aprendizaje de máquinas de Amazon.com Inc (NASDAQ:AMZN) descubrieron un gran problema: a su nuevo motor de contratación no le gustaban las mujeres.
El equipo había trabajado en programas informáticos desde 2014 para revisar el currículum de candidatos con el objetivo de mecanizar la selección de talento, dijeron a Reuters cinco personas familiarizadas con el proyecto.
La automatización ha sido clave para el dominio del comercio electrónico de Amazon, ya sea dentro de los almacenes o contribuyendo a las decisiones de precios. La herramienta de contratación experimental de la compañía usó inteligencia artificial para dar puntuaciones a candidatos a empleos de una a cinco estrellas, de una manera similar a la forma en que los compradores califican los productos en Amazon, dijeron algunas de las personas consultadas.
"Todos querían este santo grial", dijo una de ellas. "Literalmente querían que fuera un motor en el que metes 100 currículums, te elige los cinco mejores y los contratas".
Pero para el año 2015, la compañía se dio cuenta de que su nuevo sistema no estaba siendo neutral en materia de género a la hora de calificar a los candidatos para los trabajos de desarrollo de software y otros puestos técnicos.
Esto se debe a que se había enseñado a los modelos informáticos de Amazon a examinar a los solicitantes observando los patrones de los currículums enviados a la compañía durante un período de 10 años. La mayoría eran hombres, debido al dominio masculino en la industria de la tecnología. (Para obtener un gráfico sobre los desgloses de género en el mundo tecnológico, consulte: https://tmsnrt.rs/2OfPWoD)
En efecto, el sistema de Amazon se enseñó a sí mismo que los candidatos masculinos eran preferibles. Se penalizaron los currículum que incluían la palabra "femenino", como en "capitana de club de ajedrez femenino". Y se rebajó la calificación a las graduadas en dos universidades exclusivas de mujeres, según personas con conocimiento del proyecto. No se especificaron los nombres de estos centros.
Amazon editó los programas para hacerlos neutrales a estos términos en concreto. Pero eso no era garantía de que las máquinas no idearan otras formas de clasificar a los candidatos que pudieran resultar discriminatorias, dijeron las fuentes consultadas.
La compañía de Seattle finalmente disolvió el equipo a principios del año pasado porque los ejecutivos perdieron la esperanza en el proyecto, según las fuentes, que hablaron bajo condición de anonimato. Los responsables de contratación de Amazon tuvieron en cuenta las recomendaciones generadas por la herramienta al buscar nuevos empleados, pero no confiaron únicamente en esas clasificaciones, dijeron.
Amazon no quiso hacer comentarios sobre el motor de contratación ni sus problemas, pero la empresa dice que está comprometida con la igualdad y diversidad en el lugar de trabajo.
El experimento de la compañía, que Reuters es el primer medio en examinar, ofrece una muestra sobre las limitaciones del aprendizaje automático. También sirve como una lección para la creciente lista de grandes empresas, como Hilton Worldwide Holdings Inc y Goldman Sachs Group Inc (NYSE:GS), que buscan automatizar partes del proceso de contratación.
Según una encuesta realizada en 2017 por la firma de software CareerBuilder, alrededor del 55 por ciento de los directivos de recursos humanos de EEUU consideran que la inteligencia artificial, o IA, sería una parte normal de su trabajo en los próximos cinco años.
Los empresarios siempre han soñado con aprovechar la tecnología para ampliar su red de contratación y reducir la dependencia de las opiniones subjetivas de los reclutadores humanos. Pero científicos informáticos como Nihar Shah, que enseña aprendizaje automático en la Universidad Carnegie Mellon, dicen que todavía hay mucho trabajo por hacer.
"Cómo garantizar que el algoritmo sea justo, cómo asegurarse de que el algoritmo sea realmente interpretable y explicable... es algo que todavía está muy lejos", dijo.
LENGUAJE MASCULINO
El experimento de Amazon comenzó en un momento crucial para la empresa de comercio online más grande del mundo. El aprendizaje automático estaba ganando terreno en el mundo de la tecnología, gracias a un aumento en la capacidad informática de bajo coste. Y el departamento de Recursos Humanos de Amazon estaba a punto de embarcarse en una serie de contrataciones: desde junio de 2015, la plantilla global de la compañía se ha triplicado con creces, hasta alcanzar los 575.700 trabajadores, según muestran documentos regulatorios.
De modo que formó un equipo en el centro de ingeniería de Amazon en Edimburgo que se aumentó hasta una docena de personas. Su objetivo era desarrollar una IA que pudiera rastrear rápidamente la web y detectar candidatos que valiera la pena contratar, dijeron las personas familiarizadas con el asunto.
El grupo creó 500 modelos informáticos enfocados en funciones y ubicaciones específicas del trabajo. Enseñaron a cada uno a reconocer unos 50.000 términos que aparecieron en los currículos de candidatos anteriores. Los algoritmos aprendieron a asignar poca importancia a las habilidades que eran comunes en los solicitantes para puestos de tecnología de la información, como la capacidad de escribir varios códigos, dijeron las fuentes.
En cambio, la tecnología favoreció a los candidatos que se describían a sí mismos utilizando verbos que se encuentran con mayor frecuencia en los currículums de ingenieros masculinos, como "ejecuté" y "capturé", dijo una de las fuentes.
El sesgo de género no fue el único problema. Las fuentes dijeron que los problemas con los datos que utilizaban los modelos a la hora de emitir juicios implicaban que candidatos no cualificados a menudo se recomendaban para todo tipo de trabajos. Al comprobar que los resultados obtenidos eran casi aleatorios, Amazon cerró el proyecto, dijeron las fuentes.
¿EL PROBLEMA, O LA CURA?
Otras empresas siguen adelante con proyectos de inteligencia artificial en este ámbito, lo que pone de relieve el deseo de las empresas para aprovechar esta tecnología en la contratación.
Kevin Parker, consejero delegado de HireVue, una empresa emergente cerca de Salt Lake City, dice que la automatización está ayudando a las empresas a mirar más allá de las mismas redes de reclutamiento en las que siempre han confiado. Su firma analiza los comentarios y expresiones faciales de los candidatos en entrevistas en vídeo para reducir la dependencia de los currículums.
"No vas a recurrir a los mismos lugares de siempre; no vas a recurrir solo a las facultades de la Ivy League", dijo Parker. Entre los clientes de su compañía están Unilever (LON:ULVR) PLC y Hilton.
Goldman Sachs ha creado su propia herramienta de análisis de currículums que trata de situar a los candidatos en la división en la que serían "los que mejor encajan", dijo la compañía.
LinkedIn (NYSE:LNKD), de Microsoft Corp (NASDAQ:MSFT), la red profesional más grande del mundo, ha ido más allá. Ofrece a los empresarios clasificaciones algorítmicas de candidatos en función de cómo encajan con las ofertas de trabajo en su plataforma.
Sin embargo, John Jersin, vicepresidente de LinkedIn Talent Solutions, dice que el servicio no reemplaza a los contratadores tradicionales.
"Ciertamente, no confiaría en ningún sistema de inteligencia artificial hoy para tomar una decisión de contratación por sí solo", dijo. "La tecnología aún no está lista".
Algunos activistas dicen que están preocupados por la transparencia en la IA. La American Civil Liberties Union ha recurrido una ley que permite el procesamiento penal de investigadores y periodistas que analizan si hay discriminación en los algoritmos de sitios web de contratación.
"Nos estamos enfocando cada vez más en el problema de la justicia algorítmica", dijo Rachel Goodman, abogada del Programa de Justicia Racial en la ACLU.
Aun así, Goodman y otros críticos de AI reconocieron que podría ser extremadamente difícil demandar a una empresa por la contratación automatizada: los candidatos a puestos de trabajo nunca sabrían que se estaba utilizando.
En cuanto a Amazon, la compañía logró salvar algo de lo que aprendió de su fallido experimento de IA. Ahora utiliza una "versión muy diluida" del motor de reclutamiento para ayudar con algunas tareas rudimentarias, incluida la detección de perfiles de candidatos duplicados en las bases de datos, dijo una de las personas familiarizadas con el proyecto.
Otra fuente dijo que se ha formado un nuevo equipo en Edimburgo para dar otra oportunidad al examen automatizado de candidatos, esta vez con un enfoque en la diversidad.
(Información de Jeffrey Dastin en San Francisco; traducido por Tomás Cobos en la redacción de Madrid)