Tengo preguntas inspiradas en el reciente escándalo de reclutamiento de Amazon, donde fueron acusadas de discriminación contra las mujeres en su proceso de reclutamiento. Más información aquí :
Los especialistas en aprendizaje automático de Amazon.com Inc descubrieron un gran problema: a su nuevo motor de reclutamiento no le gustaban las mujeres.
El equipo había estado desarrollando programas informáticos desde 2014 para revisar los currículums de los solicitantes de empleo con el objetivo de mecanizar la búsqueda de los mejores talentos ...
... La herramienta de contratación experimental de la compañía utilizó inteligencia artificial para otorgar puntajes de candidatos de trabajo de una a cinco estrellas ...
... Pero para 2015, la compañía se dio cuenta de que su nuevo sistema no calificaba a los candidatos para trabajos de desarrollador de software y otros puestos técnicos de una manera neutral en cuanto al género.
Esto se debe a que los modelos de computadora de Amazon fueron entrenados para examinar a los solicitantes observando patrones en currículums enviados a la compañía durante un período de 10 años. La mayoría provino de hombres, un reflejo del dominio masculino en la industria tecnológica. (Para un gráfico sobre desgloses de género en tecnología, ver: aquí ) En efecto, el sistema de Amazon se enseñó a sí mismo que los candidatos masculinos eran preferibles. Penalizaba currículums que incluían la palabra "mujeres", como en "capitana del club de ajedrez femenino". Y degradó a las graduadas de dos universidades para mujeres, según personas familiarizadas con el asunto. No especificaron los nombres de las escuelas.
Amazon editó los programas para hacerlos neutrales a estos términos particulares. Pero eso no garantiza que las máquinas no ideen otras formas de clasificar candidatos que puedan resultar discriminatorios, dijeron las personas.
La compañía de Seattle finalmente disolvió el equipo a principios del año pasado porque los ejecutivos perdieron la esperanza del proyecto ...
... El experimento de la compañía ... ofrece un estudio de caso sobre las limitaciones del aprendizaje automático.
... informáticos como Nihar Shah, que enseña aprendizaje automático en la Universidad Carnegie Mellon, dicen que aún queda mucho trabajo por hacer.
"Cómo asegurarse de que el algoritmo sea justo, cómo asegurarse de que el algoritmo sea realmente interpretable y explicable, eso todavía está bastante lejos", dijo.LENGUAJE MASCULINO
[Amazon] estableció un equipo en el centro de ingeniería de Edimburgo de Amazon que creció a alrededor de una docena de personas. Su objetivo era desarrollar IA que pudiera rastrear rápidamente la web y detectar candidatos que valga la pena reclutar, dijeron personas familiarizadas con el asunto.
El grupo creó 500 modelos informáticos centrados en funciones y ubicaciones de trabajo específicas. Enseñaron a cada uno a reconocer unos 50,000 términos que aparecieron en los currículums de candidatos anteriores. Los algoritmos aprendieron a asignar poca importancia a las habilidades que eran comunes entre los solicitantes de TI, como la capacidad de escribir varios códigos de computadora ...
En cambio, la tecnología favoreció a los candidatos que se describieron a sí mismos usando verbos que se encuentran más comúnmente en los currículums de ingenieros masculinos, como "ejecutado" y "capturado", dijo una persona.
Digamos que quiero construir un modelo estadístico para predecir algunos resultados de datos personales, como una clasificación de cinco estrellas para ayudar a reclutar nuevas personas. Digamos que también quiero evitar la discriminación de género, como una restricción ética. Dados dos perfiles estrictamente iguales aparte del género, el resultado del modelo debería ser el mismo.
¿Debo usar el género (o cualquier dato relacionado con él) como entrada y tratar de corregir su efecto, o evitar usar estos datos?
¿Cómo verifico la ausencia de discriminación contra el género?
¿Cómo corrijo mi modelo para los datos que son estadísticamente discriminantes pero que no quiero por razones éticas?