Evitar la discriminación social en la construcción de modelos.


10

Tengo preguntas inspiradas en el reciente escándalo de reclutamiento de Amazon, donde fueron acusadas de discriminación contra las mujeres en su proceso de reclutamiento. Más información aquí :

Los especialistas en aprendizaje automático de Amazon.com Inc descubrieron un gran problema: a su nuevo motor de reclutamiento no le gustaban las mujeres.
El equipo había estado desarrollando programas informáticos desde 2014 para revisar los currículums de los solicitantes de empleo con el objetivo de mecanizar la búsqueda de los mejores talentos ...
... La herramienta de contratación experimental de la compañía utilizó inteligencia artificial para otorgar puntajes de candidatos de trabajo de una a cinco estrellas ...
... Pero para 2015, la compañía se dio cuenta de que su nuevo sistema no calificaba a los candidatos para trabajos de desarrollador de software y otros puestos técnicos de una manera neutral en cuanto al género.
Esto se debe a que los modelos de computadora de Amazon fueron entrenados para examinar a los solicitantes observando patrones en currículums enviados a la compañía durante un período de 10 años. La mayoría provino de hombres, un reflejo del dominio masculino en la industria tecnológica. (Para un gráfico sobre desgloses de género en tecnología, ver: aquí ) En efecto, el sistema de Amazon se enseñó a sí mismo que los candidatos masculinos eran preferibles. Penalizaba currículums que incluían la palabra "mujeres", como en "capitana del club de ajedrez femenino". Y degradó a las graduadas de dos universidades para mujeres, según personas familiarizadas con el asunto. No especificaron los nombres de las escuelas.
Amazon editó los programas para hacerlos neutrales a estos términos particulares. Pero eso no garantiza que las máquinas no ideen otras formas de clasificar candidatos que puedan resultar discriminatorios, dijeron las personas.
La compañía de Seattle finalmente disolvió el equipo a principios del año pasado porque los ejecutivos perdieron la esperanza del proyecto ...
... El experimento de la compañía ... ofrece un estudio de caso sobre las limitaciones del aprendizaje automático.
... informáticos como Nihar Shah, que enseña aprendizaje automático en la Universidad Carnegie Mellon, dicen que aún queda mucho trabajo por hacer.
"Cómo asegurarse de que el algoritmo sea justo, cómo asegurarse de que el algoritmo sea realmente interpretable y explicable, eso todavía está bastante lejos", dijo.

LENGUAJE MASCULINO
[Amazon] estableció un equipo en el centro de ingeniería de Edimburgo de Amazon que creció a alrededor de una docena de personas. Su objetivo era desarrollar IA que pudiera rastrear rápidamente la web y detectar candidatos que valga la pena reclutar, dijeron personas familiarizadas con el asunto.
El grupo creó 500 modelos informáticos centrados en funciones y ubicaciones de trabajo específicas. Enseñaron a cada uno a reconocer unos 50,000 términos que aparecieron en los currículums de candidatos anteriores. Los algoritmos aprendieron a asignar poca importancia a las habilidades que eran comunes entre los solicitantes de TI, como la capacidad de escribir varios códigos de computadora ...
En cambio, la tecnología favoreció a los candidatos que se describieron a sí mismos usando verbos que se encuentran más comúnmente en los currículums de ingenieros masculinos, como "ejecutado" y "capturado", dijo una persona.

Digamos que quiero construir un modelo estadístico para predecir algunos resultados de datos personales, como una clasificación de cinco estrellas para ayudar a reclutar nuevas personas. Digamos que también quiero evitar la discriminación de género, como una restricción ética. Dados dos perfiles estrictamente iguales aparte del género, el resultado del modelo debería ser el mismo.

  1. ¿Debo usar el género (o cualquier dato relacionado con él) como entrada y tratar de corregir su efecto, o evitar usar estos datos?

  2. ¿Cómo verifico la ausencia de discriminación contra el género?

  3. ¿Cómo corrijo mi modelo para los datos que son estadísticamente discriminantes pero que no quiero por razones éticas?


1
Creo que sería importante tener una referencia a un artículo sobre el supuesto escándalo de reclutamiento de Amazon en el cuerpo de su pregunta. Algunos podrían argumentar que no hubo "discriminación" (dependiendo de cómo se defina el término) en absoluto, sino un simple desequilibrio en los hombres contra las mujeres contratadas, así que tal vez proporcione su definición de "discriminación".
EstadísticasEstudiante

1
¿Qué pasa con la posibilidad de que una respuesta canónica no sea posible aquí? ¿Puedes abordar eso? Estoy considerando volver a cerrar.
gung - Restablece a Monica

3
"ausencia de impacto del género en el resultado del modelo" - No veo por qué es una buena definición. Suponga que no tiene una característica llamada género en el modelo, que probablemente no tenga de todos modos. Luego, el modelo "se da cuenta" mirando a otro que se le atribuye que es una mujer, y baja de categoría porque una mujer es menos apta para el trabajo, ¿entonces qué? Hay muchos trabajos en los que las mujeres no tendrían un buen ajuste, por ejemplo, marines. No significa que no puedas encontrar una mujer que sería genial, pero la mayoría de ellos no encajan.
Aksakal

2
@Lcrmorin, ¿por qué solo físico? ¿Por qué crees que el programador es el mejor para mujeres y hombres? No veo la razón obvia. Sospecho porque solo se cuestionan los trabajos bien remunerados. Por ejemplo, los hombres son encarcelados más, ¿por qué no presionar para que las mujeres sean encarceladas al mismo ritmo? Una buena definición de lo que constituye una discriminación es primordial
Aksakal

1
Creo que esto está cubierto por ningún supuesto estadística aplicada en ciencias sociales que intentan determinar los efectos causales ... La identificación de variable omitida sesgo etc, 'de controlar por el factor X', etc
seanv507

Respuestas:


4

Este documento proporciona una excelente visión general de cómo navegar por el sesgo de género, especialmente en los modelos basados ​​en el lenguaje: ¿El hombre es para el programador de computadoras como la mujer para el ama de casa? Debiasing Word Embeddings - Bolukbasi et. Alabama. . Un buen resumen del blog se puede encontrar aquí:

https://developers.googleblog.com/2018/04/text-embedding-models-contain-bias.html

Encontrará un compendio de recursos más amplio aquí:

https://developers.google.com/machine-learning/fairness-overview/

Encontrarás una gran cantidad de técnicas en los enlaces anteriores para mitigar el sesgo de género. En general, se dividen en tres clases:

1) Sub / Over muestreando sus datos. Se pretende sobremuestrear currículums femeninos de alta calidad y bajo currículums masculinos de muestra.

2) Restando el "subespacio de género". Si su modelo tiene un sesgo de género, entonces puede demostrar que es así utilizando sus incorporaciones de currículum para predecir directamente el género. Después de construir dicho modelo auxiliar (incluso solo muestreando términos comunes que pertenecen a cualquier género, y luego aplicando PCA), en efecto, puede restar esta dimensión del modelo, normalizando que el currículum sea neutral en cuanto al género. Esta es la técnica principal utilizada en el artículo de Bolukbasi.

3) Aprendizaje adversario. En este caso, intenta generar datos adicionales al intentar generar más versiones de currículums femeninos de alta calidad que de otro modo no se pueden distinguir de los currículums reales.


1
Sin ofender aquí, pero falta algo. ¿Está tratando los síntomas mientras se ignora la enfermedad? ¿Es una solución de lenguaje de PC una solución o es un problema en sí mismo? El lenguaje no es la fuente principal de sentimientos, solo un medio para expresarlos. Los sentimientos son reacciones a situaciones. Arregle las situaciones, en lugar de empapelarlas con lenguaje.
Carl

@Carl: Si un conjunto de datos ya está podrido con sesgo, es muy difícil de corregir. La corrección política es un intento de mitigar el sesgo. En el caso de ML, estamos guiando el modelo lejos de sesgar sus predicciones basadas en el género a aquellas que se basan únicamente en la habilidad. De lo contrario, tal modelo probablemente penalizará a las mujeres y asignará calificaciones muy diferentes a sus habilidades en cada profesión. Lea la respuesta de Dave Harris para conocer las formas adicionales en que surgen los prejuicios y cómo solucionarlos mediante cambios físicos (en oposición a los cambios de datos)
Alex R.

Comenté la respuesta de Dave, así que tu sugerencia muestra que te perdiste eso. También puede estar perdiendo el punto de que ganar un trabajo que odia es un problema. Solucione el problema de retención y el entorno de trabajo. Hacer que las mujeres sean más "atractivas" no resuelve nada, puede exacerbar los problemas. Con respecto a un trabajo, el problema no es "casarse" con él, sino "permanecer casado".
Carl

@Carl: No estoy seguro de lo que estás discutiendo aquí, ya que la pregunta de los OP es claramente cómo construir un modelo estadístico en un conjunto de datos existente. Los enlaces que proporcioné muestran que los modelos de idiomas, listos para usar, ya pueden contener sesgos ocultos. También podría argumentar que las personas que mantienen sus trabajos el tiempo suficiente son demasiado mediocres para encontrar trabajo en otro lugar. Independientemente de qué KPI esté optimizando (ese es un tema relevante pero completamente separado), su modelo aún puede mostrar sesgos de género.
Alex R.

1
Convenido. Respondiste la pregunta. Sin embargo, la retención laboral femenina de los empleos de tecnología es pobre y no identificó los problemas. Entonces la respuesta es un mal servicio para las mujeres. Si se usa, causará miseria. Los estadísticos tienen la responsabilidad moral de ver su trabajo en contexto e identificar las preguntas que son más apropiadas que las planteadas ingenuamente.
Carl

9

Esta no es una respuesta a su pregunta, sino solo algunos pensamientos que son demasiado largos para caber en un comentario.

Creo que un problema que debemos tener en cuenta al pensar en estos temas es que cada modelo discrimina , y lo harán sobre la base de cualquier asociación presente en los datos. Ese es posiblemente el propósito de un modelo predictivo. Por ejemplo, los hombres son realmente más propensos a cometer delitos que las mujeres, por lo que casi cualquier modelo que tenga acceso a esta información sacará esa inferencia.

Pero eso no significa que debamos condenar a alguien parcialmente en función del género, a pesar de que un hombre generalmente parece más propenso a haber cometido un delito (otras cosas iguales). Más bien, debemos requerir evidencia directa de un delito al tomar tales decisiones, y no información sobre mera asociación. Como otro ejemplo: ¿las personas que tienen más probabilidades de enfermarse realmente merecen pagar primas de seguro más altas?

Entonces, cuando se trata de discriminación, diría que el problema trata más con la aplicación ética , en lugar de que los modelos en sí sean injustos. Si nos preocupa perpetuar la discriminación u otros resultados injustos al usar un modelo en una situación dada, entonces quizás no deberíamos estar usando un modelo.


2
Yo diría sobre su última oración que un modelo construido para evitar la discriminación social funcionará mejor en ese asunto que un humano, pero no es por eso que estoy aquí. Editaré mi publicación con una mejor definición de discriminación social.
lcrmorin

No creo que nuestro sistema judicial pretenda castigar más a los hombres, pero lo hace. Lo mismo ocurre con ese hipotético algoritmo de Amazon. Dudo que quisieran discriminar a las mujeres, pero algo aprendió que las mujeres son menos aptas y discriminadas de todos modos.
Aksakal

Se ha desviado bruscamente de la pregunta del OP: Discriminación por contraste n 1: trato injusto de una persona o grupo sobre la base del prejuicio 2: el proceso cognitivo mediante el cual se distinguen dos o más estímulos. [WordNet]. El OP pregunta por la primera definición y usted responde por la segunda.
Alexis

@Alexis En realidad, no está claro para mí que OP solo esté hablando de la primera definición. En la cita: "¿Cómo corrijo mi modelo para datos que son estadísticamente discriminantes pero que no quiero tener por razones éticas?" Esto parecería implicar que desean lidiar con cosas que difieren estadísticamente por género, incluso si no son rasgos que son injustos de usar. Por cierto, tampoco existe una distinción clara entre los dos conceptos de discriminación. Lo que a algunas personas les parece justo, a otras les resulta injusto.
Eff

Existen diferencias importantes con respecto al género, tanto en términos de número de personas que solicitan como en términos de perfil. Mi objetivo es asegurar que dos personas con un perfil equivalente pero no del mismo género sean tratadas por igual.
lcrmorin

6

Solía ​​trabajar en un proyecto para desarrollar las mejores prácticas de gestión de software. Observé aproximadamente cincuenta equipos de software en el campo. Nuestra muestra fue de alrededor de 77, pero terminamos viendo alrededor de un centenar de equipos. Además de recopilar datos sobre cosas como certificaciones, títulos, etc., también recopilamos una variedad de datos psicológicos y demográficos.

Los equipos de desarrollo de software tienen algunos efectos de autoselección muy significativos que, aunque no tienen nada que ver con el género, están fuertemente correlacionados con el género. Además, los gerentes tienden a replicarse a sí mismos. Las personas contratan a personas con las que se sienten cómodas y se sienten más cómodas consigo mismas. También hay evidencia de que las personas están siendo calificadas de manera sesgada cognitivamente. Imagine que, como gerente, valoro mucho la pronta llegada al comienzo del trabajo. Entonces calificaré sobre eso. Otro gerente, a quien solo le importa que el trabajo se realice, puede calificar algo completamente diferente como importante.

Usted notó que los hombres usan el lenguaje de manera diferente, pero también es cierto que las personas con diferentes personalidades usan el lenguaje de diferentes maneras. También puede haber diferencias en el uso del idioma étnico, véase, por ejemplo, la controversia actual en las admisiones de Harvard y Asia.

Ahora supones que las empresas de software discriminan a las mujeres, pero hay otra forma de discriminación de género en la industria del desarrollo de software que no has tenido en cuenta. Cuando controlas cosas objetivas como certificaciones, títulos, tenencia, etc., la mujer promedio gana un 40% más que el hombre promedio. Hay tres fuentes de discriminación laboral en el mundo.

El primero es que los gerentes o propietarios no desean contratar a alguien sobre la base de alguna característica. El segundo es que los compañeros de trabajo no desean trabajar con las personas con esa característica. El tercero es que los clientes no quieren personas que tengan una función. Parece que la discriminación salarial está siendo provocada por los clientes porque el producto del trabajo es diferente y, desde la perspectiva de los clientes, también mejor. Esta misma característica hace que los higienistas dentales masculinos reciban salarios más bajos que las mujeres. También se ve en un sesgo hacia "nacido aquí" en los salarios mundiales de fútbol.

El mejor control para esto es comprender sus datos y las fuerzas sociales involucradas. Cualquier empresa que use sus propios datos tenderá a replicarse. Eso puede ser algo muy bueno, pero también podría hacerlos ciegos a las fuerzas en el trabajo. El segundo control es comprender su función objetivo. Las ganancias pueden ser una buena función, pero puede ser una mala función. Hay valores en juego en la selección de una función de pérdida objetiva. Luego, finalmente, está el problema de probar los datos contra la demografía para determinar si está ocurriendo una desafortunada discriminación.

Finalmente, y este es un problema mayor en cosas como la IA, donde no puedes obtener buenas estadísticas interpretativas, querrás controlar la paradoja de Yule. El ejemplo histórico clásico es el descubrimiento de que el 44% de los hombres fueron aceptados en UC Berkley, mientras que solo el 35% de las mujeres fueron admitidos en 1973. Esta fue una gran diferencia y estadísticamente significativa. También fue engañoso.

Obviamente, esto era escandaloso, por lo que la universidad decidió analizar cuáles eran las carreras ofensivas. Bueno, resultó que cuando controlaste para especializar, hubo un sesgo estadísticamente significativo a favor de admitir mujeres. De los ochenta y cinco mayores, seis fueron sesgados hacia las mujeres y cuatro hacia los hombres, el resto no fue significativo. La diferencia era que las mujeres estaban, desproporcionadamente, solicitando las carreras más competitivas y muy pocos de ambos sexos estaban ingresando. Los hombres tenían más probabilidades de postularse a carreras menos competitivas.

Agregar la paradoja de Yule crea una capa aún más profunda para la discriminación. Imagínese, en lugar de una prueba de género, hubo una prueba de género por tipo de trabajo. Posiblemente podría pasar una prueba de género neutral en toda la empresa pero fallar a nivel de tarea. Imagine que solo se reclutaron mujeres para V&V y solo hombres para la administración de sistemas. Te verías neutral en cuanto al género, y no lo serías.

Una posible solución a esto es ejecutar AI competitivos que utilicen diferentes criterios objetivos de "bondad". El objetivo es ampliar la red, no reducirla. Esto también puede ayudar a evitar otro problema en la literatura de gestión. Mientras que el 3% de los hombres son sociópatas, ese número aumenta sustancialmente a medida que avanzas más y más en la escala corporativa. No quieres estar filtrando por sociópatas.

Finalmente, es posible que no desee considerar el uso de IA para ciertos tipos de posiciones. Estoy buscando trabajo en este momento. También estoy seguro de que me están filtrando, y no he descubierto cómo solucionarlo. Estoy sentado en una nueva tecnología muy disruptiva. El problema es que mi trabajo no coincide con las palabras mágicas. En cambio, tengo el siguiente conjunto de palabras mágicas. En este momento, valgo una fortuna para la empresa correcta, pero en un caso en el que solicité, recibí un rechazo automático en menos de un minuto. Tengo un amigo que ha servido como CIO de agencias federales. Solicitó un trabajo en el que el gerente de contratación estaba esperando que se presentara su solicitud para que se le pudiera ofrecer el trabajo. Nunca llegó porque los filtros lo bloquearon.

Esto establece el segundo problema de la IA. Si puedo hacer ejercicio a partir de currículums en línea a quienes Amazon está contratando, entonces puedo hacer un resumen de mi currículum. De hecho, estoy trabajando en mi currículum ahora mismo para que se ajuste a los filtros no humanos. También puedo decir por los correos electrónicos de los reclutadores que algunas partes de mi currículum se están ampliando y otras partes ignoradas. Es como si el proceso de reclutamiento y contratación hubiera sido asumido por un software como Prolog. Restricciones lógicas cumplidas? ¡Si! Este es el candidato óptimo o conjunto de candidatos. ¿Son óptimos?

No hay una respuesta predefinida a su pregunta, solo problemas para resolver.


(+1) Observaciones sólidas. Me gusta especialmente la equivocación con respecto al sesgo interpretativo de los resultados y solo agregaría que uno debe definir un objetivo para la ingeniería social que esté orientado a objetos, es decir, algún beneficio tangible. Por ejemplo, tener un enfermero disponible para insertar sondas urinarias en hombres no requeriría que el 50% de las enfermeras sean hombres.
Carl

@Dave. gracias por tu perspicacia ¿Puede proporcionar fuentes para "Cuando controla cosas objetivas como certificaciones, títulos, tenencia, etc., la mujer promedio gana 40% más que el hombre promedio"? y qué quieres decir con "No quieres estar filtrando por sociópatas". ?
lcrmorin

@Lcrmorin hay una tendencia para que los sociópatas busquen promoción. Si está replicando su jerarquía existente porque está usando sus datos, entonces podría encontrarse seleccionando aquellos comportamientos que filtran por sociopatía. Existe la creencia de que el software será neutral, pero muchas cadenas de mando existentes están lejos de ser neutrales. A veces, filtrar para hombres no es realmente filtrar para hombres, sino los comportamientos masculinos que disfrazan la sociopatía.
Dave Harris el

@Lcrmorin Mi oficina está literalmente en cajas en este momento, ya que se está moviendo, incluidos unos setecientos artículos de revistas. El artículo me llamó la atención porque estaba investigando ingenieros de software en ese momento. Eso fue hace doce años, sin embargo. Después de haber realizado investigaciones de campo y capacitado a futuros ingenieros, supongo que las mujeres tienen que recoger los comportamientos masculinos para sobrevivir en un grupo dominado por hombres, pero los hombres no tienen que recoger los comportamientos que las mujeres traen consigo. Mi conjetura es que la diferencia entra a través del proceso de obtención de requisitos.
Dave Harris el

Era principalmente escéptico acerca de la cifra del 40%, que parece ser mucho y no está cerca de lo que la gente, incluido yo, parece experimentar hoy en día.
lcrmorin

5

Para construir un modelo de este tipo, es importante comprender primero algunos aspectos estadísticos básicos de la discriminación y los resultados del proceso. Esto requiere la comprensión de los procesos estadísticos que califican los objetos en función de las características. En particular, requiere comprender la relación entre el uso de una característica para fines de toma de decisiones (es decir, discriminación) y la evaluación de los resultados del proceso con respecto a dicha característica. Comenzamos notando lo siguiente:

  • La discriminación (en su sentido apropiado) ocurre cuando se usa una variable en el proceso de decisión, no solo cuando el resultado se correlaciona con esa variable. Formalmente, discriminamos con respecto a una variable si la función de decisión en el proceso (es decir, la calificación en este caso) es una función de esa variable.

  • Las disparidades en el resultado con respecto a una variable particular a menudo ocurren incluso cuando no hay discriminación en esa variable . Esto ocurre cuando otras características en la función de decisión se correlacionan con la variable excluida. En los casos en que la variable excluida es una variable demográfica (p. Ej., Género, raza, edad, etc.), la correlación con otras características es omnipresente, por lo que cabe esperar disparidades en los resultados entre los grupos demográficos.

  • Es posible tratar de reducir las disparidades en los resultados entre los grupos demográficos a través de la acción afirmativa, que es una forma de discriminación. Si hay disparidades en los resultados del proceso con respecto a una variable, es posible reducir esas disparidades utilizando la variable como una variable de decisión (es decir, discriminando esa variable) de una manera que favorezca a los grupos que están "subrepresentados" (es decir, grupos con menores proporciones de resultados positivos en el proceso de decisión).

  • No puede tenerlo en ambos sentidos: desea evitar la discriminación con respecto a una característica particular o desea igualar los resultados del proceso con respecto a esa característica. Si su objetivo es "corregir" las disparidades en los resultados con respecto a una característica particular, entonces no se engañe a sí mismo con respecto a lo que está haciendo : está participando en una discriminación con fines de acción afirmativa .

Una vez que comprenda estos aspectos básicos de los procesos estadísticos de toma de decisiones, podrá formular cuál es su objetivo real en este caso. En particular, deberá decidir si desea un proceso no discriminatorio, que probablemente genere disparidades de resultados entre los grupos, o si desea un proceso discriminatorio diseñado para producir resultados de proceso iguales (o algo similar a esto). Éticamente, este tema imita el debate sobre la no discriminación versus la acción afirmativa.


Digamos que quiero construir un modelo estadístico para predecir algunos resultados de datos personales, como una clasificación de cinco estrellas para ayudar a reclutar nuevas personas. Digamos que también quiero evitar la discriminación de género, como una restricción ética. Dados dos perfiles estrictamente iguales aparte del género, el resultado del modelo debería ser el mismo.

Es fácil asegurarse de que las calificaciones otorgadas por el modelo no se vean afectadas por una variable que desea excluir (por ejemplo, género). Para hacer esto, todo lo que necesita hacer es eliminar esta variable como predictor en el modelo, para que no se use en la decisión de calificación. Esto asegurará que dos perfiles que sean estrictamente iguales, aparte de esa variable, sean tratados de la misma manera. Sin embargo, no necesariamente garantizará que el modelo no discrimine sobre la base de otra variable que esté correlacionada con la variable excluida, y generalmente no dará lugar a resultados que sean iguales entre los géneros. Esto se debe a que el género está correlacionado con muchas otras características que podrían usarse como variables predictivas en su modelo, por lo que generalmente esperaríamos que los resultados sean desiguales incluso en ausencia de discriminación.

Con respecto a este tema, es útil demarcar entre características que son características de género inherentes (p. Ej., Pis de pie) frente a características que simplemente se correlacionan con el género (p. Ej., Tiene un grado de ingeniería). Si desea evitar la discriminación de género, esto generalmente implicaría eliminar el género como predictor, y también eliminar cualquier otra característica que considere una característica de género inherente . Por ejemplo, si fuera el caso de que los solicitantes de empleo especifiquen si orinan de pie o sentados, entonces esa es una característica que no es estrictamente equivalente al género, pero una opción determina efectivamente el género, por lo que probablemente eliminaría esa característica como predictor en el modelo.

  1. ¿Debo usar el género (o cualquier dato relacionado con él) como entrada y tratar de corregir su efecto, o evitar usar estos datos?

Corregir qué exactamente? Cuando diga "corrija su efecto", voy a suponer que quiere decir que está considerando "corregir" las disparidades en los resultados causados ​​por predictores que están correlacionados con el género. Si ese es el caso, y utiliza el género para tratar de corregir una disparidad de resultados, entonces está participando efectivamente en una acción afirmativa , es decir, está programando su modelo para discriminar positivamente el género, con el fin de acercar los resultados . Si desea hacer esto depende de su objetivo ético en el modelo (evitar la discriminación frente a obtener resultados iguales).

  1. ¿Cómo verifico la ausencia de discriminación contra el género?

Si está hablando de discriminación real, en lugar de meras disparidades en el resultado, esto es fácil de restringir y verificar. Todo lo que necesita hacer es formular su modelo de tal manera que no utilice el género (y las características de género inherentes) como predictores. Las computadoras no pueden tomar decisiones sobre la base de características que no ingresas en su modelo, por lo que si tienes control sobre esto, debería ser bastante simple verificar la ausencia de discriminación.

Las cosas se vuelven un poco más difíciles cuando usas modelos de aprendizaje automático que intentan descubrir las características relevantes por sí mismos, sin tu aporte. Incluso en este caso, debería ser posible que usted programe su modelo para que excluya los predictores que especifique que se eliminarán (por ejemplo, género).

  1. ¿Cómo corrijo mi modelo para los datos que son estadísticamente discriminantes pero que no quiero por razones éticas?

Cuando hace referencia a datos "estadísticamente discriminantes", supongo que solo se refiere a características que están correlacionadas con el género. Si no desea estas otras características allí, simplemente debe eliminarlas como predictores en el modelo. Sin embargo, debe tener en cuenta que es probable que muchas características importantes estén relacionadas con el género. Cualquier característica binaria estará correlacionada con el género en cualquier caso cuando la proporción de machos con esa característica es diferente de la proporción de hembras con esa característica. (Por supuesto, si esas proporciones son cercanas, es posible que la diferencia no sea "estadísticamente significativa"). Para variables más generales, la condición para la correlación no nula también es muy débil. Así,


Una alternativa para eliminar variables correlacionadas sería entrenar modelos separados para hombres y mujeres. La pregunta entonces es ¿cómo usar esos modelos separados?
kjetil b halvorsen

Tedioso. Mientras que hay mérito en la previsión, por ejemplo, supuestos, por ejemplo, "¿Cómo es problemático el sesgo de género?" nadie lo sabe todo y no hay sustituto para verificar los resultados post hoc .
Carl

1
+1 para reflexivo. "Todo lo que necesita hacer es formular su modelo de tal manera que no utilice el género (y las características de género inherentes) como predictores". Eso es fácil de escribir, pero comenzar a crear algoritmos para decisiones sociales como la contratación cuando la sociedad está en medio res significa que cosas como el historial de ingresos , el nivel educativo y la posición anterior son causalmente posteriores al género.
Alexis

4

Esto como máximo será una respuesta parcial (o ninguna respuesta).

Lo primero a tener en cuenta es que estoy completamente de acuerdo con @dsaxton: todos los modelos "discriminan" (al menos en algunas definiciones de discriminación) ya que esa es su función. El problema es que los modelos trabajan en resúmenes y promedios y asignan cosas basadas en promedios. Los individuos solteros son únicos y pueden estar completamente fuera de la predicción.

Ejemplo: considere un modelo simple que predice la clasificación de cinco estrellas mencionada en función de una edad variable . Para todas las personas con la misma edad (digamos 30) producirá el mismo resultado. Sin embargo, eso es una generalización. No todas las personas de 30 años serán iguales. Y si el modelo produce diferentes rangos para diferentes edades, ya está discriminando a las personas para su edad. Digamos que da un rango de 3 para los de 50 años y un rango de 4 para los de 40 años. En realidad, habrá muchas personas de 50 años que son mejores en lo que hacen que 40 años. Y serán discriminados.


  1. ¿Debo usar el género (o cualquier dato relacionado con él) como entrada y tratar de corregir su efecto, o evitar usar estos datos?

Si desea que el modelo arroje el mismo resultado para hombres y mujeres iguales, entonces no debe incluir el género en el modelo. Cualquier información relacionada con el género probablemente debería incluirse. Al excluir tales covariables, puede cometer al menos 2 tipos de errores: 1) suponiendo que todos los hombres y mujeres estén distribuidos por igual en todas las covariables; 2) si algunas de esas covariables correlacionadas con el género son relevantes para la calificación y se correlacionan con el género al mismo tiempo, puede reducir enormemente el rendimiento de su modelo al excluirlas.

  1. ¿Cómo verifico la ausencia de discriminación contra el género?

Ejecute el modelo exactamente con los mismos datos dos veces: una vez con "hombre" y otra vez con "mujer". Si esto proviene de un documento de texto, algunas palabras podrían ser sustituidas.

  1. ¿Cómo corrijo mi modelo para los datos que son estadísticamente discriminantes pero que no quiero por razones éticas?

Depende de lo que quieras hacer. Una forma brutal de forzar la igualdad entre los géneros es ejecutar el modelo en hombres candidatos y mujeres solicitantes por separado. Y luego elija 50% de un grupo y 50% de otro grupo.

Lo más probable es que su predicción se vea afectada, ya que es poco probable que el mejor grupo de solicitantes incluya exactamente a la mitad hombres y la mitad mujeres. ¿Pero probablemente estarías bien éticamente? - De nuevo, esto depende de la ética. Pude ver una declaración ética donde este tipo de práctica sería ilegal ya que también discriminaría por género, pero de otra manera.


¿Por qué no entrenar también por separado?
kjetil b halvorsen

Esto no introduciría otra forma de discriminación: los hombres y las mujeres serían elegidos de acuerdo con diferentes criterios.
Karolis Koncevičius

Quizás, pero valdría la pena intentarlo. También podría mejorar las reglas para los hombres, al no darle a la máquina la salida fácil.
kjetil b halvorsen

"Y luego elige 50% de un grupo y 50% de otro grupo". ¿No conduciría eso a una discriminación positiva cuando hay disparidades en la población original (tanto en términos de número como de perfil)?
lcrmorin

2
@Lcrmorin Sí, por supuesto que sí. Eso es lo que quieren decir con " también discriminaría por género, pero de otra manera " .
Eff

4

Lo que muestra la historia de Amazon es que es muy difícil evitar el sesgo. Dudo que Amazon haya contratado personas tontas para este problema, o que carecieran de habilidades, o que no tuvieran suficientes datos, o que no tuvieran suficientes créditos de AWS para entrenar a un mejor modelo. El problema era que los complicados algoritmos de aprendizaje automático son muy buenos para aprender patrones en los datos, el sesgo de género es exactamente ese tipo de patrón. Hubo sesgo en los datos, ya que los reclutadores (conscientemente o no) favorecieron a los candidatos masculinos. No estoy diciendo aquí que Amazon es una empresa que discrimina a los candidatos a empleo, estoy seguro de que tienen miles de políticas antidiscriminatorias y también contratan reclutadores bastante buenos. El problema con este tipo de prejuicios y prejuicios es que existe, no importa cuánto intentes combatirlo. Hay toneladas de experimentos de psicología que muestran que las personas pueden declarar que no son parciales (por ejemplo, racistas), pero aun así realizar acciones sesgadas, sin siquiera darse cuenta. Pero respondiendo a su pregunta, para tener un algoritmo que no esté sesgado, necesitaría comenzar con datos que estén libres de este tipo de sesgo. Los algoritmos de aprendizaje automático aprenden a reconocer y repetir los patrones que ven en los datos, por lo que si sus datos registran decisiones sesgadas, es probable que el algoritmo aprenda y amplifique ese sesgo.

Lo segundo es administrar los datos. Si desea prohibir que su algoritmo aprenda a tomar decisiones sesgadas, debe eliminar toda la información que ayudaría a discriminar entre grupos de interés (género aquí). Esto no significa eliminar solo la información sobre género, sino también toda la información que podría conducir a la identificación de género, y esto podría ser muchas cosas. Hay nombres obvios como el nombre y la foto, pero también indirectos, por ejemplo, licencia materna en el currículum, pero también educación (¿qué pasa si alguien fue a una escuela solo para niñas?), O incluso antecedentes laborales (digamos que los reclutadores en su empresa no están sesgados , pero ¿qué pasa si todos los reclutadores anteriores fueron parciales, por lo que el historial de trabajo refleja todas esas decisiones parciales?), etc. Como puede ver,

En cuanto a las preguntas 2. y 3., no hay respuestas fáciles y no me siento lo suficientemente competente como para intentar responderlas en detalle. Hay toneladas de literatura sobre prejuicios y prejuicios en la sociedad, y sobre prejuicios algorítmicos. Esto siempre es complicado y, desafortunadamente, no hay recetas simples para esto. Las empresas, como Google, contratan expertos cuyo papel es identificar y prevenir este tipo de sesgo en los algoritmos.


1
Una alternativa para eliminar todo lo que ayude al modelo a discriminar entre (por concreción) el género podría ser entrenar su modelo con el género, luego, al predecir (o lo que sea), ejecute la predicción dos veces, una con cada género, promediando los resultados.
jbowman

@jbowman Da como resultado pocas consecuencias interpretativas y la perpetuación de sesgos incorporados a lo largo del tiempo.
Alexis

El caso de Amazon no muestra de manera concluyente sesgo. Podría ser simplemente el fenómeno conocido como precisión de estereotipo . A veces, los rasgos se correlacionan realmente con las variables demográficas. Aquí hay un ejemplo. Sabes que la persona X es joven y de clase media. ¿Qué posibilidades hay de que cometan un crimen violento? Ahora te doy otra información: su sexo. ¿Esto cambia la probabilidad? Por supuesto. ¿ Eso es parcial ? Por supuesto no. Es lo que se conoce como precisión de estereotipo.
Eff

1
@Eff y así es como ocurre la discriminación ... Las mujeres ganan menos en promedio, ¡así que paguemos menos! El punto de no tener algoritmos discriminativos es que no debe usar dicha información para tomar decisiones, incluso si en promedio parece funcionar. Además, si a menudo funciona debido al prejuicio social (por ejemplo, intentamos pagar más a los hombres, es más probable que los afroamericanos vayan a la cárcel por exactamente el mismo delito en comparación con los estadounidenses de raza blanca, etc.), por lo que el estereotipo es exacto porque existe es estereotipo, no por la naturaleza del grupo estereotipado.
Tim

1
@Tim Nope. Si bien puede haber algo de verdad en lo que estás diciendo, en general no es cierto. Le insto a leer el libro "Percepción social y realidad social: por qué la precisión domina el sesgo y la profecía autocumplida " de Lee Jussim. En este importante libro, el autor básicamente revisa todo el cuerpo de literatura científica sobre estereotipos, prejuicios, profecías autocumplidas, etc. Muestra que la evidencia muestra abrumadoramente que lo que estás describiendo es una minoría de lo que está ocurriendo.
Eff

1
  1. ¿Debo usar el género (o cualquier dato relacionado con él) como entrada y tratar de corregir su efecto, o evitar usar estos datos?

Hay varias implicaciones de esta pregunta que se reducen a lo siguiente: ¿Quiero ser ingeniero social? ¿Un activista cuyo papel es cambiar el status quo porque he decidido que la sociedad está enferma y requiere terapia?La respuesta obvia a esto depende de si ese cambio es beneficioso o no. Por ejemplo, la respuesta a "¿Qué ganaríamos con la igualdad de género para el personal de enfermería?" podría ser que tener al menos un enfermero disponible para insertar sondas urinarias en hombres no requeriría que hasta el 50% de las enfermeras sean hombres. Por lo tanto, el enfoque de ingeniería social examina diferentes culturas, contextos y problemas con sesgo de género conocido, y plantea beneficios funcionales que se pueden obtener de las alteraciones de la (s) causa (s) raíz (s) de ese sesgo. Este es un paso esencial en el proceso de toma de decisiones. Ahora, la respuesta a la pregunta 1. es un rotundo no, es decir, una vez que uno ha decidido que la sociedad necesita ser reparada, simplemente agrega una estrella o fracción (a continuación) a las postulantes, pero tenga mucho cuidado con lo que desea porque esta es una acción afirmativa, que es inherentemente discriminatoria. Cualquier resultado de IA cambiará para reflejar las nuevas normas de contratación, una vez que se establezcan como una nueva norma funcional.

  1. ¿Cómo verifico la ausencia de discriminación contra el género?

Bastante simple, después de que se asignan las calificaciones, uno hace un análisis post hoc para ver cuál es la distribución de las calificaciones para hombres y mujeres y compararlas.

  1. ¿Cómo corrijo mi modelo para los datos que son estadísticamente discriminantes pero que no quiero por razones éticas?

Esto se hace inevitablemente después del hecho, es decir, post hoc . La previsión también es necesaria, pero el tipo de previsión más necesaria es un intento concertado de examinar críticamente cuáles son los supuestos del ingeniero social. Es decir, suponiendo (en aras de la discusión, ver más abajo) que sea justificable sociológicamente para eliminar todo sesgo de género, uno simplemente ajusta las calificaciones femeninas para seguir la misma distribución empírica que los hombres. En el negocio de la enseñanza, esto se llamaría calificación en una curva. Además, supongamos que puede no ser deseable hacer una eliminación completa del sesgo de género (puede ser demasiado perjudicial para hacerlo), entonces uno puede hacer una eliminación parcial del sesgo, por ejemplo, un promedio ponderado por pares de cada hembra nativa calificación y su calificación totalmente corregida, con cualquier peso que uno desee asignar que se considere (o se pruebe que es) menos dañino y / o más beneficioso.

La disparidad de género no se puede alterar adecuadamente mediante la contratación de políticas por sí solas, ya que en algunos campos existe una relativa escasez de candidatas. Por ejemplo, en Polonia, el 14.3% de los estudiantes de TI eran mujeres en 2018, y en Australia el 17% . Una vez contratada, la retención de mujeres en industrias intensivas en tecnología era problemática (las mujeres en puestos de negocios en industrias intensivas en tecnología se van a otras industrias a tasas elevadas: el 53% de las mujeres, en comparación con el 31% de los hombres). Por lo tanto, la satisfacción laboral femenina puede Ser más importante que la política de contratación solo. Primero hay que identificar un beneficio tangible para tener un porcentaje particular de mujeres en el lugar de trabajo, y hay algunos indicios sobre esto, por ejemplo, en 2016, las mujeres en juntas corporativas (16%) tenían casi el doble de probabilidades que sus contrapartes masculinas (9%) de tener experiencia profesional en tecnología entre 518 empresas de Forbes Global 2000. Así, el conocimiento tecnológico parece contribuir más al patrimonio neto femenino que masculino. A partir de esta discusión, debería ser obvio que antes de hacer suposiciones específicas de género, se debe dirigir un esfuerzo sustancial para identificar beneficios concretos más globales de políticas específicas de las cuales la política de contratación es solo una parte pequeña, aunque importante, y probablemente no sea la más importante punto de partida. Esto último es plausiblemente la retención de empleados porque la rotación es mala para la moral y puede ser la causa principal del sesgo de género en la contratación.

Mi experiencia administrativa me ha enseñado que incluso los pequeños cambios en la producción del trabajo (p. Ej., 10-20%) son bastante efectivos para eliminar eventualmente las listas de espera, es decir, no hay necesidad de aumentar inmediatamente la producción al 100% duplicando el número de personal como efecto de eso acortará la lista de espera solo un poco más rápido de lo que lo hará un cambio más pequeño, pero luego será perjudicial ya que el personal posteriormente estará esperando esperando que el trabajo entre por la puerta. Es decir, si uno decide hacer ingeniería social, puede ser perjudicial intentar una corrección completa; No funciona de esa manera. Intente eso con una corrección abrupta del curso en un velero, y uno puede terminar ejercitando sus lecciones de natación. El equivalente para tratar el sesgo de género (si la prescripción se ajusta) sería contratar solo mujeres. Eso resolvería el problema (y crearía otros). Entonces,

En resumen, la ingeniería social efectiva requiere un enfoque holístico para situaciones complicadas, y el simple hecho de identificar que puede haber un problema no nos dice que hay uno, no nos dice qué lo causa, no nos dice cómo corregirlo, y de hecho todo lo que nos dice es que tenemos que ponernos nuestras gorras de pensamiento.

Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.