Programmeurs van Amazon hebben
ontdekt dat de voor haar ontworpen en zelflerende recruitment software niet zo
van vrouwen hield. De voornoemde engine verwerkte cv’s van sollicitanten om zo
‘toptalent’ te scouten, zonder dat hier enige menselijke arbeid voor vereist was.
Hiermee paste de software perfect in het beleid van Amazon, dat zich al jaren inspant
om haar bedrijfsprocessen zo veel mogelijk te automatiseren.
Na verloop van tijd werd
echter duidelijk dat de voornoemde engine niet zo genderneutraal was als van
tevoren gehoopt. De engine verwerkte de gegevens uit de cv’s namelijk over een
periode van 10 jaar, waarbij mannen sneller werden uitgekozen dan vrouwen –
mannen zijn immers in het algemeen gedurende een langere periode werkzaam in de
tech industry.
Aangezien de software
zelflerend was, leerde het zichzelf steeds meer dat mannelijke kandidaten
geschikter zouden zijn dan vrouwelijke. Het frappante daarbij was dat de machine
zich zelfs aanleerde om ‘vrouwelijke’ woorden te blacklisten. Zo werden
kandidaten met cv’s met daarin woorden als ‘women’s’ als in ‘women’s chess club
captain’ weggefilterd, evenals sollicitanten van twee ‘vrouwelijke’ scholen (welke
helaas onbekend zijn gebleven).
Uiteraard was dit voor Amazon
niet het resultaat dat ze van tevoren voor ogen hadden. Na deze ontdekking
heeft Amazon dan ook meteen het project op on
hold gezet. Zij gaf daarbij aan nooit daadwerkelijk gebruikt te hebben
gemaakt van de software voor de selectie van sollicitanten. Hoe dan ook, is het
bovenstaande een goed voorbeeld van hoe technologie – hoe vernuftig het soms
ook kan zijn – niet altijd doet wat men ervan verwacht. Ook is het een mooi
voorbeeld van hoe ‘neutrale’ software lang niet altijd neutraal is. Over dit
laatste blogden we de afgelopen jaren al vaker, bijvoorbeeld in het kader van
Facebook – een platform dat in beginsel neutraal is, maar waarop gepubliceerd
nepnieuws Donald
Trump naar verluidt in de positie van president hebben gebracht.
https://www.solv.nl/weblog/kunstmatige-intelligentie-amazon-hield-niet-zo-van-vrouwen/21643
