Eigentlich sollte KI im Recruiting für mehr Fairness sorgen. Schließlich haben Maschinen weder Vorurteile noch schlechte Tage. Und schon gar keine unbewussten Sympathien für Bewerber, die zufällig denselben Fußballverein mögen wie der Hiring Manager. So zumindest lautet das Versprechen der Branche. Die Realität sieht jedoch etwas anders aus. Denn wer genau hinschaut, stellt fest, dass die Probleme nicht zufällig entstehen, sondern in der Architektur dieser Systeme selbst begründet sind.
Proxy-Diskriminierung: kein Bug, sondern Feature
Wer verstehen will, warum KI-basierte Screening-Systeme systematisch diskriminieren können, kommt an einer Studie nicht vorbei, die das Phänomen „Proxy-Diskriminierung“ direkt beim Namen nennt: „Proxy Discrimination in the Age of Artificial Intelligence and Big Data“ von Prince und Schwarcz. Die Kernthese: Wenn ein geschütztes Merkmal – etwa Geschlecht, Herkunft oder Alter – Vorhersagekraft für das Auswahlziel aufweist, die nicht durch andere Variablen vollständig abgedeckt wird, ist Proxy-Diskriminierung durch KI im wahrsten Sinne des Wortes praktisch vorprogrammiert.
Das mag abstrakt klingen, ist im Kern aber einfach: Entzieht man einer KI z. B. das Merkmal „Geschlecht“, sucht sie sich die gleiche Vorhersagekraft über Umwege – etwa über Wortwahl, Bildungswege, Vereinsmitgliedschaften oder eine beliebige Kombination aus hunderten anderer Signale. Das Problem: Verbietet man der KI den offensichtlichen Stellvertreter, nimmt sie einfach den nächsten, und der ist in der Regel weniger intuitiv erkennbar. Das Modell optimiert, und solange es im Datenraum fündig wird, optimiert es munter weiter. Das geschieht nicht etwa aus Absicht, sondern weil es schlicht jedes Muster nutzt, das die Trefferquote verbessert. Ganz egal, ob das fair ist oder nicht.
Amazon hat dies bereits 2018 mustergültig vorgeführt: Das konzerneigene Recruiting-Tool diskriminierte Frauen, obwohl das Geschlecht explizit...
