Diskriminierung wird in der Wikipedia definiert als „Benachteiligung oder Herabwürdigung von Gruppen oder einzelnen Personen nach Massgabe bestimmter Wertvorstellungen oder aufgrund unreflektierter, z. T. auch unbewusster Einstellungen, Vorurteile oder emotionaler Assoziationen.“ Und egal ob Einkommensunterschieden zwischen Männern und Frauen oder im Umgang mit gesellschaftlichen Minderheiten – die systematische Ungleichbehandlung lässt sich trotz aller Bemühungen nur beenden.
Ein Team von Wissenschaftlern rund um die Verhaltensökonomen Sendhil Mullainathan und Cass R. Sunstein entwickelte nun ein System, um den Nachweis von Diskriminierung über Algorithmen zu vereinfachen. Mit Hilfe eines Fünf-Punkte-Plans wurde das US-amerikanische Justizsystem untersucht, das bereits ein komplexes System entwickelt hat, um diskriminierende Urteile aufzudecken. Für ein Rechtssystem ist es essenziell, Entscheidungsgrundlagen zu erkennen. Die betreffenden Algorithmen müssen daher mit Bedacht entwickelt werden, denn
Algorithms do not build themselves. The Achilles’ heel of all algorithms is the humans who build them and the choices they make about outcomes, candidate predictors for the algorithm to consider, and the training sample. A critical element of regulating algorithms is regulating humans. Algorithms change the landscape – they do not eliminate the problem.
Laut den Wissenschaftlern ist es verlockend zu glauben, menschliche Entscheidungen wären transparent und Algorithmen undurchsichtig. Doch laut ihrer Untersuchung ist zumindest im Zusammenhang mit Diskriminierung das Gegenteil der Fall: Algorithmen erzeugen weitaus mehr Klarheit und Transparenz über die Grundlagen von Entscheidungen. Das bedeutet eine grosse Chance, denn rein menschliche Entscheidungsfindungen tendieren stark in Richtung Ungleichbehandlung.
Daten helfen bei der Früherkennung von Diskriminierung
Zwei Beispiele: Studien des US-amerikanischen Immobilienmarktes zeigen, dass Kreditnehmer aus Minderheiten anders behandelt werden als weisse Kunden. Eine Verzerrung ist auch im Gesundheitssektor zu beobachten, dessen Ausgaben 18 Prozent des US-amerikanischen BIP beanspruchen. Wurden beispielsweise Ärzten zwei ähnliche Krankengeschichten gezeigt, waren die Chancen für ein vielversprechendes Heilverfahren, etwas das Einsetzen eines Herzkatheters, für Frauen und Minderheiten um 40 Prozent geringer als bei weissen Männern.
Für diese und andere Fallbeispiele stehen durch die Digitalisierung immer mehr Daten zur Verfügung: Wie haben die Verantwortlichen in der Vergangenheit diese Entscheidungen getroffen haben, welche Eigenschaften prägen diese Personen, wie war das Umfeld der Entscheidung, und welche Folgen hat diese? Diese Daten machen es zunehmend möglich, statistische Vorhersagemodelle aufzubauen, um bereits vorhandene Diskriminierung zu erkennen und möglichst zu beseitigen.
Für die Forscher sind Algorithmen und Künstliche Intelligenz damit ausserordentlich vielversprechend im Kampf gegen Ungleichbehandlung:
They have the potential to make important strides in combating discrimination, at least as the legal system has long understood it. But principles of transparency and auditability, fair and nondiscriminatory choice of data, and reasonable algorithmic objective are essential, not least to help understand and select the tradeoffs that people use algorithms to make.