Die Algorithmen greifen auf Daten zu, die von Menschen stammen und oft mit Vorurteilen belastet sind. Die Diskriminierung durch Algorithmen wurde in zahlreichen Studien belegt. Da werden Menschen mit Migrationshintergrund als weniger kreditwürdig eingestuft, von Polizeicomputern häufiger verdächtigt oder sie bekommen von sozialen Plattformen Angebote für schlechtere Jobs oder Wohnungen. Microsoft musste eine Chatbot-Software nach kurzer Zeit vom Netz nehmen, weil Nutzer sie dazu brachten, den Holocaust zu leugnen und Schwarze zu beleidigen.
Studie zu Algorithmen von Suchmaschinen
In ihrer Studie analysierten Navid Rekab-Saz und Markus Schedl vom Institut für Computational Perception der Johannes Kepler Universität Linz (JKU) und der Human-centered AI Gruppe des Linz Institute of Technology (LIT) AI Lab Modelle bzw. Algorithmen, die in Suchmaschinen verwendet werden – basierend auf realen Suchanfragen. Sie werden ihre Ergebnisse im Juli bei einer Konferenz über Forschung zur Informationsbeschaffung mit Suchmaschinen (International ACM SIGIR Conference on Research and Development in Information Retrieval) vorstellen.
Verzerrung auf Basis von Vorurteilen
Die Wissenschafter teilen in der Arbeit Suchfragen in zwei Gruppen: Einerseits solche, die geschlechtsneutral sind und Antworten ohne Gender-Bias lieferten. Als Beispiel nennen die Forscher die Frage nach Römischen Kaisern. Die Antwort lieferte zwar nur Männer, weil es aber tatsächlich nur Männer auf den Thron schafften, gibt es auch bei der Antwort keine Verzerrung. Die andere Gruppe bildeten Anfragen, die – zumindest im Englischen – nicht explizit geschlechtsspezifisch sind, etwa die Frage nach dem Einkommen einer Pflegekraft (der Begriff „nurse“ steht im Englischen sowohl für Krankenpfleger als auch für Krankenpflegerin) oder die Frage nach einem Synonym für „schön“. Obwohl diese Fragen geschlechtsneutral sind, warfen die Suchmaschinen vor allem Antworten im Zusammenhang mit Frauen aus, Männer kamen erst weit hinten vor. Umgekehrt liefert etwa die Suche nach „CEO“, also den Geschäftsführer eines Unternehmens, oder „Programmierer“ überwiegend männlich konnotierte Antworten.
Es habe sich gezeigt, „dass gerade die neuesten Deep Learning-Algorithmen eine besonders ausgeprägte geschlechtsspezifische Verzerrung verursachen“, so Rekab-Saz gegenüber der APA. Das habe einige Tragweite, würden doch solche Algorithmen seit kurzem von zwei der größten Suchmaschinen – Google und Bing – eingesetzt.
Von Menschen gesammelte Daten als Basis
Der Grund für die Verzerrung sei, dass jene Systeme, die Deep Learning nutzen, nicht nur nach dem Suchbegriff alleine suchen – also etwa „nurse“ oder „CEO“, sondern auch ähnliche Begriffe oder Themenbereiche. Im Fall „nurse“ würden sie etwa auch „matron“ (Oberschwester) mit einbeziehen. Dadurch tendierten sie zunehmend zur weiblichen Interpretation der Suchanfrage. Der Hintergrund sei, dass die von Menschen gesammelten und aufbereiteten Daten, auf denen die KI basiert, bereits diese Tendenzen beinhalten, „die Suche der KI verstärkt nur den Effekt“, so Rekab-Saz. In ihrer Studie untersuchten die Experten den Geschlechter-Bias, sie sind sich aber sicher, dass solche Effekte auch in anderen Bereichen wie Alter, ethnische Zugehörigkeit oder Religion vorkommen.
Bei Programmierung berücksichtigen
Für die Wissenschafter ist das Ergebnis kein Grund dafür, KI abzulehnen, diese sei ein „enorm wertvolles Werkzeug“. Das Ziel ihrer Gruppe sei es vielmehr, sich die Verzerrung von KI-Ergebnissen durch menschliche Vorurteile bewusst zu machen und bereits bei der Programmierung der Algorithmen zu berücksichtigen. „Deep Learning ist ein Werkzeug, das zwei Seiten hat: Es kann einerseits einen bestimmten Bias intensivieren, wie das aktuelle Studienergebnis zeigt. Andererseits hat es so viel Flexibilität, dass wir auch bessere Modelle designen können, die explizit solche Verzerrungen vermeiden“, so Rekab-Saz.