Satz von Avatar-Symbolen © Aus gutem Grund, stock.adobe.com
© Aus gutem Grund, stock.adobe.com

Künstliche Intelligenz

Künstliche Intelligenz (KI) erweckt Avatare, Alexa, Siri und Co. zum Leben. Algorithmen entscheiden wer was bekommt und wer nicht, etwa bei Verträgen, Krediten oder auch sozialen Leistungen. „Künstliche Intelligenz ist keine ferne Zukunftsvision mehr, sondern bereits in unserem Alltag angekommen“, sagt AK Konsument:innenschützerin Daniela Zimmer. „Sie kann unser Leben erleichtern, birgt aber auch Gefahren. Und die werden gerne unterschätzt.“ 

Eine Studie, die die AK beim Institut für Technikfolgen-Abschätzung (ITA) der Österreichischen Akademie der Wissenschaften in Auftrag gegeben hat, zeigt: Über die Chancen von Künstlicher Intelligenz wird viel geredet, über die Schattenseiten für Konsument:innen weniger. KI wird gerne als Allheilmittel für individuelle oder genauere Prognosen und unvoreingenommene Entscheidungen gehypt. Die Nebenwirkungen können für Grundrechte, Freiheiten und Demokratie gefährlich sein. 

AK Studienautor Walter Peissl: „Die Interessen von Konsumentinnen und Konsumenten kommen sowohl in der Entwicklung als auch der Regulierung von KI zu kurz. Transparenz über die verwendeten Algorithmen ist nötig und möglich. Die Verantwortung muss beim Menschen bleiben – wo dies aufgrund unklarer Transparenz nicht möglich ist, sollte auf einen Einsatz von KI verzichtet werden.“ 

„Die EU regelt gerade den Rechtsrahmen für ein KI-Gesetz, vergisst aber dabei auf die Konsumentinnen und Konsumenten. Das geht gar nicht!“, kritisiert Zimmer. „KI kann nützlich, aber auch sozialer Sprengstoff sein, wenn etwa ein von KI errechneter Zahlenwert Lebenschancen verringert. Daher brauchen Konsumentinnen und Konsumenten Schutz vor einer Aushöhlung ihrer Grund- und Freiheitsrechte, vor Intransparenz, Diskriminierung und sonstigen Schadensrisiken, die von Analysesoftware ausgeht.

Der Entwurf muss dringend nachgebessert werden: Transparenz, vorsorgliche Zertifizierung durch unabhängige Dritte und Rechtsschutz durch Schlichtungsstellen und eine Verbandsklagsbefugnis sind nötig. Bei KI-Tests sollte es auch möglichst keine Versuchskaninchen wider Willen geben. Geht es nämlich nach den Mitgliedstaaten könnten im öffentlichen Interesse für die Gesundheit, Umwelt, Qualität der Verwaltung oder Verhinderung und Verfolgung von Straftaten jedermanns persönliche Daten benutzt werden, um damit KI vor der Marktreife in sogenannten „Sandkästen“ zu testen.“

Künstliche Intelligenz weckt Hoffnungen, kann auch sehr schaden

Die AK hat beim Institut für Technikfolgen-Abschätzung (ITA) der Österreichischen Akademie der Wissenschaften eine Studie „Künstliche Intelligenz – Verstehbarkeit & Transparenz“ in Auftrag gegeben.  

Die AK Studie zeigt: KI weckt Hoffnungen, kann aber auch gefährliche Risiken und Nebenwirkungen haben. Sie ist in fast allen Lebensbereichen einsetzbar. Die EU beschwört eine Welt „in der der Mensch im Mittelpunkt von KI steht“. KI mag zu Wirtschaftswachstum beitragen, da und dort sicherer machen, indem riesige Datenmengen durchkämmt und Fehler rasch erkannt werden. Sie liefert aber auch jede Menge Konfliktstoff. Algorithmen entscheiden über das Schicksal von Menschen, richten darüber, wer etwas bekommt und wer nicht (etwa einen Vertrag, Ausbildungsplatz, bessere Versicherungskonditionen, staatliche Leistungen, vorteilhafte Gerichtsentscheidungen).

„Den vielen Facetten des Menschseins wird KI nicht gerecht. KI dringt in viele Bereiche des Lebens ein und errechnet anhand statistischer Korrelationen Lösungen, für die sie keine Gründe nennt“, kritisiert etwa der Philosoph Richard David Precht in seinem Buch „Künstliche Intelligenz und der Sinn des Lebens“ und folgert: „Entscheidungen ohne nachvollziehbare Begründung sind aber zutiefst undemokratisch.“ 

„Intransparente oder als unfair empfundene KI-Entscheidungen können die Gesellschaft spalten und die Demokratie gefährden“, warnt auch Zimmer  

Künstliche Intelligenz – was ist das überhaupt?

Was zur (regulierungsbedürftigen) KI zählt, ist heiß umstritten. Algorithmische Systeme können stur vorprogrammierten Entscheidungsregeln folgen oder auch selbstlernend sein. Meist wird maschinelles Lernen als ein Teilbereich der KI verstanden, der datengetriebene, automatisierte „Lernprozesse“ von Algorithmen in den Mittelpunkt stellt: Algorithmen analysieren Daten, lernen davon und wenden das Gelernte auf neue Daten oder Sachverhalte an, um informierte Entscheidungen zu treffen. Sie verbessern sich quasi mit zunehmender Erfahrung. Expert:innen beschreiben KI als … 

… Software, die Muster erkennen kann. KI bekommt Informationen über Personen und deren Verhalten und benutzt eine Handlungsanweisung (einen Algorithmus), um aus dieser Information eine einzige Zahl zu erzeugen. Diese Zahl ist die eigentliche Entscheidung.

… reine Statistik – bis auf Weiteres – ohne Potenzial zu ethischen Entscheidungen! Denn landläufige Definitionen von menschlicher Intelligenz umfassen neben kognitiven Fähigkeiten immer auch Bewusstsein, Empathie oder soziales Lernen, die von Maschinen (bislang) nicht bewältigt werden können.

… Werbebegriff, denn KI existiere nicht. Es gäbe nur „leistungsfähige Statistiksysteme, denen durch einen attraktiven Namen eine gewisse Magie zugesprochen wird.“ (Geuter, Jürgen 2018, Nein, Ethik kann man nicht programmieren, Zeit Online)

Black Box für Konsument:innen, dummerweise auch für Nutzer:innen

KI-Entwicklung ist von der Verfügbarkeit von Daten als zentraler Ressource für Trainingszwecke und die tatsächliche Ausführung ihrer Funktion abhängig. Datensparsamkeit – ein Rechtsgrundsatz der Datenschutzgrundverordnung – wird dabei entsorgt. Die EU fördert den Zugriff auf Daten von öffentlichen Stellen und Konsument:innen. 

Wie Algorithmen funktionieren, ist nicht einfach nachzuvollziehen. Maschinelle Lernsysteme programmieren sich selbst um, treffen Entscheidungen und finden Muster mit einer internen Logik, die selbst Entwickler:innen oft nicht verstehen. Neuronale Netze sind ebenso undurchsichtig wie unser Gehirn. Anstatt das Gelernte in ordentlichen Blöcken des digitalen Gedächtnisses zu organisieren, verbreiten sie Informationen auf eine Weise, die schwer zu entschlüsseln ist (Castelvecchi 2016). Vorstellen kann man sich den Vorgang als riesige Anzahl von Schichten und Parametern (Millionen oder sogar Milliarden), die Infos aus den Eingabedaten enthalten und miteinander in Beziehung setzen. Wie das System zu seinen Vorhersagen oder Empfehlungen kommt, ist unklar. Erklärbarkeit von KI stößt somit derzeit noch oft an ihre Grenzen. Fehler sind schwer aufzuspüren. 

Peissl: „Entscheidend sind die Folgen. Auf die genaue Technik, die Softwareschmieden nutzen, kommt es eigentlich nicht primär an. Regelungen haben bei den Folgen – den individuellen wie sozialen – anzusetzen. Relevant ist, wie und mit welchen Folgen KI im Konsum-/Arbeits-/Behörden-Alltag eingesetzt wird. Denn unser sozialer Umgang miteinander wird durch KI massiv umgestaltet. Eine auf selbsterlernte Systeme abgestellte Definition von KI ignoriert die Gefahren, die durch längst etablierte algorithmische Entscheidungssysteme Konsument:innen/Bürger:innen schon derzeit blühen. Man denke an Bonitätscores bei der Kreditvergabe und die Wahrscheinlichkeitswerte für die Vermittlung von Arbeitslosen durch den sogenannten ‚AMS-Algorithmus‘. Wer KI oder ADMs bewertet, muss deshalb immer die technischen und sozialen Komponenten prüfen!“ 

Das AMAS-System des AMS ist ein statistisches Verfahren, keine KI im engeren Sinne. Um knappe Ressourcen zu verteilen, werden Menschen mit ähnlichen Eigenschaften drei Gruppen zugeordnet, wobei die mittlere die meisten Förderungen erhält. In der Praxis sollen zwar bis zu 90 Prozent der kategorisierten Personen weiterhin einen vollen Zugang zu allen Förderungen haben und auch die Datenschutzkonformität des Algorithmus wird vom Verwaltungsgerichtshof noch geprüft. Dennoch zeigen derartige Beispiele: Auch wenig komplexe (etwa klassische statistische) Verfahren können sich auf Betroffene nachteilig auswirken und sollten auch reguliert werden.

Künstliche Intelligenz hier und jetzt

Online-Handel – der berechenbare Mensch

Beim Verhaltensmonitoring und Vorschlagsystemen, etwa Musik- oder Filmstreaming oder bei digitalen Assistent:innen wie Alexa wird künftiges Verhalten errechnet. Konsument:innen werden als berechenbare Einheiten und nicht als facettenreiche Menschen wahrgenommen, um Marketing und Lagerhaltung gewinnträchtig zu verbessern. Sie wissen meist nichts über den KI-Einsatz. Personalisierte Werbung kann vulnerable Gruppen zu übermäßigem Konsum verleiten, wenn sie etwa Menschen in Not ausfindig und falsche Versprechen macht.  

Suchmaschinen & Sozial Media – Demokratie gefährdet

Empfehlungen sind keine „neutralen“ Ausschnitte aus der Infoflut, sondern unterstützen mit Microtargeting eine bestimmte Weltsicht, die in Filterblasen mit Gleichgesinnten geteilt wird. Die einschneidenden Auswirkungen auf Demokratien (z.B. Wahl des US-Präsidenten 2016 und Referendum zum Brexit 2016) sind bekannt. Die Auswahl-Algorithmen verlängern durch die Bevorzugung stark polarisierender Inhalte unsere Verweildauer, um den Wert der geschalteten Werbeeinnahmen zu erhöhen. Die abnehmende Diskursqualität führt zu Polarisierung und gefährdet damit grundlegende Aspekte des Zusammenlebens in demokratischen Gesellschaften. 

Recruiting – Eingriff ins Leben

Da für Unternehmen viel davon abhängt, die richtigen Mitarbeiter:innen einzustellen, wird mit Hilfe von KI versucht, die Personalbeschaffung effizienter zu gestalten. Software analysiert und priorisiert Bewerbungstexte, Roboter führen Einstellungsgespräche. KI „skaliert den Durchsatz“, kann also pro Zeiteinheit ungleich mehr Bewerber:innen analysieren, womit in viel mehr Lebenschancen eingegriffen wird und ein hohes Schadenspotenzial besteht. 

Staatliche Leistungen – Grundrechte gehen „flöten“

Besondere Verantwortung trifft den Staat, wenn in großem Stil mit KI die öffentliche Verwaltung effizienter gestaltet werden soll und beispielsweise Sozialhilfe oder andere Transferleistungen betroffen sind. Die australische und niederländische Regierung nützen Software, die abschätzt, ob Bürger:innen zu viel Sozialleistungen beziehen. Massenhafte Fehlbeurteilungen waren die Folge. Die Vorteile derartiger Systeme – Schnelligkeit und Skalierbarkeit – bringen grobe Nachteile mit sich. Auch Fehler im System werden beschleunigt und vermehrt. Software fehlt die Flexibilität, auf unerwartete Details adäquat zu reagieren. Algorithmen arbeiten eine vorgegebene Entscheidungslogik konsistent und zuverlässiger als der Mensch ab. Weicht ein Einzelfall von typischen Mustern ab, sind starre Regeln ein Bumerang. Gerade im Sozialsystem brauchen ungewöhnliche Einzelfälle oft am nötigsten Unterstützung. 

Gesundheit – ethische Grundsätze bedroht

KI wird bei Diagnosen und Therapien eingesetzt, um Empfehlungen effizienter zu gestalten, auch mit existenziellen Folgen. Vor allem bei der Auslagerung von Triage-Entscheidungen an KI – so wie das etwa zu Höhepunkten der Corona-Epidemie in einigen Ländern angedacht war – stellen sich ethische sowie soziale Probleme. Aber auch andere Trends sind mit der Menschenwürde unvereinbar: beispielsweise auf Mittelwerte gestützte, statt an den Einzelfall angepasste Maßnahmen; eine zunehmende Unterwerfung der Menschenwürde unter ökonomische Nutzenerwägungen … 

Social Sorting durch Scoring - Freiheit beschränkt

Werden online oder reales (Kauf)Verhalten und Vorlieben zusammengefügt und daraus individuelle Profile und soziale Kategorien entworfen, kann Verhaltenssteuerung und Überwachung von Bürger:iinnen/Konsument:innen freiheitsbeschränkende Ausmaße annehmen. Begonnen haben diese Praktiken mit der Schuldner:innen-Bewertung zur Absicherung von Kreditgeschäften. Mittlerweile werden KI-Beurteilungen von menschlichen Eigenschaften und Verhaltensweisen in vielen Lebensbereichen angewandt. So wird etwa das Webcam-Material von Online Prüfungen an einer deutschen Hochschule automatisiert bewertet. Stellen, an denen der Algorithmus Betrug vermutet, werden für die Prüfer:innen markiert (Proctoring Hochschule überwacht Studierende bei Online-Klausuren (netzpolitik.org)).  

Die extremste Ausformung stellt das chinesische Sozialkreditsystem dar. Der EU-Entwurf zu einem KI-Gesetz versucht solchen Entwicklungen zwar einen Riegel vorzuschieben: Behörden dürfen die Vertrauenswürdigkeit von Personen nicht anhand ihrer Eigenschaften oder ihres sozialen Verhaltens bewerten. Die Beschränkungen sind aber löchrig: geht es nach der EU-Kommission gelten sie nicht für Unternehmen und auch gegenüber KI-nutzenden Behörden muss glaubhaft gemacht werden, dass die Schlechterstellung einer Person oder Gruppe „ungerechtfertigt“ bzw „unverhältnismäßig“ ist. 

EU-Entwurf zu Künstlicher Intelligenz muss schärfer werden!

Die EU Kommission legte bereits im April 2021 einen Entwurf zu einem Künstlichen Intelligenz-Gesetz vor und diskutiert gerade über einen Rechtsrahmen. Laut EU muss KI vertrauenswürdig sein. In ihrem KI-Weißbuch beschrieb sie abschreckende Bedrohungsszenarien (Personenschäden, Missbrauch zu kriminellen Zwecken …). „So richtig dieser Befund, so enttäuschend der Entwurf“, sagt Zimmer.  

Was der EU Entwurf zum KI Gesetz regelt – was die AK kritisiert:

Laut EU-Entwurf darf es für Entwickler:innen und Nutzer:innen keine „Bürden“ geben. Er regelt nur ganz wenige, als hochriskante eingestufte Fälle (darunter biometrische Fernidentifikation, Bildung, Beschäftigung, staatliche Leistungen, Justiz und Strafverfolgung). Transparenz im KI-Gesetz gibt es nur für Entwickler:innen, Produzent:innen und kommerzielle Nutzer:innen.  

Zimmer: „Auf Konsumentinnen und Konsumenten und Bürgerinnen und Bürger wurde vergessen. Auch der Rechtsschutz für Betroffene spielt im Entwurf keine Rolle. Das geht gar nicht.“ 

Der EU-Entwurf bagatellisiert viele Risiken, was nicht als „hochriskant“ eingestuft ist, bleibt unreguliert. Aber auch in hochriskanten Fällen sind Betroffene unzureichend geschützt, weil sich Hersteller:innen in der Regel ohne Zuziehung unabhängiger Dritter einfach selbst prüfen dürfen.   

Zimmer: „Unser Alltag wird in viel größerem Maß von automatisierten Verfahren beeinflusst als der Entwurf zugesteht. Dieser zählt nur Bonitätscorings und biometrische Fernüberwachung zu den hochriskanten Anwendungen. Konsumentinnen und Konsumenten werden algorithmisch bewertet bei Krankenversicherungen in Bezug auf ihre Gesundheit, für zielgerichtete Werbung, Inhaltsempfehlungen oder Missbrauchsprävention bei Onlinediensten. Auch als Nutzerinnen und Nutzer „smarter“ Geräte können sie mit Intransparenz, Grundrechtsverletzungen, Benachteiligung und Verhaltensmanipulation konfrontiert sein. KI kann dazu dienen, das Alltagsverhalten von Konsumentinnen und Konsumenten massenhaft zu überwachen, aus bereits anonymisierten Datensätzen Einzelpersonen wiedererkennen, als Informationsfilter Meinungsvielfalt und -freiheit zu bedrohen und Personen, Prognosen und Klasseneinteilungen auszusetzen, die sie benachteiligen.“

Sogenannte Sandkästen“ oder „Reallabore“ machen Konsument:innen zu Versuchskaninchen:  Unternehmen können bereits vor der Marktreife von KI in sogenannten „Sandkästen spielen“, ohne die am Markt geltenden Rechtsregeln beachten zu müssen – beaufsichtigt von einer Behörde und wo geeignet vom EU-Datenschutzbeauftragten. Braucht man dafür personenbezogene Trainingsdaten, muss der Sandkasten im öffentlichen Interesse sein und der Gesundheit, Umwelt, der öffentlichen Verwaltung oder – eine eigene Rechtsgrundlage vorausgesetzt – auch zur Vorbeugung oder Verfolgung von Kriminalität dienen. 

Zimmer: „Es muss klar geregelt sein, dass Betroffene bei derartigen Tests auch der Nutzung aller ihrer Daten zustimmen müssen. Bevor KI auf den Markt kommt, sind potenziell Betroffene in die Gestaltungsprozesse von algorithmischen Entscheidungssystemen oder KI miteinzubeziehen. Nur so geht sozialverträgliche KI.“ 

EU-KI-Gesetz dringend nachbessern

„Die Verhandlungen zum EU-KI-Gesetz laufen derzeit in die völlig falsche Richtung“, sagt Zimmer. „Wir setzen uns mit Nachdruck dafür ein, dass Konsumentinnen und Konsumenten vor einer Aushöhlung ihrer Grund- und Freiheitsrechte, Intransparenz, Diskriminierung und sonstigen Schadensrisiken, die von Analysesoftware ausgeht, geschützt werden. Automatisierte Entscheidungen müssen für Betroffene einen Sinn machen. Konsumentinnen und Konsumenten müssen sie nachvollziehen und verstehen können, damit sie Entscheidungen auch bekämpfen können.“

Konkret verlangt die AK:

  • Regeln statt freiwillige Selbstverpflichtungen: Ein abgestufter, verpflichtender Rechtsrahmen ist für alle KI-Risikoklassen nötig. Freiwillige Selbstverpflichtungen sind ungeeignet, um Verbraucherrechte zu schützen und Vertrauen zu stärken.
     
  • Rechte festmachen: Für Betroffene müssen Rechte verankert werden. Dazu zählen etwa das Recht auf Information, Auskunft, Selbstbestimmung in Bezug auf die Möglichkeit, KI-Analysen und Entscheidungen basierend auf persönlichen Daten auch abzulehnen sowie Beschwerderechte.

  • Ganz statt lückenhaft verbieten: Gesellschaftlich unerwünschte KI-Systeme müssen ausnahmslos verboten werden statt lückenhafte Verbote für nur wenige Spielarten von Social Scoring, biometrischer Fernüberwachung und Verhaltensmanipulation.

  • Risiken konkret benennen: Die Risiken, die Hersteller:innen und Nutzer:innen ausschließen bzw. minimieren müssen, sind konkret zu benennen. So sollen zwar die Hersteller:innen und kommerziellen Anwender:innen von KI Gefahren für die Sicherheit, Gesundheit und Grundrechte minimieren. Dabei ist weder ein allgemeines Diskriminierungsverbot verankert noch genau normiert, in welchem risikofreien oder -behafteten Zustand KI auf den Markt gelangen darf.
     
  • Schließen von Schlupflöchern: In der Datenschutzgrundverordnung müssen Schlupflöcher geschlossen werden, die die Datenschutzrechte bei automatisierten Einzelentscheidungen völlig unzureichend regelt.
     
  • Unabhängige Behörde soll zertifizieren: KI-Zertifizierung muss ausnahmslos durch unabhängige Behörden statt bloßer Selbstzertifizierung durch die Hersteller erfolgen.
     
  • Keine Versuchskaninchen: Es darf nicht in „KI-Reallaboren“ vor der Marktreife von KI herumexperimentiert werden, ohne Regeln zu beachten. Betroffene müssen auch in dieser Phase miteinbezogen werden.
     
  • Keine Versuchskaninchen: Es darf nicht in „KI-Reallaboren“ („sandboxes“) vor der Marktreife von KI mit personenbezogenen Daten herumexperimentiert werden, ohne die Zustimmung der Betroffenen einzuholen (bei sehr wichtigen öffentlichen Interessen könnte die Datenschutzbehörde diese Zustimmung erteilen).
     
  • Rechtsschutz haben: Mithilfe einer Verbandsklagsbefugnis für Verbraucherverbände könnten Verstöße mit Wirkung für alle betroffenen Konsument:innen abgewehrt werden.
  • © 2022 Bundesarbeitskammer | Prinz-Eugen-Straße 20-22 1040 Wien, +43 1 501 65

  • Impressum
  • Datenschutz