Kritik an KI-generierten „Verdachtswerten“

(Diese Meldung ist eine Übernahme von Multipolar)

Mehrere Organisationen klagen vor dem höchsten französischen Gericht dagegen, dass die Familienabteilung des französischen Sozialsystems einen Algorithmus zur Risikobewertung nutzt, um gegen Sozialleistungsbetrug vorzugehen. Darauf macht die von der Bundesregierung geförderte Organisation „AlgorithmWatch“ aufmerksam. Demnach werden die Daten von über 32 Millionen Menschen analysiert. Die errechneten Verdachtswerte erhöhen sich beispielsweise bei geringem Einkommen oder Arbeitslosigkeit. „AlgorithmWatch“ klagt dagegen mit 24 Organisationen vor dem französischen Conseil d’État, dem Pendant zum Bundesverfassungsgericht. Die Organisationen wünschen sich eine Weiterleitung an den Europäischen Gerichtshof. Eine erste Entscheidung wird laut „AlgorithmWatch“ im Frühjahr erwartet.

Gegenüber Multipolar erklärt Kilian Vieth-Ditlmann von „AlgorithmWatch“, dass der Fall auch für Deutschland relevant sei: „Die schwarz-rote Bundesregierung will extrem stark auf KI setzen, quer durch die ganze Verwaltung.“ Das Bundesarbeitsministerium hingegen betont: „Die Bundesagentur für Arbeit und die Jobcenter nutzen keinen Risikobewertungsalgorithmus, der jeder Person, die Sozialleistungen erhält, einen Verdachtswert für einen möglichen Sozialleistungsbetrug zuweist.“ Laut „AlgorithmWatch“ sollen die Rechtsgrundlagen für KI-Nutzung in der Verwaltung in Deutschland allerdings reformiert werden. Hierum gehe es auch bei der angekündigten Sozialstaatsreform. Wie das Arbeitsministerium gegenüber Multipolar betont, sei ein Risikobewertungsalgorithmus nicht Teil der Empfehlungen der Sozialstaatskommission. Allerdings empfiehlt die Kommission, „Prozesse der Sozialverwaltung auch unter Nutzung von Künstlicher Intelligenz verstärkt zu automatisieren und hierfür Rechtssicherheit zu schaffen”. Empfohlen wird weiter, den Sozialdatenschutz zu vereinfachen und „digitaltauglich” zu gestalten. Dass bei der Arbeitsagentur bereits KI eingesetzt wird, geht aus einer Pressemitteilung vom Juni 2024 hervor. Demnach prüft eine KI bei der Familienkasse die Echtheit vorgelegter Studienbescheinigungen.

Laut „AlgorithmWatch“ will das Arbeitsministerium der Familienkasse erlauben, Kindergeldansprüche von Volljährigen mithilfe von KI zu prüfen. Konkretes sei bisher nicht öffentlich, erklärt Kilian Vieth-Ditlmann. Das sei ein Problem: „Die Öffentlichkeit kann den Einsatz von KI in der Verwaltung meist nicht nachvollziehen.“ Das betrifft allerdings nicht nur die Verwaltung. Im Mai 2023 machte die Bundesanstalt für Finanzdienstleistungsaufsicht (Bafin) darauf aufmerksam, dass immer mehr Banken bei der Kreditvergabe Künstliche Intelligenz nutzen, ohne dass die Kunden dies bemerkten.

In dem von „AlgorithmWatch“ unterstützten Gerichtsverfahren geht es unter anderem um die Frage, ob die Datenverarbeitung durch die Familienkasse Caisse Nationale d’Allocation Familiale mit der europäischen Datenschutz-Grundverordnung (DSGVO) vereinbar ist. Nach Ansicht der klagenden Organisationen ist dies nicht der Fall. Die DSGVO schränke automatisierte Entscheidungen stark ein, wenn sie Menschen betreffen und eine rechtliche Wirkung entfalten, erklärt Estelle Pannatier von „AlgorithmWatch“ auf Anfrage von Multipolar. Bei Entscheidungen über Sozialleistungen müssten angemessene Maßnahmen zur Wahrung der Grundrechte greifen. Nach Informationen von „AlgorithmWatch“ möchte die EU-Kommission diese Beschränkungen lockern. Laut Berichten soll künftig neu definiert werden, was personenbezogenen Daten sind. Pseudonymisierte Daten, bei denen Klarnamen durch Codes ersetzt werden, sollen nach dem Willen der EU-Kommission nicht mehr unter die DSGVO-Regeln fallen.

Zur Frage, ob es datenschutzrechtlich möglich wäre, in Deutschland Risikobewertungsalgorithmen wie in Frankreich einzusetzen, erklärt das Arbeitsministeriums: „Inwieweit die Verarbeitung von Sozialdaten zulässig ist, die mit Risikobewertungen und Zuteilungen von Verdachtswerten an einzelne Personen verbunden wäre, hängt unter anderem davon ab, ob die Verarbeitung für die Aufgabenerfüllung der Bundesagentur für Arbeit und der Jobcenter erforderlich wäre.“ Grundsätzlich würden für automatisierte Datenauswertungen „weitergehende Rechtfertigungsanforderungen” gelten. Die hingen von der Eingriffsintensität ab. Das Ministerium verweist auf ein Urteil des Bundesverfassungsgerichts vom 16. Februar 2023. „Ermöglicht die automatisierte Datenanalyse oder -auswertung einen schwerwiegenden Eingriff in die informationelle Selbstbestimmung, ist dies nur unter den engen Voraussetzungen zu rechtfertigen, wie sie allgemein für eingriffsintensive heimliche Überwachungsmaßnahmen gelten“, heißt es darin. Das Ministerium erklärt weiter, laut der DSGVO dürfe eine betroffene Person grundsätzlich nicht einer ausschließlich auf automatisierter Verarbeitung beruhenden Entscheidung unterworfen werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie erheblich beeinträchtigt.

Nach Kenntnissen von „AlgorithmWatch“ stellte die französische Familienkasse 2024 Betrugsfälle im Umfang von 449 Millionen Euro fest. Ausgegeben wurden rund 100 Milliarden Euro. Nach Ansicht von Kilian Vieth-Ditlmann zeigen diese Zahlen, wie unverhältnismäßig das Bewertungsverfahren ist. Generell stehe Sozialbetrug zu stark im Fokus: „Würde man das Risiko von Erbschaftssteuerbetrug algorithmisch berechnen, gerieten ganz andere Bevölkerungsgruppen ins Visier und der Aufschrei wäre erheblich.” Laut Bundesarbeitsministerium wurden 2025 rund 130.000 Verfahren wegen Verdacht auf Sozialleistungsmissbrauch eingeleitet. In bisher rund 20.000 Fällen bestätigte sich der Verdacht demnach nicht.