KI Risikogruppe 2: Hohes Risiko
KI-Systeme mit einem hohen Risiko können eine erhebliche Gefahr für Gesundheit, Sicherheit, oder Grundrechte darstellen. Dazu zählen beispielsweise Systeme die in folgenden Bereichen eingesetzt werden:
Foto:
tonstock / stock.adobe.com (mithilfe von KI generiert)
Das Wichtigste in Kürze:
- Mit dem AI Act, der neuen europäischen KI-Verordnung, gibt es erstmalig einen Rechtsrahmen speziell für Künstliche Intelligenz.
- Die Verordnung soll einen ausgewogenen Ausgleich zwischen Nutzen und Risiken von KI schaffen.
- Je höher das Risiko für die Gesundheit, Sicherheit oder Grundrechte ist, desto strenger sind die Vorgaben.
On
Spätestens seit ChatGPT sind die Möglichkeiten von Künstlicher Intelligenz (KI) in aller Munde. Dass KI einen weitreichenden Einfluss auf den Alltag aller Verbraucher:innen hat, steht außer Frage. Neben vielen Vorteilen gehen mit dem Einsatz der neuen Technologie aber auch Risiken einher, welche die EU früher regulieren will.
Ziel des AI-Acts ist es, Fortschritt und Entwicklung der Technologie zu ermöglichen, gleichwohl aber bestehende Risiken zu berücksichtigen und die Interessen der Nutzenden zu wahren.
Wen betrifft die KI-Verordnung?
Der AI Act richtet sich an alle Anbieter, z. B. Unternehmen, Forschungsinstitute oder Behörden, die KI-Systeme entwickeln, in den Verkehr bringen oder in Betrieb nehmen. Es spielt dabei keine Rolle, ob sich der Sitz der Einrichtungen in der EU befindet. Die KI-Verordnung greift, sobald das Produkt oder die Anwendung in der EU eingesetzt und zugänglich gemacht werden.
Hiervon gibt es jedoch Ausnahmen: Die Regelungen gelten beispielsweise nicht für KI-Systeme, die ausschließlich für militärische Zwecke entwickelt oder verwendet werden.
Daneben betrifft die Verordnung auch gewerbliche Nutzer:innen von KI-Systemen. Privatpersonen, welche sich in der EU befinden, profitieren von den Regelungen zum Schutz der Gesundheit, Sicherheit und Grundrechte. Sie treffen keine gesonderten Pflichten.
Was wird im AI Act geregelt?
Die EU-Kommission hat die KI-Systeme in unterschiedliche Risikogruppen eingestuft, z. B. in KI-Modelle mit einem unannehmbaren, hohen oder geringen Risiko für die Grundrechte und Werte der Union. Für die jeweiligen Kategorien gelten unterschiedliche Anforderungen und Regelungen.
Die Vorgaben der Verordnung zielen jeweils darauf ab, dass KI-Systeme sicher, transparent, zuverlässig und verantwortungsbewusst eingesetzt werden. Geregelt werden im AI Act beispielsweise Anforderungen an die Transparenz, die Qualität der Daten, Pflichten zur Dokumentation sowie die beständige Aufsicht des KI-Systems durch Menschen, um Risiken für Gesundheit, Sicherheit oder Grundrechte zu minimieren.
KI Risikogruppe 3: Unannehmbares Risiko
KI-Modelle, die ein unannehmbares Risiko darstellen, werden durch den AI-Act in der EU verboten. Ein solches Risiko besteht, wenn KI-Systeme eine Bedrohung für Menschen darstellen.
- Risiko von Social Scoring
Zu KI-Systemen, die eine Bedrohung für Menschen darstellen können, gehören zum Beispiel Systeme, die soziales Verhalten oder Persönlichkeitsmerkmale auswerten und zu einer Benachteiligung oder Schlechterstellung führen (sog. „Social Scoring“).
Voraussetzung: Diese Systeme benachteiligen Personen oder Gruppen in sozialen Zusammenhängen, die in keinem Zusammenhang mit den Umständen stehen, unter denen die Daten ursprünglich erfasst wurden oder in einer Weise, die z. B. im Hinblick auf das soziales Verhalten oder dessen Tragweite ungerechtfertigt oder unverhältnismäßig ist.
Beispiel: Auswertung von Social Media Daten zur Bewertung, ob eine Person ein:e vertrauenswürdige:r Kreditnehmer:in ist.
- Gefahr durch unterschwellige Beeinflussung durch KI-Systeme
Zu KI-Systemen der Risikogruppe 3 gehören zudem Systeme, die dazu bestimmt sind, eine Person unterschwellig, unbewusst zu beeinflussen und diese damit schädigen können.
Beispiele: Gezielte Manipulation von Inhalten in sozialen Medien oder anderen Plattformen, um politische oder kommerzielle Ziele zu verfolgen.
- Ausnutzung menschlicher Schwächen und Schutzbedürftigkeit
Zu KI-Systemen, die eine Bedrohung für Menschen darstellen können, gehören Systeme, die dazu bestimmt sind, die Schwäche oder Schutzbedürftigkeit einer Person (z. B. Alter, Behinderung, wirtschaftliche Situation) auszunutzen und diese schädigen können.
Beispiele: Sprachgesteuertes Spielzeug, das gefährliches Verhalten bei Kindern fördert.
- Biometrische Echtzeit-Identifizierung in öffentlichen Räumen
Zu KI-Systemen der Risikogruppe 3 gehören außerdem Systeme, die eine biometrische Echtzeit-Identifizierung zur Strafverfolgung in öffentlichen Räumen ermöglichen.
Beispiele: Gesichtserkennung durch ungezieltes Filtern von Bildern aus dem Internet und Überwachungskameras.
Ausnahme: Eine biometrische Echtzeit-Identifizierung ist möglich zur Abwehr von Terror oder schweren Straftaten und zur Suche nach vermissten Kindern.
- Kritische Infrastruktur
Beispiele: Systeme, die als Sicherheitskomponenten im Straßenverkehr oder in der Energiewirtschaft (Wasser-, Gas-, Wärme- und Stromversorgung) verwendet werden
- Allgemeine und berufliche Bildung oder Beschäftigung
Beispiele: Systeme zur Bewertung von Lernergebnissen, Steuerung von Lernprozessen
- Gesundheits- oder Bankwesen
Beispiele: Scoring-Systeme für Kreditvergabe, Systeme zur Risikobewertung beim Versicherungsabschluss einer Kranken- oder Lebensversicherung
- Private und öffentlichen Dienstleistungen und Sozialleistungen
Beispiele: Systeme, die beurteilen, ob Unterstützungsleistungen bestehen
- Strafverfolgung, Justizverwaltung, Grenzverwaltung
Beispiele: Systeme für individuelle Bewertungen von Risiken hinsichtlich Straftaten, Einwanderung, Lügendetektoren, Profiling
Anbieter von Hochrisiko-KI-Systemen müssen eine sogenannte „Konformitätserklärung“ abgeben, also belegen und zusichern, dass sie sich an die geltenden EU-Gesetze und an die Vorgaben der KI-Verordnung halten. Für die Kontrolle und Zertifizierung wird hierzu pro Mitgliedsstaat mindestens 1 gesonderte Stelle eingerichtet.
Außerdem müssen Anbieter solcher KI-Systeme Qualitäts- und Risikomanagementsysteme einführen, um die Einhaltung der Anforderungen sicherzustellen und die Risiken für gewerbliche Nutzer:innen und betroffene Personen zu minimieren. Das gilt auch, nachdem ein Produkt bereits in Verkehr gebracht wurde.
Sie müssen beispielsweise:
- Risiken der KI-Systeme stetig analysieren und bewerten,
- Hochrisiko-Systeme testen und geeignete Konzepte und Maßnahmen entwickeln, um Risiken möglichst zu beseitigen oder zu verringern sowie
- Gewerbliche Nutzende über Risiken informieren und ihre Angestellten entsprechend schulen
KI Risikogruppe 1: Geringes Risiko
Unter KI-Systeme mit einem geringen Risiko fallen all jene Systeme, die kein unannehmbares oder hohes Risiko darstellen. Dazu zählen z. B.
- Spam-Filter
- Chatbots
- KI in Video-Spielen
- Suchalgorithmen
Sie unterliegen nach KI-Verordnung weniger strengen Anforderungen. Sie können unter Einhaltung von Transparenz- und Informationspflichten entwickelt und verwendet werden.
Diese Pflichten bestehen z. B., sobald KI-Systeme mit Personen interagieren und mit echten Menschen verwechselt werden können (etwa in Telefon-Hotlines) oder KI-Systeme die Emotionen von Menschen erkennen und analysieren. Auch wenn Bild-, Audio- oder Videoinhalte erzeugt oder manipuliert werden, die wirklichen Personen, Orten etc. ähneln und fälschlicherweise als echt erscheinen („Deep Fakes“), muss offengelegt werden, dass Inhalte durch KI erstellt wurden.
Wer überwacht die Einhaltung der KI-Regelungen?
Bei Verstößen gegen die Verordnung können Sanktionen gegenüber den Entwicklern oder Betreibern der KI-Systeme verhängt werden. Zur Aufsicht müssen die Mitgliedsstaaten entsprechende Aufsichtsbehörden zur Überwachung einrichten. Zudem wird auf EU-Ebene ein Amt für Künstliche Intelligenz eingerichtet, um gemeinsam mit den Stellen der Mitgliedsstaaten die Überwachung in der EU vorzunehmen.
Wie geht es mit dem AI Act weiter?
Der AI Act tritt voraussichtlich im Juni 2024 in Kraft und ist 2 Jahre nach Inkrafttreten vollständig anwendbar.
Folgende Ausnahmen bestehen hiervon:
- Das Verbot für KI-Systeme mit einem unannehmbaren Risiko gilt bereits 6 Monate nach Inkrafttreten. Sie dürfen dann nicht mehr verwendet werden.
- Nach 12 Monaten greifen die Regelungen für KI-Systeme mit allgemeinem Verwendungszweck wie ChatGPT.
- Alle anderen Regeln greifen nach 2 Jahren.
- Einige Hochrisiko-KI Systeme, die bereites anderen EU-Regeln unterworfen sind, bekommen 36 Monate Zeit.
Der deutsche Gesetzgeber muss innerhalb von 12 Monaten nach Inkrafttreten des AI-Acts eine Aufsichtsstruktur etablieren und die für die KI-Aufsicht zuständigen Behörde(n) benennen.
Die EU-Kommission prüft jährlich, ob künftig Anpassungen zum Beispiel an der Kategorisierung der KI-Systeme vorzunehmen sind, um auch auf technische Entwicklungen und neue Anwendungsgebiete reagieren zu können.
