Gesetz über künstliche Intelligenz KI-Gesetz

Willkommen auf ai-act-law.eu. Hier finden Sie das PDF der Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) in der am 13. März 2024 angenommenen und durch das Korrigendum des EU‑Parlaments vom 19. April 2024 berichtigten Fassung. Den Text des KI‑Gesetzes gibt es auf Deutsch sowie auf Englisch (AI Act). Der Europäische Rat muss dem KI‑Gesetz noch formell zustimmen – dabei können sich kleinere Textänderungen ergeben. Der finale Gesetzestext wird voraussichtlich Anfang Mai offiziell im Amtsblatt der Europäischen Union verkündet. 20 Tage nach dieser Veröffentlichung tritt das KI‑Gesetz in Kraft. Damit beginnen für Behörden und Unternehmen die zwischen 6 Monaten und 3 Jahre dauernden Umsetzungsfristen, um verschiedene Vorgaben zum Inverkehrbringen, Inbetriebnahme und Verwendung von KI‑Systeme umzusetzen.

Schnellzugriff

Inhaltsverzeichnis

Kapitel 1Allgemeine Bestimmungen
Art. 1 KI-GesetzGegenstand
Art. 2 KI-GesetzAnwendungsbereich
Art. 3 KI-GesetzBegriffsbestimmungen
Art. 4 KI-GesetzKI-Kompetenz
Kapitel 2Verbotene Praktiken im KI-Bereich
Art. 5 KI-GesetzVerbotene Praktiken im KI-Bereich
Kapitel 3Hochrisiko-KI-Systeme
Abschnitt 1Einstufung von KI-Systemen als Hochrisiko-KI-Systeme
Art. 6 KI-GesetzEinstufungsvorschriften für Hochrisiko-KI-Systeme
Art. 7 KI-GesetzÄnderungen des Anhangs III
Abschnitt 2Anforderungen an Hochrisiko-KI-Systeme
Art. 8 KI-GesetzEinhaltung der Anforderungen
Art. 9 KI-GesetzRisikomanagementsystem
Art. 10 KI-GesetzDaten und Daten-Governance
Art. 11 KI-GesetzTechnische Dokumentation
Art. 12 KI-GesetzAufzeichnungspflichten
Art. 13 KI-GesetzTransparenz und Bereitstellung von Informationen für die Betreiber
Art. 14 KI-GesetzMenschliche Aufsicht
Art. 15 KI-GesetzGenauigkeit, Robustheit und Cybersicherheit
Abschnitt 3Pflichten der Anbieter und Betreiber von Hochrisiko-KI-Systemen und anderer Beteiligter
Art. 16 KI-GesetzPflichten der Anbieter von Hochrisiko-KI-Systemen
Art. 17 KI-GesetzQualitätsmanagementsystem
Art. 18 KI-GesetzAufbewahrung der Dokumentation
Art. 19 KI-GesetzAutomatisch erzeugte Protokolle
Art. 20 KI-GesetzKorrekturmaßnahmen und Informationspflicht
Art. 21 KI-GesetzZusammenarbeit mit den zuständigen Behörden
Art. 22 KI-GesetzBevollmächtigte der Anbieter von Hochrisiko-KI-Systemen
Art. 23 KI-GesetzPflichten der Einführer
Art. 24 KI-GesetzPflichten der Händler
Art. 25 KI-GesetzVerantwortlichkeiten entlang der KI-Wertschöpfungskette
Art. 26 KI-GesetzPflichten der Betreiber von Hochrisiko-KI-Systemen
Art. 27 KI-GesetzGrundrechte-Folgenabschätzung für Hochrisiko-KI-Systeme
Abschnitt 4Notifizierende Behörden und notifizierte Stellen
Art. 28 KI-GesetzNotifizierende Behörden
Art. 29 KI-GesetzAntrag einer Konformitätsbewertungsstelle auf Notifizierung
Art. 30 KI-GesetzNotifizierungsverfahren
Art. 31 KI-GesetzAnforderungen an notifizierte Stellen
Art. 32 KI-GesetzVermutung der Konformität mit den Anforderungen an notifizierte Stellen
Art. 33 KI-GesetzZweigstellen notifizierter Stellen und Vergabe von Unteraufträgen
Art. 34 KI-GesetzOperative Pflichten der notifizierten Stellen
Art. 35 KI-GesetzIdentifizierungsnummern und Verzeichnisse notifizierter Stellen
Art. 36 KI-GesetzÄnderungen der Notifizierungen
Art. 37 KI-GesetzAnfechtungen der Kompetenz notifizierter Stellen
Art. 38 KI-GesetzKoordinierung der notifizierten Stellen
Art. 39 KI-GesetzKonformitätsbewertungsstellen in Drittländern
Abschnitt 5Normen, Konformitätsbewertung, Bescheinigungen, Registrierung
Art. 40 KI-GesetzHarmonisierte Normen und Normungsdokumente
Art. 41 KI-GesetzGemeinsame Spezifikationen
Art. 42 KI-GesetzVermutung der Konformität mit bestimmten Anforderungen
Art. 43 KI-GesetzKonformitätsbewertung
Art. 44 KI-GesetzBescheinigungen
Art. 45 KI-GesetzInformationspflichten der notifizierten Stellen
Art. 46 KI-GesetzAusnahme vom Konformitätsbewertungsverfahren
Art. 47 KI-GesetzEU-Konformitätserklärung
Art. 48 KI-GesetzCE-Kennzeichnung
Art. 49 KI-GesetzRegistrierung
Kapitel 4Transparenzpflichten für Anbieter und Betreiber bestimmter KI-Systeme
Art. 50 KI-GesetzTransparenzpflichten für Anbieter und Betreiber bestimmter KI-Systeme
Kapitel 5KI-Modelle mit allgemeinem Verwendungszweck
Abschnitt 1Einstufungsvorschriften
Art. 51 KI-GesetzEinstufung von KI-Modellen mit allgemeinem Verwendungszweck als KI-Modelle mit allgemeinem Verwendungszweck mit systemischem Risiko
Art. 52 KI-GesetzVerfahren
Abschnitt 2Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck
Art. 53 KI-GesetzPflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck
Art. 54 KI-GesetzBevollmächtigte der Anbieter von KI-Modellen mit allgemeinem Verwendungszweck
Abschnitt 3Pflichten der Anbieter von KI-Modellen mit allgemeinem Verwendungszweck mit systemischem Risiko
Art. 55 KI-GesetzPflichten der Anbieter von KI-Modellen mit allgemeinem Verwendungszweck mit systemischem Risiko
Abschnitt 4Praxisleitfäden
Art. 56 KI-GesetzPraxisleitfäden
Kapitel 6Maßnahmen zur Innovationsförderung
Art. 57 KI-GesetzKI-Reallabore
Art. 58 KI-GesetzDetaillierte Regelungen für KI-Reallabore und deren Funktionsweise
Art. 59 KI-GesetzWeiterverarbeitung personenbezogener Daten zur Entwicklung bestimmter KI-Systeme im öffentlichen Interesse im KI-Reallabor
Art. 60 KI-GesetzTests von Hochrisiko-KI-Systemen unter Realbedingungen außerhalb von KI-Reallaboren
Art. 61 KI-GesetzInformierte Einwilligung zur Teilnahme an einem Test unter Realbedingungen außerhalb von KI-Reallaboren
Art. 62 KI-GesetzMaßnahmen für Anbieter und Betreiber, insbesondere KMU, einschließlich Start-up-Unternehmen
Art. 63 KI-GesetzAusnahmen für bestimmte Akteure
Kapitel 7Governance
Abschnitt 1Governance auf Unionsebene
Art. 64 KI-GesetzBüro für Künstliche Intelligenz
Art. 65 KI-GesetzEinrichtung und Struktur des Europäischen Gremiums für Künstliche Intelligenz
Art. 66 KI-GesetzAufgaben des KI-Gremiums
Art. 67 KI-GesetzBeratungsforum
Art. 68 KI-GesetzWissenschaftliches Gremium unabhängiger Sachverständiger
Art. 69 KI-GesetzZugang zum Pool von Sachverständigen durch die Mitgliedstaaten
Abschnitt 2Zuständige nationale Behörden
Art. 70 KI-GesetzBenennung von zuständigen nationalen Behörden und zentrale Anlaufstelle
Kapitel 8EU-Datenbank für Hochrisiko-KI-Systeme
Art. 71 KI-GesetzEU-Datenbank für die in Anhang III aufgeführten Hochrisiko-KI-Systeme
Kapitel 9Beobachtung nach dem Inverkehrbringen, Informationsaustausch und Marktüberwachung
Abschnitt 1Beobachtung nach dem Inverkehrbringen
Art. 72 KI-GesetzBeobachtung nach dem Inverkehrbringen durch die Anbieter und Plan für die Beobachtung nach dem Inverkehrbringen für Hochrisiko-KI-Systeme
Abschnitt 2Austausch von Informationen über schwerwiegende Vorfälle
Art. 73 KI-GesetzMeldung schwerwiegender Vorfälle
Abschnitt 3Durchsetzung
Art. 74 KI-GesetzMarktüberwachung und Kontrolle von KI-Systemen auf dem Unionsmarkt
Art. 75 KI-GesetzAmtshilfe, Marktüberwachung und Kontrolle von KI-Systemen mit allgemeinem Verwendungszweck
Art. 76 KI-GesetzBeaufsichtigung von Tests unter Realbedingungen durch Marktüberwachungsbehörden
Art. 77 KI-GesetzBefugnisse der für den Schutz der Grundrechte zuständigen Behörden
Art. 78 KI-GesetzVertraulichkeit
Art. 79 KI-GesetzVerfahren auf nationaler Ebene für den Umgang mit KI-Systemen, die ein Risiko bergen
Art. 80 KI-GesetzVerfahren für den Umgang mit KI-Systemen, die vom Anbieter gemäß Anhang III als nicht hochriskant eingestuft werden
Art. 81 KI-GesetzSchutzklauselverfahren der Union
Art. 82 KI-GesetzKonforme KI-Systeme, die ein Risiko bergen
Art. 83 KI-GesetzFormale Nichtkonformität
Art. 84 KI-GesetzUnionsstrukturen zur Unterstützung der Prüfung von KI
Abschnitt 4Rechtsbehelfe
Art. 85 KI-GesetzRecht auf Beschwerde bei einer Marktüberwachungsbehörde
Art. 86 KI-GesetzRecht auf Erläuterung der Entscheidungsfindung im Einzelfall
Art. 87 KI-GesetzMeldung von Verstößen und Schutz von Hinweisgebern
Abschnitt 5Aufsicht, Ermittlung, Durchsetzung und Überwachung in Bezug auf Anbieter von KI-Modellen mit allgemeinem Verwendungszweck
Art. 88 KI-GesetzDurchsetzung der Pflichten der Anbieter von KI-Modellen mit allgemeinem Verwendungszweck
Art. 89 KI-GesetzÜberwachungsmaßnahmen
Art. 90 KI-GesetzWarnungen des wissenschaftlichen Gremiums vor systemischen Risiken
Art. 91 KI-GesetzBefugnis zur Anforderung von Dokumentation und Informationen
Art. 92 KI-GesetzBefugnis zur Durchführung von Bewertungen
Art. 93 KI-GesetzBefugnis zur Aufforderung zu Maßnahmen
Art. 94 KI-GesetzVerfahrensrechte der Wirtschaftsakteure des KI-Modells mit allgemeinem Verwendungszweck
Kapitel 10Verhaltenskodizes und Leitlinien
Art. 95 KI-GesetzVerhaltenskodizes für die freiwillige Anwendung bestimmter Anforderungen
Art. 96 KI-GesetzLeitlinien der Kommission zur Durchführung dieser Verordnung
Kapitel 11Befugnisübertragung und Ausschussverfahren
Art. 97 KI-GesetzAusübung der Befugnisübertragung
Art. 98 KI-GesetzAusschussverfahren
Kapitel 12Sanktionen
Art. 99 KI-GesetzSanktionen
Art. 100 KI-GesetzVerhängung von Geldbußen gegen Organe, Einrichtungen und sonstige Stellen der Union
Art. 101 KI-GesetzGeldbußen für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck
Kapitel 13Schlussbestimmungen
Art. 102 KI-GesetzÄnderung der Verordnung (EG) Nr. 300/2008
Art. 103 KI-GesetzÄnderung der Verordnung (EU) Nr. 167/2013
Art. 104 KI-GesetzÄnderung der Verordnung (EU) Nr. 168/2013
Art. 105 KI-GesetzÄnderung der Richtlinie 2014/90/EU
Art. 106 KI-GesetzÄnderung der Richtlinie (EU) 2016/797
Art. 107 KI-GesetzÄnderung der Verordnung (EU) 2018/858
Art. 108 KI-GesetzÄnderungen der Verordnung (EU) 2018/1139
Art. 109 KI-GesetzÄnderung der Verordnung (EU) 2019/2144
Art. 110 KI-GesetzÄnderung der Richtlinie (EU) 2020/1828
Art. 111 KI-GesetzBereits in Verkehr gebrachte oder in Betrieb genommene KI-Systeme und bereits in Verkehr gebrachte KI-Modelle mit allgemeinem Verwendungszweck
Art. 112 KI-GesetzBewertung und Überprüfung
Art. 113 KI-GesetzInkrafttreten und Geltungsbeginn

AI Act: Was ist das KI‑Gesetz?

Das KI‑Gesetz ist eine Verordnung der EU zur Regelung von Künstlicher Intelligenz. Zweck des KI‑Gesetzes ist es, die Einführung einer auf den Menschen ausgerichteten KI in Europa zu fördern und dabei ein hohes Schutzniveau in Bezug auf Gesundheit, Sicherheit und die Grundrechte der Bürger sicherzustellen (Artikel 1 KI‑Gesetz). Dazu definiert das Gesetz KI‑Anwendungsszenarien, die von vornherein verboten sind und solche, die voraussichtlich mit einem „hohen Risiko“ einhergehen und daher besondere Sorgfalt erfordern.

Wann tritt das KI‑Gesetz in Kraft?

Das KI‑Gesetz tritt 20 Tage nach seiner Verkündung im Europäischen Amtsblatt in Kraft. Dies wird voraussichtlich Anfang Juni 2024 der Fall sein. Die Regeln für verbotene KI‑Praktiken gelten gemäß Artikel 113 KI‑Gesetz schon nach 6 Monaten, die meisten anderen Regeln nach entweder 1 oder 2 Jahren. Vorgaben und Pflichten für Hochrisiko-KI‑Systeme gelten nach 3 Jahren.

Welche Arten von KI gibt es im KI‑Gesetz?

Im KI‑Gesetz gibt es 4 Arten von KI. Diese werden anhand des Risikos unterschieden, das von ihnen für die Sicherheit und Grundrechte von Menschen ausgeht. Die 4 Arten von KI sind:

  • Verbotene KI‑Systeme (Artikel 5):
    Einige KI‑Systeme sind unvereinbar mit den Werten der Europäischen Union und daher verboten. Das sind z.B. solche, die eine zukünftige Straffälligkeit von Personen vorhersagen sollen.
  • Hochrisiko-KI‑Systeme (Artikel 6):
    Hochrisiko-KI‑Systeme müssen strenge Auflagen erfüllen, bevor ihr Einsatz zugelassen ist. Hierunter fallen z.B. KI bei Chirurgie-Robotern.
  • KI‑Systeme mit begrenztem Risiko (Artikel 50):
    Von diesen KI‑Systemen geht ein begrenztes Risiko aus, weil Menschen direkt mit ihnen interagieren, es aber nicht immer offensichtlich ist, dass es sich um ein KI‑System handelt. Daher trifft Anbieter von z.B. Chatbots eine Transparenzpflicht.
  • KI‑Systeme mit minimalem oder keinem Risiko
    KI‑Systemen mit minimalem Risiko reguliert das KI‑Gesetz nicht. In diese Kategorie fallen z.B. Spamfilter oder KI‑fähige Videospiele.

Wen betrifft das KI‑Gesetz?

Das KI‑Gesetz gilt für private Organisationen und Behörden und betrifft laut Artikel 2 KI‑Gesetz fünf Gruppen:

  • Anbieter,
  • Betreiber,
  • Einführer und Händler,
  • Produkthersteller und
  • betroffene Personen.

Das KI‑Gesetz gilt ausdrücklich nicht für Privatpersonen, sofern sie KI‑Systeme zu rein privaten (in Abgrenzung zu beruflichen) Zwecken verwenden. Zudem gibt es weitere Ausnahmen für die Wissenschaft zu Entwicklungs- und Forschungszwecken, das Militär, Verteidigung und die nationale Sicherheit.

Wo gilt das KI‑Gesetz?

Das KI‑Gesetz gilt in der Europäischen Union. Ob und wann das KI‑Gesetz auch für die EWR-Staaten gelten wird, ist noch unklar, da diese der Übernahme von EU-Vorschiften zustimmen müssen. Dieser Prozess kann erst nach dem Inkrafttreten des KI‑Gesetzes angestoßen werden. Darüber hinaus gilt das KI‑Gesetz auch in Nicht-EU-Ländern für Anbieter oder Betreiber von KI‑Systemen, die diese in der Union in Verkehr bringen oder wenn das hervorgebrachte Ergebnis der KI in der EU verwendet wird.

Was ist Hochrisiko-KI?

Eine Hochrisiko-KI ist gemäß Artikel 6 KI‑Gesetz ein KI‑System, dessen konkreten Einsatz ein erhebliches Risiko der Beeinträchtigung von Gesundheit, Sicherheit oder einer nachteiligen Auswirkung auf die Grundrechte einzelner Personen birgt.

Dies ist einerseits der Fall, weil sie in Produkten oder deren Sicherheitskomponenten eingesetzt werden, die das EU-Recht sowieso schon streng reglementiert, wie z.B. Sicherheitsbauteile für Aufzüge oder Medizinprodukte. Andererseits ist dies der Fall, wenn sie auf bestimmte Art und Weise in Bereichen eingesetzt wird, die der Anhang III der Verordnung festlegt. Diese sind Biometrik, Kritische Infrastruktur, Allgemeine und berufliche Bildung, Beschäftigung, Personalmanagement, Zugänglichkeit und Inanspruchnahme grundlegender Dienste und Leistungen, Strafverfolgung, Migration, Asyl und Grenzkontrolle, Rechtspflege und demokratische Prozesse. Die EU-Kommission kann diese Liste anpassen, um so auf neue Gegebenheiten zu reagieren. Des Weiteren muss sie spätestens 18 Monate nach Inkrafttreten der KI‑Verordnung eine umfassende Liste mit praktischen Beispielen für Anwendungsfälle für KI‑Systeme veröffentlichen, die hochriskant oder nicht hochriskant sind.

Was ist die Definition von KI und was zählt dazu?

KI wird oft als eine Kombination von unterschiedlichen technischen Ansätzen und Methoden verstanden, die zum Ziel haben, Maschinen menschliche kognitive Fähigkeiten wie logisches Denken, Lernen, Planen und Kreativität, imitieren zu lassen. Eine allgemein gültige Definition hat sich noch nicht durchgesetzt und wird kontrovers diskutiert.

Auch das KI‑Gesetz liefert eine Definition. KI sind demnach alle maschinengestützten Systeme, die für einen in wechselndem Maße autonomen Betrieb ausgelegt sind, die nach seiner Einführung anpassungsfähig sein können und die aus den erhaltenen Eingaben explizite oder implizite Ziele ableiten, wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen hervorbringen können, die physische oder virtuelle Umgebungen beeinflussen können (Artikel 3 KI‑Gesetz).

Diese Definition von KI ist sehr weit, da die meisten Voraussetzungen auch auf klassische Softwareprogramme zutreffen. Ausschlaggebend wird bei der Frage, ob es sich um eine KI handelt, daher meistens sein, ob das System für einen autonomen Betrieb ausgelegt ist.

Warum ist KI gefährlich? Ist KI eine Bedrohung?

KI kann eine Bedrohung für Menschen darstellen, indem sie deren Verhalten maßgeblich nachteilig beeinflusst. Zudem kann sie die Ursache für Diskriminierung oder andere ungerechtfertigte Eingriffe in deren Grundrechte sein. Dadurch können Schäden durch erhebliche nachteilige Auswirkungen auf deren physische und psychische Gesundheit oder auf finanzielle Interessen entstehen. Der europäische Gesetzgeber beschreibt daher in Artikel 5 KI‑Gesetz Praktiken, die ein unannehmbares Risiko für Personen darstellen und daher in der EU verboten sind. Die Liste umfasst folgende Anwendungszwecke von KI‑Systemen:

  • Kognitive Verhaltensmanipulation
  • Ausnutzung von Situation, Schwäche oder Schutzbedürftigkeit einer Person
  • Sozialkredit-Systeme
  • Predictive Policing in Bezug auf einzelne Personen
  • Scraping von Gesichtsbildern zur Erstellung einer Gesichtserkennungsdatenbank
  • Erkennung von Emotionen am Arbeitsplatz oder in Bildungseinrichtungen
  • Biometrische Kategorisierung aufgrund von sensiblen Daten gemäß Art. 9 DSGVO
  • Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme (Gesichtserkennung) in der Öffentlichkeit zu Strafverfolgungszwecken, außer wenn diese für die im Gesetz festgelegten Taten unbedingt erforderlich ist.

Die EU-Kommission wird Leitlinien veröffentlichen, in denen die verbotenen Praktiken näher eingegrenzt werden. Außerdem hat sie die Aufgabe, die Liste zu überprüfen. Dabei wirkt das KI‑Amt mit.