Erwägungsgrund 12 (Omnibus) Umfang und Schutzmaßnahmen der verbotenen KI-Praktiken*

¹Es ist notwendig, den Geltungsbereich des Verbots klar festzulegen, was insbesondere auch den Umfang der Verpflichtungen der Anbieter und Betreiber einschließt. ²Dieses Verbot sollte Anbieter nicht daran hindern, die technischen Kapazitäten von KI‑Systemen zur Erzeugung oder Manipulation von Bildern, Videos, Audiodateien oder ähnlichem Material weiterzuentwickeln. ³In Bezug auf Anbieter sollte sich das Verbot auf das Inverkehrbringen und die Inbetriebnahme von KI‑Systemen beschränken, mit denen nicht einvernehmlich erstelltes intimes Material oder Darstellungen von sexuellem Missbrauch von Kindern erzeugt oder manipuliert werden, und zwar in zwei Fällen. ⁴Erstens sollten Systeme erfasst werden, die dazu bestimmt sind, Material dieser Art zu erzeugen oder zu manipulieren. ⁵Zweitens sollten Systeme erfasst werden, bei denen eine solche Erzeugung oder Manipulation ein nach vernünftigem Ermessen absehbares und reproduzierbares Ergebnis ist und keine zumutbaren und angemessenen technischen Sicherheitsmaßnahmen sowie sonstige Schutzvorkehrungen bestehen, mit denen — unter dem Gesichtspunkt einer nach vernünftigem Ermessen absehbaren missbräuchlichen Nutzung — dieses Ergebnis zuverlässig verhindert und, falls erforderlich, korrigiert sowie beobachtete oder gemeldete missbräuchliche Nutzung, was auch die Umgehung solcher Maßnahmen einschließt, behoben wird. ⁶Zu den technischen Maßnahmen und sonstigen Schutzvorkehrungen, mit denen die Erzeugung solcher Inhalte verhindert werden soll, könnten Datenbereinigung, Ablehnungstraining, die Gestaltung sicherer Prompts und Ausgabekontrollen, Laufzeit-Leitplanken für Prompts, Mechanismen zur Klassifizierung und Filterung von Inhalten, Nutzungsbeschränkungen, Mechanismen zur Missbrauchserkennung sowie Melde- und Abhilfemechanismen gehören. ⁷Präventivmaßnahmen dieser Art sollten für das jeweilige KI‑System zumutbar sein und gelten als angemessen, wenn sie mit dem Stand der Technik entsprechenden Maßnahmen übereinstimmen und nachweislich in jedem Einzelfall die Wahrscheinlichkeit der Erstellung oder Manipulation solcher Inhalte verhindern bzw. hinreichend verringern, wobei der bekannte und vernünftigerweise absehbare missbräuchliche Gebrauch zu berücksichtigen ist, einschließlich der nach vernünftigem Ermessen absehbaren Umgehung der Präventivmaßnahmen ohne wesentliche technische Änderungen. ⁸Für Anbieter, die die effektive Kontrolle über KI‑Systeme behalten, beispielsweise über eine Plattform oder eine Webschnittstelle, könnte dies Verfahren zur Erfassung und Meldung von Missbrauchsfällen unter vollständiger Einhaltung der Datenschutzvorschriften der Union umfassen. ⁹In Fällen, in denen eine Umgehung der Präventivmaßnahmen oder anderer Schutzmaßnahmen beobachtet oder gemeldet wird, sollten angemessene Korrekturmaßnahmen ergriffen werden, sofern diese Maßnahmen unter Berücksichtigung des spezifischen KI‑Systems, einschließlich seiner Freigabe- und Verbreitungsstrategie (z. B. quelloffene Freigaben), zumutbar sind. ¹⁰In Bezug auf Anbieter sollte die Verwendung eines KI‑Systems nur verboten werden, wenn der Betreiber ein KI‑System verwendet, um nicht einvernehmlich erstelltes intimes Material oder Darstellungen von sexuellem Missbrauch von Kindern zu erzeugen oder zu manipulieren. ¹¹Dies umfasst Fälle, in denen ein Betreiber KI‑Systeme nutzt oder zweckentfremdet, die auf den Markt gebracht oder in Betrieb genommen wurden, ohne dass zumutbare und angemessene Schutzmaßnahmen vorhanden sind, oder in denen ein Betreiber die Schutzmaßnahmen umgeht oder für solche Zwecke rechtskonforme KI‑Systeme verwendet, die nicht für die Erstellung oder Manipulation von Material dieser Art bestimmt sind. ¹²Das Verwendungsverbot erstreckt sich daher nicht auf die Nutzung eines KI‑Systems zu rechtmäßigen Zwecken, wie beispielsweise die Erstellung oder Manipulation von Inhalten, bei denen es sich nicht um nicht einvernehmlich erstelltes intimes Material oder Darstellungen von sexuellem Missbrauch von Kindern handelt, selbst in Fällen, in denen das KI‑System nicht über zumutbare und angemessene Schutzvorkehrungen verfügt, die vom Anbieter hätten getroffen werden müssen; ebenso wenig erstreckt es sich auf die versehentliche Erstellung oder Manipulation solcher Inhalte. ¹³Was das Verbot in Bezug auf nicht einvernehmlich erstelltes intimes Materials betrifft, so sollten in Fällen, in denen ein KI‑System für die Erzeugung oder Manipulation von Material bestimmt ist, das unter dieses Verbot fällt, Maßnahmen und andere Schutzvorkehrungen im Einklang mit der Verordnung (EU) 2016/679 angemessene Mittel umfassen, die für die Verbreitung des KI‑Systems geeignet sind und die zuverlässige Erfassung und den Nachweis der Einwilligung der abgebildeten Person in eine solche Erstellung oder Manipulation ermöglichen. ¹⁴Das Verbot in Bezug auf nicht einvernehmlich erstelltes intimes Material sollte sich auf realistische Darstellungen intimer Körperteile, insbesondere der Genitalien, des Schambereichs, des Anus, des entblößten Gesäßes oder entblößte weiblicher Brüste, Brustwarzen oder Brustwarzenhöfe, bzw. auf Darstellungen sexuell eindeutiger Aktivitäten beschränken. ¹⁵Dieser „Realismus“ bezieht sich auf die Darstellung des Gesichts, der Stimme oder des Körpers der Person in einer glaubwürdigen realen Weise, unabhängig davon, wie realistisch der Kontext dieser Darstellung ist und ob sie der tatsächlichen Stimme oder dem tatsächlichen Erscheinungsbild der abgebildeten Person vollständig entspricht. ¹⁶Umgekehrt sind Karikaturen oder physisch unmögliche Darstellungen des Körpers einer Person ausgenommen. ¹⁷Das Verbot von nicht einvernehmlich erstellten intimen Materialien hat keinen Einfluss auf die Erstellung oder Manipulation anderer Formen von Nacktmaterial, wie beispielsweise Inhalte, die keine identifizierbaren natürlichen Personen zeigen, realistische teilweise Nacktdarstellungen, bei denen intime Körperteile nicht sichtbar sind und keine sexuell eindeutigen Handlungen dargestellt werden, sowie nicht-realistische künstlerische Nacktdarstellungen, die keine identifizierbaren natürlichen Personen realistisch bei sexuell eindeutigen Handlungen oder deren intime Körperteile zeigen. ¹⁸Es gilt auch nicht für generative KI‑Anwendungen, bei denen intime Körperteile nicht gezeigt werden oder, falls doch, dies nur mit der aus freien Stücken erfolgenden, spezifischen, aufgeklärten, eindeutigen und ausdrücklichen Einwilligung der abgebildeten Person geschieht (beispielsweise Anprobe-Anwendungen und medizinische Anwendungen wie medizinische anatomische Simulationen und Mammographien); dieses Verbot schließt nicht die ausnahmsweise Nutzung von KI‑Systemen aus, mit denen Nacktdarstellungen der intimen Körperteile einer identifizierbaren Person im Einklang mit den Grundrechten, einschließlich des Datenschutzrechts, und dem geltenden Medizinrecht zum Zwecke der medizinischen Diagnose und Behandlung durch medizinisches Fachpersonal erstellt oder bearbeitet werden, wenn die betroffene Person nicht in der Lage ist, ihre Einwilligung zu erteilen (beispielsweise in einer Notfallsituation). ¹⁹Schließlich schließt das Verbot der „Manipulation“ von nicht einvernehmlich erstelltem intimem Material Fälle aus, in denen bereits bestehendes intimes Material in einer Weise manipuliert wird, die weder die Sichtbarkeit der abgebildeten intimen Körperteile erhöht noch die Art der dargestellten sexuell eindeutigen Handlungen verändert; dazu zählt beispielsweise die bloße Optimierung eines bestehenden Bildes, das intime Körperteile zeigt, oder eines Videos, das sexuell eindeutige Handlungen zeigt, wie etwa das Ändern des Hintergrunds, das Hinzufügen einer Textüberschrift oder die Anpassung von Kontrast oder Helligkeit. ²⁰Umgekehrt fällt jede Manipulation von Inhalten — einschließlich solcher, die bereits intime Körperteile oder sexuell eindeutige Handlungen zeigen —, die den Grad der Entblößung der dargestellten intimen Körperteile erhöht oder die Art der dargestellten sexuell eindeutigen Handlungen verändert, unter dieses Verbot.