KI-Verordnung aktueller Stand

KI-Verordnung - aktueller Stand

Die EU-KI-Verordnung (VO (EU) 2024/1689) tritt am 01.08.2024 in Kraft. Ab dem 2. Februar 2025 gelten weltweit erstmals umfassende Regelungen zum Einsatz von Künstlicher Intelligenz (KI). Wir geben Ihnen einen Überblick über das Regelwerk und zeigen auf, was Unternehmen jetzt tun müssen und was empfehlenswert ist.

Welchen Ansatz und welche Ziele verfolgt die KI-Verordnung?

Die KI-Verordnung verfolgt im Wesentlichen einen Ansatz der Produktregulierung: Sie stellt je nach Risiko für die Sicherheit, Gesundheit und Grundrechte von Menschen unterschiedliche Anforderungen an ein KI-System.

Übergeordnetes Ziel der KI-Verordnung ist es, das Funktionieren des Binnenmarkts zu verbessern und die Einführung einer auf den Menschen ausgerichteten und vertrauenswürdigen KI zu fördern und gleichzeitig ein hohes Schutzniveau in Bezug auf Gesundheit, Sicherheit und die in der Charta verankerten Grundrechte, einschließlich Demokratie, Rechtsstaatlichkeit und Umweltschutz, vor schädlichen Auswirkungen von KI‑Systemen in der Union zu gewährleisten und die Innovation zu unterstützen (vgl. Art. 1 Abs. 1 KI-Verordnung).

Die KI-Verordnung verfolgt hierbei insbesondere folgende Ziele:

die Schaffung eines sicheren und ethischen Umfelds für die Entwicklung und Nutzung von KI-Systemen
der Schutz der Grundrechte und Sicherheit der Menschen
die Förderung von Innovationen in KI
die Förderung der Entwicklung und Nutzung vertrauenswürdiger KI
die Schaffung eines einheitlichen Binnenmarktes für KI in der EU, sowie die Erhöhung der Transparenz und Dokumentation der technischen Umsetzung.

Was regelt die KI-Verordnung und wieso ist die KI-Verordnung für die meisten Unternehmen relevant?

Begriff des KI-Systems: Der Anwendungsbereich der KI-Verordnung ist eröffnet, wenn ein „KI-System“ im Sinne des Art. 3 Abs. 1 KI-Verordnung vorliegt. Ein KI-System ist nach der Legaldefinition

„ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können“

Erfasst sind damit jedenfalls die auf den bekannten KI-Modellen basierenden KI-Systeme: Die bekannten Language Large Models (LLM) wie ChatGPT, Gemini, Copilot erfüllen nach derzeit allgemeinem Verständnis die Voraussetzungen eines KI-Systems.

Anpassungsfähigkeit: Die KI-Verordnung fordert insbesondere das Vorhandensein von Anpassungsfähigkeit. Viele KI-Systeme, die derzeit auf dem Markt angeboten werden, bieten die Möglichkeit, die Verwendung von Daten für weiteres Training auszuschließen und damit den Zustand des Systems faktisch „einzufrieren“. Daher wird immer wieder die Frage aufgeworfen, ob ein solches System überhaupt noch den Anspruch der Anpassungsfähigkeit erfüllt.

Diskutiert wird auch, ob das Merkmal der Anpassungsfähigkeit zwingend vorhanden sein muss und als Abgrenzungskriterium überhaupt sinnvoll ist. Wäre Anpassungsfähigkeit zwingend erforderlich, hätte die gesamte KI- Verordnung kaum einen Anwendungsbereich. Viele KI-Modelle werden nach bestimmten Optimierungszielen trainiert und können sich nach dem Inverkehrbringen nicht selbstständig anpassen. Richtigerweise wird man daher das Merkmal der Anpassungsfähigkeit nicht zu eng auslegen dürfen, um den Anwendungsbereich der KI-Verordnung nicht zu stark einzuschränken.

Weitere Auslegungshinweise zur Abgrenzung des Begriffs des KI-Systems finden sich in Erwägungsgrund 12 der KI-Verordnung. Danach sollte die Begriffsbestimmung auf den wesentlichen Merkmalen der KI beruhen, die sie von einfacheren herkömmlichen Softwaresystemen und Programmieransätzen unterscheiden, und sich nicht auf Systeme beziehen, die auf ausschließlich von natürlichen Personen festgelegten Regeln für die automatische Durchführung von Operationen beruhen.

Fähigkeit zur Ableitung: Die Ableitungsfähigkeit eines KI-Systems geht dabei über die reine Datenverarbeitung hinaus, indem sie Lern-, Schlussfolgerungs- und Modellierungsprozesse ermöglicht. Diese Fähigkeit bezieht sich auf den Prozess der Erzeugung von Ausgaben wie Vorhersagen, Inhalten, Empfehlungen oder Entscheidungen, die physische und digitale Umgebungen beeinflussen können, sowie auf die Fähigkeit von KI-Systemen, aus Eingaben oder Daten Modelle oder Algorithmen oder beides abzuleiten.

Der europäische Gesetzgeber wollte damit wohl einfache Excel-Rechenoperationen aus dem Anwendungsbereich der KI-Verordnung herausnehmen. Sicherlich ist nicht alles, was heute unter dem Label „KI“ vermarktet wird, auch ein KI-System im Sinne der KI-Verordnung. Das wird Unternehmen vor Schwierigkeiten stellen. Als Orientierung kann die Vorgabe dienen, dass der Begriff des KI-Systems gerade nicht solche Systeme erfassen soll, die nach ausschließlich von Menschen aufgestellten Regeln agieren. Bei komplexeren Softwareanwendungen bleiben jedoch Unsicherheiten.

Der Begriff des KI-Systems wird in Zukunft durch die Rechtsprechung und die Behörden, insbesondere durch die Europäische Kommission (vgl. Art. 96 Abs. 1 lit. f KI-Verordnung) weiter konkretisiert werden. Fest steht jedoch, dass aufgrund der technischen Entwicklung in Zukunft immer mehr Softwareanwendungen als KI-Systeme zu qualifizieren sein werden und Unternehmen die KI-Verordnung beachten müssen.

Anwendungsausschluss trotz Vorliegen eines KI-Systems

Die KI-Verordnung sieht in Art. 2 der KI-Verordnung verschiedene Anwendungsfälle vor, in denen trotz Vorliegen eines KI-Systems die KI-Verordnung keine Anwendung findet. So findet die KI-Verordnung keine Anwendung

für KI Systeme, wenn und soweit sie ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit in Verkehr gebracht, in Betrieb genommen oder, mit oder ohne Änderungen, verwendet werden, unabhängig von der Art der Einrichtung, die diese Tätigkeiten ausübt (Art. 2 Abs. 3 KI-Verordnung)
für KI Systeme oder KI Modelle, einschließlich ihrer Ausgabe, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden (Art. 2 Abs. 6 KI-Verordnung)
für Forschungs-, Test- und Entwicklungstätigkeiten zu KI Systemen oder KI Modellen, bevor diese in Verkehr gebracht oder in Betrieb genommen werden (Art. 2 Abs. 8 KI-Verordnung)
für die Pflichten von Betreibern, die natürliche Personen sind und KI Systeme im Rahmen einer ausschließlich persönlichen und nicht beruflichen Tätigkeit verwenden (Art. 2 Abs. 10 KI-Verordnung; sog. „Haushaltsausnahme“)
für KI Systeme, die unter freien und quelloffenen Lizenzen bereitgestellt werden, es sei denn, sie werden als Hochrisiko-KI Systeme oder als ein KI System, das unter Artikel 5 oder 50 fällt, in Verkehr gebracht oder in Betrieb genommen (Art. 2 Abs. 12 KI-Verordnung)

Geltung auch für nicht-europäische Unternehmen

Der Anwendungsbereich der KI- Verordnung ist weit gefasst und betrifft Anbieter und Betreiber unabhängig von ihrem Standort, sofern die KI-Systeme in der EU in Verkehr gebracht oder genutzt werden (sog. „Marktortprinzip“, Art. 2 Abs. 1 KI-Verordnung).

KI-Modelle mit allgemeinem Verwendungszweck

Die KI-Verordnung unterscheidet zwischen einem KI-System und einem KI-Modell, wobei sich die KI-Verordnung bei Letzterem konkret auf die sogenannten „KI-Modelle mit allgemeinem Verwendungszweck“ bezieht (vgl. Kapitel V der KI-Verordnung).

Nach Art. 3 Nr. 63 der KI-Verordnung meint „KI-Modell mit allgemeinem Verwendungszweck“

„ein KI-Modell — einschließlich der Fälle, in denen ein solches KI-Modell mit einer großen Datenmenge unter umfassender Selbstüberwachung trainiert wird —, das eine erhebliche allgemeine Verwendbarkeit aufweist und in der Lage ist, unabhängig von der Art und Weise seines Inverkehrbringens ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen, und das in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden kann, ausgenommen KI-Modelle, die vor ihrem Inverkehrbringen für Forschungs- und Entwicklungstätigkeiten oder die Konzipierung von Prototypen eingesetzt werden.“

Dabei handelt es sich bei den KI-Modellen gerade noch nicht um ein KI-System, sondern um Modelle, die eine erhebliche allgemeine Verwendbarkeit aufweisen und ein breites Spektrum unterschiedlicher Aufgaben kompetent erfüllen können (vgl. Erwägungsgrund 98 der KI-Verordnung). Diese Modelle wurden als Reaktion auf ChatGPT nach dem ersten Vorschlag der Kommission eingeführt und stellen einen Versuch dar, große Sprachmodelle zu regulieren.

Da nur wenige Unternehmen solche Modelle selbst erstellen oder weiterentwickeln, sind diese Modelle für die meisten Unternehmen nicht relevant. Aus diesem Grund wird im Folgenden nicht weiter auf diese Modelle eingegangen.

Inwiefern gilt die KI-Verordnung für Unternehmen?

Die KI-Verordnung normiert verschiedene Adressaten. Neben dem Einführer (Art. 3 Nr. 6 KI-Verordnung), Händler (Art. 3 Abs. 7 KI-Verordnung) und dem Akteur (Art. 3 Nr. 8 KI-Verordnung), sind vor allem der Anbieter (Art. 3 Nr. 3 KI-Verordnung) sowie der Betreiber (Art. 3 Nr. 4 KI-Verordnung) die zentralen Adressaten der KI-Verordnung, deren Bedeutung im Folgenden näher betrachtet werden soll.

Anbieter im Sinne des Art. 3 Nr. 3 KI-Verordnung ist

„eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI‑System oder ein KI‑Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder das KI‑System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nimmt, sei es entgeltlich oder unentgeltlich“

Alle in der Definition genannten Voraussetzungen werden in der KI-Verordnung definiert und in den Erwägungsgründen näher erläutert. Entwickelt ein Unternehmen also eigene KI-Systeme (z.B. OpenAI, Microsoft), dann handelt es sich bei diesen Unternehmen um Anbieter. Dagegen dürfte nicht ausreichen, ein System zu kaufen / zu lizensieren und „out of the box“ zu verwenden.

KI Anbieter bei Einsatz von GPTs o.Ä.: Es spricht viel dafür, dass ein Unternehmen kein Anbieter ist, wenn es GPTs lizensiert und in eigene Systeme z.B. über API-Schnittstellen einbindet oder auch nur eine eigene Nutzerfläche davor schaltet. Eine andere Bewertung wäre denkbar, wenn das Unternehmen das Modell weiterentwickelt und das weiterentwickelte Modell auf den Markt bringt.

Betreiber im Sinne des Art. 3 Nr. 4 KI-Verordnung meint

„eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI‑System in eigener Verantwortung verwendet, es sei denn, das KI‑System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet“

Setzt ein Unternehmen KI-Systeme von Anbietern ein oder integriert es diese in eigene Produkte, so ist das Unternehmen als Betreiber anzusehen. Arbeitgeber, die KI-Systeme z.B. im Personalbereich einsetzen, sind danach grundsätzlich als Betreiber zu qualifizieren. Arbeitnehmer, die solche KI-Systeme nutzen, dürften nicht als Betreiber anzusehen sein, da sie das KI-System nicht „in eigener Verantwortung“ nutzen, wie es Art. 3 Nr. 4 KI-Verordnung voraussetzt.

Der Betreiber wird zum Anbieter: Wichtig ist, dass Art. 25 Abs. 1 KI-Verordnung einen Wechsel vom Betreiber zum Anbieter vorsieht, wenn bestimmte Voraussetzungen erfüllt sind. So soll ein Betreiber zum Anbieter eines Hochrisiko-KI-Systems werden und den Anbieterpflichten gemäß Art. 16 KI-Verordnung unterliegen, wenn

Sie ein bereits in Verkehr gebrachtes oder in Betrieb genommenes Hochrisiko-KI System mit ihrem Namen oder ihrer Handelsmarke versehen, unbeschadet vertraglicher Vereinbarungen, die eine andere Aufteilung der Pflichten vorsehen
Sie eine wesentliche Veränderung eines Hochrisiko-KI Systems, das bereits in Verkehr gebracht oder in Betrieb genommen wurde, so vornehmen, dass es weiterhin ein Hochrisiko-KI System gemäß Art. 6 KI-Verordnung bleibt
Sie die Zweckbestimmung eines KI Systems, einschließlich eines KI Systems mit allgemeinem Verwendungszweck, das nicht als hochriskant eingestuft wurde und bereits in Verkehr gebracht oder in Betrieb genommen wurde, so verändern, dass das betreffende KI System zu einem Hochrisiko-KI System im Sinne von Art. 6 KI-Verordnung wird

Ein solcher Fall könnte vorliegen, wenn der Arbeitgeber ein KI-System, das lediglich eine reine Filterung von Bewerbungen ermöglicht, eigenständig um Komponenten erweitert, die neben der Filterung auch eine Bewertung der Bewerber ermöglichen. Selbst ein reines „Branding“ des KI-Systems durch den Arbeitgeber könnte ausreichen. In diesem Fall würde der Arbeitgeber die Zweckbestimmung im Sinne von Art. 3 Nr. 12 KI-Verordnung ändern und damit eine originäre Anbieterhandlung vornehmen.

Was müssen Unternehmen für welche KI-Systeme beachten? Welche Risikoklassen gibt es?

Die KI-Verordnung verfolgt einen risikobasierten Ansatz. Grundsätzlich gilt: Je höher das Risiko des KI-Systems, desto strengere Pflichten sind einzuhalten. Dabei unterscheidet die KI-Verordnung zwischen

Verbotene KI-Praktiken (Art. 5 KI-Verordnung)

Der europäische Gesetzgeber hat in Art. 5 der KI-Verordnung Anwendungsfälle normiert, die aus seiner Sicht eine solche Gefährdung der Grundrechte von Personen darstellen, dass der Einsatz von bestimmten KI-Praktiken zu diesen Zwecken gänzlich verboten ist:

Unterschwellige Techniken

Einsatz von Techniken, die unterbewusst wirken oder täuschen, um das Verhalten von Menschen zu beeinflussen und ihnen Schaden zuzufügen (z.B. Tool mit Sprachassistenz, das gefährliches Verhalten fördert)