KI-Verordnung

KI-Verordnung - Insights

Die neue KI-Verordnung der Europäischen Union, die im April 2021 vorgestellt wurde, ist ein bahnbrechender Gesetzesentwurf, der darauf abzielt, die Nutzung und den Missbrauch von künstlicher Intelligenz (KI) zu regulieren. Sie soll sowohl die Rechte der Bürger schützen als auch die Entwicklung und Nutzung von KI durch Unternehmen erleichtern.

KI-Verordnung
Inhalt dieser Seite

Was ist die KI-Verordnung?

Video abspielen

KI-VO: Verordnung über Künstliche Intelligenz

Die KI-VO, kurz für Verordnung über Künstliche Intelligenz, ist ein wichtiger Schritt der Europäischen Union, um den Umgang mit KI-Technologien zu regulieren. Diese Verordnung, die voraussichtlich im Jahr 2024 in Kraft treten wird, soll sicherstellen, dass Künstliche Intelligenz ethisch und verantwortungsbewusst eingesetzt wird.

Die KI-VO wurde von der Europäischen Kommission als Antwort auf die steigende Bedeutung von KI in verschiedenen Bereichen wie Gesundheit, Verkehr, und Sicherheit entwickelt. Sie zielt darauf ab, die Bürger der Union vor möglichen Risiken im Zusammenhang mit KI zu schützen und gleichzeitig Innovationen zu fördern.

Die Verordnung wird voraussichtlich verschiedene Aspekte des KI-Einsatzes regeln, einschließlich Transparenz, Haftung, und Datenschutz. Sie wird auch Anforderungen an die Qualitätskontrolle von KI-Systemen stellen und die Entwicklung von ethischen Richtlinien fördern.

Die KI-VO soll im Einklang mit dem AI Act und anderen relevanten Gesetzen der Union stehen, um einen umfassenden rechtlichen Rahmen für KI zu schaffen. Sie wird voraussichtlich auch Maßnahmen zur Überwachung und Durchsetzung der Vorschriften enthalten, um sicherzustellen, dass sie effektiv umgesetzt werden.

Insgesamt wird die KI-VO einen bedeutenden Einfluss auf den Umgang mit Künstlicher Intelligenz in der Europäischen Union haben und dazu beitragen, dass KI-Technologien verantwortungsbewusst und zum Wohl der Gesellschaft eingesetzt werden.

Risikokategorien der KI-Systeme

Die Verordnung unterteilt KI-Systeme in vier Risikokategorien: unannehmbar, hoch, begrenzt und minimal.

Schutzmaßnahmen

Die Verordnung stellt auch sicher, dass die EU-Bürger Schutzmaßnahmen gegen die Risiken haben, die durch KI entstehen können, und sie haben das Recht, sich gegen Entscheidungen zu wehren, die auf KI-Systemen basieren. Sie zielt auch darauf ab, ein Gleichgewicht zwischen dem Schutz der Bürger und der Förderung von Innovationen in KI zu schaffen.

Was ist die KI-Verordnung?

Die KI-VO regelt umfassend die Entwicklung, den Vertrieb und den Einsatz von Künstlicher Intelligenz innerhalb der EU. Ihr Hauptziel ist es, vertrauenswürdige KI-Systeme zu fördern und gleichzeitig ein sicheres und innovationsfreundliches Umfeld zu schaffen.

Die KI-VO enthält Regeln, die für jede Art von KI gelten (z.B. die Notwendigkeit einer KI-Kompetenz, Artikel 4 KI-VO), strenge Vorschriften für Hochrisiko-KI-Systeme (z.B. im Beschäftigungskontext) sowie Verbote für bestimmte KI-Praktiken (z.B. Social Scoring).

Da KI nicht nur ein hohes Zukunftspotential, sondern auch ein hohes Risikopotential birgt, werden Verstöße gegen diese Regeln mit hohen Bußgeldern geahndet, die sogar die Bußgelder der DSGVO übersteigen könnten.

Heißt es "KI-Verordnung" oder "KI-Gesetz"?

Formell betrachtet handelt es sich um eine “KI-Verordnung”, da von der EU verbindlich für alle Mitgliedsstaaten festgelegte Regeln als Verordnungen bezeichnet werden (Art. 288 AEUV). Wenn der deutsche Gesetzgeber hingegen eine allgemein geltende Regelung erlässt, dann heißt es “Gesetz”.

Warum ist die Regulierung von KI durch die KI-VO notwendig?

Die Entwicklung und der Einsatz von Künstlicher Intelligenz birgt viele Risiken für Menschen. Zu diesen Risiken gehören insbesondere:

KI-Systeme können bestehende Vorurteile und Diskriminierungen verstärken, insbesondere wenn sie mit voreingenommenen Daten trainiert werden.

KI-Technologien können große Mengen an personenbezogenen Daten sammeln und analysieren, was das Risiko von Datenschutzverletzungen erhöht.

KI-Systeme können Ziel von Cyberangriffen werden, was schwerwiegende Folgen für die Sicherheit von Daten und Infrastrukturen haben kann.

Die zunehmende Abhängigkeit von KI könnte die Entscheidungsfreiheit und Autonomie des Menschen einschränken.

Oftmals ist es schwierig nachzuvollziehen, wie KI-Entscheidungen getroffen werden, was zu einem Mangel an Transparenz und Verantwortlichkeit führt.

KI-Systeme sind nicht unfehlbar und können Fehlentscheidungen treffen, die gravierende Folgen haben können.

Der Einsatz von KI wirft zahlreiche ethische und moralische Fragen auf, insbesondere in Bezug auf die Entscheidungsfindung in kritischen Bereichen wie Medizin und Justiz.

Diese und weitere Risiken verdeutlichen die Notwendigkeit der KI-VO, um einen verantwortungsvollen und sicheren Umgang mit Künstlicher Intelligenz zu gewährleisten.

Welche Risikokategorien definiert die KI-VO für Künstliche Intelligenz?

Es ist essentiell, dass KI-Systeme und KI-basierte Verfahren im ersten Schritt entsprechend den Risikoklassen der KI-Verordnung klassifiziert und vor allem verbotene KI-Systeme und Hochrisikosysteme erkannt und entsprechend behandelt werden.

Bei KI-Systemen mit begrenzten Risiken müssen Transparenzpflichten und sonst zumindest die KI-Kompetenz der Mitarbeitenden gesichert werden. Ein Fall für sich sind KI-Modelle mit allgemeinem Verwendungszweck, die je Einsatz in alle der vorgenannten Risikoklassen fallen können.

Die KI-VO enthält Regulierungen zum Einsatz von KI, die auf einer Risikobetrachtung basieren. Dabei werden folgende Risikokategorien unterschieden:

KI-Praktiken, die als unannehmbar risikoreich eingestuft werden, sind vollständig verboten. Dazu gehören beispielsweise KI-Anwendungen, die Menschen manipulieren oder kriminelles Verhalten aufgrund persönlicher Merkmale vorhersagen.

KI-Systeme, die ein hohes Risiko darstellen, unterliegen strengen Vorschriften. Dies umfasst Anforderungen an Datenqualität, Dokumentation und Transparenz sowie regelmäßige Prüfungen und Überwachung. Beispiele sind KI-Systeme im Gesundheitswesen für Diagnosezwecke oder Beurteilung von Bewerbern und Beschäftigten.

Systeme mit begrenztem Risiko müssen spezifische Transparenzanforderungen erfüllen. Benutzer müssen darüber informiert werden, dass sie mit einer KI interagieren, und in der Lage sein, deren Entscheidungen nachzuvollziehen. Beispiele hierfür sind Chatbots, die Kundensupport leisten oder Deepfakes.

Für KI-Anwendungen, die ein minimales Risiko darstellen, gelten, bis auf die Pflicht zur KI-Kompetenz, keine spezifischen regulatorischen Anforderungen. Dies betrifft beispielsweise KI-Anwendungen zur Spamerkennung oder deren Einsatz in Videospielen.

Diese Modelle, die für eine Vielzahl von Anwendungen genutzt werden und je nach Anwendung in alle der vorgenannten Kategorieen fallen können, unterliegen spezifischen Anforderungen, um sicherzustellen, dass sie sicher und zuverlässig sind. Dies umfasst Maßnahmen zur Sicherstellung der Robustheit, Genauigkeit und Fairness der Modelle sowie klare Vorgaben zur Transparenz und Nachvollziehbarkeit der Entscheidungen. Beispiele sind generative Sprachmodelle wie GPT4.0 oder Claude3.5.

Diese Risikokategorien ermöglichen eine differenzierte Regulierung, die den Schutz der Grundrechte gewährleistet und gleichzeitig Innovationen im Bereich der Künstlichen Intelligenz fördern soll.

Was versteht die KI-VO unter “Künstlicher Intelligenz” und “KI-Systemen”?

Die KI-VO stützt sich auf die Definition der KI durch die OECD und versteht KI als ein maschinengestütztes System, das für einen in wechselndem Maße autonomen Betrieb ausgelegt ist und nach seiner Einführung anpassungsfähig sein kann.

Aus den erhaltenen Eingaben werden Ergebnisse wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen hervorgebracht, die physische oder virtuelle Umgebungen beeinflussen können.

Statt allgemein von “KI” zu sprechen, verwendet die die KI-VO entsprechend der vorstehenden Definition im Artikel 3 den Begriff “KI-System”. Damit wird klargestellt, dass es nicht um das eher abstrakte Konzept der “Künstlichen Intelligenz” geht, sondern um deren konkrete Anwendung und deren Auswirkungen auf den Menschen.

Daumenregel: Kurz zusammengefasst kann man eine KI daran erkennen, dass sie lernfähig ist und Aufgaben erledigt, die normalerweise menschliche Intelligenz erfordern. Sei es als Software, mittels Hardware oder einer Kombination von beiden.

Was ist ein “KI-Modell” im Sinne der KI-Verordnung?

Das KI-Modell GPT 4.0 wird z.B. in dem Chat-Bot “ChatGPT” als auch in Microsoft AI-Assistenten “Copilot” eingesetzt. Bei ChatGPT und Copilothandelt es sich um KI-Systeme im Sinne der KI-VO, die z.B. Ergebnisse ausgeben und so Einfluss auf die virtuelle und reale Welt nehmen können.

Neben dem Begriff “KI-System” verwendet die KI-Verordnung (KI-VO) auch den Begriff “KI-Modell”. Damit ist der Algorithmus gemeint, also die durch das Training erschaffene Denkgrundlage einer KI, die die Denkweise der KI bestimmt (z.B. sogenannte Large Language Models (LLMs), wie GPT-4, LLAMA oder Claude 3 sind unterschiedliche KI-Modelle).

Ein KI-Modell alleine oder zusammen mit weiteren KI-Modellen bildet die Grundlage eines KI-Systems. Zum Beispiel sind die KI-Modelle “GPT-4” und “Dall-E” die Basis für ChatGPT oder Microsofts Copilot.

Indem die KI-VO auch die Entwicklung von KI-Modellen regelt, soll sichergestellt werden, dass Risiken der KI bereits “an der Wurzel” vermieden werden. Dies umfasst insbesondere die Regelung von KI-Modellen mit allgemeinem Verwendungszweck (wie die oben genannten Beispiele), die in nahezu allen Bereichen eingesetzt werden können (Artikel 51-56 der KI-VO).

Gilt die KI-VO nur innerhalb der EU?

Die KI-VO gilt – so wie die DSGVO – nicht nur für KI, die in der EU entwickelt, vermarktet und eingesetzt wird, sondern auch, wenn sich der KI-Output in der EU auswirkt:

Geltungsbereich innerhalb der EU: Die KI-VO gilt für Anbieter, Importeure oder Händler von KI-Systemen, die in der EU in Verkehr gebracht werden sowie Betreiber von KI-Systemen, die Ihren Sitz in der EU haben.

Geltung für Drittländer: Auch Anbieter, Betreiber und Produkthersteller mit Sitz in Drittländern sind betroffen, wenn die KI-Ausgabe in der EU verwendet wird.

Wann kommt die KI-VO nicht zur Anwendung?

Wann müssen Privatpersonen die KI-VO beachten?

Die KI-VO betrifft zunächst jedermann. Sie gilt also auch, wenn KI nicht für geschäftliche, sondern für private Zwecke eingesetzt wird. So wird zum Anbieter im Sinne der KI-VO auch, wer ein KI-System unentgeltlich zur Verfügung stellt (Artikel 3 Nr. 3 KI-VO). Allerdings macht das Gesetz eine Ausnahme (Artikel 2 Abs. 10 KI-VO):

Diese Verordnung gilt nicht für die Pflichten von Betreibern, die natürliche Personen sind und KI‑Systeme im Rahmen einer ausschließlich persönlichen und nicht beruflichen Tätigkeit verwenden.

Gemeint ist damit eine KI-Nutzung, die Dritte nicht beeinträchtigt weil sie auf einen engen persönlichen Kreis beschränkt ist.

Die Abgrenzung ist nicht immer einfach, kann aber anhand des Beispiels eines Deepfakes verdeutlicht werden.

Beispiel: Wer zum Beispiel Deepfakes einer Person zur eigenen Belustigung erstellt und sie innerhalb der Familie, Freunde oder engen Arbeitskollegen zeigt, muss die KI-VO nicht beachten. Wer Deepfakes dagegen für alle zugänglich im Internet oder Intranet des Arbeitgebers teilt, verlässt den persönlichen Rahmen und muss die Deepfakes als solche kennzeichnen (Art 50 Abs. 4 KI-VO).

Haushaltsausnahme der DSGVO

Das Prinzip, dass nur der persönliche Bereich vom Gesetz nicht erfasst ist, ist auch von der sogenannten “Haushaltsausnahme” der DSGVO bekannt, der die “Ausübung ausschließlich persönlicher oder familiärer Tätigkeiten” von den Pflichten der DSGVO freistellt (Art. 2 Abs. 2 lit. c) DSGVO). So käme im obigen Beispiel neben der KI-VO auch die DSGVO zur Anwendung und der Uploader müsste eine rechtliche Berechtigung, zum Beispiel eine Einwilligung, für die Veröffentlichung des Deepfakes vorweisen oder würde sonst DSGVO-Bußgelder und Schadensersatz riskieren.

Gilt die KI-VO auch für Open-Source-Software?

Die KI-Verordnung (KI-VO) gilt grundsätzlich nicht für Open-Source-Software, es sei denn, es handelt sich um spezifische Ausnahmen (Artikel 2 Abs. 12 KI-VO):

Verbotene KI-Praktiken: KI-Systeme, die unethische oder gesetzlich verbotene Praktiken unterstützen.

Hochrisiko-KI-Systeme: Systeme, die erhebliche Risiken für Gesundheit, Sicherheit oder Grundrechte bergen.

Deepfake-Generierung: Die Transparenzpflichten bei Interaktionen mit Menschen, Erstellung synthetischer Inhalte und Kennzeichnung von Deepfakes müssen auch bei Open-Source-KI gewahrt werden.

Im Grunde bedeutet das, dass Open-Source-KI, die in eine dieser Kategorien fällt, genauso geprüft wird wie jede andere KI. Aber ansonsten kommt die KI-VO, z.B. die Pflicht zur KI-Kompetenz im Artikel 4, bei Open-Source-Software nicht zur Anwendung.

Welche Arten von KI-Systemen werden von der KI-VO reguliert?

Die KI-VO zielt darauf ab, verschiedene Arten der KI-Nutzung zu regulieren, basierend auf ihrem Risiko für die Gesellschaft:

1
Verbotene KI-Praktiken

Aufgrund ihres hohen Risikos und potenziellen Schadens werden besonders schädliche Arten des KI-Einsatzes vollständig untersagt. Zu diesen verbotenen Praktiken gehören vor allem Systeme zur sozialen Bewertung, Echtzeit-Biometrie in öffentlichen Räumen oder schädliche Verhaltensmanipulationen (Artikel 5 KI-VO).

2
Hochrisiko-KI-Systeme

Hochrisiko-KI-Systeme erfordern strenge Vorschriften und Kontrollen, wie KI in kritischen Infrastrukturen, medizinische Geräte und biometrische Identifikationssysteme wie Gesichtserkennung in öffentlichen Räumen. Diese KI-Systeme unterliegen umfangreichen Regelungen und Verpflichtungen (Artikel 6-49 KI-VO).

3
KI-Modelle mit allgemeinem Verwendungszweck

Generelle KI-Modelle (General Purpose AI) sind KI-Systeme, die sich für beliebige Aufgaben einsetzen lassen, z.B. auch für Hochrisiko-KI-Systeme oder verbotene KI-Praktiken. Der Gesetzgeber regelt daher nicht nur den konkreten Einsatz der generellen KI als KI-System, sondern schon die KI-Modelle selbst (Artikel 51-56 der KI-VO).

4
KI-Systeme ohne spezielle Regulierung

Beim Einsatz von allen KI-Systemen müssen die Anforderungen an die KI-Kompetenz (Artikel 4 KI-VO) und die Transparenzanforderungen, z.B. Kennzeichnung von Deepfakes, beachtet werden (Artikel 50 KI-VO).

Welche KI-Praktiken sind durch die KI-VO vollständig verboten?

Die KI-VO verbietet “das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems”, die zu den folgenden Zwecken eingesetzt, bzw. die genannte Wirkung haben werden (Artikel 5 KI-VO):

Untersagt werden zunächst KI-Praktiken, die als Folge das Verhalten einer Person oder einer Gruppe von Personen so wesentlich verändern, dass sie Entscheidungen treffen, die ihnen einen erheblichen Schaden zufügen könnten. Dabei werden explizit die folgenden Verhaltensweisen untersagt:

Unterschwellige Beeinflussung: Verboten ist der Einsatz von “Techniken der unterschwelligen Beeinflussung außerhalb des Bewusstseins oder absichtlich manipulative oder täuschende Techniken“, um die vorstehenden Zwecke zu erreichen. Beispiel: Ein Online-Shop verwendet eine KI, die auf Grundlage des Nutzerprofilings Texte und Grafiken individuell auf potenzielle Kunden anpasst, um sie so zu einem Kauf zu verleiten.


Schwächen oder Schutzbedürftigkeit: Verboten ist ebenfalls das Ausnutzen der Schwächen oder Schutzbedürftigkeit einer Person oder Gruppe aufgrund von Alter, Behinderung oder sozialer und wirtschaftlicher Situation mit den vorgenannten Folgen. Beispiel: Eine Kreditkartenfirma setzt eine KI ein, die gezielt ältere Menschen mit niedrigem Einkommen anspricht und mittels eines KI-Chatbots mit Emotionserkennung dazu verleitet, hochverzinsliche Kredite aufzunehmen.

KI-Systeme zur Bewertung oder Klassifizierung von Personen oder Gruppen über einen bestimmten Zeitraum basierend auf ihrem Sozialverhalten oder persönlichen Eigenschaften, wenn dies zu ungerechtfertigter oder unverhältnismäßiger Benachteiligung führt. Diese Vorschrift richtet sich vor allem an staatliche Stellen, kann aber auch “im Kleinen” erfolgen. 

Beispiel: Ein Unternehmen beobachtet die Beschäftigten im Verhalten miteinander und vergibt Verhaltenspunkte, die sich beim Gehalt oder bei Beförderungen bemerkbar machen.

KI-Systeme zur Bewertung oder Vorhersage des Risikos, dass eine Person eine Straftat begeht, basierend auf Profiling und Persönlichkeitsmerkmalen, ausgenommen Systeme zur Unterstützung menschlicher Bewertungen, die auf objektiven Tatsachen beruhen. Auch in diesem Fall richtet sich die Vorschrift vor allem an staatliche Stellen, kann aber auch Unternehmen betreffen. 

Beispiel: Eine KI bewertet das Risiko, dass jemand eine Straftat begeht, basierend auf seinem Wohnort und seiner Online-Aktivität, und verhindert dadurch den Zugang zu bestimmten Jobs oder Dienstleistungen.

KI-Systeme, die Gesichtserkennungsdatenbanken durch ungezieltes (also zufälliges) Auslesen von Bildern aus dem Internet oder Überwachungskameras erstellen oder erweitern. 

Beispiel: Eine KI analysiert Gesichter in Überwachungskameras und erstellt ohne Zustimmung der Betroffenen eine Datenbank, die von Sicherheitsfirmen verwendet wird.

KI-Systeme zur Ableitung von Emotionen am Arbeitsplatz oder in Bildungseinrichtungen, außer sie werden aus medizinischen oder sicherheitstechnischen Gründen eingesetzt. 

Beispiel: Eine KI in einem Bewerbungsgespräch analysiert die Gesichtsausdrücke der Kandidaten, um deren Emotionen zu bewerten und trifft darauf basierend Einstellungsentscheidungen.

Untersagt wird die biometrische Identifizierung in der Öffentlichkeit zu Strafverfolgungszwecken, außer in konkreten Gefahren (z.B. Terrorismus und Anhang II zur KI-VO).

Ebenfalls werden KI-Systeme, die Personen auf Grundlage biometrischer Daten kategorisieren, um Rückschlüsse auf ihre Rasse, politischen Meinungen, Gewerkschaftszugehörigkeit, religiösen Überzeugungen, ihr Sexualleben oder ihre sexuelle Orientierung zu ziehen, untersagt. 

Beispiel: Ein KI-System kategorisiert Menschen in einem Einkaufszentrum basierend auf ihrer Gesichtsanalyse, um personalisierte Werbung anzuzeigen, die auf ihre vermeintliche religiöse Zugehörigkeit oder politische Meinung abzielt.

In der unternehmerischen Praxis werden die Verbote vor allem im Rahmen des Personalmanagements (z.B. Emotionserkennung) oder des Marketings (unterschwellige Beeinflussung und Ausnutzen von Schwächen) relevant sein. In diesen Bereichen eingesetzte Beschäftigte sollten zur Vermeidung von erheblichen Bußgeldern in jedem Fall über diese Grenzen unterrichtet und auf deren Einhaltung verpflichtet werden.

Inhalt dieser Seite
Jörg ter Beek externer Datenschutzbeauftragter
Jörg ter Beek
Datenschutzexperte & DSB
Unterstützung bei der Umsetzung der KI-VO benötigt?

Mit Cortina Consult die Vorgaben der neuen KI-Verordnung in Ihrem Unternehmen rechtssicher umsetzen.

Nach oben scrollen
Sie haben Fragen?
– Wir beraten Sie gerne
Jörg ter Beek externer Datenschutzbeauftragter
Jörg ter Beek
Datenschutzexperte & DSB
Unsere Lösungen
Cortina Consult Logo