EU-Parlament will KI-Gesetz nachschärfen

Das Gesetz über künstliche Intelligenz gilt als eines der wichtigsten Regulierungsvorhaben der EU. Nun wurden vom Europäischen Parlament neue Kompromissänderungsanträge in Umlauf gebracht, die das Gesetz in einigen Bereich deutlich verschärfen. 

Der neue Kompromiss wurde am Montag (9. Januar) in Umlauf gebracht und soll am Mittwoch in einer technischen Sitzung diskutiert werden. Es handelt sich um einen der letzten Teile der ersten Überarbeitung des KI-Gesetzes, eines bahnbrechenden Gesetzesvorschlags zur Regulierung der Technologie auf der Grundlage ihres Schadenspotenzials.

Die Vorschläge der Berichterstatter des Parlaments behandeln hierbei insbesondere die Durchführung von Folgenabschätzungen für die Grundrechte und andere Verpflichtungen für Nutzer:innen von Hochrisikosystemen.

Folgenabschätzung für die Grundrechte

Der Vorschlag sieht vor, alle Nutzer:innen von KI-Systemen mit hohem Risiko, sowohl öffentliche als auch private Einrichtungen, verpflichten, eine Folgenabschätzung für die Grundrechte vorzunehmen. Sie führen dabei mehrere Mindestelemente auf, die die Folgenabschätzung enthalten sollte.

Insbesondere müssten die KI-Nutzer:innen den beabsichtigten Zweck, den geografischen und zeitlichen Umfang der Nutzung, die Kategorien der betroffenen Personen und Gruppen, spezifische Risiken für Randgruppen und die vorhersehbaren Umweltauswirkungen, zum Beispiel beim Energieverbrauch, berücksichtigen.

Weitere Elemente sind die Vereinbarkeit mit EU- und nationalem Recht sowie mit den Grundrechten, die potenziellen negativen Auswirkungen auf die Werte der EU und – im Falle von Behörden – etwaige Überlegungen zu Demokratie, Rechtsstaatlichkeit und der Vergabe öffentlicher Mittel.

Laut dem Vorschlag sollten die Nutzer:innen einen detaillierten Plan erstellen, wie die direkten oder indirekten negativen Auswirkungen auf die Grundrechte gemildert werden können. Sollte dies nicht der Fall sein, müssten sie den KI-Anbieter und die zuständige nationale Behörde unverzüglich informieren.

„Im Zuge der Folgenabschätzung muss der Nutzer die zuständigen nationalen Behörden und die relevanten Interessengruppen benachrichtigen und Vertreter:innen der Personen oder Personengruppen einbeziehen, die nach vernünftigem Ermessen vorhersehbar von dem KI-System mit hohem Risiko betroffen sein werden“, heißt es in dem Kompromiss.

Zu den Vertreter:innen, die Beiträge für die Folgenabschätzung liefern könnten, gehören beispielsweise Gleichstellungsstellen, Verbraucherschutzbehörden, Sozialpartner:innen und Datenschutzbehörden. Die Nutzer:innen sollten ihnen sechs Wochen Zeit geben, um einen solchen Beitrag zu leisten, und wenn es sich um eine öffentliche Einrichtung handelt, sollten sie das Ergebnis der Folgenabschätzung als Teil der Registrierung im EU-Register veröffentlichen.

Verpflichtungen für Nutzer von Hochrisikosystemen

Zudem werden in dem Vorschlag die Verpflichtungen für Nutzer von KI-Systemen, die als Hochrisikosysteme gelten, erheblich erweitert. So müssen sie beispielsweise sicherstellen, dass sie über angemessene Cybersicherheitsmaßnahmen verfügen und diese Maßnahmen regelmäßig aktualisiert werden.

Darüber hinaus müssen die Nutzer:innen „in dem Maße, in dem sie die Kontrolle über das KI-System mit hohem Risiko ausüben“, die Risiken im Zusammenhang mit den potenziellen nachteiligen Auswirkungen der Nutzung und die entsprechenden Abhilfemaßnahmen bewerten.

Wenn die Nutzer:innen feststellen, dass die Verwendung des Hochrisikosystems gemäß den Anweisungen ein Risiko für die Gesundheit, die Sicherheit oder den Schutz der Grundrechte darstellt, müssen sie den Anbieter oder Händler der KI und die zuständige nationale Behörde unverzüglich informieren.

Der Kompromiss sieht vor, dass die Nutzer:innen in allen von der KI-Verordnung geforderten Fällen für eine menschliche Aufsicht sorgen und sicherstellen müssen, dass die verantwortlichen Personen über die erforderlichen Kompetenzen, Schulungen und Ressourcen für eine angemessene Überwachung verfügen.

Nutzer:innen von KI-Systemen mit hohem Risiko müssen außerdem die vom System erzeugten automatischen Protokolle führen, um die Einhaltung des KI-Gesetzes zu gewährleisten, und alle vorhersehbaren Fehlfunktionen oder Zwischenfälle prüfen sowie die Systeme während ihres gesamten Lebenszyklus überwachen.

Bevor ein risikoreiches KI-System an einem Arbeitsplatz eingeführt wird, sollten die Nutzer die Arbeitnehmervertreter:innen konsultieren und die Arbeitnehmer:innen informieren und deren Zustimmung einholen.

Darüber hinaus müssen die Nutzer:innen die von dem Hochrisikosystem betroffenen Personen informieren, insbesondere über die Art der verwendeten KI, ihren Verwendungszweck und die Art der von ihr getroffenen Entscheidungen.

Es wurde auch ein Absatz hinzugefügt, der sich mit generativer KI befasst, das heißt mit zunehmend beliebten Modellen wie ChatGPT, die Inhalte auf der Grundlage menschlicher Eingaben generieren können. Die Nutzer:innen solcher Systeme müssten offenlegen, dass ein solcher Text von KI generiert oder manipuliert wurde, es sei denn, der Inhalt wurde von Menschen überprüft und der Herausgeber ist haftbar oder trägt die redaktionelle Verantwortung.

KI-Anbieter sollten eng mit den Nutzer:innen zusammenarbeiten, um diesen Verpflichtungen nachzukommen. Im Gegenzug müssten die Nutzer:innen mit den nationalen Behörden bei allen Maßnahmen im Zusammenhang mit Hochrisikosystemen zusammenarbeiten.

Verpflichtungen für Vertreiber, Importeure und Nutzer

Händler:innen, Importeur:innen, Nutzer:innen und andere Dritte würden unter bestimmten Umständen, als Anbieter eines Hochrisikosystems mit entsprechenden Verpflichtungen angesehen – zum Beispiel, wenn sie den Verwendungszweck ändern oder eine wesentliche Änderung vornehmen, die eine KI zu einer risikoreichen Anwendung macht.

Eine weitere Bedingung ist, dass das Hochrisikosystem unter ihrem Namen oder ihrer Marke in Betrieb genommen wurde, es sei denn, eine vertragliche Vereinbarung weist die Pflichten anders zu.

Wenn diese Dritten zu einem neuen KI-Anbieter werden, sollte der ursprüngliche Anbieter eng mit ihnen zusammenarbeiten, um die Verpflichtungen aus der Verordnung zu erfüllen.

[Bearbeitet von Alice Taylor]