Online-Plattformen: Europas holpriger Weg zur Algorithmenprüfung

Nach dem neuen digitalen Regelwerk der EU müssen Online-Plattformen ihre Algorithmen offen legen und bewerten lassen. Allerdings bleiben einige Fragen zu dieser noch nie dagewesenen Aufgabe offen.

Mit dem Gesetz über digitale Dienste (DSA) wird ab August eine besondere Regelung für sehr große Online-Plattformen eingeführt. Diese müssen potenzielle gesellschaftliche Risiken, wie die Verbreitung von Desinformationen, analysieren und Maßnahmen zur Risikominderung vorlegen.

Diese Risikoanalyse und die Maßnahmen zur Risikominderung werden unabhängigen Prüfungen unterzogen, bei denen beurteilt wird, ob sie geeignet sind, die Anforderungen des DSA zu erfüllen. Dieser Prüfungsprozess wird also entscheidend dafür sein, wie die Plattformen die neuen EU-Vorschriften auslegen und sich an sie anpassen.

Die Europäische Kommission hat einen Entwurf des delegierten Rechtsakts veröffentlicht, um die Methodik für solche unabhängigen Prüfungen zu definieren. Die Rückmeldungen von Wirtschaftsprüfungsunternehmen, Technologieunternehmen und der Zivilgesellschaft weisen jedoch auf mehrere kritische Punkte für dieses unerforschte Gebiet hin.

Wirtschaftsprüfer

Die Wirtschaftsprüfungsgesellschaften haben in ihren Rückmeldungen immer wieder auf das Fehlen von Industriestandards hingewiesen, anhand derer die Algorithmen geprüft werden können, und die Kommission um zusätzliche Leitlinien für ein „angemessenes Maß an Sicherheit“ gebeten, um die verschiedenen Verpflichtungen der DSA zu erfüllen.

„Der wissenschaftliche Rahmen ist nicht vorhanden. Wir haben keine Antworten darauf, was mit diesem Gesetz erreicht werden soll. Wie definiert man ein systemisches Risiko? Wie misst man es?“ sagte Adriana Iamnitchi, Professorin für computergestützte Sozialwissenschaften an der Universität Maastricht, gegenüber EURACTIV.

Der Beratungsunternehmen PwC schrieb in seiner Antwort, dass „wenn man den Prüfer zum Richter darüber macht, was die Einhaltung der Vorschriften bedeutet, wird dies wahrscheinlich zu Abweichungen führen und möglicherweise Unstimmigkeiten zwischen den Interessengruppen darüber hervorrufen, wer die Messlatte auf das richtige Niveau gesetzt hat und ob verschiedene Unternehmen fair behandelt werden.“

Das Feedback von PwC überschneidet sich auch mit dem von Deloitte und EY, die ebenfalls zu den führenden Wirtschaftsprüfungsgesellschaften gehören. Da Algorithmus-Audits relativ neu und technisch komplex sind, verfügen nur wenige Unternehmen über das Fachwissen für diese Aufgabe oder über die nötigen finanziellen Mittel, um die erforderlichen Talente anzuwerben.

Plattformen

Uneinheitlichkeit und mangelnde Vergleichbarkeit sind angesichts der verschiedenen Arten von Plattformen, die Gegenstand der Prüfungen sein werden – von sozialen Medien bis hin zu Suchmaschinen – durchaus zu erwarten.

Die Technologieunternehmen halten den delegierten Rechtsakt für zu präskriptiv, da er die Vielfalt der Anwendungsfälle nicht berücksichtigt und die Prüfer nicht dazu verpflichtet, bei ihren Bewertungen verhältnismäßig vorzugehen.

„Der Nachteil eines (übermäßig) präskriptiven Standards ist, dass er die Auswahl der Prüfer einschränkt und Anreize für die Prüfer schafft, sich strikt an den Buchstaben des Gesetzes zu halten, anstatt an dessen Geist“, heißt es in der Stellungnahme von Wikimedia.

Ein Punkt, in dem sich Prüfer und Plattformen einig zu sein scheinen, ist, dass angesichts der Komplexität des DSA und der Neuartigkeit dieses Rahmens für das erste Jahr eine gewisse Flexibilität vorgesehen werden sollte.

Ein grundlegenderes Argument der digitalen Akteure ist jedoch, dass die Wirtschaftsprüfungsbranche möglicherweise nicht über das Fachwissen verfügt, um die innere Funktionsweise der Plattformen zu beurteilen.

„Dies zeigt uns das Paradoxon, in dem wir uns befinden. Viele undurchsichtige, datengesteuerte Unternehmen haben zu einer Komplexität geführt, die selbst für diejenigen, deren Aufgabe es ist, sie zu untersuchen, nämlich für Akademiker, unerreichbar ist“, erklärte Catalina Goanta, außerordentliche Professorin für Recht und Technologie an der Universität Utrecht, gegenüber EURACTIV.

Zivilgesellschaft

Im Mittelpunkt des Feedbacks der Vertreter der Zivilgesellschaft steht die Frage: Wer wird die Prüfer prüfen?

In einer gemeinsamen Antwort wiesen die gemeinnützigen Organisationen Algorithm Watch und AI Forensic darauf hin, dass Wirtschaftsprüfungsunternehmen einen Anreiz haben könnten, bei ihren Bewertungen nachsichtig zu sein, um Aufträge zu erhalten und zu behalten.

Dieses sogenannte ‚Audit-Washing‘-Risiko verschärft sich in einem Kontext ohne objektive Standards. In der Zwischenzeit haben die geprüften Unternehmen einen großen Ermessensspielraum, um die Informationen in den Berichten als vertraulich zu kennzeichnen und ihre Veröffentlichung zu verhindern.

Für die Mitglieder der Zivilgesellschaft besteht die beste Möglichkeit, Prüfer und Plattformen in Schach zu halten, darin, geprüften Forschern Zugang zur vollständigen Fassung der Prüfungsberichte zu gewähren. Im Rahmen des DSA dürfen geprüfte Forscher Daten von Plattformen anfordern, aber ihre Rolle im Prüfmechanismus ist verfahrenstechnisch noch offen.

Generell scheint die Zivilgesellschaft skeptisch zu sein, ob große Wirtschaftsprüfungsgesellschaften in der Lage sind, systemische Risiken zu bewerten, wie sie beispielsweise die sozialen Medien für demokratische Prozesse mit sich bringen könnten. Und es gibt bereits Akteure, die versuchen, diese Lücke zu füllen.

Einer davon ist Algorithm Audit, eine NGO, die es sich zur Aufgabe gemacht hat, die Kriterien für algorithmische Audits ethisch zu bewerten und die Vor- und Nachteile unter bestimmten Umständen aufzuzeigen. Ihre Methodik wird ‚Algoprudence‘ genannt, eine Mischung aus Algorithmus und Rechtsprechung.

„Es wird einen kollektiven Lernprozess geben, der drei bis fünf Jahre dauern wird“, sagte der Mitbegründer von Algorithm Audit, Jurriaan Parie, und fügte hinzu, dass viel davon abhängen wird, wie die Kommission und ihr neues Zentrum für algorithmische Transparenz mit den Prüfern zusammenarbeiten werden, um bewährte Verfahren festzulegen.

„Es ist ein Prozess. Er wird anfangs nicht perfekt sein, aber irgendwo müssen wir ja anfangen. Die Frage ist, wer darauf achten wird“, sagte Professorin Iamnitchi.

[Bearbeitet von Zoran Radosavljevic]