
Ihr KI-Agent liest über Menschen, die ihn nie gewählt haben. Irland zieht eine Grenze
Am Montag forderte Irlands Data Protection Commission X auf, das Training seiner KI-Modelle mit Daten einzustellen, die der KI-Agent von X über andere Menschen gesammelt hatte, und X bestätigte, dies getan zu haben. Commissioner Dale Sunderland sagte gegenüber POLITICO, die Behörde habe in den vergangenen Wochen „erhebliche Bedenken“ geäußert: „Wir haben sie aufgefordert, die Verarbeitung auszusetzen, und sie haben uns heute bestätigt, dass sie das getan haben.“ Der Agent, Grok Bot, hatte Ende Oktober begonnen, diese Daten zu sammeln.
Es wurde keine Geldbuße gemeldet, und die DPC hat keine formelle Entscheidung veröffentlicht. Dadurch ließe sich der Fall leicht unter „Big-Tech-Problem“ ablegen. Ich glaube, das wäre ein Fehler für jedes Unternehmen, das jetzt KI-Agenten mit Postfächern, gemeinsamen Laufwerken und CRMs verbindet, denn der Fall betrifft eine Art von Daten, mit der fast jeder solche Agent in Berührung kommt.
Die fraglichen Daten gehören jemand anderem
POLITICO beschreibt die Verschiebung klar: Regulierungsbehörden verlagern ihre Aufmerksamkeit vom KI-Training mit Daten, die Menschen über sich selbst teilen, hin zu „Drittdaten, auf die persönliche KI-Agenten zugreifen und die sie über andere Menschen sammeln“. Das Beispiel von POLITICO ist alltäglich: Urlaubsfotos, die mit einem Freund geteilt werden, der einen KI-Agenten nutzt. Die Kategorie umfasst auch personenbezogene Daten, die ein Agent aus dem Web scraped.
Sunderland betonte, dass die DPC kein Problem mit KI-Agenten „per se“ habe. Die Sorge gilt dem, was danach passiert, wenn ein Anbieter dazu übergeht, „diese Daten weiter zu übernehmen und sie zu nutzen, um die Modelle weiter zu trainieren“. Er sagte außerdem, die DPC spreche mit einem weiteren, nicht genannten Technologieunternehmen über ähnliche Pläne, noch bevor irgendeine Verarbeitung begonnen habe.
Die DPC ist hier wichtig, weil sie, wie POLITICO anmerkt, die DSGVO gegenüber Unternehmen mit europäischem Hauptsitz in Irland durchsetzt, darunter Apple, Google, Meta, X und OpenAI. In der Praxis prägt das, was sie beanstandet, häufig das Angebot dieser Anbieter in der gesamten EU, Bulgarien eingeschlossen.
Warum die übliche Anbieterfrage daran vorbeigeht
Wenn ein Unternehmen in Bulgarien ein KI-Tool bewertet, endet das Datenschutzgespräch meist mit einer Frage: Trainieren Sie mit unseren Daten? Bei Business-Tarifen ist die Antwort im Allgemeinen beruhigend. Auf der Enterprise-Privacy-Seite von OpenAI heißt es, dass standardmäßig nicht mit Daten aus ChatGPT Business, Enterprise oder der API trainiert wird und dass standardmäßig auch nicht mit Daten trainiert wird, auf die über verbundene Apps zugegriffen wird.
Schauen Sie aber darauf, was ein Agent tatsächlich liest. Ein Agent, der den Posteingang eines Vertriebsleiters sortiert, liest überwiegend über Kunden. Ein Agent, der Lebensläufe prüft, liest über Bewerber. Ein Agent, der Lieferantengespräche zusammenfasst, liest über Personen beim Lieferanten. In jedem Fall gehören die personenbezogenen Daten Menschen, die das Tool nie gewählt haben und in der Regel nicht wissen, dass es existiert. Für sie ist „unsere Daten“ der falsche Rahmen. Die Daten sind ihre, und Ihr Unternehmen ist dasjenige, das entschieden hat, sie einem KI-System vorzulegen.
So sieht es auch die DSGVO. Werden personenbezogene Daten nicht bei der Person erhoben, die sie beschreiben, schuldet der Verantwortliche ihr dennoch Informationen über die Verarbeitung gemäß Artikel 14 der DSGVO. Ob ein Modellanbieter solche Daten für das Training wiederverwenden darf, ist genau die Art von Frage, mit der sich der Europäische Datenschutzausschuss in seiner Stellungnahme 28/2024 befasst hat. Sie behandelt das berechtigte Interesse als Rechtsgrundlage für die Entwicklung von KI-Modellen sowie die Folgen, wenn ein Modell auf unrechtmäßig verarbeiteten Daten aufgebaut wurde.
Wo das eigentliche Risiko meist liegt
Nach meiner Einschätzung sind Business-Tarife mit unterzeichnetem Auftragsverarbeitungsvertrag selten die Schwachstelle. Die Schwachstelle ist der Agent, den ein Mitarbeiter eigenständig mit einem persönlichen Konto verbindet, weil er ihm täglich eine Stunde spart.
Consumer-Einstellungen sind auf den Kontoinhaber ausgerichtet, und sie ändern sich häufig. Diese Woche ist ein gutes Beispiel. Google kündigte am 16. November an, dass Nutzer der Gemini-App ihren Chatverlauf künftig behalten können, während sie dem Modelltraining widersprechen; bisher musste dafür der Verlauf deaktiviert werden. Ars Technica weist darauf hin, dass das Training weiterhin per Opt-out geregelt ist, dass die Änderung nur für künftige Chats gilt und dass Google nach eigenen Angaben Daten, die zur Verbesserung seiner Modelle genutzt werden, bis zu drei Jahre aufbewahren kann. Für den einzelnen Nutzer ist das eine sinnvolle Verbesserung. Es zeigt aber auch: Bei einem Consumer-Konto hängt es von einem Schalter ab, den ein Mitarbeiter vielleicht nie geöffnet hat, ob die E-Mail eines Kunden in einem Trainingsdatensatz landet.
Ein hypothetisches Beispiel
Nehmen wir eine fiktive Steuerkanzlei in Warna mit 40 Mitarbeitenden. Eine erfahrene Buchhalterin verbindet ihr geschäftliches Postfach mit einem persönlichen KI-Assistenten, damit dieser eingehende Dokumente sortiert und Antworten entwirft. In ihrem Posteingang liegen Gehaltsabrechnungsdateien von Mandantenunternehmen: Namen, Gehälter und Krankmeldungen von Menschen, die bei diesen Mandanten beschäftigt sind.
Niemand in der Kanzlei hat irgendetwas entschieden. Der Vertrag der Kanzlei mit ihren Mandanten sagt nichts über KI. Der Assistent läuft in einem Consumer-Tarif, dessen Trainingseinstellung standardmäßig aktiviert ist. Wenn dieser Anbieter jemals das tut, was X getan hat, werden Daten über Beschäftigte der Mandanten der Kanzlei, also Menschen, die zwei Schritte von der Kanzlei entfernt sind, zu Trainingsmaterial. Die Kanzlei hat darüber keinen Nachweis, keine Vereinbarung, die das abdeckt, und keine Möglichkeit, einem Mandanten oder der Kommission für den Schutz personenbezogener Daten zu zeigen, was passiert ist.
Nichts in diesem Beispiel setzt böse Absicht voraus. Es braucht nur einen Agenten mit Zugriff und niemanden, der fragt, wohin seine Eingaben gehen.
Was ich in diesem Monat prüfen würde
Ich erwarte nicht, dass der irische Fall auf Plattformen beschränkt bleibt, die ihre eigenen Agenten bauen. Sobald Regulierungsbehörden von Agenten gesammelte Daten als eigene Kategorie betrachten, richtet sich die naheliegende nächste Frage an die Unternehmen, die Agenten in ihre Systeme lassen. Eine kurze interne Prüfung jetzt ist günstiger, als diese Frage später beantworten zu müssen.
Beginnen Sie mit einer einfachen Bestandsaufnahme: Welche KI-Assistenten und Agenten haben Zugriff auf Unternehmenspostfächer, Kalender, Laufwerke oder das CRM, und über welche Konten. Persönliche Konten, die mit Arbeitsdaten verbunden sind, verdienen eine eigene Zeile in Ihrer Liste der KI-Systeme, mit einem namentlich benannten Verantwortlichen.
Prüfen Sie bei jedem einzelnen die Bedingungen des Anbieters für Daten, auf die der Agent zugreift, nicht nur für Daten, die Sie eintippen. Manche Anbieter geben separate Zusagen für verbundene Apps und Agentenaktionen; manche sagen gar nichts. Wenn die Antwort unklar ist, behandeln Sie sie als Ja.
Legen Sie dann fest, wo die Grenze verläuft. Für viele Unternehmen wird die praktische Regel lauten, dass Agenten, die mit Kunden-, Bewerber- oder Mitarbeiterdaten in Berührung kommen, nur in Business-Tarifen eingesetzt werden, die durch einen Auftragsverarbeitungsvertrag abgedeckt sind und bei denen das Training mit Kundendaten deaktiviert ist.
Nichts davon ist neues Recht. Es ist die DSGVO, angewandt auf eine neue Art von Tool, und es fügt sich natürlich in die KI-Governance-Arbeit ein, mit der viele Unternehmen wegen des AI Act ohnehin beginnen. Der Unterschied nach dieser Woche ist, dass eine europäische Aufsichtsbehörde laut ausgesprochen hat: Die Daten, die ein Agent über andere Menschen sammelt, sind eine eigene Frage. Es ist besser, eine Antwort parat zu haben, bevor jemand fragt.
