EU AI Act: Was bedeutet die neue KI-Gesetzgebung für den Kundenservice?
Die Europäische Union hat mit dem EU AI Act die weltweit erste umfassende Regulierung für Künstliche Intelligenz beschlossen. Ab dem 2. August 2026 gelten zentrale Transparenzpflichten, die auch für Unternehmen relevant sind, die KI im Kundenservice einsetzen. Was müssen Unternehmen bei Chatbots und AI Agents kennzeichnen? Müssen AI-generierte Antworten einen Hinweis tragen? Und welche Regeln gelten für Emotionserkennung und menschliche Kontrolle? In diesem Beitrag erklären wir die wichtigsten Vorgaben und ihre Bedeutung für den Kundenservice.
Warum gibt es den EU AI Act?
Der EU AI Act soll sicherstellen, dass Künstliche Intelligenz verantwortungsvoll eingesetzt wird. Er verfolgt einen risikobasierten Ansatz: Welche Anforderungen gelten, hängt vom Zweck und konkreten Einsatz eines AI-Systems ab. Für verbotene Praktiken, Hochrisiko-Systeme und Anwendungen mit besonderen Transparenzrisiken gelten jeweils unterschiedliche Vorgaben. Klassische Chatbots und AI Agents im Kundenservice werden in der Regel nicht allein aufgrund ihres Einsatzes im Support als Hochrisiko-Systeme eingestuft. Für sie sind vor allem die Transparenzpflichten aus Artikel 50 relevant.
Welche neuen Regeln gelten für KI im Kundenservice?
Unternehmen, die KI-gestützte Systeme wie Chatbots, AI Agents oder automatisierte Kundenserviceprozesse nutzen, müssen insbesondere die ab dem 2. August 2026 geltenden Transparenzpflichten beachten:
1. Transparenzpflicht: Kunden müssen wissen, dass sie mit einer KI interagieren
Anbieter von AI-Systemen, die direkt mit Menschen interagieren, müssen sicherstellen, dass die betroffenen Personen über den Einsatz von AI informiert werden. Der Hinweis muss spätestens zu Beginn der ersten Interaktion klar, verständlich und zugänglich erfolgen. Eine zusätzliche Kennzeichnung ist nur dann nicht erforderlich, wenn aufgrund der Umstände und des Nutzungskontexts offensichtlich ist, dass es sich um ein AI-System handelt. Unternehmen sollten ihre Chatbots und virtuellen Assistenten daher überprüfen und eindeutig als AI ausweisen.
2. Nicht jede AI-generierte Antwort muss sichtbar gekennzeichnet werden
Der EU AI Act verlangt nicht, dass jede mit AI erstellte Kundenservice-E-Mail oder Chat-Antwort für den Empfänger sichtbar als „AI-generiert“ gekennzeichnet wird. Anbieter generativer AI-Systeme müssen AI-generierte oder manipulierte Inhalte grundsätzlich so markieren, dass sie maschinenlesbar als solche erkannt werden können.
Unternehmen, die AI einsetzen, müssen insbesondere Deepfakes sowie AI-generierte Veröffentlichungen zu Themen von öffentlichem Interesse offenlegen. Für solche Texte entfällt die Offenlegungspflicht, wenn sie von einem Menschen geprüft wurden und eine natürliche oder juristische Person die redaktionelle Verantwortung trägt. Individuelle Kundenservice-Antworten fallen nicht pauschal unter diese sichtbare Kennzeichnungspflicht.
3. Für Emotionserkennung gelten besondere Regeln
Der EU AI Act schränkt bestimmte Formen der Emotionserkennung deutlich ein. Die Ableitung von Emotionen am Arbeitsplatz anhand biometrischer Daten ist grundsätzlich verboten. Begrenzte Ausnahmen gelten für medizinische oder sicherheitsbezogene Zwecke. Bei zulässigen Systemen zur Emotionserkennung oder biometrischen Kategorisierung müssen die betroffenen Personen über deren Einsatz informiert werden.
Davon zu unterscheiden ist die Analyse geschriebener Nachrichten, etwa die Erkennung einer positiven oder negativen Stimmung in einem Supportticket. Eine solche textbasierte Sentimentanalyse ist nicht automatisch eine biometrische Emotionserkennung im Sinne des EU AI Acts. Entscheidend sind die verarbeiteten Daten und die konkrete Funktionsweise des Systems.
4. Menschliche Übergaben müssen sinnvoll geregelt sein
Der EU AI Act schreibt für gewöhnliche Kundenservice-Chatbots nicht allgemein vor, dass Kunden jederzeit zu einem menschlichen Agenten wechseln können müssen. Trotzdem sollten Unternehmen festlegen, bei welchen Anliegen, Unsicherheiten oder Risiken ein AI Agent die Bearbeitung an einen Menschen übergibt.
Das betrifft beispielsweise Beschwerden, rechtlich relevante Erklärungen, besondere Härtefälle oder Situationen, in denen der AI Agent ein Anliegen nicht zuverlässig lösen kann. Je nach Anwendungsfall können sich Anforderungen an menschliche Kontrolle zudem aus anderen Gesetzen oder vertraglichen Verpflichtungen ergeben.
Was bedeutet das für Unternehmen, die Zendesk nutzen?
Unternehmen, die Zendesk AI Agents, automatisierte Antworten oder Chatbots einsetzen, sollten zunächst dokumentieren, welche Systeme direkt mit Kunden interagieren und welche Aufgaben sie übernehmen. Anschließend sollte für jeden Kanal geprüft werden, welche Transparenz- und Informationspflichten gelten. Dazu gehören:
- AI Agents und Chatbots kennzeichnen: Kunden spätestens zu Beginn der ersten Interaktion klar darüber informieren, dass sie mit einem AI-System kommunizieren.
- Kanäle einzeln prüfen: Kennzeichnung und Darstellung in Web-, Mobile- und Social-Messaging sowie weiteren Kanälen kontrollieren.
- AI-generierte Inhalte unterscheiden: Prüfen, ob für den jeweiligen Inhalt eine technische Markierung oder sichtbare Offenlegung erforderlich ist.
- Emotionserkennung abgrenzen: Klären, ob biometrische Emotionserkennung oder lediglich eine textbasierte Sentimentanalyse eingesetzt wird.
- Übergaberegeln definieren: Festlegen, wann ein AI Agent die Bearbeitung beendet und das Anliegen an einen Menschen übergibt.
- Verantwortlichkeiten dokumentieren: Klären, welche Pflichten Zendesk als Anbieter und welche das einsetzende Unternehmen betreffen.
- AI-Kompetenz sicherstellen: Mitarbeitenden, die AI-Systeme einsetzen oder deren Ergebnisse bewerten, die erforderlichen Kenntnisse vermitteln.
Fristen
- 2. Februar 2025: Die Verbote bestimmter KI-Praktiken und die Pflicht zur Sicherstellung ausreichender KI-Kompetenz gelten. Unternehmen müssen dafür sorgen, dass Mitarbeitende, die KI-Systeme einsetzen oder überwachen, über angemessene Kenntnisse verfügen.
- 2. August 2025: Erste Vorgaben für Anbieter von General-Purpose-AI-Modellen (GPAI) sind anwendbar geworden. Für bereits vor diesem Termin angebotene Modelle gelten teilweise längere Übergangsfristen.
- 2. August 2026: Die Transparenzpflichten aus Artikel 50 gelten. Dazu gehören insbesondere Hinweise bei der direkten Interaktion mit KI-Systemen sowie Vorgaben für die technische Markierung und Offenlegung bestimmter KI-generierter oder manipulierter Inhalte.
- 2. August 2027: Weitere Vorgaben gelten für bestimmte KI-Systeme, die als Sicherheitskomponente eines regulierten Produkts eingesetzt werden oder selbst ein solches Produkt sind.
Welche Strafen drohen bei Nichteinhaltung?
Die möglichen Bußgelder hängen von der Art des Verstoßes ab. Verstöße gegen verbotene KI-Praktiken können mit bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres geahndet werden. Bei anderen Verstößen gegen Pflichten des EU AI Acts sind grundsätzlich Bußgelder von bis zu 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes möglich. Die konkrete Sanktion richtet sich unter anderem nach Art, Schwere und Dauer des Verstoßes sowie nach der Größe des Unternehmens.
Fazit: Unternehmen sollten jetzt handeln
Transparenzpflichten jetzt prüfen.
Ab dem 2. August 2026 gelten zentrale Transparenzpflichten des EU AI Acts. Unternehmen, die KI im Kundenservice einsetzen, sollten dokumentieren, welche Systeme direkt mit Kunden interagieren, wie diese gekennzeichnet sind und welche Inhalte vollständig oder teilweise automatisiert entstehen.
Dabei kommt es auf die genaue Funktion an: Ein AI Agent, der selbstständig mit Kunden kommuniziert, unterliegt anderen Anforderungen als ein Copilot, der menschliche Agents unterstützt. Auch textbasierte Sentimentanalyse, biometrische Emotionserkennung und AI-generierte Veröffentlichungen müssen voneinander unterschieden werden.
Leafworks unterstützt euch dabei, eure Zendesk-Konfiguration und AI-gestützten Prozesse zu prüfen – von der Kennzeichnung von AI Agents über die Gestaltung von Bot-Flows und Übergaberegeln bis zur technischen und organisatorischen Dokumentation.
Quellen & weiterführende Informationen
- Offizieller Text des EU AI Acts: Verordnung (EU) 2024/1689
- EU-Kommission: Artikel 50: Transparenzpflichten für Anbieter und Betreiber bestimmter KI-Systeme
- EU-Kommission: Leitlinien: Transparenzpflichten für KI-generierte Inhalte
- EU-Kommission: Fragen und Antworten: Transparenzpflichten nach Artikel 50
- Zendesk Trust Center: Sicherheit und Datenschutz bei Zendesk
