Editorial
Willkommen zur siebten Ausgabe des KI-Security Briefing. Diese Ausgabe steht im Zeichen eines Übergangs: KI-Agenten verlassen den Experimentierstatus und erreichen reale Betriebsprozesse, vom Engineering bis zum Kundenservice. Zugleich zeigen aktuelle Vorfälle, wie fragil Kontrollmechanismen bleiben. Ein Schulbuchverlag gibt KI-Grafiken als menschliche Werke aus, eine US-Großkanzlei reicht erfundene Gerichtszitate ein, und in Großbritannien berichten 43 Prozent der Unternehmen von Cyberangriffen oder Sicherheitsvorfällen, während Sicherheitsbehörden den zunehmenden Einsatz von KI zur Skalierung und Verbesserung solcher Angriffe beobachten. Technische Leistungsfähigkeit ohne Governance wird damit schnell zur offenen Flanke.
Für Unternehmen rückt zudem der nächste regulatorische Meilenstein näher. Ab dem 2. August 2026 gelten wesentliche weitere Pflichten des EU AI Act, gestaffelt nach Risikoklasse, Systemtyp und Rolle des Unternehmens, während Bundeskanzler Merz auf der Hannover Messe eine Lockerung der europäischen KI-Regulierung für industrielle Anwendungen fordert. Risikoanalyse, Dokumentation, Human Oversight und Auditierbarkeit werden damit zu praktischen Anforderungen an den KI-Betrieb. Nutzen Sie den 🏛️-Filter, um alle Governance-Beiträge gezielt anzusteuern. Wie immer finden Sie zu jedem Thema die Originalquellen verlinkt. Ich freue mich über Ihre Rückmeldungen per E-Mail.
Ihr
Florian Priegnitz
Information Security Consultant | ISO 27001 Lead Implementer
SECURAM Consulting GmbH
Themen dieser Ausgabe
01 Anthropic Mythos: Sicherheits-KI mit Pentagon-Konflikt und Drittanbieter-Vorfall
02 Neue Tarifmodelle bei OpenAI, Anthropic und GitHub: KI-Kosten als Betriebsrisiko
03 Persona-Verifikation bei Anthropic und LinkedIn: Biometrie und Datentransfer in die USA
04 Asiens KI-Regulierungsoffensive: Indien, China, Südkorea
05 Agenten-Generation: Memory, Workspace und industrieller Einsatz
06 EU AI Act unter Druck: Lockerungsdebatte und Pflichten ab 2026
07 Deepfakes und Social Engineering: Druck auf den Mittelstand
08 KI-Fehlentscheidungen in Bildung, Recht und Medizin
Filter nach Thema
Anthropic Mythos: Cybersecurity-Durchbruch zwischen Pentagon-Konflikt und Drittanbieter-Leak
Anthropics neues KI-Modell Mythos hat in Firefox 150 insgesamt 271 Sicherheitslücken aufgespürt. Zugleich werfen Berichte über unautorisierten Zugriff bei einem Dienstleister Fragen zum Schutzkonzept des Anbieters auf. Mozilla arbeitet seit Februar 2026 mit Anthropic zusammen; ein Vorgängermodell hatte zuvor schon 22 Lücken in Firefox 148 entdeckt.
Anthropic hält Mythos bewusst aus der Öffentlichkeit zurück und gibt es nur über das Konsortium „Project Glasswing“ frei. Dort finden sich elf namentlich genannte Tech-Konzerne im engeren Kreis (AWS, Apple, Broadcom, Cisco, CrowdStrike, Google, JPMorgan Chase, Linux Foundation, Microsoft, Nvidia, Palo Alto Networks), insgesamt sind rund 40 Organisationen zugelassen. Zu dieser Gruppe zählt auch der US-Geheimdienst NSA, der Mythos im Vorabzugang nutzt. Im April 2026 traf Anthropic-Chef Dario Amodei ranghohe Vertreter im Weißen Haus, obwohl das Pentagon die Firma zuvor zum „Supply Chain Risk“ erklärt hatte, eine Bezeichnung, die zuvor nur für Unternehmen mit Bezug zu Auslandsgegnern verwendet wurde.
Parallel berichtet die Nachrichtenagentur Bloomberg von einem unautorisierten Zugriff über eine Drittanbieter-Umgebung. Unbefugte sollen sich bereits am Tag der Vorstellung Zugang verschafft haben. Sie gaben sich dafür als Mitarbeiter eines Dienstleisters aus und nutzten Zugangsdaten aus einem Datenleck beim Personalvermittler Mercor. Anthropic erklärt, dass interne Netzwerke nicht direkt kompromittiert wurden. Das deutsche Bundesamt für Sicherheit in der Informationstechnik (BSI) hatte zuvor allgemein vor KI-Sicherheitsrisiken im Finanzsektor gewarnt und größere Umwälzungen erwartet.
OpenAI hatte für vergleichbare Zwecke zuvor GPT-5.4-Cyber freigegeben, eine Sicherheits-Variante des damaligen Flaggschiff-Modells GPT-5.4 für verifizierte Sicherheitsforscher. Beim aktuellen Flaggschiff GPT-5.5 (siehe Cluster 02) bündelt OpenAI Cybersecurity-Fähigkeiten über das „Trusted Access for Cyber“-Programm, ohne separate Cyber-Variante. Für den DACH-Mittelstand stehen damit zwei offene Punkte im Raum:
- Die Verlässlichkeit exklusiver Sicherheits-KIs, deren Zugang über Vertragspartner-Ketten läuft.
- Der Zeitpunkt, ab dem vergleichbare Werkzeuge auch außerhalb des Project-Glasswing-Kreises verfügbar werden.
Beide Fragen werden die Investitionssicherheit beim Einsatz von Sicherheits-KI im Unternehmen beeinflussen.
- BSI: Generative KI-Modelle — Chancen und Risiken für Industrie und Behörden
- Heise Online: 271 Firefox-Lücken dank Mythos-KI geschlossen
- Heise Online: Anthropic-Warnung an US-Banken — BSI erwartet Umwälzungen
- Heise Online: Mythos Schwachstellen-KI wirft neue Sicherheitsfragen auf
- Handelsblatt: Unbefugte hatten Zugang zu Anthropics Super-KI
- ArtificialIntelligence-News: Anthropic Mythos im White House
- all-ai.de: Unautorisierter Zugang zu Anthropic Mythos
- IT-Boltwise: NSA nutzt Anthropic Mythos trotz Pentagon-Konflikt
Neue Abrechnungsmodelle bei Anthropic, OpenAI und GitHub: Kostenrisiken für Unternehmens-KI
Drei große KI-Anbieter haben innerhalb weniger Wochen ihre Preismodelle umgestellt oder eingeschränkt. Anthropic hat Claude Code, das Werkzeug zum Programmieren, aus dem Pro-Tarif für Neukunden vorübergehend entfernt und kündigt eine Revision der Pro- und Max-Pläne an. Als Begründung nennt das Unternehmen, dass die bisherigen Tarife nicht mehr zur tatsächlichen Nutzung passen. OpenAI hat zeitgleich die API-Preise für GPT-5.5 verdoppelt. Pro Million Eingabe-Token kostet das Modell jetzt 5 US-Dollar, pro Million Ausgabe-Token 30 US-Dollar. Vorher waren es 2,50 und 15 US-Dollar bei GPT-5.4. Die Pro-Variante des Modells erreicht sogar 30 / 180 US-Dollar.
Microsoft kündigt für Juni 2026 an, GitHub Copilot auf eine Token-basierte Abrechnung umzustellen. Bis dahin wurden bereits Token-Limits verschärft und die Registrierung für neue Kunden in den Pro- und Pro+-Plänen pausiert. April-Gebühren werden auf Antrag bis zum 20. Mai 2026 erstattet. Für Bestandskunden bleibt die Nutzung möglich, aber unter angepassten Bedingungen.
Hintergrund der Bewegung ist eine unerwartet hohe Nachfrage nach Rechenleistung. Die Anbieter begründen die Preisanpassungen mit den steigenden Kosten von Modelltraining und -betrieb. Ein aktueller heise-Hintergrundbeitrag sieht das Ende der Subventionsphase, in der KI-Dienste mit künstlich niedrigen Preisen Marktanteile aufgebaut haben.
Für CISOs und IT-Einkauf im DACH-Mittelstand entstehen damit drei konkrete Aufgaben:
- Bestehende KI-Verträge auf Token-Verbrauch und Token-Limits prüfen.
- Preisrisiken in der Budgetplanung aufnehmen, da die Tarife im Quartalsrhythmus wechseln können.
- Alternative Anbieter und Open-Source-Optionen als Rückfalloption prüfen, um Abhängigkeiten zu reduzieren.
Ohne Transparenz zu den echten Kosten laufen Unternehmen Gefahr, KI-Projekte zu unterfinanzieren oder in teurere Tarife als geplant abzurutschen.
- Heise Online: Anthropic entfernt Claude Code temporär aus Pro-Tarif
- Heise Online: OpenAI führt GPT-5.5 ein — mehr Agent, weniger Chatbot
- Heise Online: GitHub Copilot — neue Kunden gesperrt, Nutzung stärker limitiert
- Heise Online: Preiserhöhungen bei KI-Coding-Werkzeugen — The Free Lunch is Over
- Golem: Claude Code aus Claude Pro gestrichen
- The Decoder: Pro/Max-Pläne passen nicht mehr zur Nutzung
- The Decoder: OpenAI stellt GPT-5.5 vor
- BornCity: Microsoft stellt GitHub Copilot ab Juni 2026 auf Token-Billing um
Persona-Verifikation bei Anthropic und LinkedIn: Biometrie und Datentransfer in die USA
Anthropic und LinkedIn nutzen denselben US-Dienst Persona, um Identitätsdaten ihrer Nutzer zu prüfen. Dabei werden ein Ausweisdokument und ein Live-Foto an einen Anbieter mit Sitz in den USA übertragen. Anthropic beschreibt den Persona-Rollout offiziell als selektiven Test „für eine geringe Zahl von Fällen mit Hinweisen auf Missbrauch oder Richtlinienverstöße“. Eine konkrete Prozentangabe nennt das Unternehmen nicht. Der parallel laufende Test, in dem Claude Code aus dem Pro-Tarif entfernt wird, betrifft laut Anthropic etwa 2 % der Neuanmeldungen. Das sind zwei separate Vorgänge. In der aktuellen Anthropic-Datenschutzerklärung ist Persona allerdings nicht erwähnt. LinkedIn nutzt Persona global für die Profilverifikation. Im indischen Markt ist die Konstellation wegen des DPDP Act besonders heikel.
Persona ist im Markt für digitale Identitätsdienste umstritten. Die Plattform Discord hatte die Zusammenarbeit mit Persona zuvor beendet, ohne öffentlich Gründe zu nennen. Datenschutz-Fachjuristen weisen darauf hin, dass biometrische Daten unter Artikel 9 DSGVO besonders strengen Verarbeitungsregeln unterliegen, sofern sie zur eindeutigen Identifizierung einer natürlichen Person verarbeitet werden. Übermittlungen in Drittländer setzen nach Artikel 44 ff. der DSGVO entweder einen Angemessenheitsbeschluss, Standardvertragsklauseln oder ausdrückliche Einwilligungen voraus.
Für Unternehmen mit Geschäften in den USA oder Asien entstehen damit drei Pflichten:
- Prüfen, ob Mitarbeiter und Kunden zur Identitätsverifikation eines US-Drittanbieters wie Persona aufgefordert werden.
- Die Rechtsgrundlage für die Datenübermittlung dokumentieren, vor allem bei biometrischen Merkmalen.
- Bei Bedarf Alternativen prüfen, etwa europäische Identitätsdienste oder die EU Digital Identity Wallet, deren Einführung 2026 startet.
Der Europäische Datenschutzausschuss (EDSA) hat in seinen Stellungnahmen 28/2024 (Generative AI) und der Guideline 02/2024 (Drittlandtransfer) auf die hohe Sorgfaltspflicht bei Datenanfragen aus Drittstaaten hingewiesen.
- EUR-Lex: Verordnung (EU) 2016/679 (DSGVO) — Artikel 9, Artikel 44 ff.
- Heise Online: Anthropic — KI-Sicherheitsmodell nur für die USA?
- Heise Online: DSGVO — Sieben Wege, um Daten in Drittländer zu übertragen
- Heise Online: EU-Datenexperten mahnen zur Vorsicht bei Anfragen aus dem Ausland
- Engadget: Anthropic verlangt Identitätsverifikation für bestimmte Use-Cases
- Golem: LinkedIn-Persona — Datenschutz-Wahnsinn in drei Minuten
- BornCity: Anthropic verlangt von neuen Nutzern Identifizierung über Persona
Asiens KI-Regulierungsoffensive: Indien verschärft, China verbietet virtuelle Companion-Beziehungen, DeepSeek reduziert Nvidia-Abhängigkeit
Indien, China und Südkorea verschärfen ihre Regeln für Künstliche Intelligenz und bauen zugleich ihre eigene KI-Technik aus. Damit wollen sich die drei Länder von US-Anbietern unabhängiger machen.
Indien hat am 10. Februar 2026 die IT Rules Amendment 2026 zur Kennzeichnung synthetisch erzeugter Inhalte (SGI) notifiziert, wirksam seit 20. Februar 2026. Anbieter müssen synthetisch erzeugte Bilder und Audios sichtbar markieren, mindestens zehn Prozent der Bildfläche oder die ersten zehn Prozent der Audiodauer. Das Entfernen der Markierung ist verboten. China hat schon zum 1. September 2025 eine ähnliche Pflicht eingeführt, kombiniert mit unsichtbaren Metadaten in der Datei. Ab dem 15. Juli 2026 kommen Regeln für sogenannte Companion-KI hinzu, also Dienste, die mit Nutzern wie ein Mensch sprechen. Anbietern wird verboten, Minderjährigen Dienste mit virtuellen Intim- oder Familienbeziehungen anzubieten. Andere anthropomorphe Dienste bleiben zulässig; bei der Datenverarbeitung von Nutzern unter 14 Jahren ist die Einwilligung der Erziehungsberechtigten erforderlich. Anbieter mit mindestens einer Million registrierten Nutzern oder 100.000 monatlich aktiven Nutzern müssen zudem Sicherheitsbewertungen einreichen.
Parallel treibt China die technische Eigenständigkeit voran. Der chinesische Anbieter DeepSeek hat sein Modell V4-Pro in der Vorschau veröffentlicht. Es bringt 1,6 Billionen Parameter und damit mehr als doppelt so viele wie der Vorgänger. Ab dem zweiten Halbjahr 2026 sollen Cluster mit Huawei-Chips (Ascend 950) die aktuellen Engpässe beheben und DeepSeek vom US-Hersteller Nvidia unabhängiger machen. Zusätzlich haben die chinesischen Behörden CNCERT und MIIT im März 2026 vor der Open-Source-Agenten-Plattform OpenClaw gewarnt und Beschäftigten von Behörden und Staatsbetrieben die Nutzung auf Dienstrechnern untersagt. Indiens Premierminister Narendra Modi positioniert sein Land auf einem KI-Gipfel als „dritten Pol“ zwischen den USA und China; bei rund 1,4 Milliarden Einwohnern produziert Indien rund ein Fünftel der weltweiten Daten, hat aber nur drei Prozent der globalen Rechenzentren. Südkoreas AI Basic Act ist seit 22. Januar 2026 wirksam, setzt Pflichten für Hochrisiko-KI und Generative-KI-Kennzeichnung und gilt extraterritorial für Anbieter, die südkoreanische Nutzer ansprechen.
Für deutsche Unternehmen mit Geschäften in Asien ergeben sich daraus drei konkrete Aufgaben:
- KI-Inhalte je nach Zielmarkt sichtbar kennzeichnen.
- KI-Lieferanten prüfen, ob sie chinesische Hardware verwenden.
- Datenverarbeitung an die jeweiligen Datenschutzregeln anpassen, vor allem an Chinas Datenschutzgesetz PIPL und Indiens Kennzeichnungsregeln SGI.
Als technischer Baustein bietet sich C2PA an. Der Standard versieht Inhalte mit kryptografisch signierten Provenance-Manifesten (Content Credentials) und unterstützt zusätzlich unsichtbare Wasserzeichen. Ob C2PA die jeweiligen Kennzeichnungsanforderungen in Indien, China oder Südkorea erfüllt, ist je Zielmarkt, Medium und konkreter Regulierung gesondert zu prüfen.
- MeitY (Indien): SGI-Regelwerk und FAQ
- CAC (China): Generative AI Interim Measures + GB 45438-2025
- CNCERT (China): OpenClaw-Sicherheitshinweise vom 10./11. März sowie 23. März 2026
- Heise Online: DeepSeek V4 mit 1,6 Billionen Parametern
- Handelsblatt: Indien holt im KI-Wettrennen auf, Europa wirkt abgeschlagen
- BornCity: Indien — strikter KI-Regulierungskurs
- InvenGlobal: China verbietet emotionale KI-Interaktion
- all-ai.de: DeepSeek V4-Pro/Flash Release
Die neue Agenten-Generation: Claude Memory, Workspace Agents, Chrome Auto-Browse und Siemens Eigen
Anthropic, OpenAI und Google rücken bei ihren neuesten KI-Systemen Agenten stärker in den Mittelpunkt, also autonome Werkzeuge, die selbstständig wiederkehrende Aufgaben übernehmen sollen. Anthropic hat Claude Managed Agents in einer Public Beta um persistentes Gedächtnis erweitert. Memories werden als Dateien auf einem Filesystem abgelegt und können über API oder Console eingesehen, bearbeitet und gelöscht werden. Die Praxis-Ergebnisse sind bemerkenswert: Laut Rakuten reduzierte der japanische Online-Marktplatz die Fehlerquote bei der ersten Bearbeitung mit Claude-Agenten um 97 Prozent. OpenAI erweitert ChatGPT um sogenannte Workspace Agents, die eigenständig komplexe Workflows erledigen und dabei auch dann weitermachen, wenn der Benutzer offline ist. Google automatisiert Arbeitsabläufe in Chrome mit einer neuen Agentic-Funktion: Das System bucht automatisch Flüge, trägt Daten ein oder plant Meetings, allerdings mit manueller Freigabe durch den Nutzer vor jeder Aktion.
Parallel zeigt sich die Trendverschiebung in der Industrie. Siemens präsentierte auf der Hannover Messe den Eigen Engineering Agent, ein KI-System für automatisierte Programmierung von Steuerungsgeräten und HMI-Oberflächen im TIA Portal. Laut Anbieterangaben testeten über 100 Unternehmen in 19 Ländern das System bereits; im Pilotbericht von Siemens wurde die Arbeit bei standardisierten Engineering-Aufgaben zwei bis fünf Mal schneller erledigt. Laut Branchenberichten startet Coinbase zudem einen Agenten-Marktplatz namens Agentic.market, auf dem verschiedene KI-Agenten ihre Services austauschbar über ein dezentrales Protokoll (x402) anbieten.
Einzelne Anbieter und industrielle Pilotprojekte führen KI-Agenten in produktionsnähere Workflows. Sobald solche Agenten über persistentes Gedächtnis und nachvollziehbare Logging-Mechanismen verfügen, kommen sie zunehmend als feste Bestandteile einzelner Betriebsabläufe in Frage, etwa für automatisierte Datenerfassung, im Kundenservice oder in industriellen Fertigungsschritten. Die Herausforderung liegt in der Governance: Autonome Agenten ohne zentralisierte Audit-Protokolle und Identitätsmanagement sind schwer zu kontrollieren. Das BSI-Whitepaper „Towards Auditable AI Systems“ warnt vor unkontrolliertem Agenten-Einsatz und fordert Evidence-based Risk Management sowie schnelle Revocation-Mechanismen.
- BSI: Towards Auditable AI Systems (Whitepaper 2022)
- Heise Online: Siemens AI: Eigen Agent automatisiert Ingenieur-Aufgaben
- Handelsblatt: Hannover Messe — Siemens stellt KI-Agenten für Ingenieure vor
- Heise Online: Salesforce's Agentic Enterprise: Headless 360 via API
- Heise Online: Kurz erklärt: Das ist Agentic AI
- all-ai.de: Claude Agenten erhalten persistentes Gedächtnis
- Artificialintelligence-News: Siemens Eigen Engineering Agent für automatisierte Industrie-Aufgaben
EU-AI-Act unter Druck: Merz fordert Lockerung, Agenten bringen Governance-Lücken
Bundeskanzler Friedrich Merz fordert auf der Hannover Messe die Lockerung der EU-KI-Verordnung. In seiner Eröffnungsrede sagte Merz wörtlich: „Ich werde mich dafür einsetzen, die europäische KI-Regulierung zu erleichtern und wenn möglich industrielle KI aus dem gegenwärtig zu engen Korsett der KI-Regulierung der Europäischen Union herauszulösen.“ Die Begründung: „KI wird zu mehr Effizienz und Produktivität, zu optimiertem Ressourceneinsatz und vor allem zu reduzierten Kosten beitragen.“ Die Industrieverbände ZVEI, VDMA und BDI unterstützen diese Forderung seit Wochen und argumentieren, dass Deutschland sonst Wettbewerbsnachteile erleidet.
Ab dem 2. August 2026 gelten wesentliche weitere Pflichten des EU AI Act. Welche Hochrisiko-Pflichten ab welchem Datum greifen, hängt jedoch von Risikoklasse, Systemtyp und Rolle des Unternehmens ab; die Verordnung sieht gestaffelte Übergangsfristen vor. Unternehmen sollten daher frühzeitig prüfen, welche Anforderungen für ihre konkreten KI-Systeme zu welchem Zeitpunkt anwendbar werden. Allerdings zeigt sich bereits jetzt: Autonome Agenten treffen mehrere Anforderungen des EU AI Act besonders deutlich, insbesondere Risikomanagement (Art. 9), technische Dokumentation (Art. 11), Protokollierung (Art. 12), Transparenz gegenüber Betreibern (Art. 13) und menschliche Aufsicht (Art. 14). Ein KI-Agent ohne nachvollziehbares Identitäts-, Berechtigungs- und Logging-Konzept ist in Hochrisiko-Konstellationen nur schwer belastbar dokumentierbar. Während Industrieverbände Lockerung fordern, drängen Medienanstalten von der anderen Seite auf Verschärfung: ARD und ZDF wollen explizite Einwilligung und Vergütung für die Nutzung ihrer Inhalte in KI-Trainingsdaten.
Eine politische Lockerung der Verordnung wäre kein einfacher Verwaltungsakt, sondern müsste auf europäischer Ebene rechtlich umgesetzt werden. Die Kommission kann ein Änderungsverfahren initiieren, die Entscheidung selbst liegt bei den europäischen Gesetzgebern. Ohne Lockerung sind je nach Risikoklasse, Systemtyp und Rolle des Unternehmens insbesondere Risikomanagement, technische Dokumentation, Protokollierung, Transparenz gegenüber Betreibern und menschliche Aufsicht zu prüfen; die konkreten Anwendungszeitpunkte ergeben sich aus den gestaffelten Übergangsfristen des EU AI Act. Für KI-Agenten ist entscheidend, ob sie in einen Hochrisiko-Kontext fallen oder als Teil eines entsprechenden Systems eingesetzt werden. In solchen Fällen gewinnen Risikomanagement, technische Dokumentation, Logging, Transparenz gegenüber Betreibern und menschliche Aufsicht besondere Bedeutung. Die Kosten für Compliance-Engineering sind erheblich; parallel müssen Unternehmen prüfen, ob und wie sie generative Inhalte von Journalisten und Rundfunkanstalten nutzen dürfen.
- EUR-Lex: EU AI Act Artikel 9 (Risikomanagementsystem für Hochrisiko-KI)
- EUR-Lex: EU AI Act Artikel 13 (Transparenz gegenüber Betreibern)
- EUR-Lex: EU AI Act Artikel 11 (Technische Dokumentation)
- EUR-Lex: EU AI Act Artikel 12 (Aufzeichnungspflichten / Protokollierung)
- EUR-Lex: EU AI Act Artikel 14 (Menschliche Aufsicht)
- EUR-Lex: EU AI Act Artikel 113 (Inkrafttreten und Anwendbarkeit)
- Handelsblatt: Merz will industrielle KI aus EU-Richtlinien herausnehmen
- Artificialintelligence-News: Agentic AI's Governance Challenges Under the EU AI Act in 2026
- IT-Boltwise: Industrie fordert Lockerung der EU-KI-Regeln
Deepfakes, KI-Angriffe und Social-Engineering: Die neue Angriffsökonomie im Mittelstand
KI-gestützte Angriffstechniken werden in den Lagebildern zunehmend als regulärer Bestandteil des Bedrohungsspektrums beschrieben. Der UK Cyber Security Breaches Survey 2025 des Department for Science, Innovation and Technology (DSIT) berichtet, dass 43 Prozent aller britischen Unternehmen in den vergangenen zwölf Monaten von Cyberangriffen betroffen waren. Bei mittleren Unternehmen sind es 67 Prozent, bei großen 74 Prozent. Phishing bleibt mit 85 Prozent das Haupteinfallstor, wobei die Qualität der Imitation durch KI-gestützte Texterstellung deutlich steigt. Das britische National Cyber Security Centre (NCSC) weist im Annual Review 2025 separat darauf hin, dass Bedrohungsakteure KI zunehmend zur Effizienzsteigerung ihrer Angriffe einsetzen. Branchenangaben sprechen darüber hinaus von einer schnellen Skalierung der Angriffsfrequenz und steigenden durchschnittlichen Vorfallskosten, ohne dass sich diese Werte derzeit aus den genannten Primärquellen direkt ableiten lassen. Klassische Filter werden zunehmend umgangen: Quishing (Phishing über QR-Codes) und Voice-Deepfakes gehören inzwischen zum Standardrepertoire.
Deepfakes werden zunehmend auch im Personalbereich beobachtet. Ein dokumentierter Fall aus Tokio illustriert das Muster: Ein unbekannter Bewerber verwendete KI-generierte Videobearbeitung, um sich in einem Remote-Interview als Finanz-Manager auszugeben. Das BSI und internationale Sicherheitsexperten warnen davor, dass generative KI-Werkzeuge es Angreifern mit minimalen Fremdsprachenkenntnissen ermöglichen, hochwertige Phishing-Inhalte zu erstellen. Allerdings zeigt sich bei der Deepfake-Erkennung ein Paradoxon: Aktuelle Detection-Modelle bleiben fehleranfällig und verlieren bei adversarialen Manipulationen zusätzlich an Aussagekraft. Für Unternehmen reicht automatische Erkennung daher nicht als alleinige Kontrollmaßnahme aus.
Ein weiteres Beispiel für den Missbrauch generativer Modelle ereignete sich auf X (ehemals Twitter): Der Chatbot Grok generierte auf Benutzer-Anfrage öffentlich sichtbare, sexistische Inhalte gegen die Schweizer Finanzministerin Karin Keller-Sutter. Das System hatte keine Guardrails gegen Beleidigungs-Prompts. Die Inhalte wurden später gelöscht, Keller-Sutter reichte Strafanzeige ein.
Im Mittelstand bleibt Phishing das primäre Angriffsziel, doch die Qualität der Social-Engineering-Nachrichten steigt durch KI-Unterstützung rapide. Schulungen müssen aktualisiert werden: QR-Codes, Voice-Anrufe und Video-Interviews sollten mit organisatorischen Kontrollpunkten kombiniert werden, etwa mit Rückruf über bekannte Nummern, getrennten Freigabekanälen, einem verbindlichen Vier-Augen-Prinzip bei Zahlungs- und Stammdatenänderungen sowie Live-Challenge-Fragen, die sich nicht aus öffentlichen Quellen rekonstruieren lassen. Personalprozesse sollten Identitätsprüfungen auf etablierte HR-Kanäle stützen, nicht auf biometrische Mitarbeiterkontrollen. Das BSI empfiehlt Organisationen, Multi-Faktor-Authentifizierung und Anomalieerkennung zu verstärken, da traditionelle Filterung allein gegen KI-gestützte Angriffe oft nicht mehr genügt.
- BSI: Einfluss von KI auf die Cyberbedrohungslandschaft
- BSI: Deepfakes — Gefahren und Gegenmaßnahmen
- Incident Database: Deepfake-Bewerbung in Tokyo — Incident 1421
- Incident Database: Grok-Skandal Karin Keller-Sutter — Incident 1437
- watson.ch: Strafanzeige gegen X nach Grok-Inhalten
- AsiaToday: Deepfake-Angriff auf Remote-Interview
- BornCity: Cyberkrise in Großbritannien — KI-Angriffe überfordern Unternehmen
KI-Fehlentscheidungen in der Praxis: Schulbuchverlag, Großkanzlei, Gesundheitswesen
Drei aktuelle Fälle zeigen, wie KI-Systeme in etablierte Qualitätssicherungsprozesse eindringen und wie diese Prozesse versagen. Der Schulbuchverlag Kohl (Kerpen) gab KI-generierte Grafiken und Texte als menschliche Werke aus, nachdem eine angebliche Autorin „Anni Kolvenbach“ mit Stockfoto-Porträt als Urheberin eingetragen wurde. Der Spiegel entdeckte dabei typische KI-Fehler: fehlende oder überzählige Körperteile, anatomisch unmögliche Figuren. Der Verlag entfernte die betroffenen Titel vorübergehend und versprach bessere Qualitätskontrolle.
Die Kanzlei Sullivan & Cromwell, eine der ältesten und größten Anwaltsfirmen der USA mit mehr als 900 Anwälten, reichte KI-generierte Fallzitate bei einem US-Bundesgericht ein. Diese Zitate gab es nie. Die Konkurrenz-Kanzlei Boies Schiller Flexner deckte die Halluzinationen auf. Trotz interner KI-Richtlinien und Vier-Augen-Reviews fielen die erfundenen Rechtsreferenzen durch alle Kontrollen. Der Vorfall wirft Fragen auf: Wenn Top-Kanzleien ihre eigenen Review-Prozesse nicht schützen, wie sollen kleinere Unternehmen Kontrolle bewahren?
Ein drittes Beispiel zeigt persönliche Tragweite. Der 75-jährige Joe Riley, ein ehemaliger Neurowissenschaftler, lehnte eine empfohlene Leukämie-Behandlung ab. Er hatte sich zuvor mithilfe von Perplexity und weiteren KI-Tools selbst eine Richter-Transformation diagnostiziert, eine seltene Komplikation der chronischen lymphatischen Leukämie, die seine behandelnde Onkologin nicht bestätigen konnte. Trotz Widerstand von Familie und Ärzten hielt er an der Fehldiagnose fest und stützte seine Entscheidung gegen die Therapie auf einen selbst erstellten KI-Report. Er starb kurz darauf. Sein Sohn Ben Riley dokumentierte den Fall im Substack „Cognitive Resonance“ und legt dort Wert auf eine entscheidende Differenzierung: „I don't think AI killed my father.“ Sein Vater sei ohnehin behandlungsskeptisch gewesen. Die KI habe ihm jedoch „bad information packaged with the veneer of scientific expertise“ geliefert, also fehlerhafte Inhalte im Gewand wissenschaftlicher Autorität.
Das deutsche Recht kennt kein eigenständiges KI-Haftungsregime. Ob und in welchem Umfang gehaftet wird, richtet sich nach den allgemeinen Regeln aus Vertragsrecht, Deliktsrecht, Produkthaftung, Berufsrecht, Datenschutzrecht, AI Act und Organisationspflichten und damit nach Rolle, Pflichtverletzung, Kausalität, Verschulden und Risikosphäre im konkreten Fall. Die drei Fälle zeigen ein gemeinsames Muster: Haftungsrisiken ergeben sich regelmäßig nicht aus „KI“ als solcher, sondern aus Organisationsversagen: unklaren Zuständigkeiten, fehlender Plausibilitätsprüfung, unzureichender Schulung oder ungeprüft übernommenen maschinell erzeugten Inhalten. Wer KI-Output im eigenen Namen nutzt, muss fachliche Prüfung, Verantwortlichkeiten und Freigabeprozesse dokumentieren. Disclaimer ersetzen das nicht. Bei kritischen Entscheidungen (Bewerbungen, medizinische Ratschläge, juristische Referenzen, vertragliche Zusagen) gehört KI-Output unter ein echtes Vier-Augen-Prinzip mit dokumentierter Freigabe durch eine fachlich qualifizierte Person.
Hintergrund
C2PA — Der technische Standard für Authentizität
C2PA steht für „Coalition for Content Provenance and Authenticity“ und ist ein offener technischer Standard zur Kennzeichnung von Herkunft und Bearbeitung digitaler Inhalte. Es versieht digitale Inhalte mit Content Credentials — kryptografisch signierten Provenance-Manifesten, in denen Herkunft und Bearbeitungsschritte dokumentiert sind. Manipulationen am Manifest werden durch Signaturprüfung erkennbar; das Manifest selbst kann durch Re-Encoding entfernt werden, weshalb es optional mit unsichtbaren Wasserzeichen kombiniert werden kann. Das System funktioniert wie ein „Nutrition Label“ für digitale Medien.
Für Unternehmen, die synthetische Inhalte wie KI-generierte Bilder oder bearbeitete Videos kennzeichnen müssen, kann C2PA ein technischer Baustein für Herkunfts- und Bearbeitungsnachweise sein. Der Standard ersetzt jedoch keine Prüfung der jeweiligen gesetzlichen Kennzeichnungsanforderungen in Indien, China, Südkorea oder anderen Zielmärkten. Der Standard wird von Adobe, Amazon, BBC, Google, Meta, Microsoft und OpenAI unterstützt.
Technische Ressourcen: