Erstgespräch
Erstgespräch buchen
Leistungen
Übersicht Audit Begleitung as a Service GAP-Analyse Implementierung Awareness & Schulungen
ISMS
Übersicht Externer ISB CISIS12 BSI IT-Grundschutz ISO 27001 Regulatorik Cyber Resilience Act DORA NIS-2 NIS-2 Betroffenheit NIS-2 Registrierung B3S KRITIS TISAX®
AIMS
Übersicht Externer KI-Beauftragter EU AI Act ISO 42001 ISO 42005
BCMS
Übersicht Externer BCM-Beauftragter BSI 200-4 ISO 22301 ITSCM Notfallmanagement
RMS
Übersicht Externer Risikomanager BSI 200-3 ISO 27005 MaRisk
Solutions
Übersicht Partner Patchmanagement Schwachstellenmanagement SIEM SOC
Wissen
Übersicht Insights KI-Security Briefing
Über uns
Übersicht Presse
+49 40-298 4553-0 [email protected]
Startseite› Glossar› Bias (KI)
Glossar, AIMS / EU AI Act / KI-Risiko

Bias (KI)

Englisch: AI Bias / Algorithmic Bias

Zuletzt aktualisiert: Mai 2026
Lesedauer: ca. 5 Minuten

Bias (KI) (auch algorithmische Verzerrung oder AI Bias) bezeichnet systematische Fehler in Daten, Modellen oder Entscheidungsprozessen eines KI-Systems, die zu ungerechten, diskriminierenden oder sachlich falschen Ergebnissen führen. Bias entsteht durch fehlerhafte Trainingsdaten, durch Mängel im Modelldesign, in organisatorischen Prozessen oder in der menschlichen Wahrnehmung von Systemausgaben. Nach Artikel 10 Abs. 2 lit. f der Verordnung (EU) 2024/1689 (EU AI Act) sind Anbieter von Hochrisiko-KI-Systemen verpflichtet, Trainingsdaten auf mögliche Verzerrungen zu untersuchen, die Gesundheit, Sicherheit oder Grundrechte beeinträchtigen oder zu Diskriminierungen führen können, und geeignete Gegenmaßnahmen zu ergreifen.

Normative Grundlage: Verordnung (EU) 2024/1689, Art. 10 Abs. 2 lit. f; NIST SP 1270 (2022)

Hintergrund und normative Einordnung

Bias in KI-Systemen ist kein zufälliger Fehler, sondern ein strukturelles Risiko, das aus der Entstehungsgeschichte der Daten und Modelle erwächst. NIST unterscheidet in der AI RMF 1.0 (NIST AI 100-1, 2023) drei Hauptkategorien: Systemischen Bias, der in Datensätzen und gesellschaftlichen Normen verankert ist; statistisch-computationalen Bias, der aus nicht-repräsentativen Stichproben oder fehlerhaften Algorithmen resultiert; sowie Human-Cognitive Bias, der entsteht, wenn Menschen KI-Ausgaben unreflektiert übernehmen (sogenannter Automation Bias). Alle drei Kategorien können ohne bewusste Diskriminierungsabsicht auftreten, was die Erkennung und Steuerung besonders anspruchsvoll macht.

In der deutschen und europäischen Compliance-Landschaft erhält Bias-Management mit dem Geltungsbeginn der wesentlichen Anforderungen des EU AI Act (August 2026) regulatorisches Gewicht. Artikel 10 der Verordnung (EU) 2024/1689 verlangt für Hochrisiko-KI-Systeme konkret: relevante, hinreichend repräsentative, möglichst fehlerfreie und vollständige Datensätze mit angemessenen statistischen Eigenschaften. Datensätze müssen auf Verzerrungen untersucht werden, die zu einer nach Unionsrecht verbotenen Diskriminierung führen könnten. Ergänzend erlaubt Art. 10 Abs. 5 ausnahmsweise die Verarbeitung besonderer Kategorien personenbezogener Daten (z. B. Ethnizität, Geschlecht) ausschließlich zum Zweck der Bias-Erkennung und -Korrektur, unter strengen technischen und organisatorischen Schutzmaßnahmen. Art. 14 Abs. 4 lit. b adressiert den Automation Bias auf Seiten der Deployer und verpflichtet zur informierten menschlichen Aufsicht über Systemausgaben. Für Unternehmen, die Hochrisiko-KI einsetzen oder entwickeln, ist ein strukturiertes Bias-Management heute ein zentraler Bestandteil der EU AI Act Umsetzung.

Normative Bezüge:

EU AI Act Art. 10 Abs. 2 lit. f, g und Abs. 5 EU AI Act Art. 14 Abs. 4 lit. b (Automation Bias) NIST AI RMF 1.0, MEASURE 2.11

Vorgehen in der Praxis

Bias-Management ist kein einmaliges Projekt, sondern ein iterativer Prozess über den gesamten KI-Lebenszyklus, von der Datenerhebung bis zum produktiven Betrieb. Die folgenden vier Schritte bilden einen praxistauglichen Rahmen, der mit den Anforderungen des EU AI Act und dem NIST AI RMF kompatibel ist.

1
Schritt 1, Datenqualität und Repräsentativität sichern Bereits vor dem Training muss geprüft werden, ob Trainingsdaten die Zielpopulation statistisch angemessen abbilden. Unterrepräsentierte Gruppen (z. B. nach Alter, Geschlecht, Herkunft) können zu systematischem Sampling-Bias führen. Zu dokumentieren sind: Datenherkunft, Erhebungsprozesse, Annotationsverfahren und bekannte Einschränkungen gemäß Art. 10 Abs. 2 EU AI Act und den Anforderungen an Data Governance.
2
Schritt 2, Bias-Tests in die Entwicklung integrieren Bias-Tests sollten als fester Bestandteil des Modell-Evaluierungsprozesses definiert werden, nicht als nachgelagerter Check. Geeignete Fairness-Metriken sind kontextabhängig auszuwählen: Demographic Parity, Equal Opportunity Difference und Predictive Equality decken unterschiedliche Aspekte ab. ISO/IEC TR 24027:2021 liefert eine strukturierte Übersicht zulässiger Metriken; NIST MEASURE 2.11 empfiehlt disaggregierte Analysen über Gruppen und intersektionale Betrachtungen.
3
Schritt 3, Mitigationsmaßnahmen umsetzen Identifizierte Verzerrungen erfordern gezielte Gegenmaßnahmen. NIST unterscheidet Pre-Processing (Datenanpassung vor dem Training), In-Processing (Modifikation der Lernalgorithmen während des Trainings) und Post-Processing (Kalibrierung der Modellausgaben). Die gewählte Methode ist zu dokumentieren und ihre Wirksamkeit zu belegen. Bei Hochrisiko-KI nach EU AI Act sind diese Maßnahmen verpflichtend (Art. 10 Abs. 2 lit. g).
4
Schritt 4, Wirksamkeit kontinuierlich monitoren Bias kann im produktiven Betrieb durch veränderte Eingabedaten oder gesellschaftliche Verschiebungen neu entstehen (Distribution Shift, historischer Bias). NIST AI RMF MEASURE 2.11 fordert ein laufendes Monitoring auf Performance- und Bias-Metriken, das festgelegte Toleranzgrenzen überwacht und bei Überschreitung Handlungsmaßnahmen auslöst. Audit-Trails sichern die Nachvollziehbarkeit gegenüber Aufsichtsbehörden.

Das bloße Entfernen geschützter Merkmale (z. B. Geschlecht, Ethnizität) aus dem Datensatz beseitigt Bias nicht. Proxy-Variablen wie Postleitzahl oder Berufsbezeichnung können dieselben Verzerrungseffekte erzeugen und müssen daher explizit in die Bias-Analyse einbezogen werden.

Abgrenzung zu verwandten Begriffen

Begriff Fokus Verhältnis zu Bias (KI)
Halluzination (KI) Faktisch falsche oder erfundene Ausgaben eines KI-Modells Bias und Halluzination sind beides KI-Qualitätsprobleme, haben jedoch unterschiedliche Ursachen: Bias resultiert aus verzerrten Daten oder Modellarchitektur und betrifft systematisch bestimmte Gruppen; Halluzination entsteht durch Modellgeneralisierung und betrifft beliebige Sachverhalte. Beide können in Hochrisiko-KI zu regulatorischen Verstößen führen.
Fairness (KI) Normatives Ziel der Nicht-Diskriminierung in KI-Entscheidungen Fairness ist das übergeordnete Ziel, Bias-Management ist das operative Mittel zu seiner Erreichung. Fairness ist kontext- und werteabhängig und kann nicht vollständig automatisiert gemessen werden; Bias hingegen ist messbar über statistische Metriken wie Demographic Parity oder Equal Opportunity.
Robustheit (KI) Widerstandsfähigkeit eines KI-Systems gegen veränderte Eingaben und Angriffe Robustheit und Bias-Freiheit sind beides Dimensionen der KI-Vertrauenswürdigkeit nach EU AI Act, adressieren jedoch unterschiedliche Risiken. Ein robustes Modell kann dennoch biasbelastet sein; ein biaskorrigiertes Modell muss nicht automatisch robust gegenüber adversariellen Angriffen sein.

Typische Fehler und wie ihr sie vermeidet

  • Bias ausschließlich in Trainingsdaten verorten: Viele Teams suchen Bias nur in den Trainingsdaten und übersehen, dass Verzerrungen auch im Modelldesign (Architektur-Entscheidungen, Loss-Funktionen), in Annotationsprozessen und in der Deployment-Umgebung entstehen können. NIST SP 1270 unterscheidet Pre-existing Bias, Technical Bias und Emergent Bias, alle drei Entstehungsebenen müssen in die Analyse einbezogen werden.
  • Demografische Repräsentanz der Testdaten ignorieren: Eine hohe Gesamtgenauigkeit eines Modells kann eine schlechte Performance für Untergruppen verdecken. Wenn Testdatensätze nicht disaggregiert ausgewertet werden, bleibt Bias für vulnerable Gruppen unsichtbar. Art. 10 EU AI Act fordert explizit, dass Datensätze die statistischen Eigenschaften haben, die für die Zielpopulation angemessen sind.
  • Bias-Korrektur als einmaligen Schritt behandeln: Bias-Mitigation ist kein einmaliger Meilenstein im Entwicklungsprojekt, sondern ein kontinuierlicher Prozess. Durch Distribution Shift, veränderte reale Dateneigenschaften nach der Systemeinführung, können zuvor korrigierte Verzerrungen erneut auftreten. NIST AI RMF empfiehlt daher fortlaufendes Monitoring mit definierten Toleranzschwellen.
  • Modell-Monitoring nach Go-Live vernachlässigen: Ohne systematisches Post-Deployment-Monitoring bleiben Bias-Rückfälle im Produktivbetrieb unerkannt. Für Hochrisiko-KI nach EU AI Act (Art. 72) ist ein Post-Market-Monitoring-System verpflichtend; dieses muss auch Bias- und Fairness-Metriken einschließen, nicht nur technische Verfügbarkeitskennzahlen.

Relevanz im regulatorischen Kontext

Der EU AI Act (Verordnung (EU) 2024/1689) verankert Bias-Management erstmals als rechtsverbindliche Anforderung für Anbieter von Hochrisiko-KI-Systemen in der EU. Artikel 10 Abs. 2 lit. f verpflichtet zur systematischen Untersuchung von Trainings-, Validierungs- und Testdatensätzen auf Verzerrungen, die die Gesundheit und Sicherheit von Personen beeinträchtigen, negative Auswirkungen auf Grundrechte haben oder zu einer nach Unionsrecht verbotenen Diskriminierung führen können. Gemäß Art. 10 Abs. 2 lit. g sind angemessene Maßnahmen zur Erkennung, Verhinderung und Abschwächung dieser Verzerrungen verpflichtend. Die Anforderungen für Hochrisiko-KI gelten ab dem 2. August 2026.

Ergänzend zur Pflicht des Anbieters adressiert Art. 14 Abs. 4 lit. b den sogenannten Automation Bias auf Seiten der Deployer: Personen, die Hochrisiko-KI-Systeme einsetzen, müssen sich der Tendenz bewusst bleiben, Systemausgaben unkritisch zu übernehmen. Verstöße gegen die Daten-Governance-Anforderungen des Art. 10 können Bußgelder bis zu 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes nach sich ziehen (Art. 99 Abs. 3 EU AI Act). Für KMU und Startups gelten proportionale Obergrenzen. Die Marktüberwachungsbehörden der Mitgliedstaaten überwachen die Einhaltung; in Deutschland ist die Zuständigkeit noch in der Abstimmung.

Häufige Fragen

Was sind die häufigsten Bias-Arten in KI-Systemen?
NIST SP 1270 (2022) und ISO/IEC TR 24027:2021 unterscheiden mehrere relevante Typen: Sampling-Bias entsteht, wenn Trainingsdaten bestimmte Gruppen über- oder unterrepräsentieren. Messfehler-Bias (Measurement Bias) resultiert aus systematisch ungleichen Erhebungsverfahren. Historischer Bias überträgt gesellschaftliche Ungleichheiten aus der Vergangenheit in Modellausgaben. Bestätigungs-Bias (Confirmation Bias) tritt auf, wenn Entwickler- oder Annotatorenteams bestehende Annahmen in Daten und Labels einschreiben. Automation Bias schließlich bezeichnet die unreflektierte Übernahme von Systemausgaben durch Deployer.
Wie schreibt der EU AI Act Bias-Management vor?
Der EU AI Act regelt Bias-Management in Art. 10 (Trainingsdatenqualität): Datensätze für Hochrisiko-KI müssen relevant, hinreichend repräsentativ, möglichst fehlerfrei und vollständig sein. Sie sind explizit auf mögliche Verzerrungen zu untersuchen und es sind geeignete Maßnahmen zur Erkennung, Verhinderung und Abschwächung zu implementieren (Art. 10 Abs. 2 lit. f, g). Art. 14 adressiert menschliche Aufsicht und die Vermeidung von Automation Bias. Art. 13 schreibt Transparenz gegenüber Deployern vor, einschließlich bekannter Risiken und Leistungsgrenzen des Systems.
Wie wird Bias in KI-Systemen gemessen?
ISO/IEC TR 24027:2021 und NIST AI RMF MEASURE 2.11 empfehlen kontextabhängige Fairness-Metriken. Demographic Parity prüft, ob Entscheidungsraten über demografische Gruppen hinweg gleich verteilt sind. Equal Opportunity Difference misst Unterschiede in der True-Positive-Rate. Predictive Equality betrachtet False-Positive-Raten im Gruppenvergleich. Die Wahl der Metrik muss den konkreten Anwendungsfall und die betroffenen Schutzgüter berücksichtigen und ist in der technischen Dokumentation zu begründen. Audit-Trails sichern die Nachvollziehbarkeit für Aufsichtsbehörden.

Quellen & weiterführende Literatur

  1. Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates (EU AI Act), Art. 10 Abs. 2 lit. f, g; Art. 10 Abs. 5; Art. 14 Abs. 4 lit. b
  2. NIST AI Risk Management Framework 1.0 (NIST AI 100-1), MEASURE 2.11, Fairness and Bias Evaluation; Bias-Kategorien (Systemic, Computational/Statistical, Human-Cognitive)
  3. NIST Special Publication 1270, Towards a Standard for Identifying and Managing Bias in Artificial Intelligence, Bias-Taxonomie: Pre-existing, Technical, Emergent Bias; Mitigationsstrategien
  4. ISO/IEC 23894:2023, Information technology, Artificial intelligence, Guidance on risk management, Fairness and Bias Risks; AI-spezifische Risikokategorien
  5. ISO/IEC TR 24027:2021, Information technology, Artificial intelligence, Bias in AI systems and AI aided decision making, Bias-Typen-Klassifikation; Fairness-Metriken (Confusion Matrix, Equalized Odds, Demographic Parity)