Robotikhand bedient ein Interface, auf dem die englischen Worte für KI und Ethik zu sehen sind

So gelingt der Aufbau vertrauenswürdiger KI-Systeme

Insights

5 Min.

Immer mehr Unternehmen nutzen künstliche Intelligenz in der täglichen Arbeit. Doch kann man der KI wirklich trauen? Welche Kriterien müssen erfüllt sein, damit eine KI als vertrauenswürdig gilt? In der neuen Studie von Veridos finden sich dazu interessante Erkenntnisse.

Inhaltsverzeichnis

1. Mit vertrauenswürdiger KI gegen KI-Bedrohungen vorgehen
2. Was ist eigentlich eine glaubwürdige KI?
3. Grundlagen einer glaubwürdigen KI
4. Vertrauen als Wettbewerbsvorteil

Im Jahr 2022 geriet der amerikanische Finanzdienstleister Wells Fargo unter Beobachtung, als festgestellt wurde, dass sein Algorithmus zur Kreditbewertung schwarze und lateinamerikanische Antragstellerinnen und Antragsteller systematisch benachteiligte, indem er ihnen eine geringere Bonität attestierte als weißen Antragstellerinnen und Antragstellern mit einem vergleichbaren Finanzhintergrund.¹

Dieses Beispiel beweist, welche schwerwiegenden Folgen die schnelle Einführung von KI-Systemen mit sich bringen kann. Und es stellt sich die Frage: Ist künstliche Intelligenz wirklich vertrauenswürdig?

Im Fall von Wells Fargo handelte es sich nicht um eine böswillige Absicht – vielmehr hatte die KI aus historischen Kreditvergabemustern gelernt, die Jahrzehnte diskriminierender Praktiken widerspiegelten, und reproduzierte diese systematisch. Für sicherheitskritische Bereiche wie das Bank- und Finanzwesen, die Identitätsprüfung und die öffentliche Infrastruktur sind derartige Verzerrungen allerdings inakzeptabel. Neben der Tatsache, dass möglicherweise Bußgelder fällig werden, zerstören solche Vorfälle das Vertrauen der Kundinnen und Kunden und untergraben damit die Grundlage für den langfristigen Erfolg von Unternehmen und Institutionen.

Neue Vorschriften wie der AI Act der EU wurden eingeführt, um Rahmenbedingungen für den sicheren Einsatz von KI-Systemen zu schaffen und um Unternehmen dabei zu unterstützen, die KI-Vorschriften einzuhalten. Verstöße können mit Geldstrafen von bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes geahndet werden.² Wird die Sicherheit künstlicher Intelligenz ausschließlich unter dem Gesichtspunkt der Compliance betrachtet, läuft man Gefahr, ihre Potenziale ungenutzt zu lassen.

Mit vertrauenswürdiger KI gegen KI-Bedrohungen vorgehen

„Verbraucherinnen und Verbraucher, Stakeholderinnen und Stakeholder sowie Aufsichtsbehörden fordern beim Einsatz von Technologien wie KI zunehmend mehr Transparenz und Verantwortlichkeit“, sagt Letizia Bordoli, AI Lead bei Veridos. „KI-Systeme funktionieren jedoch oft wie Black Boxes mit komplexen Abhängigkeiten und unvorhersehbarem Verhalten in neuen Umgebungen. Daraus ergibt sich für Unternehmen die Verantwortung, KI auf eine vertrauenswürdige Weise einzusetzen – insbesondere in Anwendungsbereichen, die das Leben von Menschen erheblich beeinflussen können.“

Viele Unternehmen fragen sich nun, wie sie KI-Systeme entwickeln können, die dieses Vertrauen verdienen. Und wie lässt sich das Vertrauen in KI-Systeme zuverlässig bewerten, quantifizieren und in Entwicklungsprozesse integrieren?

Digitales Schutzschild mit der Aufschrift „AI“ symbolisiert sichere und vertrauenswürdige KI

Was ist eigentlich eine glaubwürdige KI?

Um diese Frage zu beantworten, ist es notwendig, die Definition für eine glaubwürdige KI zu kennen. Die Erstellung eines Grundsatzpapiers, das als allgemeingültige Definition für eine glaubwürdige und ethisch vertretbare KI dient, erfolgte unter der Federführung der High-Level Expert Group für künstliche Intelligenz der Europäischen Kommission.

Die darin aufgeführten Kriterien bilden die Grundlage für Rahmenwerke wie den AI Act der EU und umfassen folgende Aspekte: menschliches Handeln und Aufsicht, technische Robustheit und Sicherheit, Datenschutz und Datenverwaltung, Transparenz, Vielfalt, Nichtdiskriminierung und Fairness, ökologisches und gesellschaftliches Wohlergehen sowie Rechenschaftspflicht.

Diese Grundsätze bleiben jedoch oft theoretisch und bieten wenig Hilfestellung für die Praxis. Unternehmen benötigen stattdessen eine Struktur, die es ihnen ermöglicht, diese hochrangigen Prinzipien in messbare Handlungsweisen umzusetzen, welche in Entwicklungsprozesse und die Unternehmenskultur integriert werden können.

Software-Entwicklerin testet neues System zur Einhaltung gesetzlicher Vorschriften für KI und Ethik

Grundlagen einer glaubwürdigen KI

Nicht zuletzt deshalb hat Veridos gemeinsam mit Expertinnen und Experten der Friedrich-Alexander-Universität Erlangen-Nürnberg ein umfassendes, metrikbasiertes Rahmenwerk zur Bewertung und Quantifizierung der Vertrauenswürdigkeit von KI entwickelt. Aus der Studie lassen sich fünf wichtige Erkenntnisse ableiten.

Vertrauen muss aufgebaut werden, es kann nicht vorausgesetzt werden
Viele Unternehmen handeln erst, wenn durch Skandale, fehlgeschlagene Audits oder regulatorische Maßnahmen ein Vertrauensverlust entstanden ist. Dieser Ansatz ist falsch. Stattdessen muss Vertrauenswürdigkeit von Anfang an in Systeme integriert werden. Dabei kommen spezifische Bewertungsmethoden zum Einsatz, die an bekannte Risiken geknüpft sind. Dazu gehören:
- Metriken zur Gruppenfairness, die versteckte Diskriminierung identifizieren und beseitigen, indem sie bewerten, ob KI-Ergebnisse gerecht über demografische Gruppen (z. B. Alter, Geschlecht, ethnische Zugehörigkeit) verteilt sind.
- Tests zur Robustheit von Salienz-Karten, die überprüfen, ob KI-Erklärungen auch bei geringfügigen Änderungen der Eingaben konsistent bleiben, und somit die Zuverlässigkeit von KI-Entscheidungsprozessen gewährleisten.
- Tests zur Mitgliedschaftsinferenz (diese testen, ob Angreifer die zum Trainieren der KI verwendeten Daten rekonstruieren könnten), die Datenschutzlücken aufdecken, indem sie Angriffe simulieren, um festzustellen, wie leicht Angreifer erkennen können, welche Daten beim Modelltraining verwendet wurden. So werden potenzielle Risiken von Datenlecks und unzureichendem Datenschutz aufgezeigt.
Vertrauenswürdigkeit ist vielschichtig und kontextabhängig

Es gibt keinen allgemeingültigen Maßstab für vertrauenswürdige KI. Bei der Bewertung spielen die Art der Anwendung und die damit verbundenen Risiken eine entscheidende Rolle. Systeme mit hohen Anforderungen wie Identitätsprüfungen müssen vor allem Robustheit und Verantwortlichkeit gewährleisten. Verbraucherorientierte Anwendungen hingegen erfordern Transparenz und menschliche Kontrolle, um das Vertrauen der Nutzerinnen und Nutzer sicherzustellen.
Vertrauen ist keine feste Größe – es verändert sich im Laufe der Zeit

Die meisten Regelwerke für KI sehen die Bewertung fälschlicherweise als einmalige Aufgabe. Doch KI-Systeme entwickeln sich ständig weiter: Modelle verändern sich, Hackerinnen und Hacker entwickeln neue Angriffsmethoden und das operative Umfeld verändert sich ebenfalls. Die kontinuierliche Überwachung und Bewertung müssen daher ein fester Bestandteil der KI-Nutzung werden, genauso wie die fortlaufende Überwachung der Verfügbarkeit bei Cloud-Diensten.
Quantifizierung ist wichtig – sie ermöglicht die Unternehmensführung

Prinzipien wie Fairness und Datenschutz werden in quantitative Indikatoren übersetzt. Dadurch lässt sich die Vertrauenswürdigkeit überprüfen und nachvollziehen, was ein sinnvolles KI-Risikomanagement sowie die Automatisierung der Compliance-Prozesse ermöglicht. Zudem bieten interne Governance-Dashboards in Echtzeit Einblick in die Vertrauenswürdigkeit von KI-Systemen.
Vertrauen entsteht erst durch interdisziplinäre Teams

Der Aufbau von Vertrauen ist nicht die Aufgabe eines einzelnen Teams. Während der gesamten Entwicklung müssen alle Beteiligten intensiv zusammenarbeiten. KI-Ingenieurinnen und -Ingenieure, UX-Forscherinnen und -Forscher, Ethikwissenschaftlerinnen und -wissenschaftler, Personen mit Sicherheitsexpertise und viele weitere Expertinnen und Experten anderer Fachbereiche. Nur so lässt sich das komplette System vertrauenswürdig gestalten.

Vertrauen als Wettbewerbsvorteil

Wer sich an diesen Grundsätzen orientiert, wird KI-Systeme entwickeln können, denen das Prinzip von Vertrauen und Glaubwürdigkeit zugrunde liegt, anstatt erst zu reagieren, wenn das Vertrauen bereits beschädigt wurde. Dieser proaktive Ansatz ist ein wichtiger Unterschied im Wettbewerb mit anderen Unternehmen.

In einer Zukunft, in der KI eine zunehmend wichtige Rolle spielt, wird es einen enormen Druck geben, mit jeder neuen Entwicklung Schritt zu halten. Doch anstatt übereilt die neueste Technologie zu implementieren, werden die wahren Marktführer diejenigen sein, die sich die Zeit nehmen, nachhaltige und vertrauenswürdige Systeme zu entwickeln, auf die sich alle Beteiligten verlassen können.

Hier können Sie die Studie ansehen und herunterladen.

Key Takeaways

Die zunehmende Verbreitung von KI erfordert dringend Rahmenbedingungen für die Entwicklung und Bewertung vertrauenswürdiger Systeme.
Vertrauen muss aufgebaut werden, es kann nicht vorausgesetzt werden. Eine allgemeingültige Definition für „vertrauenswürdige KI“ gibt es jedoch nicht.
Ein proaktiver Compliance-Ansatz kann zu einem Wettbewerbsvorteil führen. Unternehmen, die vertrauenswürdige KI-Systeme entwickeln, werden sich von der Konkurrenz abheben.

Wells Fargo Racial Disparity Case Heads to Class Action Decision, Bloomberg, 2024
EU Artificial Intelligence Act, EU, 2025

Veröffentlicht: 26.08.2025