Zentrale Risiken im KI-Einsatz
Fünf zentrale Risikomuster, angelehnt an die OWASP Top 10 für LLM-Anwendungen. Dazu gehört insbesondere die Manipulation durch eingeschleuste Anweisungen.
Prompt Injection
Externe Inhalte können manipulierte Anweisungen enthalten.
E-Mails, Dokumente und andere externe Inhalte können Anweisungen enthalten, die das Verhalten eines Sprachmodells beeinflussen. Wir verankern die Begrenzung deshalb in der Architektur: Abgerufene Inhalte dürfen die Befugnisse des Systems nicht erweitern.
Zu weitreichende Befugnisse
Unnötige Berechtigungen vergrössern den Handlungsspielraum.
Wenn eine Aufgabe lediglich Lesezugriff erfordert, schaffen zusätzliche Schreib-, Lösch- oder Senderechte vermeidbare Risiken. Wir begrenzen die Befugnisse auf die Anforderungen des jeweiligen Vorgangs.
Offenlegung sensibler Informationen
Auch indirekte Ausgaben können sensible Daten offenlegen.
Antworten, Protokolle, Fehlermeldungen und nachgelagerte Integrationen können Informationen nach aussen weitergeben. Deshalb definieren wir, welche Daten das System verarbeiten darf, wer Zugriff erhält und welche Ausgaben zulässig sind.
Ungeprüfte Übernahme von Modellausgaben
Plausible Formulierungen ersetzen keine belastbare Faktenbasis.
Folgenreiche Ausgaben werden mit ihren Quellen zur Prüfung vorgelegt. Eine verantwortliche Person bewertet sie, bevor schwer rückgängig zu machende Schritte ausgeführt werden.
Unklare Identitäten und Berechtigungen
Jeder Vorgang benötigt eine eindeutig zugeordnete Identität.
Berechtigungen werden im führenden System für die jeweils handelnde Identität durchgesetzt. Eine ausschliessliche Abbildung innerhalb von Prompts ist dafür nicht ausreichend.
Warum frühzeitige Governance entscheidend ist
Autonomie erweitert die Tragweite von Fehlern
Die Freigabe eines Auftrags hat andere Konsequenzen als die Erstellung eines Textentwurfs.
Sobald Software Vorgänge in führenden Systemen ausführt, können Fehler unmittelbare geschäftliche und regulatorische Auswirkungen haben.
KI-Einsatz und Governance gemeinsam entwickeln
Kontrollen und Zuständigkeiten müssen mit der Nutzung Schritt halten.
Unzureichende Governance schafft Risiken und erschwert die Sicherheitsprüfung. Wir berücksichtigen Verantwortlichkeiten und Kontrollanforderungen deshalb bereits bei der Planung.
Regulatorische Anforderungen frühzeitig berücksichtigen
Transparenz und Nachvollziehbarkeit systematisch vorsehen.
Aufsicht, Dokumentation und geeignete Nachweise gehören in die Konzeption. So stehen sie für spätere Prüfungen strukturiert zur Verfügung.