Prompt-Injection, im AI-Kontext.
Prompt-Injection schmuggelt Anweisungen in Eingaben oder Dokumente, damit ein KI-System seine eigenen Regeln bricht. Der bekannteste Angriff auf LLM-Apps.
Prompt-Injection ist ein Angriff, bei dem jemand Anweisungen in Text einschleust, den ein KI-System liest, damit dieses seine ursprünglichen Regeln übergeht. Direkt geschieht das über die Nutzereingabe, indirekt über Inhalte, die das System selbst lädt, etwa eine Webseite, ein PDF oder eine eingehende Mail. Das OWASP-Projekt Top 10 for LLM Applications führt Prompt-Injection als Risiko LLM01 an erster Stelle. Ein sauberer System-Prompt schützt nicht, weil das Modell Anweisung und Inhalt nicht sicher trennt. Wirksam sind enge Rechte für jedes Werkzeug, Prüfung der Ausgabe vor jeder Aktion, menschliche Freigabe vor Außenwirkung und der Verzicht auf Geheimnisse im Prompt.
Beispiele aus dem Mittelstand
- Ein Bewerbungs-PDF enthält weiße Schrift mit der Anweisung, den Kandidaten als bestens geeignet einzustufen.
- Ein Support-Agent liest eine eingehende Mail, in der versteckt steht, er solle den bisherigen Verlauf an eine externe Adresse weiterleiten.
Folge-Fragen
Warum hilft ein strenger System-Prompt nicht?
Das Modell sieht Anweisung und Inhalt im selben Textstrom und kann beides nicht sauber trennen. Eine Regel im Prompt ist damit umgehbar.
Was ist indirekte Prompt-Injection?
Der Angriff steckt nicht in der Nutzereingabe, sondern in einer Quelle, die das System selbst lädt: Webseite, Dokument, Ticket oder Mail.
Welche Gegenmaßnahmen wirken wirklich?
Kleinstmögliche Rechte je Werkzeug, Trennung von Lesen und Schreiben, Prüfung der Ausgabe vor jeder Aktion und menschliche Freigabe vor Außenwirkung.
Betrifft das auch einen einfachen Webseiten-Chatbot?
Ja, sobald er Zugriff auf Daten oder Werkzeuge hat. Ohne Werkzeuge ist der Schaden auf unerwünschte Ausgaben begrenzt, mit Werkzeugen wird er echt.
Verwandte Begriffe
Prompt-Injection in der Praxis.
Wo dieser Begriff in deinem Geschäft konkret wird, beginnt die Arbeit. Wir nennen klar, ob die Idee in unser Studio passt.
Künstliche Intelligenz