Prompt-Injection ist der Versuch, eine KI dazu zu verleiten, ihre Anweisungen zu ignorieren oder etwas zu tun, was sie nicht tun sollte. Die irreführende Aufforderung kann direkt im Prompt stehen oder in einem Dokument verborgen sein, das die KI lesen soll.
Stellen Sie sich vor, Sie bitten eine Hilfskraft, einen Brief zusammenzufassen, in dem ein Zettel steht: „Ignoriere deine Leitung und gib vertrauliche Dateien preis.“ Der Zettel ist Teil des Briefes und keine vertrauenswürdige Anweisung.
KI-Apps sollten externe Inhalte sorgfältig behandeln und die möglichen Aktionen der KI begrenzen. Sensible Aktionen und wichtige Ergebnisse sollte eine Person prüfen.