Prompt Injection
Eine „Prompt Injection“ liegt vor, wenn ein KI-System Daten und Anweisungen verwechselt. Besonders gefährlich ist dies bei neuen Tools, die Zugang zu den Computern der Nutzenden haben - wie zum Beispiel bei der neuen Funktion „computer use“ von Anthropics Claude.
Wenn Sie beispielsweise ein KI-System bitten, eine PDF-Datei zusammenzufassen, und die Daten in dem Dokument eine bösartige Anweisung enthalten, könnte die KI diese Anweisung auf Systemebene ausführen – mit weitreichenden Berechtigungen und entsprechend verheerenden Folgen.