Jakość i bezpieczeństwo
Wstrzyknięcie instrukcji
Prompt injection
Inne nazwy i skróty: atak przez instrukcje, wstrzykiwanie promptu.
Co to jest wstrzyknięcie instrukcji?
Próba zmiany działania systemu AI przez instrukcje, którym system nie powinien przyznać uprawnień.
Mogą znajdować się w wiadomości użytkownika albo w dokumencie odczytanym jako dane. Skuteczna ochrona obejmuje granice uprawnień i kontrolę działań, a nie tylko prośbę w prompcie, by ignorować ataki.
Przykład zastosowania
W analizowanym dokumencie pojawia się polecenie wysłania poufnych danych pod obcy adres.
O czym pamiętać?
Skuteczna ochrona obejmuje granice uprawnień i kontrolę działań, a nie tylko prośbę w prompcie, by ignorować ataki.
Powiązane pojęcia
- Instrukcja systemowa (System prompt)
- Narzędzie agenta (Agent tool)