Ajan güvenliği model güvenliğinden büyüktür
Kurumsal ajan yalnız metin üretmez; e-posta okuyabilir, dosya açabilir, kayıt oluşturabilir veya başka sistemlere çağrı yapabilir. Bu nedenle güvenlik değerlendirmesi model çıktısının doğruluğuyla sınırlanamaz.
OWASP’ın üretken yapay zekâ güvenliği çalışmaları; prompt injection, hassas bilgi ifşası, aşırı yetki ve güvensiz çıktı işleme gibi riskleri birlikte ele alır. Savunma tek bir sistem mesajına bırakılamaz.
Yedi temel kontrol
Kontroller mimari düzeyde uygulanır ve test kanıtı saklanır.
- En az yetki: yalnız gereken kayıt ve işleme erişim
- Okuma-yazma ayrımı ve kritik işlemde ayrı onay
- Güvenilmeyen içeriği talimattan ayıran veri sınırları
- İzinli araç, alıcı, alan adı ve dosya türü listeleri
- Tutar, tekrar ve süre limitleri ile otomatik durdurma
- Değiştirilemez olay kaydı ve sorumlu kişiye uyarı
- Geri dönüş, erişim iptali ve manuel devam planı
Gölge çalışma neden önemlidir?
Sistem ilk aşamada işlem yapmak yerine ne yapacağını ve nedenini gösterir. Gerçek kullanıcının kararıyla sistem önerisi karşılaştırılır; yanlış pozitif, yanlış negatif ve belirsiz vakalar ayrı incelenir.
Kritik testler geçilmeden yazma yetkisi açılmaz. Güvenlik engeli, iyi görünen ekonomik sonuçla telafi edilemez.