Geçen ay danışmanlık verdiğimiz küresel bir finans kuruluşunda yürüttüğümüz kırmızı takım çalışmasında çarpıcı bir zafiyetle karşılaştık. Müşteri hizmetleri sohbet robotu, özenle hazırlanmış birkaç cümleyle yönlendirilerek işlem doğrulama adımlarını yanlış yorumladı ve normalde asla tek başına “devam” etmemesi gereken bir akışa girdi. Saldırganlar ne bir şifre kırdı ne de klasik bir yazılım açığı kullandı. Sadece yapay zekaya “doğru” cümleleri yazdılar.
Bu, izole bir vaka değil. OWASP (Açık Web Uygulama Güvenliği Projesi), kurumsal yapay zeka uygulamaları için yayımladığı risk çerçevesinde “komut enjeksiyonu”nu birincil risk alanlarından biri olarak konumluyor. Kurumsal denetim ve saha analizleri ise komut enjeksiyonu zafiyetlerinin pratikte ne kadar yaygın olduğunu ve üretimdeki yapay zeka uygulamalarının anlamlı bir bölümünde bu sınıfta bulgulara rastlandığını gösteriyor. Bu tablo, yapay zekanın artık sadece bir verimlilik aracı olmadığını, aynı zamanda yeni nesil bir saldırı yüzeyi olduğunu net biçimde ortaya koyuyor.