250 dosya ChatGPT’yi zehirlemeye yetiyor

Araştırmacılar, OpenAI’ın ChatGPT’si ve Google’ın Gemini’ı gibi yapay zeka modellerinin, eğitim verilerine yalnızca küçük bir bozulmuş veri örneği eklenerek “zehirlenebileceği” uyarısını yaptı.

Birleşik Krallık Yapay Zeka Güvenlik Enstitüsü, Alan Turing Enstitüsü ve yapay zeka firması Anthropic’in ortak yürüttüğü çalışma, 250 kadar az sayıda belgenin büyük dil modellerinin (LLM’ler) anlamsız metinler üretmesine yol açan bir “arka kapı” zafiyeti oluşturabileceğini ortaya koydu.

Independent Türkçe’de yer aldığı gibi bu açık özellikle endişe verici çünkü en popüler LLM’ler, kişisel internet siteleri ve blog yazıları da dahil internetteki herkese açık metinlerle önceden eğitiliyor. Bu da herhangi birinin yapay zeka modelinin eğitim verilerine dahil olabilecek içerik üretmesini mümkün kılıyor.

Anthropic, konuyu detaylandıran blog yazısında “Kötü niyetli aktörler, zehirlenme diye bilinen süreçte modelin istenmeyen veya tehlikeli davranışları öğrenmesini sağlamak için bu yayınlara belirli bir metin enjekte edebilir” dedi.

Arka kapı eklemek de bu saldırı türünden. Arka kapılar, modelden normalde gizli kalacak belirli bir davranışı tetikleyen özel ifadelerdir. Örneğin bir saldırgan komut isteminde olduğu gibi rasgele bir tetikleyici ifade içerdiğinde LLM’ler hassas verileri dışarı sızdıracak şekilde zehirlenebilir.

Bulgular yapay zeka güvenliğine dair endişelere yol açarken araştırmacılar, bunun teknolojinin hassas uygulamalarda kullanılma potansiyelini sınırladığını söylüyor.

Alan Turing Enstitüsü’nden Dr. Vasilios Mavroudis ve Dr. Chris Hicks, “Sonuçlarımız şaşırtıcı ve endişe vericiydi: Bir LLM’yi zehirlemek için gereken kötü niyetli belge sayısı (yaklaşık 250), modelin veya eğitim verilerinin boyutundan bağımsız olarak neredeyse sabitti” diye yazdı.

Başka bir deyişle, veri zehirleme saldırıları daha önce sanılandan daha uygulanabilir olabilir. Bir saldırgan için örneğin 250 zehirli Wikipedia makalesi yaratmak nispeten kolay olacaktır.

Riskler, “Poisoning attacks on LLMs require a near-constant number of poison samples” (LLM’lere yönelik zehirleme saldırıları neredeyse sabit sayıda zehir örneği gerektiriyor) başlıklı, hakem kontrolünden geçmemiş makalede detaylandırıldı.

The Independent yorum için Google ve OpenAI’la iletişime geçti.