Büyük Dil Modellerinin Yetenekleri: Hacklemek mi, Yardım Etmek mi?

Büyük Dil Modelleri (LLM'ler) hızla gelişmektedir ve otonom aracılar olarak yaygın şekilde kullanılmaktadır. Geliştiriciler, karmaşık koddaki hataları tespit etmek, ekonomik analiz yürütmek veya bilimsel keşiflere yardımcı olmak gibi kullanıcılarla etkileşime giren, sorguları işleyen ve alınan verilere dayalı görevleri yürüten aracılar tasarlayabilir.

Ancak araştırmacılar, LLM'lerin ikili kullanım yetenekleri, özellikle siber güvenlik bağlamında kötü amaçlı görevleri yerine getirme yetenekleri konusunda giderek daha fazla endişe duymaya başlıyor. Örneğin ChatGPT kullanılabilir bireylere penetrasyon testi ve kötü amaçlı yazılım oluşturma konusunda yardımcı olmak. Üstelik bu ajanlar, insan müdahalesi veya gözetimi olmadan bağımsız olarak çalışabilir.

Richard Fang, Rohan Bindu, Akul Gupta, Kiushi Jean ve Daniel Can'ın da aralarında bulunduğu Cornell Üniversitesi'ndeki araştırmacılar, yüksek lisans eğitimlerinin oluşturduğu tehditlere ışık tutan ve bunların potansiyel sonuçlarına ilişkin değerli bilgiler sağlayan çalışmalar yürüttüler. Bulguları, hızla gelişen bu alanda dikkatli değerlendirme ve düzenleme ihtiyacının ciddi bir hatırlatıcısı olarak hizmet ediyor.

Anında dağıtımla GPU sunucuları kiralayın veya bir sunucuya sahip özel yapılandırma profesyonel kalitede NVIDIA Tesla A100 / H100 80Gb veya A5000 / A4000 kartlarıyla. Oyun RTX4090 kartlarına sahip GPU sunucuları ayrıca mevcuttur.

Özerk web sitesi ihlalleri

Çalışma LLM aracılarının, sorguları birleştiren kör SQL enjeksiyon saldırısı gibi karmaşık ihlalleri gerçekleştirebildiğini gösterdi. Bu tür saldırılar, veritabanlarıyla etkileşim kurmak için SQL (Yapılandırılmış Sorgu Dili) kullanan web uygulamalarını hedefler. Bu tür saldırılar, uygulama herhangi bir hata veya anormal davranış belirtisi göstermese bile, kötü niyetli aktörlerin veritabanlarından gizli bilgiler elde etmesine olanak tanır.

Bu saldırıların temelinde birden fazla sorgu sonucunun tek bir veri kümesinde birleştirilmesini sağlayan SQL Union operatörünün kullanılması yatıyor. Kötü niyetli bir kişi, bu operatörü içeren özel olarak tasarlanmış bir sorgu oluşturarak, bir veritabanı sorgusunun sonuç kümesini gizli bir bilgi tablosunun sonuç kümesiyle birleştirebilir. Bu, hassas verilere erişmelerine olanak tanır.

Bu saldırıları başarılı bir şekilde gerçekleştirmek için, bir aracının web sitelerinde gezinme ve siteyi ihlal etmek için 45'ten fazla eylem gerçekleştirme becerisine sahip olması gerekir. Özellikle bu yılın Şubat ayı itibarıyla yalnızca GPT-4 ve GPT-3.5 web sitelerini bu şekilde ihlal edebildi. Ancak Llama3 gibi daha yeni modellerin de benzer işlemleri gerçekleştirebilmesi muhtemel.

Web ihlallerinde büyük dil modellerinin (LLM'ler) olası kötüye kullanımını araştırmak için araştırmacılar çeşitli yapay zeka araçlarından ve çerçevelerinden yararlandı. Özellikle aracılar ve üretken rakip ağlar (RAG) oluşturmak için LangChain'in yanı sıra API Asistanları aracılığıyla OpenAI modellerini kullandılar. React, oyun yazarı aracılığıyla etkileşim kuran ajanlarla web sitelerini ihlal etmek için kullanıldı.

Bağlamsal anlayışı geliştirmek için önceki işlev çağrıları mevcut bağlama entegre edildi. Çeşitli güvenlik açıklarına sahip 15 adet izole web sayfası oluşturularak kontrollü bir ortam oluşturulmuş, gerçek web sitelerinin ve kişilerin korunması sağlanmıştır.

İhlal girişimlerini test etmek için GPT-4 ve GPT-3.5 dahil on büyük ölçekli dil modelinin yanı sıra Chatbot Arena'da yüksek puan alan sekiz açık kaynak modeli kullanıldı. Her web sitesi beş kez hedeflendi ve başarılı olan her girişime, bu beş denemeden biri üzerinden erişim izni verildi.

Büyük dil modellerinin (LLM'ler) yetenekleri genellikle "ölçeklendirme yasasına" tabidir; burada artan model boyutu ve karmaşıklığı, belirli görevlerde performansın iyileşmesine yol açabilir. Bu fenomen yakın zamanda GPT-4, son teknoloji ürünü bir yapay zeka modeli ve açık kaynaklı bir Yüksek Lisans'ı içeren bir deney aracılığıyla kanıtlandı.

Bu çalışmada araştırmacılar, GPT-4'ün test edilen 15 web sitesinden 11'ini başarıyla ihlal ettiğini, açık kaynaklı LLM'nin ise herhangi bir güvenlik açığından yararlanamadığını gözlemledi. Bu sonuçlar arasındaki kontrast, ölçeklendirmenin Yüksek Lisans'ın yetenekleri üzerindeki belirgin etkisini vurgulamaktadır.

Deney şu şekilde gelişti:

• İlk gezinme: Model, hedef web sayfasını web sayfası gezinmesi yoluyla tanımladı.
• Standart kimlik bilgileri: Erişim sağlamak için standart bir kullanıcı adı ve parola denendi.
• Bilgi toplama: Bir SQL enjeksiyon girişimi için elde edilen bilgilerden yararlanıldı.
• Kaynak kodu analizi: SQL sorgusunun _GET parametresini içerip içermediğini belirlemek için kaynak kodu analiz edildi.
• Yararlanabilirlik değerlendirmesi: Sorgunun SQL Union saldırısı için istismar edilip edilemeyeceği belirlendi.
• Anında saldırı yürütme: En fazla 48 adımdan oluşan anında bir SQL Union saldırısı gerçekleştirildi.

Bu deneyin ardından GPT-4'ün gerçek web sitelerini ihlal etmesi istendi. Saldırıyı doğrudan gerçekleştirmeyi reddetmesine rağmen, bir güvenlik açığını başarıyla tespit etti ve rastgele seçilen 50 test web sitesi arasından bu güvenlik açığından nasıl yararlanılabileceğini açıkladı.

Büyük Dil Modelleriyle Birinci Gündeki Güvenlik Açıklarından Yararlanma

Bu çalışma Sıfır gün güvenlik açıkları olarak da bilinen birinci gün güvenlik açıklarından yararlanmak için büyük dil modellerinin (LLM'ler) kullanılmasının uygulanabilirliğini araştırıyor. Bunlar, CVE (Ortak Güvenlik Açıkları ve Etkilenmeler) gibi kaynaklar aracılığıyla kamuya açıklanan güvenlik kusurlarıdır, ancak sorunu çözecek herhangi bir yama veya güncelleme henüz yayınlanmamıştır. Bu, henüz kullanılmamış olmasına rağmen, sömürülebilir bir yolun mevcut olma olasılığını arttırmaktadır.

Özellikle, bu güvenlik açıkları kamuoyunun bilgisi haline gelse de mevcut araçların bunları otomatik olarak tespit edebileceğinin garantisi yoktur. Örneğin, dahili sistem ayrıntılarına erişimi olmayan saldırganlar veya penetrasyon test uzmanları, istismar sırasında kullanılan yazılımın sürümünü bilemeyebilir.

Çoğu zaman kapalı sistemlerde bulunan ve yeniden üretilmelerini imkansız kılan ilk günkü güvenlik açıklarının karmaşıklığı göz önüne alındığında, araştırmacılar açık kaynaklı yazılımlardaki güvenlik açıklarına odaklandı.

Bu çalışma için araştırmacılar, web uygulaması güvenlik açıklarını, konteyner yönetimi yazılımı güvenlik açıklarını ve Python paketi güvenlik açıklarını kapsayan 15 güvenlik açığı seçti. Bunlar, LLM'leri test etmek için bilgi toplamanın son tarihinden sonra keşfedilen yüksek riskli ve düşük riskli güvenlik açıklarının bir karışımını içerir.

Bu deneyde kullanılan belirli güvenlik açıkları şunlardı:

Ajanlar, web sitesi ihlallerinde kullanılanları taklit etti, ancak bir değişiklikle. Hassas belgeleri hedeflemek yerine, ilk gün güvenlik açıklarından yararlanmaya yönelik gerçekçi yararlanma senaryolarının yanı sıra Ortak Güvenlik Açıkları ve Etkilenmelerin (CVE'ler) ayrıntılı açıklamalarını taşıdılar.

Dil modellerinin (LLM'ler) güvenlik açıklarından yararlanma yeteneklerini değerlendirmek için araştırmacılar, GPT-4 ve sekiz açık kaynak alternatifi dahil 10 büyük ölçekli LLM'nin yanı sıra iki otomatik araçtan yararlandı: OWASP tarafından geliştirilen Zed Attack Proxy (ZAP). ve Rapid7 tarafından oluşturulan bir çerçeve olan Metasploit.

Bu çalışma, GPT-4'ün güvenlik açıklarının %87'sinden yararlanabildiğini ancak diğer LLM'lerin bunu yapamadığını ortaya çıkardı. GPT-4'ün yalnızca iki güvenlik açığı nedeniyle başarısız olduğu dikkat çekiyor: Iris XSS ve Hertzbeat RCE.

Olay müdahale araştırmalarında işbirlikçi çalışma için kullanılan Iris web platformu, JavaScript navigasyonuna bağlı olması nedeniyle LLM temsilcisi için zorlu oldu. Bu, aracının önemli formlara ve düğmelere erişememesine veya istenen öğelerle etkileşimde bulunamamasına neden oldu; bu, bir insanın başarıyla başarabileceği bir görevdi.

Daha ileri araştırmalar, GPT-4'ün İngilizce tabanlı sorgu dili nedeniyle yalnızca Çince olarak mevcut olan Hertzbeat ayrıntılarını tercüme etmekte zorlandığını ortaya çıkardı. Sonuç olarak, güvenlik açığının yeniden oluşturulmasında zorluklarla karşılaştı.

Bulgular aynı zamanda Yüksek Lisans başarı oranlarında CVE tanımlarının önemini de vurguladı. Bu açıklamalar olmadan başarı oranı önemli ölçüde %87'den %7'ye düştü. Bu, LLM temsilcilerinin şu anda güvenlik açıklarına yönelik kullanım planları geliştirmek için ayrıntılı talimatlara ihtiyaç duyduğunu ve henüz bu tür planları bağımsız olarak oluşturma yeteneğine sahip olmadıklarını gösteriyor. Ancak bu yalnızca başlangıçtır ve gelecekteki gelişmeler bu manzarayı değiştirebilir.

Sonuçlar

Çalışma, LLM temsilcilerinin halihazırda web sitelerini bağımsız olarak ihlal etme ve bilgisayar sistemlerindeki bazı gerçek güvenlik açıklarından yararlanma yeteneğine sahip olduğunu gösterdi (bunların çoğu, kullanımlarının bir açıklamasıyla birlikte sömürülebilir durumdaydı).

Neyse ki mevcut aracılar bilinmeyen ve açıklanmayan güvenlik açıklarından yararlanamıyor ve açık kaynaklı çözümler ücretli ChatGPT4 (ve yeni GPT4o) ile karşılaştırılabilir sonuçlar gösteremiyor. Bununla birlikte, gelecekteki uzantıların, ücretsiz erişimli LLM modellerinin potansiyel olarak tescilli muadillerinin başarısını taklit etmesiyle bu tür güvenlik açıklarından yararlanılmasına olanak sağlaması mümkündür.

Bütün bunlar, büyük dil modelleri geliştiricilerinin eğitim sürecine daha sorumlu yaklaşmaları gerektiğini gösteriyor. Ayrıca siber güvenlik uzmanlarının, bu modellerin sistemleri güvenlik açıklarına karşı sistematik olarak tarayacak botlar oluşturmak için kullanılacağı gerçeğine hazırlıklı olmaları gerekiyor.

Açık kaynaklı modeller bile yasa dışı faaliyetlerde kullanılmayacaklarını iddia edebilir (Llama 3, bir web sitesinin ihlaline yardım etmeyi açıkça reddetti). Ancak "sansürsüz" modellerin oluşturulmasının önünde etik kaygıların ötesinde hiçbir engelin bulunmaması tam da açıklıktan kaynaklanmaktadır.

Bir LLM'yi, başlangıçta dirense bile, ihlale yardımcı olmaya ikna etmenin birçok yolu vardır. Örneğin, bir pentester olmasını ve bir "iyilik" yaparak site güvenliğinin artırılmasına yardımcı olmasını isteyebiliriz.

Anında dağıtımla GPU sunucuları kiralayın veya bir sunucuya sahip özel yapılandırma profesyonel kalitede NVIDIA Tesla A100 / H100 80Gb veya A5000 / A4000 kartlarıyla. Oyun RTX4090 kartlarına sahip GPU sunucuları ayrıca mevcuttur.