paint-brush
ABD İstihbaratı Büyük Dil Modeli Güvenlik Risklerini Belirlemeye Çalışıyorile@thesociable
606 okumalar
606 okumalar

ABD İstihbaratı Büyük Dil Modeli Güvenlik Risklerini Belirlemeye Çalışıyor

ile The Sociable4m2023/08/07
Read on Terminal Reader
Read this story w/o Javascript

Çok uzun; Okumak

ABD İstihbarat İleri Araştırma Projeleri Etkinliği (IARPA), büyük dil modellerinin oluşturabileceği potansiyel tehditleri ve güvenlik açıklarını belirlemek için bir bilgi talebi (RFI) yayınlar. IARPA'nın RFI'sı "***LLM teknolojileriyle ilişkili güvenlik açıklarını ve tehditleri, özellikle de istihbarat analizindeki potansiyel kullanımları bağlamında kategorize etmek ve karakterize etmek için çerçeveler ortaya çıkarmayı" amaçlamaktadır.
featured image - ABD İstihbaratı Büyük Dil Modeli Güvenlik Risklerini Belirlemeye Çalışıyor
The Sociable HackerNoon profile picture


ABD İstihbarat İleri Araştırma Projeleri Etkinliği (IARPA), büyük dil modellerinin (LLM'ler) oluşturabileceği potansiyel tehditleri ve güvenlik açıklarını belirlemek için bir bilgi talebi (RFI) yayınlar.


"IARPA, büyük dil modellerinin (LLM'ler) istihbarat analistleri tarafından güvenli kullanımını etkileyebilecek güvenlik açıklarının ve tehditlerin belirlenmiş karakterizasyonları hakkında bilgi arıyor"


Henüz resmi bir araştırma programı olmasa da, IARPA'nın “ Büyük Dil Modeli Önyargılarını, Tehditlerini ve Güvenlik Açıklarını Karakterize Etme ” RFI , “LLM teknolojileriyle ilişkili güvenlik açıklarını ve tehditleri, özellikle istihbarat analizindeki potansiyel kullanımları bağlamında kategorize etmek ve karakterize etmek için çerçeveler ortaya çıkarmayı amaçlamaktadır.


Pek çok güvenlik açığı ve potansiyel tehdit zaten bilinmektedir.


Örneğin, ChatGPT'den hemen hemen herhangi bir konuyu özetlemesini veya çıkarım yapmasını isteyebilirsiniz ve inandırıcı görünen bir açıklama sağlamak için veritabanını tarayabilir.

Ancak bu açıklamalar tamamen yanlış da olabilir.


OpenAI'nin tanımladığı gibi, "ChatGPT bazen kulağa makul gelen ancak yanlış veya anlamsız cevaplar yazıyor."


Ancak yüksek lisansların yarattığı riskler saçma açıklamaların çok ötesine geçiyor ve ABD casus teşkilatlarına yönelik araştırma finansmanı kolu, OWASP Vakfı'nın yakın zamanda yayınlanan “ LLM için En İyi 10 ” listesinde tam olarak kapsanmamış olabilecek tehditleri ve güvenlik açıklarını belirlemeye çalışıyor.



“Kuruluşunuz önceki sınıflandırmalarla iyi bir şekilde tanımlanmayan belirli LLM tehditlerini ve güvenlik açıklarını belirledi mi (bkz. “LLM için OWASP Top 10”)? Eğer öyleyse, lütfen bu tür tehditlerin ve/veya güvenlik açıklarının her birine ve etkilerine ilişkin özel açıklamalar sağlayın."




Geçen hafta, UC Berkeley profesörü Dr. Stuart Russell, Senato Yargı Komitesini, Hassas Bilgilerin İfşa Edilmesi, Aşırı Güven ve Model Hırsızlığı da dahil olmak üzere OWASP'nin ilk 10 listesindeki birkaç risk hakkında uyardı.


Örneğin Russell, sorduğunuz soru türlerine göre potansiyel olarak hassas bilgilerden vazgeçebileceğinizi belirtti; ve daha sonra chatbot potansiyel olarak bir rakibe ait hassas veya özel bilgileri geri verebilir.


“Eğer bir şirketteyseniz […] ve sistemin bazı iç operasyonlarda size yardımcı olmasını istiyorsanız, size istediğiniz yanıtları vermesini sağlamak için şirketin özel bilgilerini chatbot'a açıklayacaksınız,” Russell ifade verdi.


" Eğer bu bilgi daha sonra rakiplerinize sadece ChatGPT'ye o şirkette neler olup bittiğini sorarak ulaşabiliyorsa, bu çok kötü olur " diye ekledi.


Russell'ın şirket bilgilerinin ifşa edilmesi hakkında söylediklerini alırsak ve bunu ABD istihbarat bilgilerinin ifşa edilmesine uygularsak, o zaman IARPA'nın neden mevcut RFI'sını yayınladığını daha iyi anlamaya başlayabiliriz.


Ancak henüz bilinmeyen potansiyel tehditler ve güvenlik açıkları da olabilir.

Eski ABD Savunma Bakanı Donald Rumsfeld'in meşhur esprisiyle söylediği gibi, “Bilinen bilinenler var. Bunlar bildiğimizi bildiğimiz şeyler. Bilinen bilinmeyenler var. Yani bilmediğimizi bildiğimiz şeyler var. Ancak bilinmeyen bilinmeyenler de var. Bilmediğimizi bilmediğimiz şeyler var."


Dolayısıyla, mevcut RFI için IARPA kuruluşlardan aşağıdaki soruları yanıtlamalarını istiyor:


  • Kuruluşunuz önceki sınıflandırmalarla iyi bir şekilde tanımlanmayan belirli LLM tehditlerini ve güvenlik açıklarını belirledi mi (bkz. "LLM için OWASP Top 10")? Öyleyse, lütfen bu tür tehditlerin ve/veya güvenlik açıklarının her birine ve bunların etkilerine ilişkin özel açıklamalar sağlayın.


  • Kuruluşunuzun LLM tehditlerini ve/veya güvenlik açıklarını sınıflandırmak ve anlamak için bir çerçevesi var mı? Eğer öyleyse, lütfen bu çerçeveyi tanımlayın ve her bir tehdit ve/veya güvenlik açığı ile risklerini kısaca ifade edin.


  • Kuruluşunuzun LLM güvenlik açıklarının kullanıcılara yönelik oluşturduğu tehditleri tespit etmek veya azaltmak için yeni yöntemleri var mı?


  • Kuruluşunuzun LLM çıktılarına olan güveni ölçmek için yeni yöntemleri var mı?


RFI'nin birincil iletişim noktası, aynı zamanda diğer iki IARPA araştırma programını da yöneten Dr. Timothy McKinnon'dur: HIATUS ve BETTER .


  • HIATUS [Altta yatan Yapıyı Kullanarak Metnin İnsan Tarafından Yorumlanabilir Niteliği]: açıklanabilir dilsel parmak izlerinin tanımlanması ve kullanılması yoluyla yazarlığa atıf yapmak ve yazar mahremiyetini korumak için insanlar tarafından kullanılabilen yeni yapay zeka sistemleri geliştirmeyi amaçlamaktadır.


  • DAHA İYİ [Gelişmiş Erişime Doğru Metinden Daha İyi Çıkarım]: birden fazla dil ve konu genelinde bireysel bir analistin metinden kişiselleştirilmiş bilgi çıkarımı sağlama yeteneğini geliştirmeyi amaçlamaktadır.


Geçtiğimiz yıl IARPA, "istihbarat analistlerinin analitik raporlarındaki kanıtları ve akıl yürütmeyi önemli ölçüde iyileştirmesine olanak tanıyan yorumları otomatik olarak üreten yeni sistemler geliştirmek için" Hızlı Açıklama, Analiz ve Çevrimiçi Kaynak Kullanımı ( REASON ) programını bir araya getirdiğini duyurdu.


Ayrıca, “ REASON analistlerin yerini almak, eksiksiz raporlar yazmak veya iş yüklerini artırmak için tasarlanmamıştır. Teknoloji, analistin mevcut iş akışı dahilinde çalışacaktır.

"Otomatik bir dilbilgisi denetleyicisiyle aynı şekilde çalışacak ancak kanıt ve muhakemeye odaklanacak."


Bu nedenle Aralık ayında IARPA, analistlerin istihbarat raporları yazmasına yardımcı olmak için üretken yapay zekadan yararlanmak istedi ve şimdi Ağustos ayında ABD casus teşkilatlarının araştırma fonu kolu, büyük dil modellerinin ne gibi riskler oluşturabileceğini görmeye çalışıyor.



Bu makale ilk olarak Tim Hinchliffe tarafından The Sociable'da yayınlandı.