ABD İstihbaratı Büyük Dil Modeli Güvenlik Risklerini Belirlemeye Çalışıyor

ABD İstihbarat İleri Araştırma Projeleri Etkinliği (IARPA), büyük dil modellerinin (LLM'ler) oluşturabileceği potansiyel tehditleri ve güvenlik açıklarını belirlemek için bir bilgi talebi (RFI) yayınlar. "IARPA, büyük dil modellerinin (LLM'ler) istihbarat analistleri tarafından güvenli kullanımını etkileyebilecek güvenlik açıklarının ve tehditlerin belirlenmiş karakterizasyonları hakkında bilgi arıyor" Henüz resmi bir araştırma programı olmasa da, IARPA'nın “ ” RFI ” Büyük Dil Modeli Önyargılarını, Tehditlerini ve Güvenlik Açıklarını Karakterize Etme , “LLM teknolojileriyle ilişkili güvenlik açıklarını ve tehditleri, özellikle istihbarat analizindeki potansiyel kullanımları bağlamında kategorize etmek ve karakterize etmek için çerçeveler ortaya çıkarmayı amaçlamaktadır. Pek çok güvenlik açığı ve potansiyel tehdit zaten bilinmektedir. Örneğin, hemen hemen herhangi bir konuyu özetlemesini veya çıkarım yapmasını isteyebilirsiniz ve inandırıcı görünen bir açıklama sağlamak için veritabanını tarayabilir. ChatGPT'den Ancak bu açıklamalar tamamen yanlış da olabilir. OpenAI'nin tanımladığı gibi, "ChatGPT bazen kulağa makul gelen ancak yanlış veya anlamsız cevaplar yazıyor." Ancak yüksek lisansların yarattığı riskler saçma açıklamaların çok ötesine geçiyor ve ABD casus teşkilatlarına yönelik araştırma finansmanı kolu, OWASP Vakfı'nın yakın zamanda yayınlanan “ ” listesinde tam olarak kapsanmamış olabilecek tehditleri ve güvenlik açıklarını belirlemeye çalışıyor. LLM için En İyi 10 “Kuruluşunuz önceki sınıflandırmalarla iyi bir şekilde tanımlanmayan belirli LLM tehditlerini ve güvenlik açıklarını belirledi mi (bkz. “LLM için OWASP Top 10”)? Eğer öyleyse, lütfen bu tür tehditlerin ve/veya güvenlik açıklarının her birine ve etkilerine ilişkin özel açıklamalar sağlayın." Geçen hafta, UC Berkeley profesörü Dr. Stuart Russell, Hassas Bilgilerin İfşa Edilmesi, Aşırı Güven ve Model Hırsızlığı da dahil olmak üzere OWASP'nin ilk 10 listesindeki birkaç risk hakkında uyardı. Senato Yargı Komitesini, Örneğin Russell, sorduğunuz soru türlerine göre potansiyel olarak hassas bilgilerden vazgeçebileceğinizi belirtti; ve daha sonra potansiyel olarak bir rakibe ait hassas veya özel bilgileri geri verebilir. chatbot ifade verdi. “Eğer bir şirketteyseniz […] ve sistemin bazı iç operasyonlarda size yardımcı olmasını istiyorsanız, size istediğiniz yanıtları vermesini sağlamak için şirketin özel bilgilerini chatbot'a açıklayacaksınız,” Russell " " diye ekledi. Eğer bu bilgi daha sonra rakiplerinize sadece ChatGPT'ye o şirkette neler olup bittiğini sorarak ulaşabiliyorsa, bu çok kötü olur Russell'ın şirket bilgilerinin ifşa edilmesi hakkında söylediklerini alırsak ve bunu ABD istihbarat bilgilerinin ifşa edilmesine uygularsak, o zaman neden mevcut RFI'sını yayınladığını daha iyi anlamaya başlayabiliriz. IARPA'nın Ancak henüz bilinmeyen potansiyel tehditler ve güvenlik açıkları da olabilir. Eski ABD Savunma Bakanı Donald Rumsfeld'in meşhur esprisiyle söylediği gibi, “Bilinen bilinenler var. Bunlar bildiğimizi bildiğimiz şeyler. Bilinen bilinmeyenler var. Yani bilmediğimizi bildiğimiz şeyler var. Ancak bilinmeyen bilinmeyenler de var. Bilmediğimizi bilmediğimiz şeyler var." Dolayısıyla, mevcut RFI için IARPA kuruluşlardan aşağıdaki soruları yanıtlamalarını istiyor: Kuruluşunuz önceki sınıflandırmalarla iyi bir şekilde tanımlanmayan belirli LLM tehditlerini ve güvenlik açıklarını belirledi mi (bkz. "LLM için OWASP Top 10")? Öyleyse, lütfen bu tür tehditlerin ve/veya güvenlik açıklarının her birine ve bunların etkilerine ilişkin özel açıklamalar sağlayın. Kuruluşunuzun LLM tehditlerini ve/veya güvenlik açıklarını sınıflandırmak ve anlamak için bir çerçevesi var mı? Eğer öyleyse, lütfen bu çerçeveyi tanımlayın ve her bir tehdit ve/veya güvenlik açığı ile risklerini kısaca ifade edin. Kuruluşunuzun LLM güvenlik açıklarının kullanıcılara yönelik oluşturduğu tehditleri tespit etmek veya azaltmak için yeni yöntemleri var mı? Kuruluşunuzun LLM çıktılarına olan güveni ölçmek için yeni yöntemleri var mı? RFI'nin birincil iletişim noktası, aynı zamanda diğer iki IARPA araştırma programını da yöneten Dr. Timothy McKinnon'dur: ve . HIATUS BETTER [Altta yatan Yapıyı Kullanarak Metnin İnsan Tarafından Yorumlanabilir Niteliği]: açıklanabilir dilsel parmak izlerinin tanımlanması ve kullanılması yoluyla geliştirmeyi amaçlamaktadır. HIATUS yazarlığa atıf yapmak ve yazar mahremiyetini korumak için insanlar tarafından kullanılabilen yeni yapay zeka sistemleri [Gelişmiş Erişime Doğru Metinden Daha İyi Çıkarım]: birden fazla dil ve konu genelinde bireysel bir analistin metinden kişiselleştirilmiş bilgi çıkarımı sağlama yeteneğini geliştirmeyi amaçlamaktadır. DAHA İYİ Geçtiğimiz yıl IARPA, "istihbarat analistlerinin analitik raporlarındaki kanıtları ve akıl yürütmeyi önemli ölçüde iyileştirmesine olanak tanıyan yorumları otomatik olarak üreten yeni sistemler geliştirmek için" ( ) programını bir araya getirdiğini duyurdu. Hızlı Açıklama, Analiz ve Çevrimiçi Kaynak Kullanımı REASON Ayrıca, “ analistlerin yerini almak, eksiksiz raporlar yazmak veya iş yüklerini artırmak için tasarlanmamıştır. Teknoloji, analistin mevcut iş akışı dahilinde çalışacaktır. REASON "Otomatik bir dilbilgisi denetleyicisiyle aynı şekilde çalışacak ancak kanıt ve muhakemeye odaklanacak." Bu nedenle Aralık ayında IARPA, analistlerin istihbarat raporları yazmasına yardımcı olmak için üretken yapay zekadan yararlanmak istedi ve şimdi Ağustos ayında ABD casus teşkilatlarının araştırma fonu kolu, büyük dil modellerinin ne gibi riskler oluşturabileceğini görmeye çalışıyor. Bu makale ilk olarak tarafından Tim Hinchliffe The Sociable'da yayınlandı.