ChatGPT ve diğer LLM'lerden Yapay Zeka Tarafından Oluşturulan Metinleri Gerçekten Algılayabilir miyiz?

GPT-3 gibi büyük dil modelleri (LLM'ler) hızla doğal dil işleme (NLP) alanındaki en önemli teknolojik gelişmelerden biri haline geldi.

LLM'ler, dil çevirisi, metin özetleme, soru yanıtlama, bilgi alma, öneri motoru, dile dayalı robotik ve diğerleri dahil olmak üzere çeşitli görevlerde yardımcı olma konusunda önemli bir potansiyel göstermiştir.

ChatGPT gibi Büyük Dil Modelleri (LLM'ler) çeşitli doğal dil işleme görevlerinde olağanüstü performans göstermiş olsa da, potansiyel kötüye kullanımları, ele alınması gereken etik kaygılara yol açmaktadır. Tutarlı ve bağlamsal olarak alakalı metinler üretme yeteneği sayesinde Yüksek Lisanslar, toplum üzerinde ciddi sonuçlar doğurabilecek sahte haberler üretmek veya yanlış bilgi yaymak için kullanılabilir.

Bu tür bir suiistimal, haber medyasına olan güvenin aşınmasına ve çarpık bir gerçeklik algısına yol açabilir. Ek olarak, LLM'ler intihal, fikri mülkiyet hırsızlığı veya sahte ürün incelemeleri nesilleri için kullanılabilir; bu da tüketicileri yanıltabilir ve işletmeleri olumsuz yönde etkileyebilir. Dahası, Yüksek Lisans'ların sahte sosyal medya hesapları oluşturmak veya çevrimiçi tartışmaları etkilemek gibi kötü amaçlarla web içeriğini manipüle etme yeteneği, kamuoyu ve siyasi söylem üzerinde feci etkiler yaratabilir.

Artan endişeyle birlikte muhtemelen şu soruyu sormanın zamanı geldi:

Yapay Zeka tarafından oluşturulan metinleri İnsanların oluşturduğu metinlerden ayırt edebilir miyiz ?

Geçmiş Araştırma ve Tespit Edilebilirlik

Bir yandan, Stanford'dan DetectGPT, bir modelin yazılı metne atama olasılığını, tespit edilecek metinde yapılan bir değişiklikle karşılaştırır.

Öte yandan, Tom Goldstein'ın grubu tarafından geliştirilen filigran tabanlı yaklaşımların tespit edilebilirliği etkili bir şekilde arttırması öneriliyor.

Bununla birlikte, (sağlam bir şekilde eğitilmeyen) filigranların, Sadasivan tarafından başka sözcüklerle ifade etme ve sahtekarlık saldırılarına karşı savunmasız olduğu gösterilmiştir. ve ark. ve Krishna ve diğerleri.

Topluluktaki Son Tartışma

Topluluk, son zamanlarda yapay zeka tarafından oluşturulan metinlerin, insanlar tarafından oluşturulan metinlerden ayırt edilip edilemeyeceği konusunda hararetli bir tartışmanın yanı sıra, 'yapay zekayı korumada' başarısız olup olmayacağımız ve yapay zekayı tespit edemediğimiz için bir YZG kıyameti yaşayıp yaşamayacağımız konusunda tartışmalar yaşıyor. içerik oluşturdu. Teknoloji liderleri, büyük dil modeli (LLM) eğitiminin 6 ay süreyle askıya alınması çağrısında bile bulundu.

Yann Lecun ve Andrew Ng gibi akademik liderler yapay zekaya yönelik bu yasağa karşı çıkıyor.

Meta Başkan Yardımcısı ve Baş Yapay Zeka Bilimcisi Yann LeCun şunları söylüyor:

“Bilginin ilerlemesi neden yavaşlıyor?”

Tespit İmkanı

Bu kritik dönemde, yapay zeka tarafından oluşturulan metinlerin tespit edilebilirliğini bilgi teorisi merceğinden inceliyoruz. İyimserlik için kanıt sağlıyoruz: insan ve makine metin dağılımları desteğin tamamında tam olarak aynı olmadığı sürece tespit etmek neredeyse her zaman mümkün olmalıdır.

Tespit Edilebilirlik Mümkün

Tespit edilebilirlik, Chernoff Bilgisi ve daha fazla gözlem ile kesin bir değiş tokuşa dayanır. Birden fazla örnek kullanarak, olabilirlik oranına dayalı bir detektör aracılığıyla, AUROC'un ulaşılabilir bir üst sınırını (0 ile 1 arasında, daha yüksek, daha tespit edilebilir anlamına gelir) kanıtlıyoruz. Örnek sayısı arttıkça AUROC katlanarak 1'e yükselir.

Bilgiye Yönelik Bir Mercek

Bu bilgi teorik sonuçları, LLM'lerin filigranlarının tasarımına rehberlik edebilecek Chernoff bilgisi adı verilen önemli bir niceliğe dayanmaktadır. Deneysel olarak, kelime düzeyindeki algılamanın tespit edilemezliğinin, paragraf düzeyindeki algılamaya geçildiğinde tespit edilebilir hale geldiğini doğruladık.

Teorik Sonuçlar

Bu bilgi teorik sonuçları, Yüksek Lisans Filigranlarının tasarımına rehberlik edebilecek Chernoff bilgisi adı verilen önemli bir niceliğe dayanmaktadır. Yapay zeka tarafından oluşturulan metin algılama olasılığını yönlendirmek için örnek karmaşıklık sınırlarını türettik.

Ampirik Gösteriler

Kelime düzeyinde tespit edilemezlik, birden fazla veri kümesinde paragraf düzeyinde tespite geçildiğinde tespit edilebilir hale gelir. Algılamanın uzunluğunu arttırdıkça ZeroShot algılama doğruluğu önemli ölçüde artar.

Sonuç olarak #LLM'lerin kötüye kullanımıyla baş etmenin doğru yolunun onları yasaklamak yerine düzeltmek olduğuna inanıyoruz.

Ancak gençliğimde bile eğer bilgi tehlike oluşturuyorsa çözümün cehalet olduğuna kendimi inandıramadım. Bana her zaman çözümün bilgelik olması gerektiği gibi göründü. Tehlikeye bakmayı reddetmediniz, bunun yerine onunla güvenli bir şekilde nasıl başa çıkacağınızı öğrendiniz.

Isaac asimov

Not: Bu ilk adımdır ve çalışmamız, yeniliği teşvik eden ve bu güçlü araçların etik kullanımını sağlayan çerçeveler ve yönergeler geliştirmek için sürekli araştırma yapılması çağrısında bulunmaktadır.

Konuk katkıda bulunanlar:

Souradip Chakraborty , Ph.D. Maryland Üniversitesi Yüksek Lisans Öğrencisi Amrit Singh Bedi , Maryland Üniversitesi Araştırma Bilimcisi, Sicheng Zhu, Bang An, Dinesh Manocha ve Furong Huang, bir bilgi teorisi merceği aracılığıyla yapay zeka tarafından oluşturulan metinlerin tespit edilebilirliğini araştırıyor. Bu makalede ifade edilen görüşler kesinlikle yazarlara aittir.