Yapay Zeka Tarafından Oluşturulan Metin Nasıl Tespit Edilir?

Turing testleri üzerine bir Turing testi

TL;DR: Yapay zeka tarafından oluşturulan metinleri tespit etmek için yeni bir araç.

Metin üreteçleri ve metin dedektörleri bir 😾kedi fare🐁 oyunu gibidir.

🤖Yapay Zeka araçları ve özellikle GPT modelleri insan işlerinin yerini alıyor .

👨‍💻Kötü programcıların bile yeri yakında değiştirilecektir.

Piyasada birçok yapay zeka intihal aracı vardı.

Artık open.ai'nin popüler ChatGPT modeli kendi modelini yayınladı.

Blog yazısının tamamı burada:

https://openai.com/blog/new-ai-classifier-for-indicating-ai-writing-text/

Hadi deneyelim:

1. Orijinal Açıklamamı Kontrol Edin

(Bunu ChatGPT'nin açıklamasını okumadan kendi tecrübelerime dayanarak yazdım)

Oluşturulan AI metni nasıl algılanır?

Yapay Zeka, önceden eğitilmiş modelleri kullanarak metinler üretebilir.

Bu modeller kamuya açık metinlere dayanmaktadır ve kavramlar arasındaki ilişkileri tahmin ederek bilgi üretebilmektedir.

Yapay zekanın ürettiği sentetik metinler, kaynak belirtmeden gerçekleri veriyor. Bazen, ayrıntılandırmaya gerek duymadığımız sürece açıklamalarda çok derin olmayabilirler.

Oluşturulan metinleri tespit etmenin basit bir yolu, bilinen birkaç oluşturucuyu karşılaştırmak ve onlardan istenen metni yazmalarını istemektir.

Başka bir ipucu, yalnızca insanlar hata yaptığından aracın veri kümesini anlayıp anlamadığını görmek için bazı dilbilgisi hataları eklemek olabilir.

Yapay zeka tarafından oluşturulan birçok metni okursanız, bunların aynı gramer kalıplarını kullandıklarını fark edeceksiniz.

Jeneratörlere diğer hedef kitleleri hedefleme, aktif sesler kullanma vb. talimatını verebilirsiniz.

Daha sonra kelimelerin mesafesini, ortak kelimeleri vb. ölçebilirsiniz.

Bunu tahmin edilen eşikle karşılaştırdıktan sonra metnin bir insan tarafından üretilmediğinden ne kadar emin olduğumuzu kontrol edebilirsiniz.

Yukarıdaki metni tek başıma yazdım ve HemingwayApp veya Grammarly gibi çeşitli yazma yardımcısı araçlarını kullandıktan sonra, buradaki yepyeni araca yerleştirdim.

Sonuç: Sınıflandırıcı, metnin yapay zeka tarafından üretilme ihtimalinin düşük olduğunu düşünüyor. 😺

Turing testini geçtim. 😺🧠

Ölçek olmak:

"Yapay zeka tarafından üretilmesi pek olası değil" ifadesi <0,1'lik bir sınıflandırıcı eşiğine karşılık gelir. Mücadele setimizdeki insan tarafından yazılan metinlerin yaklaşık %5'i ve yapay zeka tarafından oluşturulan metinlerin yaklaşık %2'si bu etikete sahiptir.

"Yapay zeka tarafından üretilmesi muhtemel değil", 0,1 ile 0,45 arasındaki bir sınıflandırıcı eşiğine karşılık gelir. Mücadele setimizdeki insan tarafından yazılan metinlerin yaklaşık %15'i ve yapay zeka tarafından oluşturulan metinlerin yaklaşık %10'u bu etikete sahiptir.

"Yapay zeka tarafından yazılıp yazılmadığı belli değil", 0,45 ile 0,9 arasındaki bir sınıflandırıcı eşiğine karşılık gelir. Mücadele setimizdeki insan tarafından yazılan metinlerin yaklaşık %50'si ve yapay zeka tarafından oluşturulan metinlerin %34'ü bu etikete sahiptir.

"Muhtemelen AI tarafından oluşturulmuş", 0,9 ile 0,98 arasındaki bir sınıflandırıcı eşiğine karşılık gelir. Mücadele setimizdeki insan tarafından yazılan metinlerin yaklaşık %21'i ve yapay zeka tarafından oluşturulan metinlerin %28'i bu etikete sahiptir.

"Muhtemelen yapay zeka tarafından oluşturulmuş", >0,98'lik bir sınıflandırıcı eşiğine karşılık gelir. Mücadele setimizdeki insan tarafından yazılan metinlerin yaklaşık %9'u ve yapay zeka tarafından oluşturulan metinlerin %26'sı bu etikete sahiptir.

2. ChatGPT'nin Açıklamasını Kontrol Edin

ME: Oluşturulan yapay zeka metninin nasıl tespit edileceğini açıklayın

ChatGPT: Yapay zeka tarafından oluşturulan metnin tespiti zor olabilir ancak kullanılabilecek birkaç yöntem vardır:

Örüntü tanıma: Yapay zeka tarafından oluşturulan metinler genellikle cümle yapısında, dil kullanımında ve kelime seçiminde insan tarafından yazılan metinle karşılaştırıldığında ayırt edici olabilecek desenler sergiler.

İstatistiksel analiz: Yapay zeka tarafından oluşturulan metin, insan tarafından yazılan metinden farklı olan karakter ve kelime sıklığı ile n-gram dağılımı gibi belirli istatistiksel özellikler açısından analiz edilebilir.

İnsan değerlendirmesi: Bazı durumlarda, insan uzmanlar metni inceleyebilir ve deneyimlerine ve uzmanlıklarına dayanarak metnin bir insan tarafından mı yazıldığını yoksa yapay zeka tarafından mı oluşturulduğunu belirleyebilir.

Yapay Zeka modellerinin kullanımı: Yapay Zeka modelleri, insan tarafından yazılan ve Yapay Zeka tarafından oluşturulan metinlerden oluşan etiketli bir veri kümesi kullanılarak Yapay Zeka tarafından oluşturulan metni tanımlamak üzere eğitilebilir. Model daha sonra AI tarafından oluşturulan metni yeni, görünmeyen metinde tanımlamak için kullanılabilir.

Yapay zeka teknolojisinin gelişmeye devam ettiğini ve metin oluşturmaya yönelik yeni yöntemlerin geliştirildiğini, dolayısıyla bu yöntemlerin her zaman kusursuz olmayabileceğini belirtmekte fayda var.

Güzel açıklama. Aracı tekrar kullanalım.

Sonuç: Sınıflandırıcı, metnin muhtemelen yapay zeka tarafından oluşturulmuş olduğunu düşünüyor.😂

Model, Yapay Zekanın ürettiği > 0,9 doğruluğa sahiptir.

Bu bekleniyordu.

3. Wikipedia'nın açıklamasını kontrol edin

Bu yazıyı kesip yapıştıralım.

“Doğal dil üretimi (NLG), doğal dil çıktısı üreten bir yazılım sürecidir. NLG yöntemlerine ilişkin geniş çapta alıntı yapılan bir araştırma, NLG'yi "bilginin dilsel olmayan bazı temsillerinden İngilizce veya diğer insan dillerinde anlaşılır metinler üretebilen bilgisayar sistemlerinin inşasıyla ilgilenen yapay zeka ve hesaplamalı dilbilimin alt alanı" olarak tanımlıyor. .

Herhangi bir NLG sürecinin çıktısının metin olduğu yaygın olarak kabul edilse de, bir NLG sisteminin girdilerinin dil dışı olmasının gerekip gerekmediği konusunda bazı anlaşmazlıklar vardır. NLG yöntemlerinin yaygın uygulamaları arasında hava durumu ve hasta raporları gibi çeşitli raporların üretilmesi; resim yazıları; ve sohbet robotları.

Otomatik NLG, insanların fikirleri yazıya veya konuşmaya dönüştürürken kullandıkları süreçle karşılaştırılabilir. Psikodilbilimciler, psikolojik araştırmalar için matematiksel terimlerle de tanımlanabilecek veya bilgisayarda modellenebilecek bu süreç için dil üretimi terimini tercih etmektedirler.

NLG sistemleri, aynı zamanda bir ara temsilden üretilen, insan tarafından okunabilen kodlar üreten, derleyiciler veya aktarıcılar gibi yapay bilgisayar dillerinin çevirmenleriyle de karşılaştırılabilir.

İnsan dilleri programlama dillerine göre çok daha karmaşık olma eğilimindedir ve çok daha fazla belirsizliğe ve ifade çeşitliliğine izin verir, bu da NLG'yi daha zorlu hale getirir."

Sonuç: Sınıflandırıcı, metnin yapay zeka tarafından oluşturulmuş olması durumunda belirsiz olduğunu kabul eder. 📚

Güven 0,45 ile 0,9 arasındadır.

Sayfanıngeçmişine baktığımızda çok fazla bot değil, birkaç insan görüyoruz.

Benim sonucum, ChatGPT'nin kısmen metinle beslendiği, dolayısıyla aşırı uyumu ölçtüğü yönünde.

4. İnsan Düzenlemesi ile ChatGPT'yi Kontrol Edin

ChatGPT tarafından oluşturulan metni alıp editör araçlarımla kendim düzenledim.

Yapay zeka tarafından oluşturulan metnin tespiti zor olabilir ancak çeşitli yöntemler kullanabilirsiniz.

Yapay zeka modellerini, insan tarafından yazılan ve yapay zeka tarafından oluşturulan metinlerden oluşan etiketli bir veri kümesini kullanarak yapay zeka tarafından oluşturulan metni tanımlamak için eğitim yoluyla da kullanabilirsiniz.

Yapay zeka tarafından oluşturulan metin genellikle cümle yapısında, dil kullanımında ve kelime seçiminde insan tarafından yazılan metne kıyasla ayırt edici olabilecek modeller sergilediğinden örüntü tanımayı kullanabilirsiniz.

Ayrıca, bazı durumlarda insan uzmanların metni inceleyebildiği ve kendi deneyim ve uzmanlıklarına dayanarak metnin bir insan tarafından yazılıp yazılmadığını belirleyebildiği bir insan değerlendirmesi de vardır.

Yapay zeka tarafından oluşturulan metinde karakter ve sözcük sıklığı ile insan tarafından yazılan metinden farklı olan n-gram dağılımı gibi belirli istatistiksel özellikleri kontrol etmek için istatistiksel analiz adı verilen bir araç da kullanabilirsiniz.

Modeli kullanarak yeni ve görünmeyen metinlerde yapay zeka tarafından oluşturulan metni tanımlayabilirsiniz.

Son olarak yapay zeka teknolojisi hızla gelişiyor ve metin oluşturmak için her zaman kusursuz olmayabilecek yeni yöntemler var.

Sonuç: Sınıflandırıcı, metnin muhtemelen yapay zeka tarafından oluşturulduğunu kabul eder. 👿

Sistemi kandırmayı başaramadım.

5. Önceki Yazılarıma Göz Atın

Bu aracı birçok makalemi kontrol etmek için kullandım:

ChatGPT: +25 Yıllık Kıdemli Programcının Şaşırtıcı Öğretmeni

Sonuç: Sınıflandırıcı, metnin yapay zeka tarafından üretilme ihtimalinin düşük olduğunu düşünüyor. 😃

5 Zorluk Seviyesinde Açıklayın: ChatGPT

Sonuç: Sınıflandırıcı, metnin yapay zeka tarafından oluşturulmuş olması durumunda belirsiz olduğunu kabul eder.

Bu doğru. Bazı fikirler almak için ChatGPT ile "konuştum". 😳

GitHub Copilot Neden İşiniz İçin Bir Tehdit Değil?

Sonuç: Sınıflandırıcı, metnin yapay zeka tarafından üretilmiş olma ihtimalinin çok düşük olduğunu düşünüyor. 😃

☝️Kendi makalelerinizi deneyebilirsiniz!

Son düşünceler

Bu, Open.ai'nin bir başka harika aracıdır.

Resmi Sayfada doğruluk, determinizm ve değerlendirme konusunda çok ilginç ayrıntılar yer alıyor.