Niceleme, büyük bir gerçek sayılar kümesindeki değerleri küçük ayrı bir kümedeki değerlere eşleme işlemi olarak tanımlanabilir. Tipik olarak bu, sürekli girişlerin çıkıştaki sabit değerlerle eşlenmesini içerir. Bunu başarmanın yaygın bir yolu yuvarlama veya kesmedir. Yuvarlama durumunda en yakın tam sayı hesaplanır. Örneğin 1,8 değeri 2 olur. Ancak 1,2 değeri 1 olur. Kesilme durumunda, girişi tam sayıya dönüştürmek için ondalık sayıdan sonraki değerleri körü körüne kaldırırız.  Niceleme için Motivasyon  Hangi yoldan gidersek gidelim, derin sinir ağlarının kuantizasyonunun ardındaki temel motivasyon, çıkarım hızını arttırmaktır çünkü sinir ağlarının çıkarımının ve eğitiminin hesaplama açısından oldukça pahalı olduğunu söylemeye gerek yoktur.   ortaya çıkışıyla birlikte, bu modellerdeki parametre sayısı yalnızca artıyor, bu da bellek ayak izinin giderek arttığı anlamına geliyor. Büyük Dil Modellerinin  Bu sinir ağlarının gelişme hızıyla birlikte, bu sinir ağlarını dizüstü bilgisayarlarımızda, cep telefonlarımızda ve hatta saat gibi küçük cihazlarımızda çalıştırmaya yönelik talep de artıyor. Bunların hiçbiri kuantizasyon olmadan mümkün değildir.  Kuantizasyona dalmadan önce, eğitilmiş Sinir Ağlarının bilgisayarın belleğinde saklanan yalnızca değişken sayılar olduğunu unutmayalım.   Sayıların bilgisayarlarda saklanmasına yönelik iyi bilinen temsillerden veya formatlardan bazıları float32 veya FP32, float16 veya FP16, int8, bfloat16'dır; burada B, Google Brain anlamına gelir veya daha yakın zamanda, matris veya tensörü işlemek için özel bir format olan tensor float 32 veya TF32'dir. operasyonlar. Bu formatların her biri belleğin farklı bir kısmını tüketir. Örneğin, float32 işaret için 1 bit, üs için 8 bit ve mantis için 23 bit ayırır.  Benzer şekilde, float16 veya FP16 işaret için 1 bit ayırır, ancak üs için yalnızca 5 bit ve mantis için 10 bit ayırır. Öte yandan BF16 üs için 8 bit, mantis için ise sadece 7 bit ayırır.  Derin Ağlarda Niceleme  Bu kadar temsil yeter. Demek istediğim, daha yüksek bir bellek formatından daha düşük bir bellek formatına dönüşüme nicemleme adı verilmektedir. Derin öğrenme açısından konuşursak, Float32'ye   Float16 ve BFloat16'ya ise   denir. Derin öğrenme modellerinin eğitilme ve saklanmasındaki varsayılan yöntem tam hassasiyettir. En sık kullanılan dönüşüm, tam duyarlıktan int8 formatına yapılan dönüşümdür. tek veya tam hassasiyet, yarı hassasiyet  Niceleme Türleri  Niceleme   veya   olmayabilir. Tekdüze durumda, girişten çıkışa eşleme, eşit aralıklı girişler için eşit aralıklı çıktılarla sonuçlanan doğrusal bir fonksiyondur. Düzgün olmayan durumda, girişten çıkışa eşleme doğrusal olmayan bir fonksiyondur, dolayısıyla çıkışlar tekdüze bir giriş için eşit aralıklı olmayacaktır. tek biçimli tek biçimli  Tek biçimli tipe bakıldığında, doğrusal haritalama işlevi bir ölçeklendirme ve yuvarlama işlemi olabilir. Dolayısıyla tek biçimli nicemleme, denklemde bir ölçeklendirme faktörü olan   içerir. S'yi  Float16'dan int8'e dönüştürürken, her zaman -127 ile artı 127 arasındaki değerlerle sınırlandırabildiğimize ve girdinin sıfırının çıktının sıfırıyla mükemmel bir şekilde eşleştiğinden emin olabileceğimize ve simetrik bir eşlemeye yol açabileceğine dikkat edin ve bu niceleme bu nedenle   olarak adlandırılır.   .  simetrik nicemleme  Öte yandan sıfırın her iki tarafındaki değerler aynı değilse örneğin -128 ile +127 arasında. Ek olarak, eğer girdinin sıfırını çıktıdaki sıfırdan başka bir değerle eşleştiriyorsak buna   denir. Artık çıktıda sıfır değeri kaydırıldığı için, sıfır faktörünü (   ) denkleme dahil ederek bunu denklemimizde saymamız gerekir. asimetrik nicemleme Z  Ölçek ve Sıfır Faktör Seçimi   Ölçek faktörünü ve sıfır noktasını nasıl seçebileceğimizi öğrenmek için yukarıdaki şekildeki gibi reel sayı ekseninde dağıtılmış bir örnek girişi ele alalım. Ölçek faktörü esasen tüm girdi aralığını minimum değer   maksimum değer   kadar tek tip bölümlere ayırır. Ancak bu girdiyi bir noktada, örneğin negatif değerler için alfa ve pozitif değerler için beta olarak kesmeyi seçebiliriz. Alfa ve betanın ötesindeki herhangi bir değer anlamlı değildir çünkü alfa ile aynı çıktıya eşlenir. Bu örnekte -127 ve +127'dir. Bu kırpma değerlerinin alfa ve beta ve dolayısıyla kırpma aralığının seçilmesi işlemine   adı verilir. r_min'den r_max'a kalibrasyon  Aşırı kırpmayı önlemek için en kolay seçenek alfayı r_min'e ve betayı da r_max'a eşit olacak şekilde ayarlamak olabilir. Ve bu   ve   değerlerini kullanarak   ölçek faktörünü memnuniyetle hesaplayabiliriz. Ancak bu, çıktının asimetrik olmasına neden olabilir. Örneğin girişteki   1,5 olabilirken   yalnızca -1,2 olabilir. Dolayısıyla simetrik nicelemeyi sınırlamak için alfa ve betanın ikisinin maksimum değerleri olmasına ihtiyacımız var ve elbette sıfır noktasını 0 olarak ayarlıyoruz.  r_min r_max S r_max r_min  Eğitilmiş ağırlıklar çıkarım sırasında önceden hesaplandığından ve çıkarım sırasında değişmeyeceğinden, sinir ağı ağırlıkları nicelenirken tam olarak simetrik niceleme kullanılır. Sıfır noktası 0'a ayarlandığından hesaplama asimetrik duruma göre daha basittir.  Şimdi girdilerin bir yöne, örneğin olumlu tarafa doğru çarpık olduğu bir örneği inceleyelim. Bu, ReLU veya GeLU gibi en başarılı aktivasyon fonksiyonlarından bazılarının çıktısına benzer. Üstelik aktivasyonların çıktıları da girdiyle birlikte değişir. Örneğin, bir kedinin iki görüntüsünü gösterdiğimizde aktivasyon fonksiyonlarının çıktısı oldukça farklıdır. Şimdi soru şu: "Kuantizasyon aralığını ne zaman kalibre edeceğiz?" Antrenman sırasında mı? Veya çıkarım sırasında ve tahmin için verileri ne zaman aldığımızda?  Niceleme Modları  Bu soru, özellikle   (PTQ) çeşitli niceleme modlarına yol açmaktadır. PTQ'da ek eğitim yapmadan, önceden eğitilmiş bir modelle başlıyoruz. Modelden gereken önemli veriler, kırpma aralığını ve ardından ölçek faktörünü (S) ve sıfır noktasını (Z) hesaplamak için kullanılan kalibrasyon verilerini içerir. Tipik olarak bu kalibrasyon verileri model ağırlıklarından elde edilir. Kalibrasyon işleminden sonra modeli kuantize etmeye başlayabiliriz ve sonuçta kuantize edilmiş model elde edilir.  Eğitim Sonrası Niceleme'de    veya kısaca QAT'de, standart prosedürü kullanarak eğitilmiş modeli nicelleştiririz, ancak daha sonra nicelenmiş modeli elde etmek için yeni eğitim verilerini kullanarak daha fazla ince ayar veya yeniden eğitim yaparız. QAT genellikle kayıp doğruluğu veya niceleme sırasında ilgilendiğimiz herhangi bir ölçümü kurtarmak amacıyla modelin parametresini ayarlamak için yapılır. Dolayısıyla QAT, eğitim sonrası kuantizasyondan daha iyi modeller sağlama eğilimindedir. Kuantizasyon Farkında Eğitimde  İnce ayarın yapılabilmesi için modelin türevlenebilir olması gerekir. Ancak niceleme işlemi türevlenemez. Bunun üstesinden gelmek için doğrudan tahmin ediciler gibi sahte niceleyiciler kullanıyoruz. İnce ayar sırasında, bu tahminciler niceleme hatasını tahmin eder ve daha iyi performans için modele ince ayar yapmak üzere hatalar eğitim hatasıyla birlikte birleştirilir. İnce ayar sırasında, nicelenmiş model üzerinde kayan noktalı ileri ve geri geçişler gerçekleştirilir. Ancak parametreler her gradyan güncellemesinden sonra nicelenir.  Derin öğrenmede model nicemlemeyi açıklayan aşağıdaki videoya göz atın   https://youtu.be/UQlsqdwCQdc?feature=shared&embedable=true  Özet  Bu, nicelemenin temellerini hemen hemen kapsıyor. Kuantizasyon ihtiyacıyla ve simetrik ve asimetrik gibi farklı kuantizasyon türleriyle başladık. Ayrıca niceleme parametrelerini (yani ölçek faktörünü ve sıfır noktasını) nasıl seçebileceğimizi de hızlı bir şekilde öğrendik. Ve farklı kuantizasyon modlarıyla sona erdik. Peki bunların hepsi PyTorch veya TensorFlow'da nasıl uygulanır? Bu başka bir gün için. Umarım bu video size Derin Öğrenmede Niceleme hakkında biraz fikir vermiştir.  Bir sonraki yazımda görüşürüz umarım. O zamana kadar kendine iyi bak!

Why not checkout more about AI Bites!

Read My Stories

Bu ses hikayenin orijinal dilinde üretilmiştir!

Derin Sinir Ağlarında Model Niceleme

About Author

YORUMLAR

ETİKETLERİ ASIN

BU YAZI

Related Stories

Sulara Yelken Açmak: Data Lakes ile Üretim Sınıfında RAG Uygulamaları Geliştirme

İş Akışınızı 10 Kat Nasıl İyileştirirsiniz: 17 Temel Uygulama

Başarılı Buluta Geçiş İçin Tam Kılavuz: Stratejiler ve En İyi Uygulamalar

Kripto Büyümesi: Etkili Kullanıcı Kişilikleri Oluşturma

Sulara Yelken Açmak: Data Lakes ile Üretim Sınıfında RAG Uygulamaları Geliştirme

İş Akışınızı 10 Kat Nasıl İyileştirirsiniz: 17 Temel Uygulama

Başarılı Buluta Geçiş İçin Tam Kılavuz: Stratejiler ve En İyi Uygulamalar

Kripto Büyümesi: Etkili Kullanıcı Kişilikleri Oluşturma

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps