DNN'ler için 2 Kat Hızlanmayı Ortaya Çıkarma: Sadece 1 Dakikada Entegre Sinir Ağlarıyla Modelleri Dönüştürme

İntegral Sinir Ağları (INN'ler), bir kez eğitilen, herhangi bir ince ayar gerektirmeden isteğe bağlı kullanıcı tanımlı boyuta dönüştürülebilen esnek mimarilerdir. Ses dalgaları (müzik) istenilen herhangi bir örnekleme oranında (ses kalitesi) örneklenebildiğinden, INN'ler veri ve parametrelerin şeklini (DNN kalitesi) dinamik olarak değiştirebilir.

TheStage.ai ekibi, "İntegral Sinir Ağları" başlıklı makalelerini IEEE/CVF CVPR 2023 konferansında sundu. Bu çalışma, etkinlikte yer alan yalnızca 12 'Ödül Adayı' makalesinden biri olarak kabul edildi. INN'ler, temel katmanları temsil etmek için sürekli parametreleri ve integral operatörleri birleştiren yeni bir sinir ağları sınıfıdır. Çıkarım aşamasında, INN'ler sürekli ağırlıklardan ayrık örnekleme yoluyla sıradan bir DNN temsiline dönüştürülür. Bu tür ağların parametreleri, filtre ve kanal boyutları boyunca süreklidir ve bu, yalnızca bu boyutlar boyunca yeniden ayrıklaştırma yoluyla ince ayar yapmadan yapılandırılmış budamaya yol açar.

Bu makalede, 4x görüntü süper çözünürlüklü EDSR modelini bir INN'ye dönüştürme sürecinde size rehberlik edeceğiz, ardından modelin yapılandırılmış budamasının nasıl elde edileceğini göstereceğiz. Son olarak INN'yi tekrar ayrı bir DNN'ye dönüştüreceğiz ve verimli çıkarım için onu bir Nvidia GPU'ya yerleştireceğiz. Bu makale şu şekilde ilerleyecektir:

1. INN'lere kısa bir giriş.
2. Süper çözünürlüklü görev için EDSR ağına genel bakış.
3. Tek bir kod satırında entegre EDSR elde etmek için TorchIntegral çerçeve uygulaması.
4. INN'de ince ayar yapılmadan INN'nin yapısal budaması (hızlı boru hattı).
5. Budanmış modelleri Nvidia GPU'larına dağıtın.

Daha fazla bilgi ve güncelleme için lütfen aşağıdaki kaynakları kontrol edin:

INN proje sitesi

INN projesi Github

Bu makalenin destek kodu

İnce ayar yapmadan DNN'lerin budanması için INN'ler

INN'lerdeki katmanların yerini integral operatörleri alır, ancak integral operatörlerinin pratik değerlendirmesi, sayısal entegrasyon yöntemlerinin kullanımı için giriş sinyallerinin ayrıklaştırılmasını gerektirir. INN'lerdeki katmanların, ayrıklaştırma sonrasında klasik DNN katmanlarıyla (tamamen bağlantılı, evrişimler) örtüşecek şekilde tasarlandığı ortaya çıktı.

EDSR 4x Görüntü Süper Çözünürlüklü budama

Görüntü süper çözünürlüğü, bir görüntünün bilinen veya bilinmeyen bir bozulma operatörüyle geliştirilmesi gereken, iyi bilinen bir bilgisayarlı görme görevidir. Bir bozunma operatörü olarak bikübik alt örneklemeyi kullanan klasik süper çözünürlüklü formu göz önünde bulunduruyoruz.

Süper çözünürlüklü görüntü görevleri için, difüzyon modellerine ve transformatörlere dayalı üst düzey sinir ağları da dahil olmak üzere pek çok mimari kullanılabilir. Bu belgede 4x EDSR mimarisine odaklanacağız. EDSR mimarisi, ResNet'i (birçok derin öğrenme probleminde yaygın olarak kullanılan) ve sonunda 4x örnekleme bloğunu içerdiğinden gösterimimiz için çok uygundur. EDSR'nin şematik bir açıklaması aşağıdaki şekillerde bulunabilir.

EDSR mimarisi budamasının özellikleri

Filtrelerin veya kanalların tamamının silinmesini içeren yapılandırılmış budamanın, EDSR'de birincil yapı taşları olarak hizmet veren artık bloklar üzerinde benzersiz etkileri vardır. Her durum girişe Conv -> ReLU -> Conv bloğu eklenerek güncellendiğinden, giriş ve çıkış sinyallerinin aynı sayıda parametreye sahip olması gerekir. Bu, bir budama bağımlılık grafiği oluşturularak TorchIntegral'de verimli bir şekilde yönetilebilir. Aşağıdaki şekil, her bir artık bloğun ikinci evrişiminin tek bir grup oluşturduğunu göstermektedir.

Bir artık bloktaki ikinci evrişimi budamak için, her bir artık bloktaki tüm ikinci evrişimleri budamak gerekir. Bununla birlikte, daha esnek bir kurulum için, tüm kalan bloklarda birinci evrişimlerin filtrelerini ve dolayısıyla ikinci evrişimin kanallarını budayız.

EDSR modelinin INN EDSR'ye dönüştürülmesi

Önceden eğitilmiş DNN'lerden dönüşümler için, daha düzgün enterpolasyonla özel filtre kanalları permütasyon algoritmamızı kullanırız. Permütasyon algoritması, DNN'lerin ağırlıklarının sürekli işlevlerden örneklenmiş gibi görünmesini sağlarken model kalitesini korur.

 import torch import torchintegral as inn from super_image import EdsrModel # creating 4x EDSR model model = EdsrModel.from_pretrained("eugenesiow/edsr", scale=4).cuda() # Transform model layers to integral. # continous_dims and discrete dims define which dimensions # of parameters tensors should be parametrized continuously # or stay fixed size as in discrete networks. # In our case we make all filter and channel dimensions # to be continuous excluding convolutions of the upsample block. model = inn.IntegralWrapper(init_from_discrete=True)( model, example_input, continuous_dims, discrete_dims ).cuda()

Entegrasyon ızgara ayarı: DNN'lerin yapılandırılmış eğitim sonrası budaması

Entegrasyon ızgara ayarı, filtrelerinin kullanıcı tanımlı sayılar için örneklenmesi gereken parametre tensörlerini (SGD optimizasyonu altında) sorunsuz bir şekilde seçen işlemdir. Filtre/kanal silme yöntemlerinden farklı olarak INN'ler, enterpolasyon işlemi nedeniyle birkaç ayrı filtreyi birleştirebilen filtreler üretir.

 # Set trainable gird for each integral layer # Each group should have the same grid # During the sum of continuous signals # We need to sample it using the same set of points for group in model.groups: new_size = 224 if 'operator' in group.operations else 128 group.reset_grid(inn.TrainableGrid1D(new_size)) # Prepare model for tuning of integration grid model.grid_tuning() # Start training train(model, train_data, test_data)

Deneylerimiz sırasında, 500 görüntünün, 4000 görüntüden oluşan tam bir Div2k tren seti ile aynı sonucu verdiğini gördük.

Verim

Ortaya çıkan INN modeli kolaylıkla ayrı bir modele dönüştürülebilir ve herhangi bir NVIDIA GPU'ya yerleştirilebilir. RTX A4000'de 64x64 giriş çözünürlüğüyle saniye başına kare (FPS) sağlıyoruz. Sıkıştırılmış model neredeyse 2 kat hızlanma sağlıyor. Budanmış INN modelini ayrık bir modele dönüştürmek için aşağıdaki kod satırı kullanılabilir:

 model = model.transform_to_discrete() # then model can be compiled, for instance # compilation can add an additional 1.4x speedup for inference model = torch.compile(model, backend='cudagraphs') 

Çözüm

Bu makalede CVPR2023 ödül adayı makalesi “İntegral Sinir Ağları”na genel bir bakış sunduk. 4x EDSR modelinin eğitim sonrası budaması için uygulandı ve tek satır kodla neredeyse 2 kat hızlanma ve entegrasyon ızgarasında 1 dakikalık ince ayar elde edildi.

Gelecek makalelerimizde INN'lerin daha fazla uygulamasını sunacağız ve verimli model dağıtımına ilişkin daha fazla ayrıntıyı ele alacağız. Bizi izlemeye devam edin:

INN proje sitesi

INN projesi Github

Bu makalenin destek kodu

İlginiz için teşekkür ederiz!