
 
 
 
 
 
 
 
 
 
 Penulis : (1) Vishaal Udandarao, Tubingen AI Center, Universitas Tubingen, Universitas Cambridge, dan kontribusi yang sama; (2) Ameya Prabhu, Tubingen AI Center, Universitas Tubingen, Universitas Oxford, dan kontribusi yang sama; (3) Adhiraj Ghosh, Tubingen AI Center, Universitas Tubingen; (4) Yash Sharma, Tubingen AI Center, Universitas Tubingen; Philip H.S. Torr, Universitas Oxford (6) Adel Bibi, Universitas Oxford; (7) Samuel Albanie, Universitas Cambridge dan sama-sama penasihat, perintah yang ditentukan oleh koin flip; (8) Matthias Bethge, Tubingen AI Center, University of Tubingen dan setara penasihat, perintah memutuskan dengan koin flip. Authors: (1) Vishaal Udandarao, Tubingen AI Center, Universitas Tubingen, Universitas Cambridge, dan kontribusi yang sama; (2) Ameya Prabhu, Tubingen AI Center, Universitas Tubingen, Universitas Oxford, dan kontribusi yang sama; (3) Adhiraj Ghosh, Tubingen AI Center, Universitas Tubingen; (4) Yash Sharma, Tubingen AI Center, Universitas Tubingen; Philip H.S. Torr, Universitas Oxford (6) Adel Bibi, Universitas Oxford; (7) Samuel Albanie, Universitas Cambridge dan sama-sama penasihat, perintah yang ditentukan oleh koin flip; (8) Matthias Bethge, Tubingen AI Center, University of Tubingen dan setara penasihat, perintah memutuskan dengan koin flip. Tabel dari kiri Abstrak dan Introduksi 1. 2 Konsep dalam Pretraining Data dan Kuantifikasi Frekuensi 3 Membandingkan Frekuensi Pretraining & Kinerja “Zero-Shot” dan 3.1 Pengaturan Eksperimental Hasil: Frekuensi pra-latihan adalah prediktif dari kinerja “Zero-Shot” 4 Stress-Testing Konsep Frequency-Performance Scaling Trend dan 4.1 Pengendalian untuk Sampel yang Serupa dalam Pretraining dan Downstream Data 4.2 Generalisasi pengujian untuk konsep dan distribusi data yang murni sintetis 5 Pengetahuan Tambahan dari Frekuensi Konsep Pretraining 6 Menguji ekor: Biarkan itu Wag! 7 Pekerjaan terkait 8 Kesimpulan dan masalah terbuka, pengakuan, dan referensi Part I Appendix A. Frekuensi konsep adalah prediktif kinerja melalui strategi prompting B. Frekuensi Konsep adalah prediktif kinerja di seluruh metrik retrieval C. Frekuensi konsep adalah prediktif kinerja untuk model T2I D. Frekuensi konsep adalah prediktif kinerja di seluruh konsep hanya dari domain gambar dan teks E. Rincian eksperimen Mengapa dan bagaimana kita menggunakan RAM++? G. Detail tentang hasil derajat misalignment Model H. T2I: Evaluasi I. Hasil Klasifikasi: Biarkan Itu Wag! abstrak Dataset pra-latihan yang dipindahkan ke web mendasari kinerja evaluasi “zero-shot” yang mengesankan dari model multimodal, seperti CLIP untuk klasifikasi/pengambilan dan Stable-Diffusion untuk pembuatan gambar. adalah untuk model multimodal seperti itu, karena tidak diketahui sejauh mana dataset pra-latihan mereka mencakup konsep-konsep downstream yang ditargetkan selama evaluasi “zero-shot”. Generalisasi Bagaimana kinerja model multimodal pada konsep downstream dipengaruhi oleh frekuensi konsep ini dalam dataset pra-latihan mereka? Kami menyelidiki pertanyaan ini secara komprehensif di 34 model dan lima dataset pra-latihan standar (CC-3M, CC-12M, YFCC-15M, LAION-400M, LAION-Aesthetics), menghasilkan lebih dari 300GB artefak data. Kami secara konsisten menemukan bahwa, jauh dari menunjukkan generalisasi “zero-shot”, model multimodal membutuhkan lebih banyak data untuk mencapai perbaikan linear dalam kinerja “zero-shot” downstream, mengikuti tren skala log-linear yang tidak efisien sampel. Tren ini berlanjut bahkan ketika memeriksa kesamaan tingkat sampel antara dataset pra-latihan dan downstream [79], dan menguji pada distribusi data sintetis murni [51]. Selain itu, pada benchmarking pada model data long-tail sampel berdasarkan analisis kami, kami menunjukkan bahwa model multimodal di seluruh papan kinerja buruk Dikumpulkan bersama, studi kami mengungkapkan kebutuhan eksponensial untuk data pelatihan yang menyiratkan bahwa kunci untuk kemampuan generalisasi “zero-shot” di bawah paradigma pelatihan skala besar masih belum ditemukan. Biarkan ia menang! 1 Pengantar Model multimodal seperti CLIP [91] dan Stable Diffusion [96] telah merevolusi kinerja pada tugas-tugas downstream—CLIP sekarang adalah standar de-facto untuk pengenalan gambar “zero-shot” [133, 72, 126, 48, 132] dan pencarian teks gambar [46, 64, 24, 117, 129], sementara Stable Diffusion sekarang adalah standar de-facto untuk generasi “zero-shot” text-to-image (T2I) [93, 17, 96, 41]. dalam pekerjaan ini, kami menyelidiki keberhasilan empiris ini melalui lensa generalisasi nol-shot [69], yang mengacu pada kemampuan model untuk menerapkan pengetahuan yang dipelajari untuk konsep-konsep baru yang tidak terlihat. Apakah model multimodal saat ini benar-benar mampu generalisasi “zero-shot”? Untuk mengatasi hal ini, kami melakukan analisis komparatif yang melibatkan dua faktor utama: (1) kinerja model di berbagai tugas downstream dan (2) frekuensi konsep pengujian dalam dataset pra-latihan mereka. Kami mengumpulkan daftar komprehensif dari 4,029 konsep[1] dari 27 tugas downstream yang mencakup klasifikasi, retrieval, dan generasi gambar, mengevaluasi kinerja terhadap konsep-konsep ini. Analisis kami mencakup lima dataset pra-latihan skala besar dengan skala yang berbeda, metode kurasi data dan sumber (CC-3M [107], CC-12M [27], YFCC-15M [113], LAION-Aesthetics [103], LAION-400M [102]), dan mengevaluasi kinerja 10 model CLIP dan 24 model TI, mencakup skala arsitektur dan parameter yang berbeda. Kami secara   Kami menemukan bahwa tren log-linear ini kuat untuk mengontrol faktor-faktor yang terkait (monitor serupa dalam data pra-latihan dan tes [79]) dan pengujian di berbagai distribusi konsep bersama dengan sampel yang dihasilkan sepenuhnya secara sintetis [51]. Skala kinerja model secara linear karena frekuensi konsep dalam data pra-latihan tumbuh secara eksponensial I. yang Skala kinerja model secara linear karena frekuensi konsep dalam data pra-latihan tumbuh secara eksponensial Temuan kami menunjukkan bahwa kinerja empiris yang mengesankan dari model multimodal seperti CLIP dan Stable Diffusion sebagian besar dapat dikaitkan dengan kehadiran konsep pengujian dalam kumpulan data pra-pelatihan mereka yang luas, sehingga kinerja empiris yang dilaporkan mereka tidak merupakan generalisasi “zero-shot”. Dalam analisis kami, kami juga mendokumentasikan distribusi konsep yang ditemukan dalam data pra-latihan dan menemukan bahwa: Di seluruh dataset pra-latihan, distribusi konsep panjang (lihat Gambar 5 di Bagian 5), yang menunjukkan bahwa sebagian besar konsep langka. • Concept Distribution: Distribusi konsep di berbagai dataset pra-latihan sangat berkorelasi (lihat Tabel 4 di Bagian 5), yang menunjukkan web crawl menghasilkan distribusi konsep yang sangat mirip di berbagai strategi curation data pra-latihan, yang membutuhkan upaya re-balancing eksplisit [11, 125]. • Concept Correlation across Pretraining Datasets: Konsep sering muncul dalam satu modalitas tetapi tidak yang lain, yang menyiratkan kelalaian yang signifikan (lihat Tabel 3 di Bagian 5). artifak data kami yang dirilis dapat membantu upaya kelalaian gambar-teks pada skala dengan secara akurat menunjukkan contoh-contoh di mana modalitas kelalaian. • Image-Text Misalignment between Concepts in Pretraining Data: Untuk menyediakan benchmark sederhana untuk kinerja generalisasi untuk model multimodal, yang mengontrol frekuensi konsep dalam set pelatihan, kami memperkenalkan dataset tes panjang baru yang disebut Model saat ini yang dilatih pada kedua dataset yang tersedia secara terbuka (misalnya, LAION-2B [103], DataComp-1B [46]) dan dataset sumber tertutup (misalnya, OpenAI-WIT [91], WebLI [29]) memiliki penurunan signifikan dalam kinerja, memberikan bukti bahwa pengamatan kami juga dapat ditransfer ke dataset sumber tertutup. “Let It Wag!” Beberapa karya sebelumnya [91, 46, 82, 42, 83, 74] telah menyelidiki peran data pra-latihan dalam mempengaruhi kinerja. Mayilvahanan et al. [79] menunjukkan bahwa kinerja CLIP berkorelasi dengan kesamaan antara pelatihan dan set data tes. Dalam studi lain tentang bidang-bidang spesifik seperti jawaban pertanyaan [62] dan alasan numerik [94] dalam model bahasa besar, kesamaan set tes tren tinggi tidak sepenuhnya memperhitungkan tingkat kinerja yang diamati [127]. Analisis komprehensif kami dari beberapa set data gambar-teks pra-latihan secara signifikan menambah garis kerja ini, dengan (1) menunjukkan bahwa frekuensi konsep menentukan kinerja nol-shot dan (2) mengidentifikasi kebutuhan eksponensial untuk data pelatihan sebagai masalah fundamental untuk model multimodal skala besar saat ini. Kami menyimpulkan bahwa kemampuan generasi kunci “zero-shot” 
 
 Dokumen ini tersedia di archiv di bawah lisensi CC BY 4.0 DEED. Dokumen ini tersedia di archiv di bawah lisensi CC BY 4.0 DEED. Tersedia di Arsip [1] Kategori kelas untuk tugas klasifikasi, objek dalam judul teks untuk tugas pencarian, dan objek dalam petunjuk teks untuk tugas generasi, lihat Bagian 2 untuk rincian lebih lanjut tentang cara kami mendefinisikan konsep.

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

FEW SHOT .tech

Audio ini diproduksi dalam bahasa asli cerita!

Apa 300GB Penelitian AI Mengungkapkan Tentang Batas Kebenaran Kecerdasan “Zero-Shot”

About Author

KOMENTAR

HANG TAG

ARTIKEL INI DISAJIKAN PADA

Related Stories

THE DAWN COMES, AND MY UNCLE APPEARS IN A NEW SILK HAT

THE CAVERNS OF VENUS

The Crypto Trading Writing Contest: Submission Deadline Extended!

And In The Open Air

THE DAWN COMES, AND MY UNCLE APPEARS IN A NEW SILK HAT

THE CAVERNS OF VENUS

The Crypto Trading Writing Contest: Submission Deadline Extended!

And In The Open Air

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps