Bagaimana Microsoft Melatih AI 270M-pasangan untuk Kuasa Pencarian Cerdas

Penulis : Liang Wang (Microsoft Corporation) Nan Yang (Microsoft Corporation) Xiaolong Huang (Microsoft Corporation) Binxing Jiao (Microsoft Corporation) Linjun Yang (Microsoft Corporation) Daxin Jiang (Microsoft Corporation) Rangan Majumder (Microsoft Corporation) Furu Wei (Microsoft Corporation) Penulis : Liang Wang (Korporasi Microsoft) Nan Yang (Korporasi Microsoft) Xiaolong Huang (Korporasi Microsoft) Binxing Jiao (Korporasi Microsoft) Linjun Yang (Korporasi Microsoft) Daxin Jiang (Korporasi Microsoft) Rangan Majumder (Korporasi Microsoft) Furu Wei (Korporasi Microsoft) abstrak This paper presents E5 , sebuah keluarga embeddings teks state-of-the-art yang mentransfer dengan baik ke pelbagai tugas. Model ini dilatih dengan cara yang bertentangan dengan isyarat pengawasan yang lemah dari set data pasangan teks skala besar kami yang disusun (disebut CCPairs). E5 boleh digunakan dengan mudah sebagai model embedding tujuan umum untuk apa-apa tugas yang memerlukan perwakilan vektor tunggal teks seperti retrieval, clustering, dan klasifikasi, mencapai prestasi yang kuat dalam kedua-dua tetapan nol-shot dan halus-tuned. Kami menjalankan penilaian yang luas pada 56 set data dari benchmark BEIR dan MTEB. Untuk tetapan nol-shot, E5 adalah model pertama yang melampaui garis asas BM25 yang kuat pada benchmark retrieval BEIR tanpa menggunakan sebarang data yang disesuaikan. Apabila disesuaikan, E5 mendapat 1 1 Pengenalan Embeddings teks adalah perwakilan vektor dimensi rendah untuk teks panjang arbitrari dan memainkan peranan utama dalam banyak tugas NLP seperti pemulihan skala besar. Dibandingkan dengan perwakilan dimensi tinggi dan kecil seperti TF-IDF, embeddings teks mempunyai potensi untuk mengatasi masalah ketidaksamaan lexical dan memudahkan pemulihan yang cekap dan perpaduan antara teks. Walaupun model bahasa pra-latih seperti BERT [ ) dan GPT [ ] boleh menghasilkan persembahan teks yang boleh dipindahkan, mereka tidak sesuai untuk tugas-tugas seperti pencarian dan perpaduan teks di mana penyampaian teks satu vektor lebih diingini kerana kecekapan dan keunikan. Untuk mendapatkan penyampaian teks yang lebih baik, pembelajaran kontras sering menjadi kerangka kerja untuk meningkatkan persembahan peringkat urutan daripada pasangan teks. Sepanjang garis penyelidikan ini, beberapa kerja diarahkan ke arah pembelajaran penyampaian spesifik tugas. Sebagai contoh, GTR [ ] and Sentence-T5 [ ] menyesuaikan model pra-latih dengan set data yang diselia untuk mempelajari embeddings disesuaikan untuk pemulihan laluan dan kesamaan teks semantik, masing-masing. kerja-kerja lain mempelajari embeddings yang tidak diselia daripada pasangan teks yang dibina secara automatik. kaedah biasa untuk membina pasangan teks termasuk Task Terbalik Tertutup (ICT) [ [Bahasa Melayu kepada Melayu kepada Melayu kepada Melayu] ] dan teks jiran spans [ Walaupun data sintetik sedemikian mempunyai kuantiti yang tidak terhad, mereka sering mempunyai kualiti yang buruk dan embeddings yang dihasilkan gagal untuk mencocokkan prestasi baseline BM25 klasik tanpa penyesuaian halus lebih lanjut. 17 7 43 44 9 28 41 [ 40 ] Dalam kerja ini, kami mempelajari kemasukan teks tujuan umum yang berkualiti tinggi yang dipanggil E5, MB ddings daripada bidir ctional Rencana R presentasi. E5 bertujuan untuk menyediakan embeddings teks off-the-shelf yang kuat yang sesuai untuk apa-apa tugas yang memerlukan representasi vektor tunggal dalam kedua-dua tetapan zero-shot atau disesuaikan halus. Untuk mencapai matlamat ini, alih-alih bergantung kepada data terbatas yang dilabelkan atau pasangan teks sintetik berkualiti rendah, kami bertentangan melatih embeddings E5 dari CCPairs, set data pasangan teks skala web yang disusun yang mengandungi isyarat latihan yang heterogen. Kami membina set data CCPairs dengan menggabungkan pelbagai sumber data semi-struktur seperti CommunityQA, Common Crawl dan makalah saintifik, dan melakukan penapisan agresif dengan penapisan berasaskan konsistensi [ Untuk meningkatkan kualiti data. Kami memilih resepi pembelajaran kontras yang mudah menggunakan negatif dalam batch dengan saiz batch yang besar untuk melatih model kami. percubaan yang luas pada kedua-dua benchmarks BEIR dan MTEB menunjukkan keberkesanan kaedah yang dicadangkan. ], E5 adalah model pertama yang melebihi baseline BM25 yang kuat tanpa menggunakan sebarang data yang diberi label. Apabila disesuaikan dengan set data yang diberi label, prestasi boleh ditingkatkan lagi. Hasil pada 56 set data daripada benchmark MTEB yang baru diperkenalkan [ ] menunjukkan bahawa E5base kami adalah kompetitif terhadap GTRxxl dan Sentence-T5xxl, yang mempunyai 40x lebih banyak parameter. E E E E E 15 53 40 2 Kerja berkaitan Terdapat minat jangka panjang dalam mengubah teks ke dalam embeddings padat dimensi rendah. kerja awal termasuk Latent Semantic Indexing (LSA) [ [ ] dan Latent Dirichlet Allocation (LDA) [ ]. LSA menggunakan pemecahan matriks sambungan perkataan-dokumen untuk mewujudkan embeddings dokumen, manakala LDA mengamalkan model grafik probabilistik untuk mempelajari distribusi topik. menunjukkan bahawa purata berat kata vektor sederhana [ ] boleh menjadi asas yang kukuh untuk penyampaian ayat. 16 3 Arora dan al 38 Dengan pembangunan model bahasa pra-latih [ daripada daripada [ ] dan kumpulan data label skala besar seperti SNLI [ [ ] dan MS-MARCO [ ], kaedah seperti Sentence-BERT [ (Seperti yang dinyatakan di sini) Perkara 5 [ [ ] dan SGPT [ Kebanyakan penyelidikan memberi tumpuan kepada teks-teks pendek dan oleh itu menggunakan istilah "tanda-tanda embeddings". Untuk dokumen panjang, ia kekal soalan penyelidikan terbuka sama ada embeddings panjang tetap boleh mengkodkan semua maklumat. ] ternyata lebih berkesan daripada kerugian berasaskan klasifikasi [ daripada Perbezaan : Perbezaan : Perbezaan ( Pengenalan kepada laser ( [ ] dan klip [ Teruskan lagi kepada senario multilingual dan multi-modal menggunakan ayat paralel dan imej-teks pasangan. 17 35 48 6 8 49 22 44 39 10 49 14 20 2 47 Arahan lain ialah untuk merancang tugas pra-latihan yang diuruskan sendiri untuk mencocokkan teks dan mendapatkan. [ ] mencadangkan tugas inverse cloze yang terkenal (ICT), di mana satu ayat acak dalam satu laluan dipilih sebagai pseudo-query dan sisanya diperlakukan sebagai sampel positif. ] menunjukkan bahawa cropping acak dengan augmentation data lebih berkesan daripada ICT pada pelbagai tugas pengambilan maklumat nol-shot. ] gunakan teks jiran sebagai positif dan meningkatkan saiz model kepada 175B. Oguz et al. Melaksanakan latihan pra-pelatihan yang sesuai dengan domain untuk meningkatkan hasil dalam domain. SPAR [ ] melatih retriever padat dengan merawat BM25 sebagai model guru. Walaupun pendekatan yang dinyatakan di atas boleh dengan mudah mendapatkan isyarat pengawasan yang melimpah, data sintetik tersebut cenderung mempunyai kualiti yang rendah. ] show they struggle to match the performance of BM25 if not further fine-tuned on labeled datasets. 9 28 41 [ 45 ] 11 53 Evaluation and interpretation of text embeddings are also non-trivial. Most benchmarks measure the embedding quality through downstream task performances. For example, SentEval [ ] menggunakan kajian linier dan koleksi set data kesamaan teks semantik (STS), manakala benchmark BEIR [ ] memberi tumpuan kepada senario pengambilan maklumat zero-shot. Benchmark MTEB yang baru-baru ini diperkenalkan [ ] menggabungkan 56 set data yang merangkumi 8 tugas dan 112 bahasa. percubaan menunjukkan bahawa tiada model yang boleh mencapai hasil terkini pada semua tugas embedding. 13 53 40 yang paling rapat berkaitan dengan kerja-kerja kami ialah serangkaian usaha komuniti oleh untuk melatih embeddings dengan koleksi set data yang ditandai dan dikumpulkan secara automatik. Dalam makalah ini, kami menunjukkan bahawa ia adalah mungkin untuk melatih embeddings berkualiti tinggi dengan menggunakan latihan pra-pelatihan sahaja. Penjenayah Transformers 2 3 CCPairs: Satu koleksi besar kumpulan data pasangan teks Kualiti dan kepelbagaian data adalah penting untuk melatih embeddings teks tujuan umum. Dalam kerja ini, kami menambang dan mengumpul CCPairs, satu set data pasangan teks yang berkualiti tinggi dari sumber web yang menyediakan isyarat latihan yang pelbagai yang mentransfer dengan baik kepada pelbagai tugas. Kumpulan data berkualiti tinggi skala besar seperti C4 [ ] dan CCMatrix [ ] adalah penting untuk kejayaan bahasa model pra-latihan dan terjemahan mesin. untuk pembelajaran embeddings teks, kerja-kerja yang sedia ada menggunakan skala kecil manusia-annotated data seperti NLI [ [ ] dan MS-MARCO [ [ ] atau menggunakan heuristik seperti cropping acak [ untuk mendapatkan isyarat pengawasan skala besar tetapi sangat berisik. Harvesting semi-structured data sources 48 51 22 8 28 Perbezaan antara jenis-jenis data yang dikumpulkan dan jenis-jenis data ( Melayu Teks Lean (Baca juga: Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian Rangkaian ( daripada ) menunjukkan sepasang teks yang terdiri daripada pertanyaan dan satu laluan Di sini kita gunakan » ” untuk menandakan urutan kata panjang, yang boleh menjadi ayat pendek, perenggan, atau dokumen panjang. set data kami termasuk (pos, komen) pasangan dari Reddit , (pertanyaan, jawapan terpilih) pasangan daripada Stackexchange , (nama entiti + tajuk seksyen, ayat) pasangan dari Wikipedia Bahasa Inggeris, (tajuk, abstrak) dan pasangan kutipan daripada makalah saintifik [ ], dan (titel, laluan) pasangan daripada Common Crawl laman web dan pelbagai sumber berita. C C Pairs q p q p laluan 3 4 36 5 We only include data sources that can be automatically mined, and some subsets are directly reused from existing datasets. Simple heuristic rules are applied to filter data from Reddit and Common Crawl. For example, we remove Reddit comments that are either too long ( 4096 watak) atau menerima skor kurang daripada 1, dan mengalih keluar bahagian-bahagian daripada halaman web dengan kebingungan tinggi [ ]. Selepas penapisan awal, kami berakhir dengan ∼ 1 * * 3 bilion pasangan teks, kebanyakan daripada yang datang dari Reddit dan Common Crawl. > 60 A ialah Untuk meningkatkan lebih lanjut kualiti data dan membuat kos latihan boleh dikendalikan, kami mencadangkan teknik penapisan data berasaskan konsistensi: model pertama dilatih pada 1 * * 3B pasang teks berisik, dan kemudian digunakan untuk peringkat setiap pasang terhadap kumpulan 1 juta pasang acak. ranked lists. In other words, the model’s prediction should be consistent with the training labels. Here we set = 2 berdasarkan pemeriksaan manual kualiti data.Selepas langkah ini, kami berakhir dengan ∼ 270M pasangan teks untuk pra-latihan kontras. Consistency-based filter k k Intuisi untuk teknik ini berasal daripada tingkah laku memori rangkaian saraf [ ]: apabila dilatih pada set data berisik, rangkaian saraf cenderung untuk menghafal label bersih terlebih dahulu dan kemudian secara beransur-ansur melebihi label berisik. teknik serupa [ daripada daripada ] telah digunakan secara meluas untuk menghapuskan bunyi dataset. Ia juga mungkin untuk menggunakan penapis ini secara iteratif, kita akan tinggalkan untuk kerja masa depan. 19 42 15 23 4 kaedah Embeddings kami boleh dilatih hanya dengan pasangan teks yang tidak dilabelkan dari CCPairs dengan pra-pelatihan kontrastif. Pengaturcaraan tahap kedua pada set data kecil yang dilabelkan berkualiti tinggi boleh dilakukan untuk meningkatkan kualiti embeddings yang dihasilkan. Untuk gambaran keseluruhan. 1 4.1 Latihan pra-latihan kontras dengan data yang tidak dilabelkan Perbezaan antara kedua-duanya ialah perbezaan antara kedua-duanya ialah perbezaan antara kedua-duanya ialah perbezaan antara kedua-duanya ialah perbezaan antara kedua-duanya ialah perbezaan antara kedua-duanya ialah perbezaan antara kedua-duanya ialah perbezaan antara kedua-duanya ialah perbezaan antara kedua-duanya ialah perbezaan. ) ialah , kami menetapkan senarai laluan negatif { −} = 1 untuk -th example. Then the InfoNCE contrastive loss ialah sebagai berikut: Melayu, pi n p M i i [10] di mana ( ) ialah fungsi skor antara query dan laluan parameter oleh Mengikuti arsitektur biencoder yang popular, kami menggunakan encoder Transformer yang telah dilatih dan gabungan purata di atas lapisan output untuk mendapatkan embeddings teks saiz tetap dan Skor ialah kesamaan kosin yang diukur oleh hiperparameter suhu : : : sgt q , p q p θ E q E p τ θ θ Where is set to 0.01 in our experiments by default. We use a shared encoder for all input texts and break the symmetry by adding two prefix identifiers dan to dan untuk sesetengah sumber data seperti pasangan kutipan, ia tidak jelas mana pihak yang hendak menjadi pertanyaan, kami secara rawak memilih satu untuk kesederhanaan. Reka bentuk asimetrik sedemikian ternyata penting untuk beberapa tugas carian di mana terdapat parafrase pertanyaan dalam corpus sasaran. τ Soalan : » Perjalanan : » q d Satu lagi isu penting untuk latihan kontras ialah bagaimana untuk memilih sampel negatif. di sini kita memilih untuk menggunakan negatif dalam batch [ ], di mana laluan daripada pasangan lain dalam batch berfungsi sebagai sampel negatif.Kami mendapati bahawa strategi mudah ini membolehkan latihan yang lebih stabil dan melebihi kaedah seperti MoCo apabila saiz batch cukup besar. 10 [ 25 ] 4.2 Fine-tuning dengan Data Labeled Walaupun pra-latihan kontras pada CCPairs menyediakan asas yang kukuh untuk embeddings tujuan umum, latihan lanjut pada data yang diberi label boleh menyuntikkan pengetahuan manusia ke dalam model untuk meningkatkan prestasi. daripada ] telah menunjukkan bahawa penyesuaian halus yang diselia membawa kepada peningkatan prestasi yang konsisten. dalam makalah ini, kami memilih untuk melatih lebih lanjut dengan gabungan 3 set data: NLI (Penghormatan bahasa semulajadi), MS-MARCO Passage Ranking Dataset [ ], and NQ (Natural Questions) dataset [ daripada Empirik, tugas-tugas seperti STS (Semantic Textual Similarity) dan sonding linier mendapat manfaat daripada data NLI, manakala MS-MARCO dan NQ set data mentransfer baik kepada tugas-tugas pencarian. 43 44 6 8 30 32 Berdasarkan amalan latihan state-of-the-art dense retrievers [ daripada ], kami menggunakan negatif keras diperolehi dan distilasi pengetahuan daripada model pengajar cross-encoder (CE) untuk set data MS-MARCO dan NQ. Untuk set data NLI, ayat kontradiksi dianggap sebagai negatif keras. Fungsi kerugian adalah interpolasi linier antara kerugian kontras untuk label keras dan divergence KL KL untuk distilasi label lembut daripada model guru. 50 58 L D Where Ia dan stu ialah probabiliti daripada model guru cross-encoder dan model pelajar kami. adalah hyperparameter untuk menyeimbangkan kedua-dua fungsi kehilangan. bilangan sama seperti dalam persamaan p p α L 1. 4.3 Aplikasi untuk Tugas Kemasukan Teks Selepas dua langkah di atas, kami mendapat embeddings teks berkualiti tinggi yang mentransfer dengan baik ke pelbagai tugas tanpa menyesuaikan parameter model. Digabungkan dengan teknik seperti pencarian tetangga terdekat, embeddings menyediakan penyelesaian yang boleh diperluas dan cekap untuk aplikasi seperti pencarian web. Di sini kami secara ringkas menggambarkan beberapa kes penggunaan embeddings teks kami. Pertama, embeddings laluan untuk corpus sasaran dikira dan diindeks dalam talian.Selepas itu, untuk setiap pertanyaan, kami mengira embeddings soalan dan mengembalikan top- senarai daripada corpus berdasarkan kesamaan cosine. Zero-shot Retrieval k Sebuah klasifikator linier dilatih di atas embeddings beku dengan beberapa contoh yang diberi label. Tugas yang berbeza hanya perlu melatih dan menyimpan parameter kepala klasifikasi. Ia boleh dilihat sebagai bentuk tertentu pembelajaran parameter-efektif Few-shot Text Classification [ 27 ] The input and label texts are converted to sentences based on manually written prompt templates. The predicted label is the one closest to the input text in the embedding space. Take the sentiment classification of movie reviews as an example, with the original input “ ”, teks label ialah ” ” dan teks input menjadi ” » » Zero-shot Text Classification saya suka tengok it is an example of terrible/great movie review Review filem : Saya suka menontonnya Mengikut dua embeddings teks, kita menggunakan fungsi cosine untuk mengukur kesamaan semantik mereka. Oleh kerana skor kesamaan mutlak tidak membolehkan interpretasi yang mudah, penilaian biasanya berdasarkan koefisien korelasi peringkat. Semantic Textual Similarity Algoritma cluster standard seperti k-means boleh digunakan dengan mudah.Teks yang termasuk dalam kategori yang sama dijangka berada dekat dalam ruang embedding. Text Clustering Untuk tugas selain daripada pengklasifikasian dan pencarian teks nol, kami menggunakan embeddings pertanyaan secara lalai. 5 Eksperimen 5.1 Konfigurasi pra-latihan dan penyesuaian halus Kami mempelajari set data pasangan teks kami yang disyorkan untuk tiga saiz model: E5small, E5base dan E5large dimulakan dari MiniLM [59], bert-base-uncased, dan bert-large-uncased-whole-wordmasking masing-masing. Saiz batch ditetapkan kepada nilai besar 32, 768 untuk meningkatkan bilangan negatif. Kadar pembelajaran ialah {3, 2, 1}×10−4 untuk model {small, base, large}, dengan kerosakan linier dan langkah pertama 1, 000 untuk pemanasan. Kami mempelajari untuk 20k langkah secara keseluruhan dengan AdamW optimizer, yang kira-kira 2.5 epochs di atas dataset. Ia mengambil {16, 32, 64} V100 GPU dan {1, 2} hari untuk {small, base, large} model. Untuk meningkatkan kecekapan latihan dan mengurangkan penggunaan mem Pre-training is performed on the concatenation of 3 datasets: MS-MARCO passage ranking [ ], NQ [ , ], and NLI [ ] datasets. We reuse the mined hard negatives and re-ranker scores from SimLM [ ] for the first two datasets. Models are fine-tuned for 3 epochs with batch size 256 on 8 GPUs. Learning rate is {3*,* 2*,* 1}×10−5 for the {small, base, large} models with 400 steps warmup. For each example, we use 7 hard negatives. Since the NLI dataset only has 1 hard negative for each example, 6 sentences are randomly sampled from the entire corpus. Fine-tuning 8 32 30 22 58 Kami menggunakan E5-PT untuk merujuk kepada model dengan kontrastif pra-latihan sahaja. B. 5.2 Evaluation Datasets is a collection of 19 information retrieval datasets, ranging across ad-hoc web search, question answering, fact verification and duplicate question retrieval, etc. We evaluate the 15 datasets that provide public downloads. The main metric is nDCG@10. BEIR Benchmark [ ] 53 53 is recently proposed for benchmarking massive text embedding tasks. Though MTEB is multilingual due to the inclusion of bitext mining datasets, most datasets are still only available in English. In this paper, we evaluate the English subsets, which have 56 datasets spanning across 6 categories: Classification (Class.), Clustering (Clust.), Pair Classification (PairClass.), Rerank, Retrieval (Retr.), STS, and Summarization (Summ.). The evaluation metrics are accuracy, v-measure, average precision, MAP, nDCG@10, and Spearman coefficients, respectively. Please refer to the MTEB paper for details. MTEB Benchmark [ ] 40 40 5.3 Results on BEIR benchmark In Table we show model results that do not use any labeled data. When averaged over all 15 datasets, E5-PTbase outperforms the classic BM25 algorithm by 1*.*2 points. To the best of our knowledge, this is the first reported result that an unsupervised model can beat BM25 on the BEIR benchmark. When scaling up to E5-PTlarge, we see further benefits from42. *2. Results with Unsupervised Methods 1, daripada 9 daripada 44 In terms of pre-training tasks, Contriever adopts random cropping, while LaPraDor combines ICT and dropout-as-positive-instance from SimCSE. The methods can easily obtain large-scale training data, while our approach requires more effort in dataset curation. Such efforts pay off with better results. Recent studies [ , , ] also show that improving data quality is a vital step for training large language models. 34 60 21 In Table we fine-tune our models on supervised datasets and then transfer them to the BEIR benchmark. Since our fine-tuning datasets include MS-MARCO and NQ, the corresponding numbers are in-domain results. For other datasets, these are zero-shot transfer results. Our E5base model achieves an average nDCG@10 of 48*.*7, already surpassing existing methods with more parameters such as GTRlarge [ ]. Kebanyakan set data mendapat manfaat daripada penyesuaian halus yang diselia, tetapi terdapat juga beberapa pengecualian seperti FiQA, Scidocs, dan Fever, dan lain-lain yang mungkin disebabkan oleh kurangnya kepelbagaian domain yang mencukupi untuk set data penyesuaian halus. Results with Supervised Fine-tuning 2 , 43 5.4 Results on MTEB benchmark In Table E5 models not only substantially outperform existing ones with similar sizes, but also match the results of much larger models. The top-2 models on MTEB leaderboard GTRxxl dan Sentence-T5xxl mempunyai parameter 4*.*8B, manakala model E5large kami lebih daripada 10x lebih kecil dengan parameter 300M. 3, 7 Since the difference between BERT-FTbase and E5base is that BERT-FTbase only has fine-tuning stage, their performance gap demonstrates the usefulness of contrastive pre-training on our proposed CCPairs dataset. For most task categories except Clustering, performance improves after supervised fine-tuning. Consistent with prior works [ , ], this once again demonstrates the importance of incorporating human knowledge for learning better text embeddings. It remains an open question whether state-of-the-art embeddings can be obtained in a purely self-supervised manner. 43 44 Table shows the zero-shot text classification results on the dev set of the SST-2 dataset [ ]. Dengan merumuskan klasifikasi teks sebagai membenamkan perpaduan antara teks input dan label, model kami boleh menjadi lebih baik daripada garis asas "majoriti" dalam tetapan nol. 4 52 4.3. 5.5 Analysis In this section, we conduct a series of analyses to examine various design choices. All the numbers in this section are from base-size models. For the BEIR benchmark, we choose 6 datasets with more stable results across different runs. Some negative results are also listed in Appendix C. Since we use in-batch negatives for contrastive pre-training, larger batch size will provide more negatives and therefore improve the quality of the learned text embeddings. In Table increasing batch size from 1K to 32K leads to consistent gains across all 6 datasets. It is also possible to train with smaller batch sizes by adding hard negatives [ Walau bagaimanapun, usaha kejuruteraan menambang negatif keras untuk set data besar (>100M) tidak trivial. Impacts of Batch Size 5 , 50 Model GTR disesuaikan dengan "MS-MARCO + NQ", manakala model Sentence-T5 menggunakan NLI. we can see that the “MS-MARCO + NQ” setting performs best on retrieval tasks, and the NLI data is beneficial for STS and linear probing classification. Similar observations are also made by Muennighoff et al. Menggabungkan semua ini membawa kepada skor keseluruhan yang terbaik pada benchmark MTEB. Ini juga menggambarkan pentingnya kepelbagaian dataset untuk pembelajaran embeddings teks. Fine-tuning Datasets 6 yang [40] Satu langkah penting dalam paip kurasi set data kami ialah menapis pasangan teks berkualiti rendah. when training with 1M pairs, using filtered data has a nearly 6 points advantage. When all the text pairs are used, the “w/o filter” setting has about 4× more data but is still behind by 1*.*6 points. Though recent studies [ daripada ] show that deep learning models are quite robust to dataset noises, data filtering still has benefits in improving training efficiency and model quality. Data Filtering 7, 29 47 We explore two alternative methods to enlarge the number of negatives: Pre-batch negatives [ ] reuse embeddings from previous batches as additional negatives, while MoCo Negative Sampling 33 [ ] introduces a momentum encoder and uses a FIFO queue to store negatives. For both approaches, the negative size can be easily scaled up without incurring much GPU memory overhead. The downside is that most negatives are produced by an older version of model parameters. In Table in-batch negatives still perform favorably. Empirically, we find that MoCo is more sensitive to certain hyperparameters such as temperature, better results are possible with more tuning. 25 8, With the rapid development of dense retrieval models, can we replace the long-standing BM25 algorithm from now on? The answer is likely “ ”. BM25 still holds obvious advantages in terms of simplicity, efficiency, and interpretability. For long-tail domains such as Trec-Covid [ ] and retrieval tasks that involve long documents (Touche-2020) [ ] or rely heavily on exact lexical match (Fever) [ ], further research efforts are still necessary to improve current dense retrievers. BM25 vs Dense Retrieval not yet 55 4 54 6 Conclusion In this work, we train a general-purpose text embedding model E5 from weak supervision signals. We adopt a simple contrastive training framework with in-batch negatives and learn from a large-scale text pair dataset we harvest from heterogeneous data sources across the web. E5 offers strong off-the-shelf performance for a wide range of tasks requiring single-vector text representations such as retrieval, semantic textual similarity, and text matching. When further customized for downstream tasks, E5 achieves superior fine-tuned performance compared to existing embedding models with 40× more parameters on the large, 56-task MTEB benchmark datasets. References [1] Sanjeev Arora, Yingyu Liang, dan Tengyu Ma. A baseline mudah tetapi sukar untuk mengalahkan untuk embeddings ayat. . OpenReview.net, 2017. URL . 5th International Conference on Learning Representations, ICLR 2017, Toulon, Perancis, 24-26 April 2017 https://openreview.net/forum?id=SyK00v5xx [2] Mikel Artetxe and Holger Schwenk. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. , 7:597–610, 2019. doi: 10.1162/tacl_a_00288. URL . . Transactions of the Association for Computational Linguistics https://aclanthology org/Q19-1038 [3] David M. Blei, Andrew Y. Ng, dan Michael I. Jordan. Latent dirichlet allocation. Dalam Thomas G. Dietterich, Suzanna Becker, dan Zoubin Ghahramani, editor, , pages 601–608. MIT Press, 2001. URL . Kemajuan dalam Sistem Pemprosesan Maklumat Neural 14 [Sistem Pemprosesan Maklumat Neural: Semulajadi dan Sintetik, NIPS 2001, 3-8 Disember 2001, Vancouver, British Columbia, Kanada] https://proceedings.neurips.cc/paper/2001/hash/ 296472c9542ad4d4788d543508116cbc-Abstract.html [4] Alexander Bondarenko, Maik Fröbe, Johannes Kiesel, Shahbaz Syed, Timon Gurcke, Meriem Beloucif, Alexander Panchenko, Chris Biemann, Benno Stein, Henning Wachsmuth, et al. Overview of touché 2022: argument retrieval. In , halaman 311-336 Springer, 2022. International Conference of the Cross-Language Evaluation Forum for European Languages [5] Vera Boteva, Demian Gholipour, Artem Sokolov, and Stefan Riezler. A full-text learning to rank dataset for medical information retrieval. In , pages 716–722. Springer, 2016. European Conference on Information Retrieval [6] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In , halaman 632–642, Lisbon, Portugal, 2015. Persatuan Linguistik Komputer. doi: 10.18653/v1/D15-1075. URL Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing https: . //aclanthology.org/D15-1075 [7] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhari-wal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learn-ers. In Hugo Larochelle, Marc’Aurelio Ranzato, Raia Hadsell, Maria-Florina Balcan, and Hsuan-Tien Lin, editors, , 2020. URL . Kemajuan dalam Sistem Pemprosesan Maklumat Neural 33: Konferensi Tahunan Sistem Pemprosesan Maklumat Neural 2020, NeurIPS 2020, 6-12 Disember 2020, virtual https://proceedings.neurips.cc/paper/2020/hash/ 1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html [8] Daniel Fernando Campos, Tri Nguyen, Mir Rosenberg, Xia Song, Jianfeng Gao, Saurabh Tiwary, Rangan Majumder, Li Deng, and Bhaskar Mitra. Ms marco: A human generated machine reading comprehension dataset. , abs/1611.09268, 2016. Arsip [9] Wei-Cheng Chang, Felix X. Yu, Yin-Wen Chang, Yiming Yang, and Sanjiv Kumar. Pre-training tasks for embedding-based large-scale retrieval. In . OpenReview.net, 2020. URL . 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020 https://openreview.net/forum?id=rkg-mA4FDr [10] Ting Chen, Simon Kornblith, Mohammad Norouzi, dan Geoffrey E. Hinton. Kerangka kerja mudah untuk pembelajaran kontras representasi visual. Volume 119 daripada , pages 1597–1607. PMLR, 2020. URL Proceedings of the 37th International Conference on Machine Learning, ICML 2020, 13-18 July 2020, Virtual Event Proceedings of Machine Learning Research http: . //proceedings.mlr.press/v119/chen20j.html [11] Xilun Chen, Kushal Lakhotia, Barlas Og˘uz, Anchit Gupta, Patrick Lewis, Stan Peshterliev, Yashar Mehdad, Sonal Gupta, and Wen-tau Yih. Salient phrase aware dense retrieval: Can a dense retriever imitate a sparse one? , 2021. arXiv preprint arXiv:2110.06918 [12] Arman Cohan, Sergey Feldman, Iz Beltagy, Doug Downey, and Daniel S Weld. Specter: Document-level representation learning using citation-informed transformers. In , pages 2270–2282, 2020. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics [13] Alexis Conneau and Douwe Kiela. SentEval: An evaluation toolkit for universal sentence representations. In , Miyazaki, Japan, 2018. European Language Resources Association (ELRA). URL . Proceedings of the Eleventh International Conference on Language Re-sources and Evaluation (LREC 2018) https://aclanthology.org/L18-1269 [14] Alexis Conneau, Douwe Kiela, Holger Schwenk, Loïc Barrault, dan Antoine Bordes. pembelajaran yang dipandu untuk mewakili ucapan universal daripada data inferensi bahasa semulajadi. , pages 670–680, Copenhagen, Denmark, 2017. Association for Computational Linguistics. doi: 10.18653/v1/D17-1070. URL . Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing https://aclanthology.org/D17-1070 [15] Zhuyun Dai, Vincent Zhao, Ji Ma, Yi Luan, Jianmo Ni, Jing Lu, Anton Bakalov, Kelvin Guu, Keith B. Hall, and Ming-Wei Chang. Promptagator: Few-shot dense retrieval from 8 examples. , abs/2209.11755, 2022. Arsip [16] Scott Deerwester, Susan T Dumais, George W Furnas, Thomas K Landauer, dan Richard Harshman. , 41(6):391–407, 1990 Journal of the American society for information science [17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, dan Kristina Toutanova. BERT: Latihan pra-latihan transformator dua arah yang mendalam untuk pemahaman bahasa. , pages 4171–4186, Minneapolis, Minnesota, 2019. Association for Computational Linguistics. doi: 10.18653/v1/N19-1423. URL . Proceedings of the 2019 Confer-ence of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) https://aclanthology.org/N19-1423 [18] Thomas Diggelmann, Jordan Boyd-Graber, Jannis Bulian, Massimiliano Ciaramita, dan Markus Leippold. demam iklim: satu set data untuk mengesahkan klaim iklim dunia sebenar. , 2020. arXiv preprint arXiv:2012.00614 [19] Vitaly Feldman and Chiyuan Zhang. What neural networks memorize and why: Discovering the long tail via influence estimation. In Hugo Larochelle, Marc’Aurelio Ranzato, Raia Hadsell, Maria-Florina Balcan, and Hsuan-Tien Lin, editors, , 2020. URL . Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual https://proceedings.neurips.cc/ paper/2020/hash/1e14bfe2714193e7af5abc64ecbd6b46-Abstract.html [20] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, dan Wei Wang. Bahasa-agnostik bert ayat embedding. Dalam , halaman 878-891 dan 2022. Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) [21] Leo Gao, Stella Rose Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, Horace He, Anish Thite, Noa Nabeshima, Shawn Presser, and Connor Leahy. The pile: An 800gb dataset of diverse text for language modeling. , abs/2101.00027, 2021. ArXiv [22] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In , pages 6894–6910, Online and Punta Cana, Dominican Republic, 2021. Association for Computational Linguistics. doi: 10.18653/v1/2021.emnlp-main.552. URL . Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing https://aclanthology.org/2021.emnlp-main.552 [23] Bo Han, Quanming Yao, Xingrui Yu, Gang Niu, Miao Xu, Weihua Hu, Ivor W. Tsang, and Masashi Sugiyama. Co-teaching: Robust training of deep neural networks with extremely noisy labels. In Samy Bengio, Hanna M. Wallach, Hugo Larochelle, Kris-ten Grauman, Nicolò Cesa-Bianchi, and Roman Garnett, editors, , Advances in Neu-ral Information Processing Systems 31: Annual Conference on Neural Information Processing Systems 2018, NeurIPS 2018, December 3-8, 2018, Montréal, Canada Halaman 8536–8546, 2018 URL . https://proceedings.neurips.cc/paper/2018/hash/ a19744e268754fb0148b017647355b7b-Abstract.html [24] Faegheh Hasibi, Fedor Nikolaev, Chenyan Xiong, Krisztian Balog, Svein Erik Bratsberg, Alexander Kotov, dan Jamie Callan. Dbpedia-entity v2: satu koleksi ujian untuk carian entiti. , pages 1265–1268, 2017. Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval [25] Kaiming He, Haoqi Fan, Yuxin Wu, Saining Xie, and Ross B. Girshick. Momentum contrast for unsupervised visual representation learning. In , halaman 9726–9735. IEEE, 2020. doi: 10.1109/CVPR42600.2020.00975. URL . 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2020, Seattle, WA, USA, June 13-19, 2020 https://doi.org/10.1109/ CVPR42600.2020.00975 [26] Doris Hoogeveen, Karin M Verspoor, and Timothy Baldwin. Cqadupstack: A benchmark data set for community question-answering research. In , pages 1–8, 2015. Proceedings of the 20th Australasian document computing symposium [27] Neil Houlsby, Andrei Giurgiu, Stanislaw Jastrzebski, Bruna Morrone, Quentin de Laroussilhe, Andrea Gesmundo, Mona Attariyan, and Sylvain Gelly. Parameter-efficient transfer learning for NLP. In Kamalika Chaudhuri and Ruslan Salakhutdinov, editors, , volume 97 of , pages 2790–2799. PMLR, 2019. URL . Persidangan Persidangan Antarabangsa ke-36 mengenai Pembelajaran Mesin, ICML 2019, 9-15 Jun 2019, Long Beach, California, Amerika Syarikat Penyelidikan Pembelajaran Mesin http://proceedings.mlr.press/v97/houlsby19a.html [28] Gautier Izacard, Mathilde Caron, Lucas Hosseini, Sebastian Riedel, Piotr Bojanowski, Armand Joulin, dan Edouard Grave. Ke arah pemulihan maklumat yang padat tanpa pengawasan dengan pembelajaran kontras. , abs/2112.09118, 2021. ArXiv [29] Chao Jia, Yinfei Yang, Ye Xia, Yi-Ting Chen, Zarana Parekh, Hieu Pham, Quoc V. Le, Yun-Hsuan Sung, Zhen Li, dan Tom Duerig. Memperluaskan pembelajaran representasi visual dan bahasa penglihatan dengan pengawasan teks berisik. Dalam Marina Meila dan Tong Zhang, editor, , volume 139 of , pages 4904–4916. PMLR, 2021. URL . Proceedings of the 38th International Conference on Machine Learning, ICML 2021, 18-24 July 2021, Virtual Event Proceedings of Machine Learning Research http://proceedings.mlr.press/v139/jia21b.html [30] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wen-tau Yih. Dense passage retrieval for open-domain question answering. In , pages 6769–6781, Online, 2020. Association for Computational Linguistics. doi: 10. 18653/v1/2020.emnlp-main.550. URL daripada . Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) https://aclanthology.org/2020.emnlp-main 550 [31] Omar Khattab and Matei Zaharia. Colbert: Efficient and effective passage search via contex-tualized late interaction over BERT. In Jimmy Huang, Yi Chang, Xueqi Cheng, Jaap Kamps, Vanessa Murdock, Ji-Rong Wen, and Yiqun Liu, editors, , pages 39–48. ACM, 2020. doi: 10.1145/3397271.3401075. URL . Proceedings of the 43rd International ACM SIGIR conference on research and development in Information Retrieval, SIGIR 2020, Vir-tual Event, China, July 25-30, 2020 https://doi.org/10.1145/3397271.3401075 [32] Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, Kristina Toutanova, Llion Jones, Matthew Kelcey, Ming-Wei Chang, Andrew M. Dai, Jakob Uszkoreit, Quoc Le, dan Slav Petrov. , 7:452–466, 2019. doi: 10.1162/tacl_a_00276. URL . Transactions of the Association for Computational Linguistics https://aclanthology.org/Q19-1026 [33] Jinhyuk Lee, Mujeen Sung, Jaewoo Kang, dan Danqi Chen. Belajar representasi padat frasa pada skala. , halaman 6634–6647, Online, 2021. Persatuan Linguistik Komputer. doi: 10.18653/v1/2021.acl-long.518. URL . . Prosedur Mesyuarat Tahunan ke-59 Persatuan Linguistik Komputer dan Persidangan Bersama Antarabangsa ke-11 tentang Pemprosesan Bahasa Asli (Bahagian 1: Maklumat Panjang) https://aclanthology.org/2021 acl-long.518 [34] Katherine Lee, Daphne Ippolito, Andrew Nystrom, Chiyuan Zhang, Douglas Eck, Chris Callison-Burch, and Nicholas Carlini. Deduplicating training data makes language models better. In , 2022. ACL [35] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. , abs/1907.11692, 2019. ArXiv [36] Kyle Lo, Lucy Lu Wang, Mark Neumann, Rodney Kinney, and Daniel Weld. S2ORC: The semantic scholar open research corpus. In , pages 4969–4983, Online, 2020. Associ-ation for Computational Linguistics. doi: 10.18653/v1/2020.acl-main.447. URL . Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics https://aclanthology.org/2020.acl-main.447 [37] Macedo Maia, Siegfried Handschuh, André Freitas, Brian Davis, Ross McDermott, Manel Zarrouk, dan Alexandra Balahur. Www’18 cabaran terbuka: penambangan pendapat kewangan dan jawapan soalan. , pages 1941–1942, 2018. Prosedur pendamping persidangan web 2018 [38] Tomas Mikolov, Kai Chen, Gregory S. Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In , 2013. ICLR [39] Niklas Muennighoff. Sgpt: Gpt sentence embeddings for semantic search. , abs/2202.08904, 2022. Arsip [40] Niklas Muennighoff, Nouamane Tazi, Loic Magne, and Nils Reimers. Mteb: Massive text embedding benchmark. , abs/2210.07316, tahun 2022. Arsip [41] Arvind Neelakantan, Tao Xu, Raul Puri, Alec Radford, Jesse Michael Han, Jerry Tworek, Qiming Yuan, Nikolas A. Tezak, Jong Wook Kim, Chris Hallacy, Johannes Heidecke, Pranav Shyam, Boris Power, Tyna Eloundou Nekoul, Girish Sastry, Gretchen Krueger, David P. Schnurr, Felipe Petroski Such, Kenny Sai-Kin Hsu, Madeleine Thompson, Tabarak Khan, Toki Sherbakov, Joanne Jang, Peter Welinder, and Lilian Weng. Text and code embeddings by contrastive pre-training. , abs/2201.10005, tahun 2022. ArXiv [42] Duc Tam Nguyen, Chaithanya Kumar Mummadi, Thi-Phuong-Nhung Ngo, Thi Hoai Phuong Nguyen, Laura Beggel, and Thomas Brox. SELF: learning to filter noisy labels with self-ensembling. In . OpenReview.net, 2020. URL . . 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020 https://openreview rangkaian/forum?id=HkgsPhNYPS [43] Jianmo Ni, Chen Qu, Jing Lu, Zhuyun Dai, Gustavo Hern’andez ’Abrego, Ji Ma, Vincent Zhao, Yi Luan, Keith B. Hall, Ming-Wei Chang, and Yinfei Yang. Large dual encoders are generalizable retrievers. , abs/2112.07899, tahun 2021. ArXiv [44] Jianmo Ni, Gustavo Hernandez Abrego, Noah Constant, Ji Ma, Keith Hall, Daniel Cer, and Yinfei Yang. Sentence-t5: Scalable sentence encoders from pre-trained text-to-text models. In , pages 1864–1874, 2022. Findings of the Association for Computational Linguistics: ACL 2022 [45] Barlas Oguz, Kushal Lakhotia, Anchit Gupta, Patrick Lewis, Vladimir Karpukhin, Aleksandra Piktus, Xilun Chen, Sebastian Riedel, Scott Yih, Sonal Gupta, and Yashar Mehdad. Domain-matched pre-training tasks for dense retrieval. In , pages 1524–1534. Association for Computational Linguistics, 2022. doi: 10.18653/v1/2022.findings-naacl.114. URL . Temuan Persatuan Linguistik Komputer: NAACL 2022, Seattle, WA, Amerika Syarikat, 10-15 Julai 2022 https://doi.org/10.18653/v1/2022.findings-naacl.114 [46] Fabio Petroni, Aleksandra Piktus, Angela Fan, Patrick Lewis, Majid Yazdani, Nicola De Cao, James Thorne, Yacine Jernite, Vassilis Plachouras, Tim Rocktaschel, and Sebastian Riedel. Kilt: a benchmark for knowledge intensive language tasks. In , 2020. Bab Amerika Utara Persatuan untuk linguistik komputasi [47] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervi-sion. In Marina Meila and Tong Zhang, editors, , volume 139 of , pages 8748–8763. PMLR, 2021. URL . Prosedur Persidangan Antarabangsa ke-38 mengenai Pembelajaran Mesin, ICML 2021, 18-24 Julai 2021, Peristiwa Virtual Proceedings of Machine Learning Research http://proceedings.mlr.press/v139/radford21a.html [48] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, dan Peter J Liu. Mengeksplorasi had pembelajaran pemindahan dengan transformator teks-ke-tekst yang bersatu. , 21:1–67, 2020. Jurnal Penyelidikan Pembelajaran Mesin [49] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In , halaman 3982–3992, Hong Kong, China, 2019. Persatuan Linguistik Komputer. doi: 10.18653/v1/D19-1410. URL . Proceedings of the 2019 Conference on Empirical Methods in Natural Lan-guage Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) https://aclanthology.org/D19-1410 [50] Ruiyang Ren, Yingqi Qu, Jing Liu, Wayne Xin Zhao, QiaoQiao She, Hua Wu, Haifeng Wang, and Ji-Rong Wen. RocketQAv2: A joint training method for dense passage retrieval and passage re-ranking. In , pages 2825–2835, Online and Punta Cana, Dominican Republic, 2021. Association for Computational Linguistics. doi: 10.18653/v1/2021.emnlp-main.224. URL . Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing https://aclanthology.org/2021.emnlp-main.224 [51] Holger Schwenk, Guillaume Wenzek, Sergey Edunov, Edouard Grave, Armand Joulin, and Angela Fan. CCMatrix: Mining billions of high-quality parallel sentences on the web. In , pages 6490–6500, Online, 2021. Association for Computational Linguistics. doi: 10.18653/v1/2021.acl-long.507. URL . Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers) https://aclanthology.org/2021.acl-long.507 [52] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, A. Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In Pada tahun 2013. Konferensi mengenai kaedah empiris dalam pemprosesan bahasa semulajadi [53] Nandan Thakur, Nils Reimers, Andreas Rücklé, Abhishek Srivastava, dan Iryna Gurevych. Beir: Benchmark heterogen untuk penilaian tembakan nol model pemulihan maklumat. , 2021. Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2) [54] James Thorne, Andreas Vlachos, Christos Christodoulopoulos, and Arpit Mittal. FEVER: a large-scale dataset for fact extraction and VERification. In , pages 809–819, New Orleans, Louisiana, 2018. Association for Computational Linguistics. doi: 10.18653/v1/N18-1074. URL Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers) https: . //aclanthology.org/N18-1074 [55] Ellen Voorhees, Tasmeer Alam, Steven Bedrick, Dina Demner-Fushman, William R Hersh, Kyle Lo, Kirk Roberts, Ian Soboroff, and Lucy Lu Wang. Trec-covid: constructing a pandemic information retrieval test collection. In , volume 54, halaman 1–12. ACM New York, NY, USA, 2021. ACM SIGIR Forum [56] Henning Wachsmuth, Shahbaz Syed, dan Benno Stein. pemulihan kontrargumen terbaik tanpa pengetahuan topik terdahulu. , pages 241–251, 2018. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) [57] David Wadden, Shanchuan Lin, Kyle Lo, Lucy Lu Wang, Madeleine van Zuylen, Arman Cohan, and Hannaneh Hajishirzi. Fact or fiction: Verifying scientific claims. In , halaman 7534–7550, 2020 Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) [58] Liang Wang, Nan Yang, Xiaolong Huang, Binxing Jiao, Linjun Yang, Daxin Jiang, Rangan Majumder, and Furu Wei. Simlm: Pre-training with representation bottleneck for dense passage retrieval. , abs/2207.02578, 2022. ArXiv [59] Wenhui Wang, Hangbo Bao, Shaohan Huang, Li Dong, dan Furu Wei. Minilmv2: Destilasi hubungan perhatian diri berbilang kepala untuk memampatkan transformator pra-pelatihan. , halaman 2140–2151, 2021. Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021 [60] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and Edouard Grave. CCNet: Extracting high quality monolingual datasets from web crawl data. In , halaman 4003–4012, Marseille, Perancis, Persatuan Sumber Bahasa Eropah 2020. ISBN 979-10-95546-34-4. . Proceedings of the 12th Language Resources and Evaluation Conference https://aclanthology.org/2020.lrec-1.494 [61] Lee Xiong, Chenyan Xiong, Ye Li, Kwok-Fung Tang, Jialin Liu, Paul N. Bennett, Junaid Ahmed, and Arnold Overwijk. Approximate nearest neighbor negative contrastive learning for dense text retrieval. In . OpenReview.net, 2021. URL daripada . 9th International Conference on Learning Representations, ICLR 2021, Peristiwa Virtual, Austria, 3-7 Mei 2021 https://openreview net/forum?id=zeFrfgyZln [62] Canwen Xu, Daya Guo, Nan Duan, dan Julian McAuley. Laprador: Unsurveiled pretrained dense retriever for zero-shot text retrieval. dalam , pages 3557–3569, 2022. Findings of the Association for Computational Linguistics: ACL 2022 [63] Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov, and Christopher D Manning. Hotpotqa: A dataset for diverse, explainable multi-hop question answering. In , halaman 2369–2380, 2018. Persidangan 2018 mengenai kaedah empiris dalam pemprosesan bahasa semulajadi Maklumat terperinci For Common Crawl, we download the 2022-33 snapshot and cc_net is used for preprocessing including language identification, de-duplication, language model filtering, etc. Web pages from the MS-MARCO document ranking corpus are also included. For the data filtering step, we examine each pair of passages within a web page instead of just using the title as a query. For Wikipedia, we use the version released by Petroni et al. Untuk mengelakkan kontaminasi data yang mungkin, kami mengalih keluar pasangan teks yang berlaku dalam set data penilaian berdasarkan perlawanan string yang tepat. 8 [Bahasa Melayu] Data Reddit dikumpulkan dari tahun 2018 hingga Ogos 2022.Pada data S2ORC, kami menggunakan berat sampel 0*.*3 semasa latihan untuk mengelakkan penyesuaian yang berlebihan kepada bidang saintifik. Untuk benchmark BEIR, kami menggunakan 15 set data yang menyediakan muat turun awam: MS MARCO [ [Bahasa Melayu] [Bahasa Melayu ], NFCorpus [ ], NQ [ ], HotpotQA [ ], FiQA [ Oleh itu, aliran [ ], Touche-2020 [ [Bahasa Melayu Melayu] ], Quora, DBPedia [ ], Scidocs [ Demam yang teruk ( Demam berdarah ( ], dan Scifact 8 55 5 32 63 37 56 4 26 24 12 54 18 [57]. B Rincian pelaksanaan Kami senaraikan hyperparameter dalam Jadual Since some evaluation datasets have long texts, we freeze the position embeddings during both pre-training and fine-tuning and set the maximum text length to 512 for evaluation. 11. Untuk tugas pemulihan Quora duplikat dalam benchmark BEIR, kami menambah prefiks " ” untuk semua soalan. untuk tugas-tugas pemulihan lain, kami menggunakan ” ” and “ “Penghormatan yang sesuai. query: Permintaan : Perjalanan : Hasil MS-MARCO dalam Jadual menggunakan tajuk dokumen yang disediakan oleh RocketQA [ ]. This evaluation setup is consistent with most state-of-the-art dense retrievers. However, the MS-MARCO data from the BEIR benchmark does not have titles, so the results are expected to be lower. 12 50 We report results for in-domain datasets in Table Hasil ini boleh membantu untuk menggambarkan faedah yang dibawa oleh pra-latihan kontras apabila terdapat banyak data yang dilabelkan dalam domain. Untuk kedudukan laluan MS-MARCO, MRR@10 dan Recall@1k dilaporkan. Untuk dataset NQ, Recall@20 dan Recall@100 adalah metrik utama. In-domain Evaluation 12. C Negative Results Berikut ialah beberapa percubaan yang kami akhirnya menyerah: Perbezaan antara DPR [ ], kami menambah satu BM25 negatif keras untuk setiap pasangan positif semasa latihan. Apabila menggunakan data 15M, strategi ini meningkatkan hasil keseluruhan sebanyak ~ 0.5 mata pada benchmark BEIR. Walau bagaimanapun, menjalankan algoritma BM25 di atas set data 250M+ terlalu memakan masa walaupun dengan paralelisme multi-node dan multi-proses. Adding BM25 hard negatives 30 Though RoBERTa shows consistent gains on many NLP tasks, we empirically find that RoBERTa performs worse than BERT initialization on most of the BEIR benchmark datasets. Using RoBERTa instead of BERT for initialization Kami menambah kehilangan pemodelan bahasa yang disamarkan untuk 25% daripada pasangan teks latihan. bilangan adalah sama dengan menghapuskan matlamat bantuan ini, tetapi kos latihan meningkat. Auxiliary MLM objective This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. available on arxiv This paper is di bawah lesen CC by 4.0 Deed (Attribution 4.0 International). Tersedia dalam Archive