Ahoana no nampiofan'i Microsoft ny AI 270M-Pair mba hanome hery amin'ny fikarohana maoderina

Ny mpanoratra: Liang Wang avy amin'ny Microsoft Corporation Nan Yang (Ny orinasa Microsoft) Xiaolong Huang (Microsoft Corporation) Ny orinasa dia Binxing Jiao (Microsoft Corporation). Linjun Yang (Microsoft Corporation) Daxin Jiang (Ny orinasa Microsoft) Rangan Majumder (Ny orinasa Microsoft) Furu Wei (Microsoft Corporation) Ny mpanoratra: Liang Wang avy amin'ny Microsoft Corporation Nan Yang (Ny orinasa Microsoft) Xiaolong Huang (Ny orinasa Microsoft) Ny orinasa dia Binxing Jiao (Microsoft Corporation). Linjun Yang (Ny orinasa Microsoft) Daxin Jiang (Ny orinasa Microsoft) Rangan Majumder (Ny orinasa Microsoft) Ny orinasa dia ny Furu Wei (Microsoft Corporation). Ny Abstract Ity lahatsoratra ity dia manolotra ny E5 Ny modely dia nianatra amin'ny fomba mifanohitra amin'ny fametrahana famantarana mahery vaika avy amin'ny dataset CCPairs (amin'ny anarana hoe CCPairs). Ny E5 dia azo ampiasaina mora foana ho toy ny modely fametrahana ankapobeny ho an'ny asa rehetra izay mitaky fampisehoana vektor iray amin'ny lahatsoratra toy ny famerenana, fametrahana, ary famaritana, mahatratra vokatra mahery amin'ny toe-javatra zero-shot sy fine-tuned. Manatanteraka fanombanana goavana momba ny 56 dataset avy amin'ny benchmarks BEIR sy MTEB. Ho an'ny toerana zero-shot, ny E5 no modely voalohany izay mihoatra ny BM25 matanjaka amin'ny benchmark famerenana BEIR tsy mampi 1 1 Ny fampidirana Text embeddings dia vektor vektor representations ambany-dimensional ho an'ny teny mahazatra-mavesatra ary milalao anjara fototra ao amin'ny NLP maro asa toy ny lehibe fandaharana. raha oharina amin'ny avo-dimensional sy tsy fahampian'ny fampisehoana toy ny TF-IDF, lahatsoratra embeddings manana fahafahana hanapaka ny lexical tsy mifanaraka olana ary hanampy ny mahomby fandaharana sy mifanaraka eo amin'ny lahatsoratra. Na dia ireo modely fiteny voafaritra toy ny BERT aza [ [Na dia izany aza, ny GPRS] ary Salmona niteraka an'i Boaza tamin-dRahaba ; ary Boaza niteraka an'i Obeda tamin-dRota ; ary Obeda niteraka an'i Jese ; ] ary ny Sentence-T5 [ ] fanamafisana tsara ireo modely efa voaomana amin'ny dataset mifanaraka amin'ny fampianarana embeddings mifanaraka amin'ny famerenana passage sy ny semantic textual similarity, amin'ny fomba mifanaraka amin'izany. Ny asa hafa dia mianatra embeddings tsy mifanaraka amin'ny pairs textualised. ], ny fanapahan-kevitra amin'ny alalan'ny fanapahan-kevitra [ ] ary ny lahatsoratra manodidina dia manodidina [ [ ], sns. Na dia tsy voafetra aza ny angon-drakitra voajanahary toy izany, matetika dia ratsy amin'ny kalitao ary ny fidirana vokatr'izany dia tsy mifanaraka amin'ny fampisehoana amin'ny baseline BM25 tsy misy fanamafisana bebe kokoa. 17 7 43 44 9 28 41 [Nandritra ny taona 40] Ao amin'ity asa ity, dia hianatra momba ny fametrahana lahatsoratra amin'ny tanjona ankapobeny avo lenta antsoina hoe E5, Ny MB Dings avy amin'ny Bidir Ny tsirairay Ny R fanehoan-kevitra. Ny E5 dia mikendry ny hanome fitehirizana lahatsoratra mahery vaika mifanaraka amin'ny asa rehetra izay mitaky fampisehoana vektorina tokana amin'ny toe-javatra zero-shot na tsara tarehy. Mba hahatratrarana ity tanjona ity, fa tsy miankina amin'ny angon-drakitra voafetra na amin'ny antontan-taratasy synthesized amin'ny kalitao ambany, dia manara-maso ny fitehirizana E5 avy amin'ny CCPairs, angon-drakitra amin'ny tranonkala voafetra izay ahitana famolavolana famantarana tsy mitovy. Ny CCPairs dia mamorona ny angon-drakitra CCPairs amin'ny alalan'ny fampidirana loharan'ny angon-drakitra [ ] mba hanatsarana ny kalitaon'ny angon-drakitra. dia misafidy fombafomba tsotra mifanohitra amin'ny fampianarana mampiasa negatives ao amin'ny batch miaraka amin'ny batch-size lehibe mba hampiofanana ny modely. Ny fanandramana goavana amin'ny BEIR sy MTEB benchmarks dia mampiseho ny fahombiazan'ny fomba voatendry. ], E5 no modely voalohany izay mihoatra noho ny BM25 matanjaka mahery vaika tsy mampiasa angon-drakitra voasoratra. Rehefa voasoratra tsara amin'ny angon-drakitra voasoratra, ny fahombiazan'ny angon-drakitra dia azo fanatsarana bebe kokoa. ] mampiseho fa ny E5base dia mifanentana amin'ny GTRxxl sy ny Sentence-T5xxl, izay manana parameter 40x mihoatra. E E E E E 15 53 40 2 Ny asa mifandraika Misy tombontsoa maharitra amin'ny fanodinana lahatsoratra ho amin'ny fidirana matanjaka. Ny asany voalohany dia ahitana ny Latent Semantic Indexing (LSA) [ [Na: Fa inona no fanantenan'ny mpihatsaravelatsihy, na dia mahazo harena be aza. Ny LSA dia mampiasa ny fandikan-tenan'ny matrix co-occurrence teny-taratasy mba hiteraka embeddings antontan-taratasy, raha ny LDA dia mampiasa modely sary probabilistic mba hianatra ny lohahevitra fametrahana. Asehoy fa ny habetsaky ny vokatra vektor [ [ ] Mety ho loharanom-baovao mahery vaika ho an'ny fametrahana fehezan-dalàna. 16 3 Ary ny et al. 38 Miaraka amin'ny fampandrosoana ny modely fiteny voamarina [ Ny Ny ] and large-scale labeled datasets such as SNLI [ ary ny marika [ ], ny fomba toy ny Sentence-BERT [ Na dia izany aza, ny [ ], Fitsarana T5 [ [Na dia izany aza, na dia ao amin'ny TSE aza] Ny ankamaroan'ny fikarohana dia mifantoka amin'ny lahatsoratra fohy ary noho izany dia mampiasa ny teny hoe "fiteny embeddings". Ho an'ny antontan-taratasy lava, dia mbola misy fanadihadiana misokatra ny fanadihadiana fanontaniana raha ny fikarohana amin'ny fe-potoana voafetra dia afaka mandika ny fampahalalana rehetra. ] dia hita fa mahomby kokoa noho ny fahaverezana mifototra amin'ny fahaverezana [ Ny Ao anaty fitafiana vita amin'ny lamba. Amin'ny alalan'ny laser ary ny vovoka [ ] miakatra bebe kokoa ho an'ny fiteny maro sy multi-modal toe-javatra mampiasa andininy parallel sy ny sary-tsoratra pairs. 17 35 48 6 8 49 22 44 39 10 49 14 20 2 47 Ny lalana iray hafa dia ny famolavolana asa fanomanana mialoha amin'ny fanaraha-maso ny tenimiafina ho an'ny fifanarahana sy ny famerenana lahatsoratra. [ ] dia manolotra ny asa antsoina hoe inverse cloze (ICT), izay misy fehezan-teny vahiny ao anatin'ny andininy nofidiana ho toy ny pseudo-query ary ny sisa dia ara-drariny ho toy ny ohatra tsara. ] dia mampiseho fa ny fanapahan-kevitra amin'ny fanamafisana ny angon-drakitra dia mahomby kokoa noho ny ICT amin'ny sehatry ny fampahalalam-baovao zero-shot. Ampiasao ny soratra akaiky amin'ny endrika tsara sy hampitombo ny habetsaky ny modely amin'ny 175B. Oguz et al. Manao fampiofanana mialoha amin'ny sehatra mifanaraka amin'ny sehatra mba hanatsarana ny vokatra ao amin'ny sehatra. [ ] dia manara-maso ny Retriever matanjaka amin'ny alalan'ny fitsaboana BM25 ho toy ny modely mpampianatra. Na dia afaka mahazo famantarana be dia be aza ny fomba voalaza etsy ambony, ny angon-drakitra toy izany dia matanjaka amin'ny kalitao ambany. ] mampiseho fa miezaka ny mifanaraka amin'ny fampisehoana ny BM25 raha tsy misy fanamafisana bebe kokoa amin'ny angon-drakitra voasoratra. 9 28 41 [45 taona] 11 53 Ny fanombanana sy ny fanazavana ny fametrahana lahatsoratra dia tsy mahazatra ihany koa. Ny ankamaroan'ny valin-teny dia manamarina ny kalitaon'ny fametrahana amin'ny alàlan'ny fampiharana ny asa. Ohatra, SentEval [ ] dia mampiasa fanadihadiana ara-dalàna sy fanangonana datasets semantic textual similarity (STS), raha ny benchmark BEIR [ ] dia mifantoka amin'ny toe-javatra azo avy amin'ny famerenana ny angon-drakitra zero-shot. Ny fampidirana vao haingana MTEB benchmark [ ] mampifandray angon-drakitra 56 mihoatra ny asa 8 sy 112 fiteny. Ny fanandramana dia mampiseho fa tsy misy modely afaka hahatratra ny farany indrindra vokatra amin'ny fampidirana asa rehetra hatramin'izao. 13 53 40 Ny tena mifandray akaiky amin'ny asa ataonay dia ny ezaka isan-karazany amin'ny fiaraha-monina mba hampiofanana ny embeddings amin'ny fanangonana rakitra angon-drakitra voasoratra sy voasoratra. Ao amin'ity lahatsoratra ity, dia mampiseho fa azo atao ny fampiofanana ny rakitra voasoratra avo lenta amin'ny alàlan'ny fampiofanana mialoha amin'ny fanaraha-maso manokana ihany. Amin'ny lafiny ny valin'ny benchmark, ny modely dia afaka mahatratra fampisehoana ambony rehefa voafaritra amin'ny angon-drakitra voasoratra ambany. Ny famindrana 2 3 CCPairs: Fanangonana lehibe amin'ny rakitra mpifaninana dataset Ny kalitaon'ny angon-drakitra sy ny fahasamihafana dia manan-danja amin'ny fampiofanana ny fametrahana lahatsoratra amin'ny tanjona ankapobeny. Ao amin'ity asa ity, dia manangona sy manangona CCPairs, dataset avo lenta avy amin'ny loharanom-baovao an-tserasera izay manome feo fampiofanana isan-karazany izay alefa tsara ho an'ny asa maro. Ny angon-drakitra lehibe avo lenta toy ny C4 [ ] ary ny CCMatrix [ ] dia manan-danja ho an'ny fahombiazana amin'ny fiteny modely fanomanana sy ny milina fandikan-teny. ho an'ny fianarana lahatsoratra embeddings, efa misy asa na mampiasa kely-maso ny olona-annotated angona toy ny NLI [ ary ny marika [ ] or adopt heuristics such as random cropping [ [ ] mba hahazoana famantarana fanaraha-maso be dia be, fa tena feo. Harvesting semi-structured data sources 48 51 22 8 28 Amin'ny alàlan'ny fanadihadiana, dia tsy maintsy mampiasa ny angon-drakitra amin'ny alàlan'ny fanadihadiana amin'ny alàlan'ny alàlan'ny fanadihadiana ( Ny Ny teny Lean Amin'ny alàlan'ny fametrahana ny angon-drakitra amin'ny alàlan'ny fametrahana ny angon-drakitra amin'ny alàlan'ny fametrahana ny angon-drakitra amin'ny alàlan'ny fametrahana ny angon-drakitra ( Ny ) manondro ny tsipika iray izay ahitana fanontaniana Ary ny lalana Eto no ampiasaintsika » ” to denote word sequences of arbitrary length, which can be a short sentence, a paragraph, or a long document. Our dataset includes (post, comment) pairs from Reddit , (fanontaniana, valin'ny valiny) pairs avy amin'ny Stackexchange , (namana entity + lohateny lohateny, andininy) pairs avy amin'ny teny Anglisy Wikipedia, (ny lohateny, abstract) sy ny citation pairs avy amin'ny Scientific papers [ [Na: Fa inona no fanantenan'ny mpihatsaravelatsihy, na dia mahazo harena aza. tranonkala sy ny loharanom-baovao isan-karazany. C C Pairs q p q p Ny lalana 3 4 36 5 Izahay ihany koa dia ahitana loharanom-baovao izay azo ampiharina automatique, ary ny sasany subsets dia miverina mivantana avy amin'ny datasets efa misy. Ny fitsipika tsotra heuristic dia ampiharina mba hanasitrana ny angon-drakitra avy amin'ny Reddit sy ny Common Crawl. Ohatra, dia manala ny fanehoan-kevitra Reddit izay lava loatra ( 4096 marika) na mahazo vokatra latsaky ny 1, ary esorina avy amin'ny tranonkala miaraka amin'ny fahadisoana lehibe [ ]. Taorian'ny fanasitranana mialoha, dia tonga amin'ny ∼ 1 * * 3 lavitrisa mpivady, ny ankamaroan'izy ireo avy amin'ny Reddit sy Common Crawl. > 60 A ny Mba hanatsarana bebe kokoa ny kalitaon'ny angon-drakitra sy hanatsarana ny fandaniana fampiofanana, dia manolotra teknika fanasitranana angon-drakitra mifototra amin'ny tsipiriany isika: ny modely dia voaomana voalohany amin'ny 1 * * 3B mpandihetseham-bokatra, ary avy eo ampiasaina mba handresy ny tsirairay amin'ny mpandray anjara 1 tapitrisa. amin'ny lisitry ny fametrahana. amin'ny teny hafa, ny fanambaran'ny modely dia tokony hifanaraka amin'ny marika fampiofanana. = 2 mifototra amin'ny fanaraha-maso ny kalitaon'ny angon-drakitra. Taorian'io dingana io, dia tonga amin'ny ∼ 270M pairs lahatsoratra ho an'ny fampiofanana mialoha. Consistency-based filter k k Ny fahatsapana ho an'ity teknika ity dia avy amin'ny fitondran-tenan'ny fametrahana ny tambajotra neuronal [ [ ]: rehefa nianatra amin'ny angon-drakitra mampihomehy, ny tambajotra neuronal dia maniry ny mamonjy ny labels madio voalohany ary avy eo dia mandroso ny labels mampihomehy. , Ny ] dia nampiasaina be dia be ho an'ny fanesorana ny feo dataset. Azo atao ihany koa ny mampihatra ity filtration iterative, dia hamela azy ho amin'ny hoavy asa. 19 42 15 23 4 Ny fomba Our embeddings can be trained with only unlabeled text pairs from CCPairs with contrastive pre-training. A second-stage fine-tuning on small, high-quality labeled datasets can be performed to further boost the quality of the resulted embeddings. See Figure Ho an'ny fijerena. 1 4.1 Mifanohitra amin'ny fampiofanana mialoha amin'ny angon-drakitra tsy voamarina Contrastive pre-training aims to distinguish the relevant text pairs from other irrelevant or negative pairs. Given a collection of text pairs {( Ny , dia manome lisitry ny fizarana ratsy { −} = 1 ho an'ny -th ohatra. Avy eo ny InfoNCE fifanoherana fahaverezana Toy izao manaraka izao: Ary ny Pi. n p M ny i [10] Aiza ( ) dia asa fanamarinana eo amin'ny fanontaniana Ny lalana Ny parametrika dia Miaraka amin'ny fanorenana biencoder malaza, dia mampiasa tranokala Transformer encoder mialoha ny fampiofanana sy ny fametrahana eo amin'ny sehatry ny output mba hahazoana fitehirizana lahatsoratra amin'ny habetsaky ny habetsahan'ny Ary Ny valin'ny dia ny fahasamihafana amin'ny cosine mifanaraka amin'ny hyperparameter ny hafanana. Ny : Ny Ny P q p θ E q E p τ θ θ Aiza is set to 0.01 in our experiments by default. We use a shared encoder for all input texts and break the symmetry by adding two prefix identifiers Ary Ny Ary Ho an'ny loharanom-baovao sasany, toy ny toro-hevitra pairs, dia tsy mazava izay lafiny tokony ho ny fanontaniana, dia misafidy ny iray amin'ny fomba mahazatra isika. Ny famolavolana asymmetric toy izany dia hita fa manan-danja amin'ny asa sasany amin'ny fikarohana izay misy parafrases ny fanontaniana ao amin'ny korpus tanjona. τ Ny fanontaniana dia : Ny lalana : q d Ny olana manan-danja hafa ho an'ny fampiofanana mifanohitra dia ny fomba hifidy ny sampana ratsy. Eto dia manapa-kevitra ny mampiasa ny vahaolana ao amin'ny batch [ ], where the passages from other pairs in a batch serve as negative samples. We find that this simple strategy enables more stable training and outperforms methods such as MoCo Rehefa lehibe loatra ny habeny. 10 [25] Ny 4.2 Fine-tuning amin'ny Labeled Data Raha ny fampiofanana mialoha amin'ny CCPairs dia manome fototra mahery vaika ho an'ny fampiasàna amin'ny tanjona ankapobeny, ny fampiofanana bebe kokoa amin'ny angon-drakitra voasoratra dia afaka mametraka ny fahalalana momba ny olombelona ao amin'ny modely mba hanatsarana ny vokatra. Ny Manaporofo fa ny fanaraha-maso ny fanaraha-maso dia mitarika amin'ny fitomboan'ny fahombiazan'ny fampisehoana. Ao amin'ity lahatsoratra ity, dia manapa-kevitra ny hampiofanana bebe kokoa amin'ny fiombonana ny angon-drakitra telo: NLI (Natural Language Inference), MS-MARCO Passage Ranking Dataset ho an'ny fiteny voajanahary [ ], ary ny dataset NQ (Vahoaka voajanahary) [ Ny Empirika, asa toy ny STS (Semantic Textual Similarity) sy linear sonding tombony avy amin'ny NLI angona, raha MS-MARCO sy ny NQ datasets mandefa tsara amin'ny fikarohana asa. 43 44 6 8 30 32 Miorina amin'ny fomba fanao amin'ny fampiofanana ny fanatanjahan-tena amin'ny fanatanjahan-tena maoderina [ Ny ], dia mampiasa ny hard negatives na ny fahalalana destillation avy amin'ny cross-encoder (CE) mpampianatra modely ho an'ny MS-MARCO sy NQ datasets. Ho an'ny NLI datasets, ny fehezan-teny mifanohitra dia heverina ho hard negatives. Mifantoka amin'ny taratasy mafy sy ny fahasamihafana KL KL ho an'ny distillation soft labels avy amin'ny mpampianatra modely. 50 58 L D Aiza Izany ary Sto dia ny vintana avy amin'ny modely mpampianatra mpifanaraka sy ny modely mpianatra. dia hyperparameter mba hampifanaraka ny roa fahaverezan'ny asa. Mitovy amin'ny mitovy amin'ny mitovy amin'ny p p α L 1. 4.3 Applications ho an'ny Text Embedding Tasks Taorian'ny dingana roa etsy ambony, dia mahazo lahatsoratra avo lenta fidirana tsara ho an'ny maro isan-karazany asa tsy misy fanamafisana tsara ny modely parameters. Miaraka amin'ny teknika toy ny manodidina akaikin'ny manodidina fikarohana, ny fidirana dia manome vahaolana azo ampiharina sy mahomby ho an'ny fampiharana toy ny fikarohana an-tserasera. Voalohany, ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana. ny lisitry ny corpus mifototra amin'ny fahasamihafana cosine. Zero-shot Retrieval k Ny famaritana linear dia nampiofana eo amin'ny ambony amin'ny fihenan-tsakafo miaraka amin'ny ohatra vitsivitsy voasoratra. Ny asa samihafa dia tsy ilaina afa-tsy ny fampiofanana sy ny famonjena ny parameters amin'ny lohan'ny famaritana. Azo heverina ho endrika manokana amin'ny fampianarana mahomby amin'ny parametera izany Few-shot Text Classification [27]. Ny lahatsoratra entana sy ny taratasy dia miova amin'ny andininy mifototra amin'ny endriky ny taratasy voasoratra an-tanana. Ny taratasy voatendry dia izay akaiky indrindra amin'ny lahatsoratra entana ao amin'ny sehatry ny embedding. Jereo ny famaritana ny fihetseham-po ny sarimihetsika ho ohatra, miaraka amin'ny fidirana voalohany " ”, ny rakitra lahatsoratra dia “ ” ary ny lahatsoratra fidirana dia lasa ” ”. Zero-shot Text Classification Mankafy ny mijery izany Ity dia ohatra iray amin'ny sarimihetsika lehibe / lehibe Sary avy amin'ny sarimihetsika: Tiako ny mijery izany Noho ny fametrahana lahatsoratra roa, dia mampiasa ny asa cosine izahay mba handrefesana ny fahasamihafana ara-tsosialy. Satria ny valin'ny fahasamihafana tanteraka dia tsy mamela fanazavana mora, ny fanombanana dia matetika mifototra amin'ny coefficients fifandraisana. Semantic Textual Similarity Ny algorithm cluster standard toy ny k-means dia azo ampiharina mivantana. Ny lahatsoratra ao amin'ny sokajy mitovy dia heverina ho akaiky ao amin'ny sehatra embedding. Text Clustering Ho an'ny asa hafa noho ny famaritana sy ny famerenana lahatsoratra amin'ny zero-shot, dia mampiasa ny fanadihadiana embeddings amin'ny ankapobeny. 5 Ny fanandramana 5.1 Pre-training and Fine-tuning Configurations Izahay mialoha fampiofanana eo amin'ny voatendry lahatsoratra roa dataset ho an'ny modely telo lehibe: E5small, E5base sy E5large nanomboka amin'ny MiniLM [59], bert-base-uncased, ary bert-large-uncased-whole-wordmasking amin'ny fomba mifanaraka amin'izany. Ny habetsahan'ny batch dia napetraka ho lehibe ny 32 768 mba hampitombo ny isan'ny ratsy. Ny fampiofanana tahan'ny dia {3, 2, 1}×10−4 ho an'ny {small, base, large} modely, amin'ny linear fihenana sy ny voalohany 1000 dingana ho an'ny warmup. Izahay mialoha fampiofanana ho 20k dingana amin'ny ankapobeny amin'ny Adam Pre-training Izany dia ampiasaina amin'ny fametrahana ny angon-drakitra: MS-MARCO Passage Ranking [ ], NQ [ , ], and NLI [ Izahay dia mampiasa indray ny tsy fahampian'ny tsy fahampian'ny tsy fahampian'ny tsy fahampian'ny tsy fahampian'ny tsy fahampian'ny tsy fahampian'ny tsy fahampian'ny tsy fahampian'ny tsy fahampian'ny tsy fahampian'ny tsy fahampian'ny tsy fahampian'ny tsy fahampian'ny tsy fahampian'ny tsy fahampian'ny tsy fahampian'ny tsy fahampian'ny tsy fahampian'ny olona. ] for the first two datasets. Models are fine-tuned for 3 epochs with batch size 256 on 8 GPUs. Learning rate is {3*,* 2*,* 1}×10−5 for the {small, base, large} models with 400 steps warmup. For each example, we use 7 hard negatives. Since the NLI dataset only has 1 hard negative for each example, 6 sentences are randomly sampled from the entire corpus. Fine-tuning 8 32 30 22 58 We use E5-PT to denote models with contrastive pre-training only. More implementation details can be found in Appendix B. 5.2 Evaluation Datasets is a collection of 19 information retrieval datasets, ranging across ad-hoc web search, question answering, fact verification and duplicate question retrieval, etc. We evaluate the 15 datasets that provide public downloads. The main metric is nDCG@10. BEIR Benchmark [ ] 53 53 Nolavinay vao haingana ho an'ny benchmarking ho an'ny asa fametrahana lahatsoratra be dia be. Na dia maro amin'ny fiteny aza ny MTEB noho ny fampidirana datasets amin'ny fanamboarana bittex, ny ankamaroan'ny datasets dia mbola azo jerena amin'ny teny anglisy ihany. Ao amin'ity lahatsoratra ity, dia mandinika ny subset Anglisy, izay manana datasets 56 mihoatra amin'ny sokajy 6: Classification (Class.), Clustering (Clust.), Pair Classification (PairClass.), Rerank, Retrieval (Retr.), STS, ary Summarization (Summ.). Ny metriky fanombanana dia ny marina, v-measure, average precision, MAP, nDCG@10, ary Spearman coeffici MTEB Benchmark [ ] 40 40 5.3 Results on BEIR benchmark In Table we show model results that do not use any labeled data. When averaged over all 15 datasets, E5-PTbase outperforms the classic BM25 algorithm by 1*.*2 points. To the best of our knowledge, this is the first reported result that an unsupervised model can beat BM25 on the BEIR benchmark. When scaling up to E5-PTlarge, we see further benefits from42. *2. Results with Unsupervised Methods 1, 9 to 44 In terms of pre-training tasks, Contriever adopts random cropping, while LaPraDor combines ICT and dropout-as-positive-instance from SimCSE. The methods can easily obtain large-scale training data, while our approach requires more effort in dataset curation. Such efforts pay off with better results. Recent studies [ , , ] also show that improving data quality is a vital step for training large language models. 34 60 21 In Table Izahay dia mifanaraka amin'ny modely amin'ny angon-drakitra voatendry ary avy eo mandefa azy ireo ho any amin'ny BEIR benchmark. Satria ny angon-drakitra amin'ny fanamafisana tsara dia ahitana MS-MARCO sy NQ, ny isa mifanaraka amin'izany dia vokatra ao amin'ny sehatra. Ho an'ny angon-drakitra hafa, ireo dia vokatra zero-shot. Ny modely E5base dia mahatratra nDCG@10 amin'ny 48*.*7, efa mihoatra noho ny fomba efa misy amin'ny fomba maro toy ny GTRlarge [ ]. Most datasets benefit from supervised fine-tuning, but there are also a few exceptions such as FiQA, Scidocs, and Fever, etc. This is likely due to the lack of enough domain diversity for the fine-tuning datasets. Results with Supervised Fine-tuning 2, 43 5.4 Results on MTEB benchmark In Table E5 models not only substantially outperform existing ones with similar sizes, but also match the results of much larger models. The top-2 models on MTEB leaderboard Ny GTRxxl sy ny Sentence-T5xxl dia manana parameter 4 * * 8B, raha ny modely E5large dia mihoatra noho ny 10× kely kokoa amin'ny parameter 300M. Manantena isika fa ny modely dia hahazo tombony amin'ny fanitarana tsy tapaka. 3, 7 Since the difference between BERT-FTbase and E5base is that BERT-FTbase only has fine-tuning stage, their performance gap demonstrates the usefulness of contrastive pre-training on our proposed CCPairs dataset. For most task categories except Clustering, performance improves after supervised fine-tuning. Consistent with prior works [ , ], this once again demonstrates the importance of incorporating human knowledge for learning better text embeddings. It remains an open question whether state-of-the-art embeddings can be obtained in a purely self-supervised manner. 43 44 Table shows the zero-shot text classification results on the dev set of the SST-2 dataset [ ]. By formulating text classification as embedding matching between input and label texts, our model can be much better than the “majority” baseline in a zero-shot setting. We use the prompt template from Section 4 52 4.3. 5.5 Analysis Ao amin'ity fizarana ity, dia manao fanadihadiana isan-karazany izahay mba hijery ny safidy samihafa amin'ny famolavolana. Ny isa rehetra ao amin'ity fizarana ity dia avy amin'ny modely fototra. Ho an'ny benchmark BEIR, dia misafidy antontan-taratasy 6 miaraka amin'ny vokatra maharitra kokoa amin'ny dingana samihafa. C. Since we use in-batch negatives for contrastive pre-training, larger batch size will provide more negatives and therefore improve the quality of the learned text embeddings. In Table increasing batch size from 1K to 32K leads to consistent gains across all 6 datasets. It is also possible to train with smaller batch sizes by adding hard negatives [ Na izany aza, ny ezaka ara-teknika amin'ny famokarana negativa mafy ho an'ny angon-drakitra lehibe (> 100M) dia tsy mahazatra. Impacts of Batch Size 5, 50 GTR models are fine-tuned with “MS-MARCO + NQ”, while Sentence-T5 models use NLI instead. In Table we can see that the “MS-MARCO + NQ” setting performs best on retrieval tasks, and the NLI data is beneficial for STS and linear probing classification. Similar observations are also made by Muennighoff et al. . Combining all of them leads to the best overall scores on the MTEB benchmark. This also illustrates the importance of dataset diversity for learning text embeddings. Fine-tuning Datasets 6, [40] Ny dingana iray manan-danja ao amin'ny dataset curation pipeline dia ny fanasitranana ny tsipiriany amin'ny kalitao ambany. when training with 1M pairs, using filtered data has a nearly 6 points advantage. When all the text pairs are used, the “w/o filter” setting has about 4× more data but is still behind by 1*.*6 points. Though recent studies [ , ] show that deep learning models are quite robust to dataset noises, data filtering still has benefits in improving training efficiency and model quality. Data Filtering 7, 29 47 We explore two alternative methods to enlarge the number of negatives: Pre-batch negatives [ ] reuse embeddings from previous batches as additional negatives, while MoCo Negative Sampling 33 [ ] introduces a momentum encoder and uses a FIFO queue to store negatives. For both approaches, the negative size can be easily scaled up without incurring much GPU memory overhead. The downside is that most negatives are produced by an older version of model parameters. In Table in-batch negatives still perform favorably. Empirically, we find that MoCo is more sensitive to certain hyperparameters such as temperature, better results are possible with more tuning. 25 8, Miaraka amin'ny fampandrosoana haingam-pandeha haingam-pandeha amin'ny modely, afaka manolo ny algorithm BM25 efa ela hatramin'izao ve isika? ”. BM25 mbola manana tombontsoa mazava eo amin'ny fahasamihafana, ny fahombiazan'ny, ary ny fahafantarana. Ho an'ny sehatra lava lava toy ny Trec-Covid [ ] and retrieval tasks that involve long documents (Touche-2020) [ [ ] Na miankina mafy amin'ny fifanarahana marina amin'ny lexical (Fever) [ ], further research efforts are still necessary to improve current dense retrievers. BM25 vs Dense Retrieval not yet 55 4 54 6 Ny fanapahan-kevitra In this work, we train a general-purpose text embedding model E5 from weak supervision signals. We adopt a simple contrastive training framework with in-batch negatives and learn from a large-scale text pair dataset we harvest from heterogeneous data sources across the web. E5 offers strong off-the-shelf performance for a wide range of tasks requiring single-vector text representations such as retrieval, semantic textual similarity, and text matching. When further customized for downstream tasks, E5 achieves superior fine-tuned performance compared to existing embedding models with 40× more parameters on the large, 56-task MTEB benchmark datasets. References [1] Sanjeev Arora, Yingyu Liang, and Tengyu Ma. A simple but tough-to-beat baseline for sentence embeddings. In OpenReview.net amin'ny taona 2017. . 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings https://openreview.net/forum?id=SyK00v5xx [2] Mikel Artetxe and Holger Schwenk. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. , 7:597–610, 2019. doi: 10.1162/tacl_a_00288. URL . . Transactions of the Association for Computational Linguistics https://aclanthology Tany amin'ny Q19-1038 [3] David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent dirichlet allocation. In Thomas G. Dietterich, Suzanna Becker, and Zoubin Ghahramani, editors, , pages 601–608. MIT Press, 2001. URL . Advances in Neural Information Processing Systems 14 [Neural Information Processing Systems: Natural and Synthetic, NIPS 2001, December 3-8, 2001, Vancouver, British Columbia, Canada] https://proceedings.neurips.cc/paper/2001/hash/ 296472c9542ad4d4788d543508116cbc-Abstract.html [4] Alexander Bondarenko, Maik Fröbe, Johannes Kiesel, Shahbaz Syed, Timon Gurcke, Meriem Beloucif, Alexander Panchenko, Chris Biemann, Benno Stein, Henning Wachsmuth, et al. Overview of touché 2022: argument retrieval. In , pages 311–336. Springer, 2022. International Conference of the Cross-Language Evaluation Forum for European Languages [5] Vera Boteva, Demian Gholipour, Artem Sokolov, and Stefan Riezler. A full-text learning to rank dataset for medical information retrieval. In , pages 716–722. Springer, 2016. European Conference on Information Retrieval [6] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In , pages 632–642, Lisbon, Portugal, 2015. Association for Computational Linguistics. doi: 10.18653/v1/D15-1075. URL Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing https: . //aclanthology.org/D15-1075 [7] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhari-wal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learn-ers. In Hugo Larochelle, Marc’Aurelio Ranzato, Raia Hadsell, Maria-Florina Balcan, and Hsuan-Tien Lin, editors, , 2020. URL . Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual https://proceedings.neurips.cc/paper/2020/hash/ 1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html [8] Daniel Fernando Campos, Tri Nguyen, Mir Rosenberg, Xia Song, Jianfeng Gao, Saurabh Tiwary, Rangan Majumder, Li Deng, and Bhaskar Mitra. Ms marco: A human generated machine reading comprehension dataset. , abs/1611.09268, 2016. ArXiv [9] Wei-Cheng Chang, Felix X. Yu, Yin-Wen Chang, Yiming Yang, and Sanjiv Kumar. Pre-training tasks for embedding-based large-scale retrieval. In . OpenReview.net, 2020. URL . 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020 https://openreview.net/forum?id=rkg-mA4FDr [10] Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey E. Hinton. A simple framework for contrastive learning of visual representations. In , volume 119 of , pages 1597–1607. PMLR, 2020. URL Proceedings of the 37th International Conference on Machine Learning, ICML 2020, 13-18 July 2020, Virtual Event Proceedings of Machine Learning Research http: . //proceedings.mlr.press/v119/chen20j.html [11] Xilun Chen, Kushal Lakhotia, Barlas Og˘uz, Anchit Gupta, Patrick Lewis, Stan Peshterliev, Yashar Mehdad, Sonal Gupta, and Wen-tau Yih. Salient phrase aware dense retrieval: Can a dense retriever imitate a sparse one? , 2021. arXiv preprint arXiv:2110.06918 [12] Arman Cohan, Sergey Feldman, Iz Beltagy, Doug Downey, ary Daniel S Weld. Specter: fampianarana fampisehoana amin'ny sehatra dokam-barotra amin'ny fampiasana transformers vaovao. , pages 2270–2282, 2020. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics [13] Alexis Conneau sy Douwe Kiela. SentEval: fitaovana fanombanana ho an'ny fanehoan-kevitra ankapobeny. , Miyazaki, Japan, 2018. European Language Resources Association (ELRA). URL . Proceedings of the Eleventh International Conference on Language Re-sources and Evaluation (LREC 2018) https://aclanthology.org/L18-1269 [14] Alexis Conneau, Douwe Kiela, Holger Schwenk, Loïc Barrault, ary Antoine Bordes. Fanaraha-maso ny fianarana momba ny fampisehoana andininy ankapobeny avy amin'ny angon-drakitra momba ny fiteny voajanahary. , pages 670–680, Copenhagen, Denmark, 2017. Association for Computational Linguistics. doi: 10.18653/v1/D17-1070. URL . Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing https://aclanthology.org/D17-1070 [15] Zhuyun Dai, Vincent Zhao, Ji Ma, Yi Luan, Jianmo Ni, Jing Lu, Anton Bakalov, Kelvin Guu, Keith B. Hall, and Ming-Wei Chang. Promptagator: Few-shot dense retrieval from 8 examples. , abs/2209.11755, 2022. Araka ny [16] Scott Deerwester, Susan T Dumais, George W Furnas, Thomas K Landauer, and Richard Harshman. Indexing by latent semantic analysis. , 41(6): 391–407 ny taona 1990. Journal of the American society for information science [17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, ary Kristina Toutanova. BERT: fampiofanana mialoha amin'ny transformers ambaratonga roa ho an'ny fahatakarana ny fiteny. , pages 4171–4186, Minneapolis, Minnesota, 2019. Association for Computational Linguistics. doi: 10.18653/v1/N19-1423. URL . Proceedings of the 2019 Confer-ence of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) https://aclanthology.org/N19-1423 [18] Thomas Diggelmann, Jordan Boyd-Graber, Jannis Bulian, Massimiliano Ciaramita, and Markus Leippold. Climate-fever: A dataset for verification of real-world climate claims. , 2020. arXiv preprint arXiv:2012.00614 [19] Vitaly Feldman and Chiyuan Zhang. What neural networks memorize and why: Discovering the long tail via influence estimation. In Hugo Larochelle, Marc’Aurelio Ranzato, Raia Hadsell, Maria-Florina Balcan, and Hsuan-Tien Lin, editors, , 2020. URL . Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual https://proceedings.neurips.cc/ paper/2020/hash/1e14bfe2714193e7af5abc64ecbd6b46-Abstract.html [20] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, ary Wei Wang. Ny fiteny-agnostika bert fehezan-teny tafiditra. Ao , pages 878–891, 2022. Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) [21] Leo Gao, Stella Rose Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, Horace He, Anish Thite, Noa Nabeshima, Shawn Presser, and Connor Leahy. The pile: An 800gb dataset of diverse text for language modeling. , abs/2101.00027, 2021. Araka ny [22] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In , pejy 6894-6910, Online sy Punta Cana, Repoblika Dominikana, 2021. Association for Computational Linguistics. doi: 10.18653/v1/2021.emnlp-main.552. URL . Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing https://aclanthology.org/2021.emnlp-main.552 [23] Bo Han, Quanming Yao, Xingrui Yu, Gang Niu, Miao Xu, Weihua Hu, Ivor W. Tsang, and Masashi Sugiyama. Co-teaching: Robust training of deep neural networks with extremely noisy labels. In Samy Bengio, Hanna M. Wallach, Hugo Larochelle, Kris-ten Grauman, Nicolò Cesa-Bianchi, and Roman Garnett, editors, , Advances in Neu-ral Information Processing Systems 31: Annual Conference on Neural Information Processing Systems 2018, NeurIPS 2018, December 3-8, 2018, Montréal, Canada pages 8536–8546, 2018. URL . https://proceedings.neurips.cc/paper/2018/hash/ a19744e268754fb0148b017647355b7b-Abstract.html [24] Faegheh Hasibi, Fedor Nikolaev, Chenyan Xiong, Krisztian Balog, Svein Erik Bratsberg, Alexander Kotov, and Jamie Callan. Dbpedia-entity v2: a test collection for entity search. In , pages 1265–1268, 2017. Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval [25] Kaiming He, Haoqi Fan, Yuxin Wu, Saining Xie, and Ross B. Girshick. Momentum contrast for unsupervised visual representation learning. In , pejy 9726–9735. IEEE, 2020. doi: 10.1109/CVPR42600.2020.00975. URL . 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2020, Seattle, WA, USA, June 13-19, 2020 https://doi.org/10.1109/ CVPR42600.2020.00975 [26] Doris Hoogeveen, Karin M Verspoor, ary Timothy Baldwin. Cqadupstack: Daty benchmark ho an'ny fiaraha-monina fanadihadiana fanontaniana. , pages 1–8, 2015. Proceedings of the 20th Australasian document computing symposium [27] Neil Houlsby, Andrei Giurgiu, Stanislaw Jastrzebski, Bruna Morrone, Quentin de Laroussilhe, Andrea Gesmundo, Mona Attariyan, ary Sylvain Gelly. Parameter-fahaizana fampitaovana ho an'ny NLP. In Kamalika Chaudhuri sy Ruslan Salakhutdinov, mpamoaka, , volume 97 of , pages 2790–2799. PMLR, 2019. URL . Proceedings of the 36th International Conference on Machine Learning, ICML 2019, 9-15 June 2019, Long Beach, California, USA Proceedings of Machine Learning Research http://proceedings.mlr.press/v97/houlsby19a.html [28] Gautier Izacard, Mathilde Caron, Lucas Hosseini, Sebastian Riedel, Piotr Bojanowski, Armand Joulin, and Edouard Grave. Towards unsupervised dense information retrieval with contrastive learning. , abs/2112.09118, 2021. ArXiv [29] Chao Jia, Yinfei Yang, Ye Xia, Yi-Ting Chen, Zarana Parekh, Hieu Pham, Quoc V. Le, Yun-Hsuan Sung, Zhen Li, and Tom Duerig. Scaling up visual and vision-language representation learning with noisy text supervision. In Marina Meila and Tong Zhang, editors, , volume 139 of , pages 4904–4916. PMLR, 2021. URL . Proceedings of the 38th International Conference on Machine Learning, ICML 2021, 18-24 July 2021, Virtual Event Ny fikarohana momba ny Machine Learning http://proceedings.mlr.press/v139/jia21b.html [30] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wen-tau Yih. Dense passage retrieval for open-domain question answering. In , pejy 6769–6781, Online, 2020. Association for Computational Linguistics. doi: 10. 18653/v1/2020.emnlp-main.550. URL . . Ny fandaharam-potoana amin'ny 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) https://aclanthology.org/2020.emnlp-main 550 [31] Omar Khattab and Matei Zaharia. Colbert: Efficient and effective passage search via contex-tualized late interaction over BERT. In Jimmy Huang, Yi Chang, Xueqi Cheng, Jaap Kamps, Vanessa Murdock, Ji-Rong Wen, and Yiqun Liu, editors, , pages 39–48. ACM, 2020. doi: 10.1145/3397271.3401075. URL . Proceedings of the 43rd International ACM SIGIR conference on research and development in Information Retrieval, SIGIR 2020, Vir-tual Event, China, July 25-30, 2020 https://doi.org/10.1145/3397271.3401075 [32] Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, Kristina Toutanova, Llion Jones, Matthew Kelcey, Ming-Wei Chang, Andrew M. Dai, Jakob Uszkoreit, Quoc Le, and Slav Petrov. Natural questions: A benchmark for question answering research. , 7:452–466, 2019. doi: 10.1162/tacl_a_00276. URL . Transactions of the Association for Computational Linguistics https://aclanthology.org/Q19-1026 [33] Jinhyuk Lee, Mujeen Sung, Jaewoo Kang, and Danqi Chen. Learning dense representations of phrases at scale. In , pages 6634–6647, Online, 2021. Association for Computational Linguistics. doi: 10.18653/v1/2021.acl-long.518. URL . . Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers) https://aclanthology.org/2021 acl-long.518 [34] Katherine Lee, Daphne Ippolito, Andrew Nystrom, Chiyuan Zhang, Douglas Eck, Chris Callison-Burch, and Nicholas Carlini. Deduplicating training data makes language models better. In Ny taona 2022. Ny ACL [35] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. Ny fanapahan-kevitra dia ny fanapahan-kevitra ho an'ny fanapahan-kevitra. , abs/1907.11692, 2019. ArXiv [36] Kyle Lo, Lucy Lu Wang, Mark Neumann, Rodney Kinney, ary Daniel Weld. S2ORC: The semantic scholar open research corpus. , pejy 4969–4983, Online, 2020. Association for Computational Linguistics. doi: 10.18653/v1/2020.acl-main.447. URL . Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics https://aclanthology.org/2020.acl-main.447 [37] Macedo Maia, Siegfried Handschuh, André Freitas, Brian Davis, Ross McDermott, Manel Zarrouk, ary Alexandra Balahur. WWW'18 fanamby misokatra: fanamby ara-bola sy fanontaniana fanontaniana. , pages 1941–1942, 2018. Fifanarahana miaraka amin'ny webconference 2018 [38] Tomas Mikolov, Kai Chen, Gregory S. Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In Ny taona 2013. ICLR [39] Niklas Muennighoff. Sgpt: Gpt sentence embeddings for semantic search. , abs/2202.08904, 2022. ArXiv [40] Niklas Muennighoff, Nouamane Tazi, Loic Magne, and Nils Reimers. Mteb: Massive text embedding benchmark. , abs/2210.07316, 2022. ArXiv [41] Arvind Neelakantan, Tao Xu, Raul Puri, Alec Radford, Jesse Michael Han, Jerry Tworek, Qiming Yuan, Nikolas A. Tezak, Jong Wook Kim, Chris Hallacy, Johannes Heidecke, Pranav Shyam, Boris Power, Tyna Eloundou Nekoul, Girish Sastry, Gretchen Krueger, David P. Schnurr, Felipe Petroski Such, Kenny Sai-Kin Hsu, Madeleine Thompson, Tabarak Khan, Toki Sherbakov, Joanne Jang, Peter Welinder, and Lilian Weng. Text and code embeddings by contrastive pre-training. Ny fanapahan-kevitra dia ny fanapahan-kevitra dia ny fanapahan-kevitra. , abs/2201.10005, 2022. ArXiv [42] Duc Tam Nguyen, Chaithanya Kumar Mummadi, Thi-Phuong-Nhung Ngo, Thi Hoai Phuong Nguyen, Laura Beggel, and Thomas Brox. SELF: learning to filter noisy labels with self-ensembling. In . OpenReview.net, 2020. URL . . 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020 https://openreview net/forum?id=HkgsPhNYPS [43] Jianmo Ni, Chen Qu, Jing Lu, Zhuyun Dai, Gustavo Hern’andez 'Abrego, Ji Ma, Vincent Zhao, Yi Luan, Keith B. Hall, Ming-Wei Chang, ary Yinfei Yang. Ny mari-pahaizana roa lehibe dia mpamatsy. , abs/2112.07899, 2021. Araka ny [44] Jianmo Ni, Gustavo Hernandez Abrego, Noah Constant, Ji Ma, Keith Hall, Daniel Cer, and Yinfei Yang. Sentence-t5: Scalable sentence encoders from pre-trained text-to-text models. In , pages 1864–1874, 2022. Ny vokatra avy amin'ny Association for Computational Linguistics: ACL 2022 [45] Barlas Oguz, Kushal Lakhotia, Anchit Gupta, Patrick Lewis, Vladimir Karpukhin, Aleksandra Piktus, Xilun Chen, Sebastian Riedel, Scott Yih, Sonal Gupta, ary Yashar Mehdad. Domain-matched pre-training asa ho an'ny matanjaka famerenana. In , pejy 1524-1534. Association for Computational Linguistics, 2022. doi: 10.18653/v1/2022.findings-naacl.114. URL . Findings of the Association for Computational Linguistics: NAACL 2022, Seattle, WA, United States, July 10-15, 2022 https://doi.org/10.18653/v1/2022.findings-naacl.114 [46] Fabio Petroni, Aleksandra Piktus, Angela Fan, Patrick Lewis, Majid Yazdani, Nicola De Cao, James Thorne, Yacine Jernite, Vassilis Plachouras, Tim Rocktaschel, ary Sebastian Riedel. Ny famonoana: fitsipika ho an'ny andraikitry ny fahalalana. Ny taona 2020. North American Chapter avy amin'ny Association for Computational Linguistics [47] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervi-sion. In Marina Meila and Tong Zhang, editors, Amin'ny ankapobeny dia 139 , pejy 8748–8763. PMLR, 2021 URL . Proceedings of the 38th International Conference on Machine Learning, ICML 2021, 18-24 July 2021, Virtual Event Proceedings of Machine Learning Research http://proceedings.mlr.press/v139/radford21a.html [48] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. , 21:1–67, 2020. Journal of Machine Learning Research [49] Nils Reimers sy Iryna Gurevych. Sentence-BERT: Sentence embeddings mampiasa Siamese BERT-networks. ao amin'ny , pejy 3982-3992, Hong Kong, Shina, 2019. Association for Computational Linguistics. doi: 10.18653/v1/D19-1410. URL . Proceedings of the 2019 Conference on Empirical Methods in Natural Lan-guage Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) https://aclanthology.org/D19-1410 [50] Ruiyang Ren, Yingqi Qu, Jing Liu, Wayne Xin Zhao, QiaoQiao She, Hua Wu, Haifeng Wang, ary Ji-Rong Wen. RocketQAv2: fomba fiasan'ny fampiofanana ho an'ny famerenana sy ny famerenana ny lalana. , pages 2825–2835, Online and Punta Cana, Dominican Republic, 2021. Association for Computational Linguistics. doi: 10.18653/v1/2021.emnlp-main.224. URL . Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing https://aclanthology.org/2021.emnlp-main.224 [51] Holger Schwenk, Guillaume Wenzek, Sergey Edunov, Edouard Grave, Armand Joulin, and Angela Fan. CCMatrix: Mining billions of high-quality parallel sentences on the web. In , pages 6490–6500, Online, 2021. Association for Computational Linguistics. doi: 10.18653/v1/2021.acl-long.507. URL . Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers) https://aclanthology.org/2021.acl-long.507 [52] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, A. Ng, ary Christopher Potts. Modely mainty recursive ho an'ny semantic compositionality mihoatra ny fihetseham-po. , 2013. Fifanarahana momba ny fomba empirical amin'ny famoahana ny fiteny voajanahary [53] Nandan Thakur, Nils Reimers, Andreas Rücklé, Abhishek Srivastava, and Iryna Gurevych. Beir: A heterogeneous benchmark for zero-shot evaluation of information retrieval models. In Ny taona 2021. Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2) [54] James Thorne, Andreas Vlachos, Christos Christodoulopoulos, ary Arpit Mittal. FEVER: dataset lehibe ho an'ny fanesorana sy ny fanamarinana ny zava-misy. , pejy 809-819, New Orleans, Louisiana, 2018. Association for Computational Linguistics. doi: 10.18653/v1/N18-1074. URL Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers) https: . //aclanthology.org/N18-1074 [55] Ellen Voorhees, Tasmeer Alam, Steven Bedrick, Dina Demner-Fushman, William R Hersh, Kyle Lo, Kirk Roberts, Ian Soboroff, ary Lucy Lu Wang. Trec-covid: famoronana fanandramana famerenana vaovao ho an'ny pandemic. , andininy 54, pejy 1–12. ACM New York, NY, Etazonia, 2021 ACM SIGIR Forum [56] Henning Wachsmuth, Shahbaz Syed, and Benno Stein. Retrieval of the best counterargument without prior topic knowledge. In , pages 241–251, 2018. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) [57] David Wadden, Shanchuan Lin, Kyle Lo, Lucy Lu Wang, Madeleine van Zuylen, Arman Cohan, and Hannaneh Hajishirzi. Fact or fiction: Verifying scientific claims. In , pages 7534–7550, 2020. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) [58] Liang Wang, Nan Yang, Xiaolong Huang, Binxing Jiao, Linjun Yang, Daxin Jiang, Rangan Majumder, and Furu Wei. Simlm: Pre-training with representation bottleneck for dense passage retrieval. , abs/2207.02578, 2022. ArXiv [59] Wenhui Wang, Hangbo Bao, Shaohan Huang, Li Dong, and Furu Wei. Minilmv2: Multi-head self-attention relation distillation for compressing pretrained transformers. In , pages 2140–2151, 2021. Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021 [60] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and Edouard Grave. CCNet: Extracting high quality monolingual datasets from web crawl data. In , pages 4003–4012, Marseille, France, 2020. European Language Resources Associ-ation. ISBN 979-10-95546-34-4. URL . Ny fandaharam-potoana amin'ny Fivoriamben'ny Fiteny sy ny Fanombanana faha-12 https://aclanthology.org/2020.lrec-1.494 [61] Lee Xiong, Chenyan Xiong, Ye Li, Kwok-Fung Tang, Jialin Liu, Paul N. Bennett, Junaid Ahmed, and Arnold Overwijk. Approximate nearest neighbor negative contrastive learning for dense text retrieval. In OpenReview.net, ny taona 2021. . . 9th International Conference on Learning Representations, ICLR 2021, Virtual Event, Aostralia, 3 - 7 May 2021 https://openreview net/forum?id=zeFrfgyZln [62] Canwen Xu, Daya Guo, Nan Duan, and Julian McAuley. Laprador: Unsupervised pretrained dense retriever for zero-shot text retrieval. In , pejy 3557–3569, ny taona 2022. Findings of the Association for Computational Linguistics: ACL 2022 [63] Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov, and Christopher D Manning. Hotpotqa: A dataset for diverse, explainable multi-hop question answering. In , pejy 2369–2380, ny taona 2018. Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing A Dataset Details Ho an'ny Common Crawl, mandehandeha ny 2022-33 snapshot sy cc_net is used for preprocessing including language identification, de-duplication, language model filtering, etc. Web pages from the MS-MARCO document ranking corpus are also included. For the data filtering step, we examine each pair of passages within a web page instead of just using the title as a query. For Wikipedia, we use the version released by Petroni et al. Mba hisorohana ny fiarovana azo atao amin'ny angon-drakitra, dia esorina ny tsipiriany an-tsoratra izay hita ao amin'ny angon-drakitra fanombanana mifototra amin'ny fifanarahana marina. 8 [46] Ny angon-drakitra Reddit dia nangonina avy amin'ny taona 2018 ka hatramin'ny volana Aogositra 2022. Ho an'ny angon-drakitra S2ORC, dia mampiasa tsindrona 0 * * 3 mandritra ny fampiofanana izahay mba hisorohana ny fiheverana be loatra amin'ny sehatry ny siansa. Ho an'ny benchmark BEIR, dia mampiasa ny angon-drakitra 15 izay manome downloads ho an'ny daholobe isika: MS MARCO [ [Na: Fa inona no fanantenan'ny mpihatsaravelatsihy? ], NFCorpus [ ], NQ [ [Na: Fa inona no fanantenan'ny mpihatsaravelatsihy? Ny fiantraikany [ ], ArguAna [ ], Tohizo 2020 [ ], CQADupStack [ ], Quora, DBPedia [ Na dia izany aza, ny fihenjanana [ Ny hafanana [ ], Climate-Fever [ ], and Scifact 8 55 5 32 63 37 56 4 26 24 12 54 18 [57]. B Implementation Details Omeo ny hyperparameters ao amin'ny tabilao Satria misy daty fanombanana sasany dia manana lahatsoratra lava, dia manafoana ny toerana embeddings mandritra ny fampiofanana mialoha sy ny fanamafisana ary mametraka ny boky ambony indrindra amin'ny 512 ho an'ny fanombanana. 11. For the Quora duplicate retrieval task in the BEIR benchmark, we add prefix “ ” to all the questions. For other retrieval tasks, we use “ ” and “ ” prefixes correspondingly. Ny fanontaniana dia: Ny fanontaniana dia: passage: Ny vokatry ny MS-MARCO ao amin'ny latabatra use document titles provided by RocketQA [ ]. This evaluation setup is consistent with most state-of-the-art dense retrievers. However, the MS-MARCO data from the BEIR benchmark does not have titles, so the results are expected to be lower. 12 50 We report results for in-domain datasets in Table Ireo vokatra ireo dia afaka manampy amin'ny fampisehoana ny tombontsoa azo avy amin'ny fampiofanana mialoha amin'ny fifanoherana rehefa misy angon-drakitra marika ao amin'ny sehatra marika. Ho an'ny MS-MARCO passage ranking, MRR@10 sy Recall@1k dia nitatitra. Ho an'ny dataset NQ, Recall@20 sy Recall@100 no metriky fototra. In-domain Evaluation 12. C. Ny vokatra ratsy Indreto ny sasany amin'ireo fanandramana izay azontsika atao amin'ny farany: Similar to DPR [ ], dia manampy iray BM25 mafy ratsy ho an'ny tsirairay tsara roa nandritra ny fampiofanana. Rehefa mampiasa 15M angon-drakitra, ity stratejika ity dia manatsara ny vokatra manontolo amin'ny ~ 0.5 taratasy amin'ny benchmark BEIR. Na izany aza, mihazakazaka ny BM25 algorithm amin'ny 250M + dataset dia mandany fotoana loatra na dia amin'ny multi-node sy multi-process parallelism. Adding BM25 hard negatives 30 Though RoBERTa shows consistent gains on many NLP tasks, we empirically find that RoBERTa performs worse than BERT initialization on most of the BEIR benchmark datasets. Using RoBERTa instead of BERT for initialization Ampidiro ny fahaverezan'ny modely amin'ny fiteny ho an'ny 25% amin'ny mpampianatra. Ny isa dia mitovy amin'ny fanesorana ity tanjona fanampiana ity, fa mitombo ny vidin'ny fampiofanana. Auxiliary MLM objective Ity lahatsoratra ity dia azo jerena ao amin'ny archiv amin'ny lisansa CC by 4.0 Deed (Attribution 4.0 International). Ity lahatsoratra ity dia azo jerena ao amin'ny archiv amin'ny lisansa CC by 4.0 Deed (Attribution 4.0 International).