Jak Microsoft vycvičil 270M-Pair AI k napájení inteligentnějšího vyhledávání

Autoři : Liang Wang (Microsoft Corporation) Nan Yang (Microsoft Corporation) Xiaolong Huang (Microsoft Corporation) Binxing Jiao (Microsoft Corporation) Linjun Yang (Microsoft Corporation) Daxin Jiang (Microsoft Corporation) Rangan Majumder (Microsoft Corporation) Furu Wei (Microsoft Corporation) Autoři : Liang Wang (Společnost Microsoft) Nan Yang (Společnost Microsoft) Xiaolong Huang (Společnost Microsoft) Binxing Jiao (Společnost Microsoft) Linjun Yang (Společnost Microsoft) Daxin Jiang (Společnost Microsoft) Rangan Majumder (Společnost Microsoft) Furu Wei (Společnost Microsoft) Abstraktní Tento dokument představuje E5 , rodina nejmodernějších textových vkládek, které se dobře přenášejí do široké škály úkolů. Model je trénován kontrastním způsobem se slabými signály dohledu z našich kurovaných datových souborů s velkými textovými páry (nazývaných CCPairs). E5 lze snadno použít jako model pro vkládání všeobecného účelu pro jakékoli úkoly vyžadující jednovektorovou reprezentaci textů, jako je vyhledávání, seskupování a klasifikace, čímž se dosahuje silného výkonu jak v nastavení s nulovým snížením, tak v nastavení s jemným nastavením. Provádíme rozsáhlá hodnocení 56 datových souborů z benchmarku BEIR a MTEB. Pro nastavení s nulovým snížením je 1 1 Úvod Textové vložky jsou nízko-dimenzionální vektorové reprezentace pro texty libovolné délky a hrají klíčovou roli v mnoha úkolech NLP, jako je rozsáhlé vyhledávání. Ve srovnání s vysoko-dimenzionálními a vzácnými reprezentacemi, jako je TF-IDF, mají textové vložky potenciál překonat problém lexikální nesouladu a usnadnit efektivní vyhledávání a shromažďování mezi texty. Zatímco předem vyškolené jazykové modely, jako je BERT [ ] a GPT [ ] mohou produkovat přenositelné textové reprezentace, nejsou ideální pro úkoly, jako je vyhledávání a shromažďování textu, kde je jednovektorové vkládání textů více žádoucí kvůli jeho účinnosti a všestrannosti. Chcete-li získat lepší textové vkládání, kontrastní učení je často go-to rámec pro zlepšení sekvenčních úroveň reprezentace z textových párů. Po celé této linii výzkumu, některé práce jsou zaměřeny na učení úkol specifické vkládání. Například, GTR [ ] a věta-T5 [ ] Fine-tune pre-školení modely s dohlížených datových souborů se učit vkládání přizpůsobené pro vyhledávání průchodů a sémantické textové podobnosti, respektive. Jiné práce učit nevysvětlené vkládání z automaticky konstruovaných textových párů. Typické metody pro konstrukci textových párů patří Inverse Close Task (ICT) [ ], náhodný cropping [ ] a sousední textové rozmezí [ ], atd. Zatímco takové syntetické údaje jsou neomezeného množství, jsou často špatné v kvalitě a výsledné vkládání nedokážou odpovídat výkonu klasické BM25 základní bez dalšího jemného nastavení 17 7 43 44 9 28 41 [Číslo 40] V této práci se učíme vysoce kvalitní všeobecné textové vložení s názvem E5, MB Ddings z Bidir cizí Kódování R prezentace. E5 si klade za cíl poskytnout silné textové vložky mimo police vhodné pro jakékoli úkoly, které vyžadují jednovektorové zastoupení v nastavení s nulovým nebo jemným nastavením. K dosažení tohoto cíle, namísto spoléhání se na omezené označené údaje nebo syntetické textové páry nízké kvality, trénujeme vestavěné vložky E5 z CCPairs, kurovaného datového souboru webového měřítka obsahujícího heterogenní vzdělávací signály. Konstruujeme datový soubor CCPairs kombinací různých polostrukturovaných zdrojů dat, jako jsou CommunityQA, Common Crawl a vědecké dokumenty, a provádíme agresivní filtrování s filtrem založeným na konzistenci [ ] ke zlepšení kvality dat. Vybrali jsme si jednoduchý recept na kontrastní učení pomocí záporů v dávce s velkou velikostí dávky, abychom vycvičili náš model. Rozsáhlé experimenty na benchmarcích BEIR a MTEB demonstrují účinnost navrhované metody. ], E5 je prvním modelem, který překonal silnou výchozí hodnotu BM25 bez použití jakýchkoli označených dat. Při jemném nastavení na označených datových souborech lze výkon dále zlepšit. Výsledky na 56 datových souborech z nedávno zavedeného benchmarku MTEB [ ] ukazují, že naše E5base je konkurenceschopná vůči GTRxxl a Sentence-T5xxl, které mají 40× více parametrů. E E E E E 15 53 40 2 Související práce Existují dlouhodobé zájmy v transformaci textů do nízko-dimenzionálních hustých vkládek. ] a Latent Dirichlet Allocation (LDA) [ LSA využívá rozklad matice souběžného výskytu slov a dokumentů k vytváření vkládání dokumentů, zatímco LDA přijímá pravděpodobnostní grafické modely k učení distribucí témat. ukazuje, že jednoduchý vážený průměr slovních vektorů [ ] může být silným výchozím bodem pro vložení věty. 16 3 Arora A také al. 38 S vývojem předem vyškolených jazykových modelů [ , , , , ] a rozsáhlé štítkové datové sady, jako je SNLI [ ] a MS-MARCO [ ], metody jako Sentence-BERT [ ] , SimCSE [ ], Příloha č. 5 [ ] and SGPT [ Většina výzkumů se zaměřuje na krátké texty a proto používá termín "vkládání vět". Pro dlouhé dokumenty zůstává otevřenou výzkumnou otázkou, zda vkládání fixní délky může kódovat všechny informace. ] se ukázalo, že je účinnější než klasifikace založené na ztrátách [ , , ] pro embeddings. laBSE [ V případě laserového [...] ] and CLIP [ ] dále se rozšiřuje na vícejazyčné a multi-modální scénáře pomocí paralelních vět a párů obrázku a textu. 17 35 48 6 8 49 22 44 39 10 49 14 20 2 47 Dalším směrem je navrhnout sebeovládané předškolní úkoly pro shromažďování a vyhledávání textů. [ ] navrhuje dobře známý úkol inverse cloze (ICT), kde je náhodná věta v průběhu pasáže vybrána jako pseudo-požadavek a zbytek je zacházeno jako pozitivní vzorek. ] ukazuje, že náhodné vyřezávání s datovou augmentací je účinnější než ICT na řadě úkolů získávání informací s nulovým nárazem. ] použijte sousední texty jako pozitivní a zvýšit velikost modelu na 175B. provádí předškolní školení s doménou pro zlepšení výsledků v doméně. SPAR [ ] trénuje hustý retriever tím, že zachází s BM25 jako s učitelským modelem. Ačkoli výše uvedené přístupy mohou snadno získat hojné signály dohledu, takové syntetické údaje mají tendenci být nízké kvality. ] ukazují, že se potýkají s výkonem BM25, pokud nejsou dále jemně nastaveny na označených datových souborech. 9 28 41 [45 ] 11 53 Hodnocení a interpretace textových vkládek jsou také ne-triviální. Většina referenčních bodů měří kvalitu vkládání prostřednictvím výkonu následných úkolů. Například SentEval [ ] používá lineární průzkum a sběr sémantických textových podobností (STS) datových souborů, zatímco benchmark BEIR [ ] se zaměřuje na scénáře získávání informací s nulovým výskytem. nedávno zavedený benchmark MTEB [ ] kombinuje 56 datových souborů pokrývajících 8 úkolů a 112 jazyků. Experimenty ukazují, že žádný model dosud nemůže dosáhnout nejmodernějších výsledků na všech vkládacích úkolech. 13 53 40 Nejvíce úzce souvisí s naší prací řada komunitních úsilí trénovat vložky se sbírkou označených a automaticky shromážděných datových souborů. V tomto článku ukazujeme, že je možné trénovat vysoce kvalitní vložky pouze pomocí sebeovládaného předškolního tréninku. Transformační soudy 2 3 CCPairs: Velká sbírka datových souborů textových párů Kvalita a rozmanitost dat je klíčová pro školení textových vložek pro obecné účely.V této práci vytváříme a sestavujeme CCPairs, velkou databázi vysoce kvalitních textových párů z webových zdrojů, které poskytují různorodé tréninkové signály, které se dobře přenášejí do široké škály úkolů. Velké množství vysoce kvalitních datových souborů jako C4 [ ] a CCMatrix [ ] jsou životně důležité pro úspěch jazykového modelu pre-školení a strojového překladu. Pro učení textové vkládky, stávající práce buď využít malého rozsahu člověka-anotované údaje, jako je NLI [ ] and MS-MARCO [ ] nebo přijmout heuristiky, jako je random cropping [ ] získat rozsáhlé, ale velmi hlučné signály dohledu. Harvesting semi-structured data sources 48 51 22 8 28 Místo toho jsme kurátorem textového páru datových souborů CCPairs ( Olomouc Lean text Využijte srovnávací metody, které umožňují vytvářet heterogenní polostrukturované datové zdroje ( , , ) denote a text pair consisting of a query A jeden průchod Zde používáme » » označit slovo sekvence libovolné délky, což může být krátká věta, odstavec, nebo dlouhý dokument. , (otázka, upvotovaná odpověď) páry od Stackexchange , (jméno entity + název sekce, pasáž) páry z anglické Wikipedie, (název, abstrakt) a citace páry z vědeckých článků [ ], a (název, pasáž) páry z Common Crawl Internetové stránky a různé zdroje informací. C C Pairs q p q p Přechod 3 4 36 5 Používáme pouze zdroje dat, které lze automaticky extrahovat, a některé podsoubory jsou přímo opětovně použity ze stávajících datových souborů.Jednoduchá heuristická pravidla se používají k filtrování dat z Redditu a Common Crawlu. 4096 znaků) nebo získat skóre menší než 1, a odstranit pasáže z webových stránek s vysokou zmateností [ ].Po předběžném filtrování jsme skončili s ∼ 1 * * 3 miliardy textových párů, z nichž většina pochází z Redditu a Common Crawlu. > 60 A. se Pro další zlepšení kvality dat a zvládnutí nákladů na školení navrhujeme techniku filtrování dat založenou na konzistenci: model je nejprve trénován na 1**3B hlučných textových párech a pak se používá k zařazení každého páru proti bazénu 1 milionu náhodných pasáží. předpověď modelu by měla být v souladu s výcvikovými štítky. = 2 based on manual inspection of data quality. After this step, we end up with ∼ 270M text pairs for contrastive pre-training. Consistency-based filter k k Intuice pro tuto techniku pochází z paměťového chování neurálních sítí [ ]: při výcviku na hlučné datové sady, neurální sítě mají tendenci zapamatovat si čisté štítky nejprve a pak postupně překonávat hlučné štítky. , , , , Je také možné tento filtr aplikovat iterativně, ponecháme ho pro budoucí práci. 19 42 15 23 4 Method Naše vložky lze vycvičit pouze s neoznačenými textovými páry od CCPairs s kontrastním předškolním školením. Druhý stupeň jemného nastavení malých, vysoce kvalitních označených datových souborů může být proveden pro další zvýšení kvality výsledných vložek. viz Obrázek Pro nějaký přehled. 1 4.1 Kontrastní pre-trénink s neoznačenými údaji Zvláštní rozdíl je v tom, že se jedná o rozdíl mezi jednotlivými typy textů a jinými typy textů. ( ) , přiřazujeme seznam negativních pasáží { =1 for the Příkladem je kontrastní ztráta InfoNCE Je to následující: Čí, Pi n p M I i [ 10 ] where ( ) je funkce skóre mezi dotazy and passage Parametry podle V souladu s populární architekturou biencoderu používáme předem vyškolený Encoder Transformeru a průměrné seskupení nad výstupní vrstvou, abychom získali textové vložky pevné velikosti. a skóre je podobnost kosinů měřená teplotním hyperparametrem • : s θ Q, P q p θ E q E p τ θ θ Kde is set to 0.01 in our experiments by default. We use a shared encoder for all input texts and break the symmetry by adding two prefix identifiers a to a Pro některé zdroje dat, jako jsou páry citací, není zřejmé, na které straně by měla být dotaz, náhodně si vybereme jednu pro jednoduchost. Takový asymetrický design se ukáže být důležitý pro některé úkoly pro vyhledávání, kde existují parafráze dotazu v cílovém těle. τ „Výzva“: „Přechod“ : q d Another critical issue for contrastive training is how to select the negative samples. Here we choose to use the in-batch negatives [ ], kde průchody z jiných párů v sérii slouží jako negativní vzorky. Zjistili jsme, že tato jednoduchá strategie umožňuje stabilnější trénink a překonává metody, jako je MoCo když je velikost baterie dostatečně velká. 10 [ 25 ] 4.2 Fine-tuning with Labeled Data Zatímco kontrastní pre-školení na CCPairs poskytuje pevný základ pro obecné účelové vkládání, další školení o označených datech může vstřikovat lidské znalosti do modelu ke zvýšení výkonu. , , ] ukázaly, že dohlížené jemné nastavení vede k konzistentnímu zvýšení výkonu.V tomto článku se rozhodneme dále trénovat s kombinací 3 datových souborů: NLI (Natural Language Inference), MS-MARCO Passage Ranking Dataset [ ], and NQ (Natural Questions) dataset [ , , Empiricky úkoly jako STS (Semantic Textual Similarity) a lineární sondování těží z dat NLI, zatímco datové sady MS-MARCO a NQ se dobře přenášejí do úkolů pro vyhledávání. 43 44 6 8 30 32 Na základě praxe výcviku state-of-the-art hustých retrieverů [ , , ], používáme těžké negativy a destilaci znalostí z učitelského modelu cross-encoder (CE) pro datové sady MS-MARCO a NQ. Pro datové sady NLI jsou věty o rozporu považovány za tvrdé negativy. Tvrdé štítky a KL divergence KL pro destilaci měkkých štítků z učitelského modelu. 50 58 L D Kde Toto a Sto jsou pravděpodobnosti z modelu učitelů s křížovým kódováním a našeho modelu studentů. je hyperparametr pro vyvážení dvou funkcí ztráty. Srovnání je stejné jako v rovnice p p α L 1. 4.3 Aplikace pro textové vkládání úloh Po uplynutí výše uvedených dvou kroků získáváme vysoce kvalitní textové vložky, které se dobře přenášejí do široké škály úkolů bez úprav parametrů modelu. V kombinaci s technikami, jako je přibližné vyhledávání nejbližších sousedů, poskytují vložky škálovatelné a efektivní řešení pro aplikace, jako je vyhledávání na webu. First, the passage embeddings for the target corpus are computed and indexed offline. Then for each query, we compute its query embedding and return the top- Pořadí listů z korpusu na základě podobnosti kosinů. Zero-shot Retrieval k Lineární klasifikátor je trénován na vrcholu zmrazených vložek s několika označenými příklady. Různé úkoly potřebují pouze trénovat a ukládat parametry klasifikačních hlav. Může být vnímán jako zvláštní forma parametricky efektivního učení Few-shot Text Classification [ 27 ] Texty vstupů a štítků jsou převedeny na věty založené na manuálně psaných šablonách poptávek. Předpovězená štítka je ta, která je nejblíže vstupnímu textu v vkládacím prostoru. ”, text štítku je “ „a vstupní text se stává“ » » Zero-shot Text Classification Baví mě to sledovat je příkladem hrůzostrašný / velký film recenze Recenze filmu: Líbí se mi to Vzhledem ke dvěma textovým vkládáním používáme funkci cosine k měření jejich sémantické podobnosti. Jelikož skóre absolutní podobnosti neumožňuje snadnou interpretaci, hodnocení je obvykle založeno na koeficientech korelace pořadí. Semantic Textual Similarity Standardní algoritmy seskupování, jako jsou k-měry, lze aplikovat přímo. Texty patřící do stejné kategorie se očekávají v blízkosti vkládacího prostoru. Text Clustering Pro jiné úkoly, než je klasifikace a vyhledávání textu s nulovým snížením, používáme výchozí vložení dotazu. 5 Experimenty 5.1 Pre-tréninkové a jemné nastavení konfigurací Předběžný výcvik na naší navrhované databázi textových párů pro tři velikosti modelů: E5small, E5base a E5large inicializované z MiniLM [59], bert-base-uncased a bert-large-uncased-whole-wordmasking. Velikost šarže je nastavena na velkou hodnotu 32 768 pro zvýšení počtu negativů. Rychlost učení je {3, 2, 1}×10−4 pro modely {small, base, large}, s lineárním rozpadem a prvních 1 000 kroků pro ohřev. Předběžný výcvik pro 20k kroků celkem s AdamW optimizer, který je přibližně 2,5 epochy nad datovým souborem. Trvá {16, 32, 64} V100 GPU a {1, 2} Pre-training se provádí na souhraní 3 datových souborů: MS-MARCO pasážní hodnocení [ ], NQ [ , , A to i v případě, ] datasets. Opětovně používáme těžké negativy a skóre re-rankeru z SimLM [ ] for the first two datasets. Models are fine-tuned for 3 epochs with batch size 256 on 8 GPUs. Learning rate is {3*,* 2*,* 1}×10−5 for the {small, base, large} models with 400 steps warmup. For each example, we use 7 hard negatives. Since the NLI dataset only has 1 hard negative for each example, 6 sentences are randomly sampled from the entire corpus. Fine-tuning 8 32 30 22 58 We use E5-PT to denote models with contrastive pre-training only. More implementation details can be found in Appendix B. 5.2 Evaluation Datasets je sbírka 19 datových souborů pro získávání informací, od ad-hoc webového vyhledávání, odpovědí na otázky, ověřování faktů a duplicitního vyhledávání otázek atd. Hodnotíme 15 datových souborů, které poskytují veřejné stahování. BEIR Benchmark [ ] 53 53 is recently proposed for benchmarking massive text embedding tasks. Though MTEB is multilingual due to the inclusion of bitext mining datasets, most datasets are still only available in English. In this paper, we evaluate the English subsets, which have 56 datasets spanning across 6 categories: Classification (Class.), Clustering (Clust.), Pair Classification (PairClass.), Rerank, Retrieval (Retr.), STS, and Summarization (Summ.). The evaluation metrics are accuracy, v-measure, average precision, MAP, nDCG@10, and Spearman coefficients, respectively. Please refer to the MTEB paper for details. MTEB Benchmark [ ] 40 40 5.3 Results on BEIR benchmark In Table we show model results that do not use any labeled data. When averaged over all 15 datasets, E5-PTbase outperforms the classic BM25 algorithm by 1*.*2 points. To the best of our knowledge, this is the first reported result that an unsupervised model can beat BM25 on the BEIR benchmark. When scaling up to E5-PTlarge, we see further benefits from42. *2. Results with Unsupervised Methods 1 , 9 to 44 In terms of pre-training tasks, Contriever adopts random cropping, while LaPraDor combines ICT and dropout-as-positive-instance from SimCSE. The methods can easily obtain large-scale training data, while our approach requires more effort in dataset curation. Such efforts pay off with better results. Recent studies [ , , , ] also show that improving data quality is a vital step for training large language models. 34 60 21 In Table we fine-tune our models on supervised datasets and then transfer them to the BEIR benchmark. Since our fine-tuning datasets include MS-MARCO and NQ, the corresponding numbers are in-domain results. For other datasets, these are zero-shot transfer results. Our E5base model achieves an average nDCG@10 of 48*.*7, already surpassing existing methods with more parameters such as GTRlarge [ ]. Most datasets benefit from supervised fine-tuning, but there are also a few exceptions such as FiQA, Scidocs, and Fever, etc. This is likely due to the lack of enough domain diversity for the fine-tuning datasets. Results with Supervised Fine-tuning 2, 43 5.4 Results on MTEB benchmark In Table E5 models not only substantially outperform existing ones with similar sizes, but also match the results of much larger models. The top-2 models on MTEB leaderboard GTRxxl and Sentence-T5xxl have 4*.*8B parameters, while our E5large model is more than 10× smaller with 300M parameters. We expect that our model will benefit from continual scaling up. 3, 7 Since the difference between BERT-FTbase and E5base is that BERT-FTbase only has fine-tuning stage, their performance gap demonstrates the usefulness of contrastive pre-training on our proposed CCPairs dataset. For most task categories except Clustering, performance improves after supervised fine-tuning. Consistent with prior works [ , ], this once again demonstrates the importance of incorporating human knowledge for learning better text embeddings. It remains an open question whether state-of-the-art embeddings can be obtained in a purely self-supervised manner. 43 44 Table shows the zero-shot text classification results on the dev set of the SST-2 dataset [ ]. Formulováním klasifikace textu jako vkládání shody mezi vstupními a štítkovými texty může být náš model mnohem lepší než výchozí řádek „většiny“ v nastavení s nulovým výstupem. 4 52 4.3 se 5.5 Analysis In this section, we conduct a series of analyses to examine various design choices. All the numbers in this section are from base-size models. For the BEIR benchmark, we choose 6 datasets with more stable results across different runs. Some negative results are also listed in Appendix C . Since we use in-batch negatives for contrastive pre-training, larger batch size will provide more negatives and therefore improve the quality of the learned text embeddings. In Table increasing batch size from 1K to 32K leads to consistent gains across all 6 datasets. It is also possible to train with smaller batch sizes by adding hard negatives [ ]. However, the engineering efforts of mining hard negatives for large datasets (>100M) are non-trivial. Impacts of Batch Size 5, 50 GTR models are fine-tuned with “MS-MARCO + NQ”, while Sentence-T5 models use NLI instead. In Table Můžeme vidět, že nastavení „MS-MARCO + NQ“ funguje nejlépe na úkolech vyhledávání a údaje NLI jsou prospěšné pro klasifikaci STS a lineárního sondování. . Combining all of them leads to the best overall scores on the MTEB benchmark. This also illustrates the importance of dataset diversity for learning text embeddings. Fine-tuning Datasets 6, [40] One crucial step in our dataset curation pipeline is filtering out low-quality text pairs. In Table when training with 1M pairs, using filtered data has a nearly 6 points advantage. When all the text pairs are used, the “w/o filter” setting has about 4× more data but is still behind by 1*.*6 points. Though recent studies [ , , ] show that deep learning models are quite robust to dataset noises, data filtering still has benefits in improving training efficiency and model quality. Data Filtering 7, 29 47 We explore two alternative methods to enlarge the number of negatives: Pre-batch negatives [ ] reuse embeddings from previous batches as additional negatives, while MoCo Negative Sampling 33 [ ] introduces a momentum encoder and uses a FIFO queue to store negatives. For both approaches, the negative size can be easily scaled up without incurring much GPU memory overhead. The downside is that most negatives are produced by an older version of model parameters. In Table Empiricky zjistíme, že MoCo je citlivější na určité hyperparametry, jako je teplota, lepší výsledky jsou možné s více nastavením. 25 8, S rychlým vývojem modelů hustého vyhledávání můžeme od nynějška nahradit dlouhodobý algoritmus BM25? ”. BM25 still holds obvious advantages in terms of simplicity, efficiency, and interpretability. For long-tail domains such as Trec-Covid [ ] a vyhledávací úkoly zahrnující dlouhé dokumenty (Touche-2020) [ ] or rely heavily on exact lexical match (Fever) [ ], further research efforts are still necessary to improve current dense retrievers. BM25 vs Dense Retrieval not yet 55 4 54 6 Conclusion V této práci trénujeme model E5 pro vkládání textu pro všeobecné účely ze slabých signálů dohledu. Přijímáme jednoduchý kontrastní vzdělávací rámec s negativy v balíčku a učíme se z rozsáhlého souboru textových párů, které shromažďujeme z heterogenních datových zdrojů napříč webem. E5 nabízí silný off-the-shelf výkon pro širokou škálu úkolů vyžadujících jednovektorové textové reprezentace, jako je vyhledávání, sémantická textová podobnost a textové shromažďování. References [1] Sanjeev Arora, Yingyu Liang a Tengyu Ma. Jednoduchá, ale těžko porazitelná výchozí linie pro vložení věty. . OpenReview.net, 2017. URL . 5. mezinárodní konference o vzdělávacích zastoupeních, ICLR 2017, Toulon, Francie, 24. až 26. dubna 2017 https://openreview.net/forum?id=SyK00v5xx [2] Mikel Artetxe and Holger Schwenk. Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. , 7:597–610, 2019. doi: 10.1162/tacl_a_00288. URL a . . Transactions of the Association for Computational Linguistics https://aclanthology Štítek: Q19-1038 [3] David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent dirichlet allocation. In Thomas G. Dietterich, Suzanna Becker, and Zoubin Ghahramani, editors, , pages 601–608. MIT Press, 2001. URL . Advances in Neural Information Processing Systems 14 [Neural Information Processing Systems: Natural and Synthetic, NIPS 2001, December 3-8, 2001, Vancouver, British Columbia, Canada] https://proceedings.neurips.cc/paper/2001/hash/ 296472c9542ad4d4788d543508116cbc-Abstract.html [4] Alexander Bondarenko, Maik Fröbe, Johannes Kiesel, Shahbaz Syed, Timon Gurcke, Meriem Beloucif, Alexander Panchenko, Chris Biemann, Benno Stein, Henning Wachsmuth a další. , pages 311–336. Springer, 2022. Mezinárodní konference křížového hodnocení evropských jazyků [5] Vera Boteva, Demian Gholipour, Artem Sokolov, and Stefan Riezler. A full-text learning to rank dataset for medical information retrieval. In , pages 716–722. Springer, 2016. European Conference on Information Retrieval [6] Samuel R. Bowman, Gabor Angeli, Christopher Potts a Christopher D. Manning. Velký anotovaný korpus pro učení přirozeného jazyka. , pages 632–642, Lisbon, Portugal, 2015. Association for Computational Linguistics. doi: 10.18653/v1/D15-1075. URL Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing https: . //aclanthology.org/D15-1075 [7] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhari-wal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learn-ers. In Hugo Larochelle, Marc’Aurelio Ranzato, Raia Hadsell, Maria-Florina Balcan, and Hsuan-Tien Lin, editors, , 2020. URL . Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual https://proceedings.neurips.cc/paper/2020/hash/ 1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html [8] Daniel Fernando Campos, Tri Nguyen, Mir Rosenberg, Xia Song, Jianfeng Gao, Saurabh Tiwary, Rangan Majumder, Li Deng a Bhaskar Mitra. , abs/1611.09268, 2016. ArXiv [9] Wei-Cheng Chang, Felix X. Yu, Yin-Wen Chang, Yiming Yang, and Sanjiv Kumar. Pre-training tasks for embedding-based large-scale retrieval. In . OpenReview.net, 2020. URL . 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020 https://openreview.net/forum?id=rkg-mA4FDr [10] Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey E. Hinton. A simple framework for contrastive learning of visual representations. In , volume 119 of , pages 1597–1607. PMLR, 2020. URL Proceedings of the 37th International Conference on Machine Learning, ICML 2020, 13-18 July 2020, Virtual Event Proceedings of Machine Learning Research http: . //proceedings.mlr.press/v119/chen20j.html [11] Xilun Chen, Kushal Lakhotia, Barlas Og˘uz, Anchit Gupta, Patrick Lewis, Stan Peshterliev, Yashar Mehdad, Sonal Gupta, and Wen-tau Yih. Salient phrase aware dense retrieval: Can a dense retriever imitate a sparse one? v roce 2021. arXiv předtisk arXiv:2110.06918 [12] Arman Cohan, Sergey Feldman, Iz Beltagy, Doug Downey a Daniel S Weld. Specter: Učení o reprezentaci na úrovni dokumentů pomocí citací informovaných transformátorů. , pages 2270–2282, 2020. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics [13] Alexis Conneau and Douwe Kiela. SentEval: An evaluation toolkit for universal sentence representations. In , Miyazaki, Japonsko, 2018 Evropská asociace jazykových zdrojů (ELRA). . Proceedings of the Eleventh International Conference on Language Re-sources and Evaluation (LREC 2018) https://aclanthology.org/L18-1269 [14] Alexis Conneau, Douwe Kiela, Holger Schwenk, Loïc Barrault, and Antoine Bordes. Super-vised learning of universal sentence representations from natural language inference data. In , pages 670–680, Copenhagen, Denmark, 2017. Association for Computational Linguistics. doi: 10.18653/v1/D17-1070. URL . Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing https://aclanthology.org/D17-1070 [15] Zhuyun Dai, Vincent Zhao, Ji Ma, Yi Luan, Jianmo Ni, Jing Lu, Anton Bakalov, Kelvin Guu, Keith B. Hall, and Ming-Wei Chang. Promptagator: Few-shot dense retrieval from 8 examples. , abs/2209.11755, 2022. ArXiv [16] Scott Deerwester, Susan T Dumais, George W Furnas, Thomas K Landauer, and Richard Harshman. Indexing by latent semantic analysis. , 41(6): 391 až 407, 1990 Journal of the American society for information science [17] Jacob Devlin, Ming-Wei Chang, Kenton Lee a Kristina Toutanova. BERT: Pre-školení hlubokých obousměrných transformátorů pro jazykové porozumění. , stránky 4171–4186, Minneapolis, Minnesota, 2019. sdružení pro výpočetní lingvistiku. doi: 10.18653/v1/N19-1423. . Proceedings of the 2019 Confer-ence of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) https://aclanthology.org/N19-1423 [18] Thomas Diggelmann, Jordan Boyd-Graber, Jannis Bulian, Massimiliano Ciaramita a Markus Leippold. Klimatická horečka: Datový soubor pro ověření skutečných klimatických tvrzení. v roce 2020. arXiv preprint arXiv:2012.00614 [19] Vitaly Feldman and Chiyuan Zhang. What neural networks memorize and why: Discovering the long tail via influence estimation. In Hugo Larochelle, Marc’Aurelio Ranzato, Raia Hadsell, Maria-Florina Balcan, and Hsuan-Tien Lin, editors, , 2020. URL . Pokroky v oblasti systémů zpracování neurálních informací 33: výroční konference o systémech zpracování neurálních informací 2020, NeurIPS 2020, 6.-12. prosince 2020, virtuální https://proceedings.neurips.cc/ paper/2020/hash/1e14bfe2714193e7af5abc64ecbd6b46-Abstract.html [20] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, a Wei Wang. Jazyk-agnostické vkládání vět. V , pages 878–891, 2022. Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) [21] Leo Gao, Stella Rose Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, Horace He, Anish Thite, Noa Nabeshima, Shawn Presser, and Connor Leahy. The pile: An 800gb dataset of diverse text for language modeling. , abs/2101.00027, 2021. ArXiv [22] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In , pages 6894–6910, Online and Punta Cana, Dominican Republic, 2021. Association for Computational Linguistics. doi: 10.18653/v1/2021.emnlp-main.552. URL . Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing https://aclanthology.org/2021.emnlp-main.552 [23] Bo Han, Quanming Yao, Xingrui Yu, Gang Niu, Miao Xu, Weihua Hu, Ivor W. Tsang, and Masashi Sugiyama. Co-teaching: Robust training of deep neural networks with extremely noisy labels. In Samy Bengio, Hanna M. Wallach, Hugo Larochelle, Kris-ten Grauman, Nicolò Cesa-Bianchi, and Roman Garnett, editors, , Advances in Neu-ral Information Processing Systems 31: Annual Conference on Neural Information Processing Systems 2018, NeurIPS 2018, December 3-8, 2018, Montréal, Canada pages 8536–8546, 2018. URL . https://proceedings.neurips.cc/paper/2018/hash/ a19744e268754fb0148b017647355b7b-Abstract.html [24] Faegheh Hasibi, Fedor Nikolaev, Chenyan Xiong, Krisztian Balog, Svein Erik Bratsberg, Alexander Kotov a Jamie Callan. Dbpedia-entity v2: testovací sbírka pro vyhledávání entit. , stránky 1265–1268, 2017 Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval [25] Kaiming He, Haoqi Fan, Yuxin Wu, Saining Xie, and Ross B. Girshick. Momentum contrast for unsupervised visual representation learning. In , pages 9726–9735. IEEE, 2020. doi: 10.1109/CVPR42600.2020.00975. URL . 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2020, Seattle, WA, USA, June 13-19, 2020 https://doi.org/10.1109/ CVPR42600.2020.00975 [26] Doris Hoogeveen, Karin M Verspoor, and Timothy Baldwin. Cqadupstack: A benchmark data set for community question-answering research. In Stránky 1 až 8, 2015. Proceedings of the 20th Australasian document computing symposium [27] Neil Houlsby, Andrei Giurgiu, Stanislaw Jastrzebski, Bruna Morrone, Quentin de Laroussilhe, Andrea Gesmundo, Mona Attariyan, and Sylvain Gelly. Parameter-efficient transfer learning for NLP. In Kamalika Chaudhuri and Ruslan Salakhutdinov, editors, , volume 97 of , pages 2790–2799. PMLR, 2019. URL . Proceedings of the 36th International Conference on Machine Learning, ICML 2019, 9-15 June 2019, Long Beach, California, USA Proceedings of Machine Learning Research http://proceedings.mlr.press/v97/houlsby19a.html [28] Gautier Izacard, Mathilde Caron, Lucas Hosseini, Sebastian Riedel, Piotr Bojanowski, Armand Joulin, and Edouard Grave. Towards unsupervised dense information retrieval with contrastive learning. , abs/2112.09118, 2021. ArXiv [29] Chao Jia, Yinfei Yang, Ye Xia, Yi-Ting Chen, Zarana Parekh, Hieu Pham, Quoc V. Le, Yun-Hsuan Sung, Zhen Li, and Tom Duerig. Scaling up visual and vision-language representation learning with noisy text supervision. In Marina Meila and Tong Zhang, editors, , volume 139 of , pages 4904–4916. PMLR, 2021. URL . Proceedings of the 38th International Conference on Machine Learning, ICML 2021, 18-24 July 2021, Virtual Event Výzkum v oblasti strojového učení http://proceedings.mlr.press/v139/jia21b.html [30] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen a Wen-tau Yih. , pages 6769–6781, Online, 2020. Association for Computational Linguistics. doi: 10. 18653/v1/2020.emnlp-main.550. URL . . Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) https://aclanthology.org/2020.emnlp-main 550 [31] Omar Khattab a Matei Zaharia. Colbert: Efektivní a efektivní vyhledávání průchodů prostřednictvím kontextualizované pozdní interakce přes BERT. V Jimmy Huang, Yi Chang, Xueqi Cheng, Jaap Kamps, Vanessa Murdock, Ji-Rong Wen a Yiqun Liu, redaktoři, , pages 39–48. ACM, 2020. doi: 10.1145/3397271.3401075. URL . Proceedings of the 43rd International ACM SIGIR conference on research and development in Information Retrieval, SIGIR 2020, Vir-tual Event, China, July 25-30, 2020 https://doi.org/10.1145/3397271.3401075 [32] Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, Kristina Toutanova, Llion Jones, Matthew Kelcey, Ming-Wei Chang, Andrew M. , 7:452–466, 2019. doi: 10.1162/tacl_a_00276. URL . Transactions of the Association for Computational Linguistics https://aclanthology.org/Q19-1026 [33] Jinhyuk Lee, Mujeen Sung, Jaewoo Kang a Danqi Chen. Učení husté zastoupení frází v měřítku. , pages 6634–6647, Online, 2021. Association for Computational Linguistics. doi: 10.18653/v1/2021.acl-long.518. URL . . Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers) https://aclanthology.org/2021 dlouhý 518 [34] Katherine Lee, Daphne Ippolito, Andrew Nystrom, Chiyuan Zhang, Douglas Eck, Chris Callison-Burch, and Nicholas Carlini. Deduplicating training data makes language models better. In v roce 2022. ACL [35] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. , abs/1907.11692, 2019. archivovat [36] Kyle Lo, Lucy Lu Wang, Mark Neumann, Rodney Kinney, and Daniel Weld. S2ORC: The semantic scholar open research corpus. In , pages 4969–4983, Online, 2020. Associ-ation for Computational Linguistics. doi: 10.18653/v1/2020.acl-main.447. URL . 58. výroční schůze sdružení pro výpočetní lingvistiku https://aclanthology.org/2020.acl-main.447 [37] Macedo Maia, Siegfried Handschuh, André Freitas, Brian Davis, Ross McDermott, Manel Zarrouk, and Alexandra Balahur. Www’18 open challenge: financial opinion mining and question answering. In , pages 1941–1942, 2018. Doprovodné postupy webové konference 2018 [38] Tomas Mikolov, Kai Chen, Gregory S. Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In , 2013. ICLR [39] Niklas Muennighoff. Sgpt: Gpt sentence embeddings for semantic search. , abs/2202.08904, 2022. ArXiv [40] Niklas Muennighoff, Nouamane Tazi, Loic Magne, and Nils Reimers. Mteb: Massive text embedding benchmark. , abs/2210.07316, 2022. ArXiv [41] Arvind Neelakantan, Tao Xu, Raul Puri, Alec Radford, Jesse Michael Han, Jerry Tworek, Qiming Yuan, Nikolas A. Tezak, Jong Wook Kim, Chris Hallacy, Johannes Heidecke, Pranav Shyam, Boris Power, Tyna Eloundou Nekoul, Girish Sastry, Gretchen Krueger, David P. Schnurr, Felipe Petroski Such, Kenny Sai-Kin Hsu, Madeleine Thompson, Tabarak Khan, Toki Sherbakov, Joanne Jang, Peter Welinder, and Lilian Weng. Text and code embeddings by contrastive pre-training. , abs/2201.10005, 2022. archivovat [42] Duc Tam Nguyen, Chaithanya Kumar Mummadi, Thi-Phuong-Nhung Ngo, Thi Hoai Phuong Nguyen, Laura Beggel, and Thomas Brox. SELF: learning to filter noisy labels with self-ensembling. In . OpenReview.net, 2020 URL a . . 8. mezinárodní konference o vzdělávacích zastoupeních, ICLR 2020, Addis Abeba, Etiopie, 26. až 30. dubna 2020 https://openreview síť/forum?id=HkgsPhNYPS [43] Jianmo Ni, Chen Qu, Jing Lu, Zhuyun Dai, Gustavo Hern’andez ’Abrego, Ji Ma, Vincent Zhao, Yi Luan, Keith B. Hall, Ming-Wei Chang, and Yinfei Yang. Large dual encoders are generalizable retrievers. , abs/2112.07899, 2021. ArXiv [44] Jianmo Ni, Gustavo Hernandez Abrego, Noah Constant, Ji Ma, Keith Hall, Daniel Cer, and Yinfei Yang. Sentence-t5: Scalable sentence encoders from pre-trained text-to-text models. In , pages 1864–1874, 2022. Findings of the Association for Computational Linguistics: ACL 2022 [45] Barlas Oguz, Kushal Lakhotia, Anchit Gupta, Patrick Lewis, Vladimir Karpukhin, Aleksandra Piktus, Xilun Chen, Sebastian Riedel, Scott Yih, Sonal Gupta a Yashar Mehdad. Doménově odpovídající předškolní úkoly pro husté zotavení. , pages 1524–1534. Association for Computational Linguistics, 2022. doi: 10.18653/v1/2022.findings-naacl.114. URL . Findings of the Association for Computational Linguistics: NAACL 2022, Seattle, WA, United States, July 10-15, 2022 https://doi.org/10.18653/v1/2022.findings-naacl.114 [46] Fabio Petroni, Aleksandra Piktus, Angela Fan, Patrick Lewis, Majid Yazdani, Nicola De Cao, James Thorne, Yacine Jernite, Vassilis Plachouras, Tim Rocktaschel, and Sebastian Riedel. Kilt: a benchmark for knowledge intensive language tasks. In v roce 2020. Severoamerická kapitola Asociace pro výpočetní lingvistiku [47] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, a Ilya Sutskever. Učení přenositelné vizuální modely z přirozeného jazyka supervi-sion. V Marina Meila a Tong Zhang, redaktoři, Volné číslo 139 , pages 8748–8763. PMLR, 2021. URL . Proceedings of the 38th International Conference on Machine Learning, ICML 2021, 18-24 July 2021, Virtual Event Proceedings of Machine Learning Research http://proceedings.mlr.press/v139/radford21a.html [48] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li a Peter J Liu. , 21:1–67, 2020. Journal of Machine Learning Research [49] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In , stránky 3982–3992, Hongkong, Čína, 2019. sdružení pro výpočetní lingvistiku. doi: 10.18653/v1/D19-1410. . Proceedings of the 2019 Conference on Empirical Methods in Natural Lan-guage Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) https://aclanthology.org/D19-1410 [50] Ruiyang Ren, Yingqi Qu, Jing Liu, Wayne Xin Zhao, QiaoQiao She, Hua Wu, Haifeng Wang a Ji-Rong Wen. RocketQAv2: Společná výcviková metoda pro získávání hustého průchodu a přeřazení průchodu. , stránky 2825–2835, Online a Punta Cana, Dominikánská republika, 2021. sdružení pro výpočetní lingvistiku. doi: 10.18653/v1/2021.emnlp-main.224. URL . Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing https://aclanthology.org/2021.emnlp-main.224 [51] Holger Schwenk, Guillaume Wenzek, Sergey Edunov, Edouard Grave, Armand Joulin, and Angela Fan. CCMatrix: Mining billions of high-quality parallel sentences on the web. In , pages 6490–6500, Online, 2021. Association for Computational Linguistics. doi: 10.18653/v1/2021.acl-long.507. URL . Zápisy z 59. výročního zasedání Asociace pro výpočetní lingvistiku a 11. mezinárodní společné konference o zpracování přirozeného jazyka (Volume 1: Long Papers) https://aclanthology.org/2021.acl-long.507 [52] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, A. Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In v roce 2013. Empirické metody zpracování přirozeného jazyka [53] Nandan Thakur, Nils Reimers, Andreas Rücklé, Abhishek Srivastava, and Iryna Gurevych. Beir: A heterogeneous benchmark for zero-shot evaluation of information retrieval models. In v roce 2021. Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2) [54] James Thorne, Andreas Vlachos, Christos Christodoulopoulos, and Arpit Mittal. FEVER: a large-scale dataset for fact extraction and VERification. In , pages 809–819, New Orleans, Louisiana, 2018. Association for Computational Linguistics. doi: 10.18653/v1/N18-1074. URL Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Dlouhé papíry) https: . //aclanthology.org/N18-1074 [55] Ellen Voorhees, Tasmeer Alam, Steven Bedrick, Dina Demner-Fushman, William R Hersh, Kyle Lo, Kirk Roberts, Ian Soboroff, and Lucy Lu Wang. Trec-covid: constructing a pandemic information retrieval test collection. In , objem 54, stránky 1–12. ACM New York, NY, USA, 2021. ACM SIGIR fórum [56] Henning Wachsmuth, Shahbaz Syed, a Benno Stein. Získání nejlepšího protiargumentu bez předchozího znalosti tématu. , pages 241–251, 2018. Zápis z 56. výročního zasedání Asociace pro výpočetní lingvistiku (Volume 1: Long Papers) [57] David Wadden, Shanchuan Lin, Kyle Lo, Lucy Lu Wang, Madeleine van Zuylen, Arman Cohan, and Hannaneh Hajishirzi. Fact or fiction: Verifying scientific claims. In , pages 7534–7550, 2020. Konference o empirických metodách zpracování přirozeného jazyka (EMNLP) [58] Liang Wang, Nan Yang, Xiaolong Huang, Binxing Jiao, Linjun Yang, Daxin Jiang, Rangan Majumder, and Furu Wei. Simlm: Pre-training with representation bottleneck for dense passage retrieval. , abs/2207.02578, 2022. ArXiv [59] Wenhui Wang, Hangbo Bao, Shaohan Huang, Li Dong, and Furu Wei. Minilmv2: Multi-head self-attention relation distillation for compressing pretrained transformers. In , stránky 2140–2151, 2021. Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021 [60] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin a Edouard Grave. CCNet: Extrahování vysoce kvalitních monolingválních datových souborů z dat prohledávání webu. , stránky 4003–4012, Marseille, Francie, Asociace evropských jazykových zdrojů. ISBN 979-10-95546-34-4. . 12. konference o jazykových zdrojích a hodnocení https://aclanthology.org/2020.lrec-1.494 [61] Lee Xiong, Chenyan Xiong, Ye Li, Kwok-Fung Tang, Jialin Liu, Paul N. Bennett, Junaid Ahmed, and Arnold Overwijk. Approximate nearest neighbor negative contrastive learning for dense text retrieval. In . OpenReview.net, 2019 URL . . 9th International Conference on Learning Representations, ICLR 2021, Virtual Event, Austria, May 3-7, 2021 https://openreview net/forum?id=zeFrfgyZln [62] Canwen Xu, Daya Guo, Nan Duan, and Julian McAuley. Laprador: Unsupervised pretrained dense retriever for zero-shot text retrieval. In , stránky 3557–3569, 2022. Findings of the Association for Computational Linguistics: ACL 2022 [63] Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov a Christopher D Manning. Hotpotqa: Dataset pro různorodé, vysvětlitelné multi-hop otázky odpovědi. , pages 2369–2380, 2018. Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing Podrobnosti databáze For Common Crawl, we download the 2022-33 snapshot and cc_net Používá se pro předběžné zpracování včetně jazykové identifikace, de-duplikace, filtrování jazykových modelů atd. Webové stránky z MS-MARCO document ranking corpus jsou také zahrnuty. Pro krok filtrování dat zkoumáme každý pár pasáží uvnitř webové stránky namísto pouhého použití názvu jako dotazu. Aby se zabránilo možné kontaminaci dat, odstraňujeme textové páry, které se vyskytují v hodnocených datových souborech na základě přesné shody řetězců. 8 [článek 46 ] Údaje Redditu jsou shromažďovány od roku 2018 do srpna 2022.Pro údaje S2ORC používáme při školení vzorkovou váhu 0*.*3, abychom se vyhnuli nadměrnému přizpůsobení vědeckých oborů. For the BEIR benchmark, we use the 15 datasets that provide public downloads: MS MARCO [ ], Trec-Covid [ ] , NFCorpus [ ] , NQ [ ], HotpotQA [ ] , Fiqá [ ], ArguAna [ ], Černá Hora 2020 [ ], CQADupStack [ ], Quora, DBPedia [ ], Scidocs [ ], Fever [ Klimatická horečka [ ], and Scifact 8 55 5 32 63 37 56 4 26 24 12 54 18 [57]. B Implementation Details Hyperparametry jsou uvedeny v tabulce Vzhledem k tomu, že některé datové sady pro hodnocení mají dlouhé texty, zmrazíme vkládání pozic během předškolení i finálního nastavení a nastavíme maximální délku textu na 512 pro hodnocení. 11. Pro úkol duplicitního vyhledávání Quora v referenční hodnotě BEIR přidáme předponu " „Na všechny dotazy.Pro další úkoly pro vyhledávání používáme“ „A“ „Předem odpovídajícím způsobem. Požadavky : query: Procházka : Výsledky MS-MARCO v tabulce use document titles provided by RocketQA [ ]. This evaluation setup is consistent with most state-of-the-art dense retrievers. However, the MS-MARCO data from the BEIR benchmark does not have titles, so the results are expected to be lower. 12 50 Hlásíme výsledky pro datové sady v doméně v tabulce These results can help illustrate the benefits brought by contrastive pre-training when abundant in-domain labeled data are available. For MS-MARCO passage ranking, MRR@10 and Recall@1k are reported. For the NQ dataset, Recall@20 and Recall@100 are the main metrics. In-domain Evaluation 12. C Negative Results Zde jsou některé pokusy, které se nakonec vzdáváme: Podobně je tomu i s DDR. ], we add one BM25 hard negative for each positive pair during training. When using 15M data, this strategy improves the overall results by ~ 0.5 points on the BEIR benchmark. However, running the BM25 algorithm over a 250M+ dataset is too time-consuming even with multi-node and multi-process parallelism. Adding BM25 hard negatives 30 Though RoBERTa shows consistent gains on many NLP tasks, we empirically find that RoBERTa performs worse than BERT initialization on most of the BEIR benchmark datasets. Using RoBERTa instead of BERT for initialization We add a masked language modeling loss for 25% of the training text pairs. The numbers are on par with removing this auxiliary objective, but the training cost goes up. Auxiliary MLM objective This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. available on arxiv Tento papír je Pod licencí CC by 4.0 Deed (Attribution 4.0 International). available on arxiv