Як Microsoft навчила 270-мільйонний пар AI для потужності розумного пошуку

Автори : Liang Wang (Microsoft Corporation) Nan Yang (Microsoft Corporation) Xiaolong Huang (Microsoft Corporation) Binxing Jiao (Microsoft Corporation) Linjun Yang (Microsoft Corporation) Daxin Jiang (Microsoft Corporation) Rangan Majumder (Microsoft Corporation) Furu Wei (Microsoft Corporation) Автори : Ліанг Ван (Microsoft Corporation) Nan Yang (Корпорація Microsoft) Xiaolong Huang (Корпорація Майкрософт) Binxing Jiao (корпорація Майкрософт) Лінджун Ян (Microsoft Corporation) Daxin Jiang (Корпорація Майкрософт) Ранган Маджумдер (Microsoft Corporation) Фуру Вей (Microsoft Corporation) абстрактні Цей документ представляє E5 , сімейство найсучасніших вбудованих текстів, які добре переносять на широкий спектр завдань. Модель підготовлена контрастним чином з слабкими сигналами нагляду з нашого кураторського набору великих текстових пар даних (названих CCPairs). E5 можна легко використовувати як модель вбудування загального призначення для будь-яких завдань, що вимагають одновекторного представлення текстів, таких як відкликання, класування та класифікація, досягаючи сильної продуктивності як в нульовому, так і в тонкому налаштуванні. Ми проводимо великі оцінки 56 наборів даних з бенчмарків BEIR та MTEB. Для нульових налаштувань E5 є першою моделлю, яка перевершує сильну базу BM25 на бенчмарку BEIR 1 1 Введення Вбудовані тексти є низьковимірними векторними представленнями для текстів довільної довжини і відіграють ключову роль у багатьох NLP-задачах, таких як масштабне пошук. Порівняно з високовимірними і рідкісними представленнями, такими як TF-IDF, вбудовані тексти мають потенціал для подолання проблеми лексичного невідповідності та полегшення ефективного пошуку та відповідності між текстами. У той час як попередньо підготовлені мовні моделі, такі як BERT [ ) і ГПТ [ ] може виробляти переносимі текстові представлення, вони не ідеально підходять для завдань, таких як пошук та відповідність тексту, де одновекторне вбудовування текстів є більш бажаним через його ефективність та універсальність. Щоб отримати кращі текстові вбудовування, контрастиве навчання часто є рамкою для поліпшення представлень на рівні послідовності з текстових пар. Протягом цієї лінії досліджень деякі роботи орієнтовані на вивчення вбудовувань, специфічних для завдань. Наприклад, GTR [ Протокол No 5 [ ] тонко налаштуйте попередньо навчені моделі з наглядовими наборами даних для вивчення вбудованих налаштувань для пошуку проходів та семантичної текстової схожості відповідно. Інші роботи вивчають непідконтрольні вбудовані з автоматично побудованих текстових пар. Типові методи побудови текстових пар включають Inverse Close Task (ICT) [ ], випадковий кропивлення [ ] і сусідні текстові проміжки [ Хоча такі синтетичні дані мають необмежену кількість, вони часто мають погану якість, і отримані вбудовані елементи не відповідають показникам класичної базової лінії BM25 без подальшого тонкого налаштування. 17 7 43 44 9 28 41 [40] Про це У цій роботі ми дізнаємося високоякісне вбудовування тексту загального призначення під назвою E5, MB Джинси з Бідір цинічний НКВД Р презентації. E5 прагне забезпечити сильні позашляхові текстові вбудовування, придатні для будь-яких завдань, що вимагають одновекторних представлень як в нульовому, так і в тонкому налаштуванні. Щоб досягти цієї мети, замість того, щоб покладатися на обмежені етикетовані дані або низькоякісні синтетичні текстові пари, ми контрастно навчаємо вбудовування E5 від CCPairs, курованого набору текстових пар веб-скали, що містить гетерогенні тренувальні сигнали. Ми будуємо набір даних CCPairs, об'єднуючи різні напівструктуровані джерела даних, такі як CommunityQA, Common Crawl та наукові статті, і виконуємо агресивне фільтрування за допомогою фільтра ] для поліпшення якості даних. Ми вибираємо простий контрастивний рецепт навчання, використовуючи негативи в партії з великим розмахом партії, щоб навчити нашу модель. Широкі експерименти як на бенчмарках BEIR, так і MTEB демонструють ефективність запропонованого методу. ], E5 є першою моделлю, яка перевершує сильну базову лінію BM25 без використання будь-яких етикетованих даних. Коли тонко налаштовані на етикетованих наборах даних, продуктивність може бути додатково поліпшена.Результати на 56 наборах даних з нещодавно введеного еталону MTEB [ ] показують, що наша E5base є конкурентоспроможною проти GTRxxl і Sentence-T5xxl, які мають 40 разів більше параметрів. E E E E E 15 53 40 2 Пов'язані роботи Були довготривалі інтереси у перетворенні текстів в низьковимірні щільні вбудовані. Ранні роботи включають в себе Латентне семантичне індексування (LSA) [ ] і Латентний розподіл дирижерів (LDA) [ LSA використовує розщеплення матриці спільного виникнення слова-документу для створення вбудованих документів, тоді як LDA використовує імовірністські графічні моделі для вивчення тематичних розподілів. показати, що простий зважений середній значення словних векторів [ ] може бути сильним початком для вбудованих речень. 16 3 Арора та Ал. 38 З розвитком попередньо підготовлених мовних моделей [ , , ] і великі набори даних з позначками, такі як SNLI [ Наприклад, MS-MARCO ], такі як методи Sentence-BERT [ ] , Симфонія [ ], Положення No 5 [ У зв’язку з цим ( Більшість досліджень зосереджується на коротких текстах і, таким чином, використовує термін "вбудовані речення". Для довгих документів залишається відкритим дослідницьким питанням, чи можуть вбудовані фіксованої довжини кодувати всю інформацію. ] виявляється більш ефективним, ніж класифікаційні втрати [ , Наступна статтяЛабораторія (Лабораторія) «Лазер» ] and CLIP [ Подальше розширюється до багатомовних і мультимодальних сценаріїв за допомогою паралельних речень і пар зображення-тексту. 17 35 48 6 8 49 22 44 39 10 49 14 20 2 47 Іншим напрямком є розробка самонаглядових завдань попередньої підготовки для підбору тексту та пошуку. [ ] пропонує відоме завдання зворотного замкнуття (ІКТ), де випадкове речення в межах пункту вибирається як псевдо-запит, а решта розглядається як позитивний зразок. ] показує, що випадкове вишивання з збільшенням даних є більш ефективним, ніж ІКТ на ряді завдань з отримання інформації з нульовим навантаженням. ] використовувати сусідні тексти як позитивні і збільшити розмір моделі до 175B. Oguz et al. Виконує доменне попереднє навчання для поліпшення результатів в домені. ] тренує щільного ретривера, обробляючи BM25 як модель вчителя. Хоча вищезазначені підходи можуть легко отримати рясні сигнали нагляду, такі синтетичні дані, як правило, мають низьку якість. ] показують, що вони стикаються з продуктивністю BM25, якщо вони не будуть більш тонко налаштовані на етикеткових наборах даних. 9 28 41 [45 ] 11 53 Оцінка та інтерпретація вбудованих текстів також є нетривіальними. Більшість еталонів вимірюють якість вбудованих завдань за допомогою виконання наступних завдань. Наприклад, SentEval [ ] використовує лінійне дослідження та збірку наборів даних семантичної текстової схожості (STS), тоді як бенчмарк BEIR [ ] зосереджується на нульових сценаріях отримання інформації. Нещодавно введений бенчмарк MTEB [ ] об'єднує 56 наборів даних, що охоплюють 8 завдань і 112 мов. Експерименти показують, що жодна модель не може досягти найсучасніших результатів на всіх вбудованих завдань. 13 53 40 Найбільш тісно пов'язана з нашою роботою серія спільних зусиль для підготовки вбудованих матеріалів з колекцією наборів даних, що мають етикетки та збираються автоматично. У цій статті ми показуємо, що можна тренувати високоякісні вбудовані матеріали, використовуючи тільки самонаглядове попереднє навчання. трансформатори 2 3 CCPairs: Велика колекція набору текстових пар даних У цій роботі ми видобуваємо та збираємо CCPairs, великий набір високоякісних текстових пар даних з веб-джерелів, які забезпечують різноманітні сигнали навчання, які добре передаються широкому діапазону завдань. Великі набори даних високої якості, такі як C4 [ ] і CCMatrix [ ] є життєво важливими для успіху мовної моделі попередньої підготовки та машинного перекладу. Для вивчення текстових вбудованих текстів, існуючі роботи або використовують невеликі людські анотаційні дані, такі як NLI [ Наприклад, MS-MARCO ] або приймати евристики, такі як випадковий кропінг [ Для отримання широкомасштабних, але дуже гучних сигналів нагляду. Harvesting semi-structured data sources 48 51 22 8 28 Замість цього ми курируємо текстовий набір даних CCPairs ( Олеся Lean Текст Наприклад, за допомогою напівструктуризованих джерел даних ( , ) означає текстову пару, що складається з запиту І прохід Тут ми використовуємо » " для позначення послідовності слів будь-якої довжини, яка може бути коротким реченням, параграфом або довгим документом. , (питання, голосована відповідь) пари від Stackexchange , (назва суб'єкта + назва розділу, абзац) пари з англійської Вікіпедії, (назва, абстракт) і цитати пари з наукових праць [ ], і (заголовок, прохід) пари з Common Crawl Інтернет-сторінки та різні джерела інформації. C C Pairs q p q p Проїзд 3 4 36 5 Ми включаємо лише джерела даних, які можуть бути автоматично видобуті, і деякі піднабори безпосередньо повторно використовуються з існуючих наборів даних. Прості евристичні правила застосовуються для фільтрації даних з Reddit і Common Crawl. Наприклад, ми видаляємо коментарі Reddit, які або занадто довгі ( 4096 символів) або отримувати оцінку менше 1 і видаляти пасажі з веб-сторінок з високою плутаниною [ Після попереднього фільтрування, ми закінчимо з ∼ 1 * * 3 мільярдів пар тексту, більшість з яких приходять з Reddit і Common Crawl. > 60 А Щоб покращити якість даних і зробити витрати на навчання керованими, ми пропонуємо методику фільтрації даних на основі послідовності: модель спочатку тренується на шумних текстових парах 1 * * 3B, а потім використовується для рейтингу кожної пари проти басейну 1 мільйона випадкових пасажів. Іншими словами, прогноз моделі повинен бути узгодженим з етикетками навчання. = 2 на основі ручної перевірки якості даних. Після цього кроку ми закінчуємо з ∼ 270M пар тексту для контрастного попереднього навчання. Consistency-based filter k k Інтуїція для цієї техніки походить від поведінки запам'ятовування нейронних мереж [ ]: при навчанні на шумних наборах даних нейронні мережі спершу запам'ятовують чисті етикетки, а потім поступово перевищують шумні етикетки. , , Також можна застосувати цей фільтр ітеративно, ми залишимо його для майбутньої роботи. 19 42 15 23 4 Методи Наші вбудовані матеріали можуть бути підготовлені тільки з неозначеними текстовими парами від CCPairs з контрастивною попередньою підготовкою. Другий етап тонкого налаштування на малих, високоякісних наборах даних з етикетками може бути виконаний для подальшого підвищення якості отриманих вбудованих матеріалів. Для загального огляду. 1 4.1 Контрастні попередні тренінги з неозначеними даними Поняття про те, що ви маєте на увазі, пов'язане з тим, що ви маєте на увазі те, що ви маєте на увазі, і те, що ви маєте на увазі, зважаючи на те, що ви маєте на увазі те, що ви маєте на увазі. ( ) , ми виділяємо список негативних пасажирів { = 1 для Прикладом є втрата контрасту InfoNCE. Це наступне: ПІ, ПІ n p М І i [ 10 ] де ( ) є функцією оцінки між запитом І прохід Параметризовано Дотримуючись популярної архітектури biencoder, ми використовуємо заздалегідь навчений енкодер Transformer і середнє сполучення над вихідним шаром, щоб отримати вбудовані тексти фіксованого розміру. та Оцінка - це схожість козин, масштабована гіперпараметром температури. : Ст q, п q p θ E q E p τ θ θ де Ми використовуємо спільний кодер для всіх вхідних текстів і порушуємо симетрію, додавши два ідентифікатори префіксів та два та відповідно. Для деяких джерел даних, таких як цитати пар, не очевидно, яка сторона повинна бути запитом, ми випадково вибираємо один для простоти. Такий асиметричний дизайн виявляється важливим для деяких завдань пошуку, де існують парафрази запиту в цільовому корпусі. τ «Query» «Перехід» q d Ще одним критичним питанням для контрастного навчання є те, як вибрати негативні зразки. ], де проходження від інших пар в парі служать як негативні зразки.Ми виявили, що ця проста стратегія дозволяє більш стабільне навчання і перевершує методи, такі як MoCo коли розмір партії достатньо великий. 10 [ 25 ] 4.2 Фінне налаштування з позначеними даними У той час як контрастне попереднє навчання на CCPairs забезпечує міцну основу для загальних вбудованих даних, подальша підготовка до етикетованих даних може вводити людські знання в модель для підвищення продуктивності. , ] показали, що наглядове тонке налаштування призводить до послідовного підвищення продуктивності.У цій статті ми вибираємо подальшу підготовку з комбінацією 3 наборів даних: NLI (Natural Language Inference), набір даних проходження MS-MARCO [ ], і NQ (Природні питання) набір даних [ , Емпірично, такі завдання, як STS (Semantic Textual Similarity) і лінійне випробування, отримують користь від даних NLI, в той час як набори даних MS-MARCO і NQ добре передаються до завдань пошуку. 43 44 6 8 30 32 На основі практики підготовки сучасних густих ретриверів [ , ], ми використовуємо видобуті жорсткі негативи та дистиляцію знань з моделі викладача Cross-encoder (CE) для наборів даних MS-MARCO та NQ. Для набору даних NLI суперечливі речення розглядаються як жорсткі негативи. Функція втрати є лінійною інтерполяцією між контрастивними втратами Розрахунок жорстких етикеток та розбіжностей KL КЛ для дистиляції м'яких етикетки з моделі вчителя. 50 58 L D де Це та Сюди входять ймовірності з моделі перехресного кодування вчителя та нашої студентської моделі. є гіперпараметром для збалансування двох функцій втрат. Те ж саме, що і в рівняннях. p p α L 1. 4.3 Застосування текстових вбудованих завдань Після двох вищезазначених кроків ми отримуємо високоякісні вбудовані тексти, які добре переносяться на широкий спектр завдань без тонкого налаштування параметрів моделі. У поєднанні з такими методами, як приблизне пошук найближчого сусіда, вбудовані тексти забезпечують масштабоване та ефективне рішення для додатків, таких як веб-пошук. По-перше, прохідні вбудовані для цільового корпусу обчислюються та індексуються офлайн. Потім для кожного запиту ми обчислюємо його вбудовування запиту і повертаємо верхню - Класифікація списків з корпусу на основі схожості козину. Zero-shot Retrieval k Лінійний класифікатор тренується на вершині заморожених вбудованих з декількома позначеними прикладами. Різні завдання потрібно тільки тренувати і зберігати параметри класифікаційних голов. Це можна розглядати як особливу форму параметрично-ефективного навчання Few-shot Text Classification [27]. Тексти вводу та етикетки перетворюються на речення, засновані на шаблонах рукописних запрошень. Прогнозована етикетка є тією, що найближче до вхідного тексту в просторі вбудовування. Візьміть класифікацію почуттів відгуків про кіно як приклад, з оригінальним введенням " ”, текст етикетки є “ «Вхідний текст стає» ”. Zero-shot Text Classification Мені подобається дивитися це приклад жахливого / великого огляду фільму movie review: I enjoy watching it З огляду на два вбудованих тексту, ми використовуємо козинну функцію для вимірювання їх семантичної схожості.Оскільки абсолютні оцінки схожості не дозволяють легкої інтерпретації, оцінка зазвичай заснована на коефіцієнтах кореляції рангу. Semantic Textual Similarity Стандартні алгоритми кластерування, такі як k-мідіанти, можуть бути застосовані безпосередньо.Тексти, що належать до тієї ж категорії, повинні бути близькими в просторі вбудовування. Text Clustering Для інших завдань, крім класифікації та пошуку тексту з нульовим навантаженням, ми за замовчуванням використовуємо вбудовані запити. 5 Experiments 5.1 Конфігурації попереднього тренування та тонкого налаштування Ми попередньо тренуємо на нашому запропонованому наборі текстових пар даних для трьох розмірів моделей: E5small, E5base і E5large, ініційовані з MiniLM [59], bert-base-uncased, і bert-large-uncased-whole-wordmasking відповідно. Розмір партії встановлюється на велике значення 32, 768 для збільшення кількості негативних. Швидкість навчання становить {3, 2, 1}×10−4 для {малих, базових, великих} моделей, з лінійним розпадом і першими 1 000 кроками для нагрівання. Ми попередньо тренуємося на 20 000 кроків загалом з AdamW optimizer, що становить приблизно 2,5 епохи над набором даних. Вона займає {16, 32, 64} V100 GPU Pre-training is performed on the concatenation of 3 datasets: MS-MARCO passage ranking [ ], NQ [ , ], and NLI [ ] datasets. We reuse the mined hard negatives and re-ranker scores from SimLM [ ] для перших двох наборів даних. Моделі тонко налаштовані на 3 епохи з розміром партії 256 на 8 GPU. Швидкість навчання становить {3*,* 2*,* 1}×10−5 для {малих, базових, великих} моделей з 400 ступенями нагрівання. Для кожного прикладу ми використовуємо 7 жорстких негативів. Оскільки набір даних NLI має тільки 1 жорсткий негатив для кожного прикладу, 6 речень випадково відбираються з усього корпусу. Fine-tuning 8 32 30 22 58 We use E5-PT to denote models with contrastive pre-training only. More implementation details can be found in Appendix B. 5.2 Evaluation Datasets is a collection of 19 information retrieval datasets, ranging across ad-hoc web search, question answering, fact verification and duplicate question retrieval, etc. We evaluate the 15 datasets that provide public downloads. The main metric is nDCG@10. BEIR Benchmark [ ] 53 53 is recently proposed for benchmarking massive text embedding tasks. Though MTEB is multilingual due to the inclusion of bitext mining datasets, most datasets are still only available in English. In this paper, we evaluate the English subsets, which have 56 datasets spanning across 6 categories: Classification (Class.), Clustering (Clust.), Pair Classification (PairClass.), Rerank, Retrieval (Retr.), STS, and Summarization (Summ.). The evaluation metrics are accuracy, v-measure, average precision, MAP, nDCG@10, and Spearman coefficients, respectively. Please refer to the MTEB paper for details. MTEB Benchmark [ ] 40 40 5.3 Результати на бенчмарк BEIR In Table we show model results that do not use any labeled data. When averaged over all 15 datasets, E5-PTbase outperforms the classic BM25 algorithm by 1*.*2 points. To the best of our knowledge, this is the first reported result that an unsupervised model can beat BM25 on the BEIR benchmark. When scaling up to E5-PTlarge, we see further benefits from42. * 2 Results with Unsupervised Methods 1, 9 з 44 Що стосується попередніх завдань підготовки, то Contriever використовує випадкове оброблення, в той час як LaPraDor поєднує в собі ІКТ і вихід як позитивний випадок від SimCSE. Методи можуть легко отримати великі навчальні дані, в той час як наш підхід вимагає більше зусиль у курації набору даних. Такі зусилля виплачуються з кращими результатами. , , ] також показують, що поліпшення якості даних є важливим кроком для підготовки великих мовних моделей. 34 60 21 In Table Ми налагоджуємо наші моделі на контрольованих наборах даних, а потім передаємо їх до бенчмарку BEIR. Оскільки наші набори даних з налагодженням включають MS-MARCO та NQ, відповідні числа є результатами в домені. Для інших наборів даних це результати нульового передачі. Наша модель E5base досягає середнього nDCG@10 48*.*7, вже перевершуючи існуючі методи з більшими параметрами, такими як GTRlarge [ ]. Більшість наборів даних отримують вигоду від наглядового тонкого налаштування, але є також деякі винятки, такі як FiQA, Scidocs, Fever і т. д. Це, ймовірно, пов'язано з відсутністю достатньої різноманітності доменів для наборів даних тонкого налаштування. Results with Supervised Fine-tuning 2, 43 5.4 Results on MTEB benchmark In Table E5 models not only substantially outperform existing ones with similar sizes, but also match the results of much larger models. The top-2 models on MTEB leaderboard GTRxxl and Sentence-T5xxl have 4*.*8B parameters, while our E5large model is more than 10× smaller with 300M parameters. We expect that our model will benefit from continual scaling up. 3, 7 Since the difference between BERT-FTbase and E5base is that BERT-FTbase only has fine-tuning stage, their performance gap demonstrates the usefulness of contrastive pre-training on our proposed CCPairs dataset. For most task categories except Clustering, performance improves after supervised fine-tuning. Consistent with prior works [ , ], це ще раз демонструє важливість включення людських знань для вивчення кращих текстових вбудованих текстів. залишається відкритим питанням, чи можна отримати найсучасніші вбудовані тексти чисто самонаглядовим способом. 43 44 Table показує результати класифікації тексту з нульовим пострілом на наборі розробників набору даних SST-2 [ ]. By formulating text classification as embedding matching between input and label texts, our model can be much better than the “majority” baseline in a zero-shot setting. We use the prompt template from Section 4 52 4.3. 5.5 Аналіз In this section, we conduct a series of analyses to examine various design choices. All the numbers in this section are from base-size models. For the BEIR benchmark, we choose 6 datasets with more stable results across different runs. Some negative results are also listed in Appendix C. Since we use in-batch negatives for contrastive pre-training, larger batch size will provide more negatives and therefore improve the quality of the learned text embeddings. In Table increasing batch size from 1K to 32K leads to consistent gains across all 6 datasets. It is also possible to train with smaller batch sizes by adding hard negatives [ ]. However, the engineering efforts of mining hard negatives for large datasets (>100M) are non-trivial. Impacts of Batch Size 5 , 50 GTR models are fine-tuned with “MS-MARCO + NQ”, while Sentence-T5 models use NLI instead. In Table we can see that the “MS-MARCO + NQ” setting performs best on retrieval tasks, and the NLI data is beneficial for STS and linear probing classification. Similar observations are also made by Muennighoff et al. . Combining all of them leads to the best overall scores on the MTEB benchmark. This also illustrates the importance of dataset diversity for learning text embeddings. Fine-tuning Datasets 6, [40] One crucial step in our dataset curation pipeline is filtering out low-quality text pairs. In Table when training with 1M pairs, using filtered data has a nearly 6 points advantage. When all the text pairs are used, the “w/o filter” setting has about 4× more data but is still behind by 1*.*6 points. Though recent studies [ , ] показують, що моделі глибокого навчання досить міцні для шуму набору даних, фільтрація даних все ще має переваги в поліпшенні ефективності навчання та якості моделі. Data Filtering 7, 29 47 We explore two alternative methods to enlarge the number of negatives: Pre-batch negatives [ ] reuse embeddings from previous batches as additional negatives, while MoCo Negative Sampling 33 [ ] introduces a momentum encoder and uses a FIFO queue to store negatives. For both approaches, the negative size can be easily scaled up without incurring much GPU memory overhead. The downside is that most negatives are produced by an older version of model parameters. In Table in-batch negatives still perform favorably. Empirically, we find that MoCo is more sensitive to certain hyperparameters such as temperature, better results are possible with more tuning. 25 8 , With the rapid development of dense retrieval models, can we replace the long-standing BM25 algorithm from now on? The answer is likely “ BM25 все ще має очевидні переваги з точки зору простоти, ефективності та інтерпретабельності. ] and retrieval tasks that involve long documents (Touche-2020) [ ] or rely heavily on exact lexical match (Fever) [ ], further research efforts are still necessary to improve current dense retrievers. BM25 vs Dense Retrieval not yet 55 4 54 6 Conclusion In this work, we train a general-purpose text embedding model E5 from weak supervision signals. We adopt a simple contrastive training framework with in-batch negatives and learn from a large-scale text pair dataset we harvest from heterogeneous data sources across the web. E5 offers strong off-the-shelf performance for a wide range of tasks requiring single-vector text representations such as retrieval, semantic textual similarity, and text matching. When further customized for downstream tasks, E5 achieves superior fine-tuned performance compared to existing embedding models with 40× more parameters on the large, 56-task MTEB benchmark datasets. References [1] Sanjeev Arora, Yingyu Liang, і Tengyu Ma. Проста, але важко перемогти базова лінія для вбудованих речень. . OpenReview.net, 2017 URL . 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings https://openreview.net/forum?id=SyK00v5xx [2] Mikel Artetxe і Holger Schwenk. Масово багатомовні вбудовані речення для нульового крос-мовного трансферу і далі. , 7:597–610, 2019. doi: 10.1162/tacl_a_00288. URL . . Transactions of the Association for Computational Linguistics https://aclanthology org/Q19-1038 [3] David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent dirichlet allocation. In Thomas G. Dietterich, Suzanna Becker, and Zoubin Ghahramani, editors, , сторінок 601–608. MIT Press, 2001 URL . Advances in Neural Information Processing Systems 14 [Neural Information Processing Systems: Natural and Synthetic, NIPS 2001, December 3-8, 2001, Vancouver, British Columbia, Canada] https://proceedings.neurips.cc/paper/2001/hash/ 296472c9542ad4d4788d543508116cbc-Abstract.html [4] Alexander Bondarenko, Maik Fröbe, Johannes Kiesel, Shahbaz Syed, Timon Gurcke, Meriem Beloucif, Alexander Panchenko, Chris Biemann, Benno Stein, Henning Wachsmuth, et al. Overview of touché 2022: argument retrieval. In , pages 311–336. Springer, 2022. International Conference of the Cross-Language Evaluation Forum for European Languages [5] Vera Boteva, Demian Gholipour, Artem Sokolov, and Stefan Riezler. A full-text learning to rank dataset for medical information retrieval. In , pages 716–722. Springer, 2016. European Conference on Information Retrieval [6] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In , pages 632–642, Lisbon, Portugal, 2015. Association for Computational Linguistics. doi: 10.18653/v1/D15-1075. URL Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing https: . // aclanthology.org / Д15-1075 [7] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhari-wal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learn-ers. In Hugo Larochelle, Marc’Aurelio Ranzato, Raia Hadsell, Maria-Florina Balcan, and Hsuan-Tien Lin, editors, , 2020. URL . Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual https://proceedings.neurips.cc/paper/2020/hash/ 1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html [8] Деніел Фернандо Кампос, Трі Нгуен, Мір Розенберг, Ся Сонг, Цзянфенг Гао, Саурабх Тіварі, Ранган Маджумдер, Лі Денг і Бхаскар Мітра. , abs/1611.09268, 2016. ArXiv [9] Wei-Cheng Chang, Felix X. Yu, Yin-Wen Chang, Yiming Yang, і Sanjiv Kumar. Задачі попереднього навчання для вбудованого масштабного пошуку. . OpenReview.net, 2020. URL . 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020 https://openreview.net/forum?id=rkg-mA4FDr [10] Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey E. Hinton. A simple framework for contrastive learning of visual representations. In , volume 119 of , сторінки 1597-1607. PMLR, 2020 URL Proceedings of the 37th International Conference on Machine Learning, ICML 2020, 13-18 July 2020, Virtual Event Дослідження машинного навчання http: . //proceedings.mlr.press/v119/chen20j.html [11] Xilun Chen, Kushal Lakhotia, Barlas Og˘uz, Anchit Gupta, Patrick Lewis, Stan Peshterliev, Yashar Mehdad, Sonal Gupta, and Wen-tau Yih. Salient phrase aware dense retrieval: Can a dense retriever imitate a sparse one? , 2021. arXiv preprint arXiv:2110.06918 [12] Arman Cohan, Sergey Feldman, Iz Beltagy, Doug Downey, and Daniel S Weld. Specter: Document-level representation learning using citation-informed transformers. In , pages 2270–2282, 2020. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics [13] Alexis Conneau and Douwe Kiela. SentEval: An evaluation toolkit for universal sentence representations. In , Miyazaki, Japan, 2018. European Language Resources Association (ELRA). URL . Proceedings of the Eleventh International Conference on Language Re-sources and Evaluation (LREC 2018) https://aclanthology.org/L18-1269 [14] Alexis Conneau, Douwe Kiela, Holger Schwenk, Loïc Barrault, і Antoine Bordes. наглядове навчання універсальних представлень речень з даних висновків природної мови. , pages 670–680, Copenhagen, Denmark, 2017. Association for Computational Linguistics. doi: 10.18653/v1/D17-1070. URL . Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing https://aclanthology.org/D17-1070 [15] Zhuyun Dai, Vincent Zhao, Ji Ma, Yi Luan, Jianmo Ni, Jing Lu, Anton Bakalov, Kelvin Guu, Keith B. Hall, and Ming-Wei Chang. Promptagator: Few-shot dense retrieval from 8 examples. , abs/2209.11755, 2022. ArXiv [16] Scott Deerwester, Susan T Dumais, George W Furnas, Thomas K Landauer, and Richard Harshman. Indexing by latent semantic analysis. , 41(6):391–407, 1990. Journal of the American society for information science [17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In , pages 4171–4186, Minneapolis, Minnesota, 2019. Association for Computational Linguistics. doi: 10.18653/v1/N19-1423. URL . Proceedings of the 2019 Confer-ence of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) https://aclanthology.org/N19-1423 [18] Thomas Diggelmann, Jordan Boyd-Graber, Jannis Bulian, Massimiliano Ciaramita, and Markus Leippold. Climate-fever: A dataset for verification of real-world climate claims. , 2020. arXiv preprint arXiv:2012.00614 [19] Vitaly Feldman and Chiyuan Zhang. What neural networks memorize and why: Discovering the long tail via influence estimation. In Hugo Larochelle, Marc’Aurelio Ranzato, Raia Hadsell, Maria-Florina Balcan, and Hsuan-Tien Lin, editors, , 2020. URL . Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual https://proceedings.neurips.cc/ папір/2020/хаш/1e14bfe2714193e7af5abc64ecbd6b46-Abstract.html [20] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic bert sentence embedding. In , pages 878–891, 2022. Протоколи 60-го щорічного засідання Асоціації обчислювальної лінгвістики (том 1: Довгі документи) [21] Leo Gao, Stella Rose Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, Horace He, Anish Thite, Noa Nabeshima, Shawn Presser, and Connor Leahy. The pile: An 800gb dataset of diverse text for language modeling. , abs/2101.00027, 2021. ArXiv [22] Tianyu Gao, Xingcheng Yao, і Danqi Chen. SimCSE: Просте контрастиве навчання вбудованих речень. , pages 6894–6910, Online and Punta Cana, Dominican Republic, 2021. Association for Computational Linguistics. doi: 10.18653/v1/2021.emnlp-main.552. URL . Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing https://aclanthology.org/2021.emnlp-main.552 [23] Bo Han, Quanming Yao, Xingrui Yu, Gang Niu, Miao Xu, Weihua Hu, Ivor W. Tsang, and Masashi Sugiyama. Co-teaching: Robust training of deep neural networks with extremely noisy labels. In Samy Bengio, Hanna M. Wallach, Hugo Larochelle, Kris-ten Grauman, Nicolò Cesa-Bianchi, and Roman Garnett, editors, , Advances in Neu-ral Information Processing Systems 31: Annual Conference on Neural Information Processing Systems 2018, NeurIPS 2018, December 3-8, 2018, Montréal, Canada pages 8536–8546, 2018. URL . https://proceedings.neurips.cc/paper/2018/hash/ a19744e268754fb0148b017647355b7b-Abstract.html [24] Faegheh Hasibi, Fedor Nikolaev, Chenyan Xiong, Krisztian Balog, Svein Erik Bratsberg, Alexander Kotov і Jamie Callan. Dbpedia-entity v2: тест-колекція для пошуку суб'єктів. , pages 1265–1268, 2017. Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval [25] Kaiming He, Haoqi Fan, Yuxin Wu, Saining Xie, and Ross B. Girshick. Momentum contrast for unsupervised visual representation learning. In , pages 9726–9735. IEEE, 2020. doi: 10.1109/CVPR42600.2020.00975. URL . 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2020, Seattle, WA, USA, June 13-19, 2020 https://doi.org/10.1109/ CVPR42600.2020.00975 [26] Doris Hoogeveen, Karin M Verspoor, and Timothy Baldwin. Cqadupstack: A benchmark data set for community question-answering research. In , pages 1–8, 2015. Проведення 20-го австралійського документообчислювального симпозіуму [27] Neil Houlsby, Andrei Giurgiu, Stanislaw Jastrzebski, Bruna Morrone, Quentin de Laroussilhe, Andrea Gesmundo, Mona Attariyan, і Sylvain Gelly. Параметрично ефективне навчання передачі для НЛП. У Kamalika Chaudhuri і Ruslan Salakhutdinov, редакторів, , volume 97 of , pages 2790–2799. PMLR, 2019. URL . Proceedings of the 36th International Conference on Machine Learning, ICML 2019, 9-15 June 2019, Long Beach, California, USA Proceedings of Machine Learning Research http://proceedings.mlr.press/v97/houlsby19a.html [28] Gautier Izacard, Mathilde Caron, Lucas Hosseini, Sebastian Riedel, Piotr Bojanowski, Armand Joulin, and Edouard Grave. Towards unsupervised dense information retrieval with contrastive learning. , abs/2112.09118, 2021. ArXiv [29] Chao Jia, Yinfei Yang, Ye Xia, Yi-Ting Chen, Zarana Parekh, Hieu Pham, Quoc V. Le, Yun-Hsuan Sung, Zhen Li, and Tom Duerig. Scaling up visual and vision-language representation learning with noisy text supervision. In Marina Meila and Tong Zhang, editors, , volume 139 of , pages 4904–4916. PMLR, 2021. URL . Proceedings of the 38th International Conference on Machine Learning, ICML 2021, 18-24 July 2021, Virtual Event Proceedings of Machine Learning Research http://proceedings.mlr.press/v139/jia21b.html [30] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wen-tau Yih. Dense passage retrieval for open-domain question answering. In , pages 6769–6781, Online, 2020. Association for Computational Linguistics. doi: 10. 18653/v1/2020.emnlp-main.550. URL . . Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) https://aclanthology.org/2020.emnlp-main 550 [31] Omar Khattab and Matei Zaharia. Colbert: Efficient and effective passage search via contex-tualized late interaction over BERT. In Jimmy Huang, Yi Chang, Xueqi Cheng, Jaap Kamps, Vanessa Murdock, Ji-Rong Wen, and Yiqun Liu, editors, , pages 39–48. ACM, 2020. doi: 10.1145/3397271.3401075. URL . Proceedings of the 43rd International ACM SIGIR conference on research and development in Information Retrieval, SIGIR 2020, Vir-tual Event, China, July 25-30, 2020 https://doi.org/10.1145/3397271.3401075 [32] Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, Kristina Toutanova, Llion Jones, Matthew Kelcey, Ming-Wei Chang, Andrew M. Dai, Jakob Uszkoreit, Quoc Le, and Slav Petrov. Natural questions: A benchmark for question answering research. , 7:452–466, 2019. doi: 10.1162/tacl_a_00276. URL . Transactions of the Association for Computational Linguistics https://aclanthology.org/Q19-1026 [33] Jinhyuk Lee, Mujeen Sung, Jaewoo Kang, і Danqi Chen. Навчання щільних представлень фраз в масштабі. , сторінки 6634–6647, Онлайн, 2021. Асоціація обчислювальної лінгвістики. doi: 10.18653/v1/2021.acl-long.518. URL . . Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers) https://aclanthology.org/2021 acl-long.518 [34] Katherine Lee, Daphne Ippolito, Andrew Nystrom, Chiyuan Zhang, Douglas Eck, Chris Callison-Burch і Nicholas Carlini. Дедуплікація даних навчання робить мовні моделі кращими. , 2022. ACL [35] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. , abs/1907.11692, 2019. ArXiv [36] Kyle Lo, Lucy Lu Wang, Mark Neumann, Rodney Kinney, and Daniel Weld. S2ORC: The semantic scholar open research corpus. In , pages 4969–4983, Online, 2020. Associ-ation for Computational Linguistics. doi: 10.18653/v1/2020.acl-main.447. URL . Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics https://aclanthology.org/2020.acl-main.447 [37] Macedo Maia, Siegfried Handschuh, André Freitas, Brian Davis, Ross McDermott, Manel Zarrouk і Alexandra Balahur. Www’18 відкритий виклик: видобуток фінансової думки та відповіді на питання. , pages 1941–1942, 2018. Companion proceedings of the the web conference 2018 [38] Tomas Mikolov, Kai Chen, Gregory S. Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In , 2013. ICLR [39] Niklas Muennighoff. Sgpt: Gpt sentence embeddings for semantic search. , abs/2202.08904, 2022. ArXiv Niklas Muennighoff, Nouamane Tazi, Loic Magne і Nils Reimers. , abs/2210.07316, 2022. ArXiv [41] Arvind Neelakantan, Tao Xu, Raul Puri, Alec Radford, Jesse Michael Han, Jerry Tworek, Qiming Yuan, Nikolas A. Tezak, Jong Wook Kim, Chris Hallacy, Johannes Heidecke, Pranav Shyam, Boris Power, Tyna Eloundou Nekoul, Girish Sastry, Gretchen Krueger, David P. Schnurr, Felipe Petroski Such, Kenny Sai-Kin Hsu, Madeleine Thompson, Tabarak Khan, Toki Sherbakov, Joanne Jang, Peter Welinder, and Lilian Weng. Text and code embeddings by contrastive pre-training. , abs/2201.10005, 2022. ArXiv [42] Duc Tam Nguyen, Chaithanya Kumar Mummadi, Thi-Phuong-Nhung Ngo, Thi Hoai Phuong Nguyen, Laura Beggel, and Thomas Brox. SELF: learning to filter noisy labels with self-ensembling. In . OpenReview.net, 2020. URL . . . 8-а Міжнародна конференція з представництв у галузі навчання, ICLR 2020, Аддіс-Абеба, Ефіопія, 26-30 квітня 2020 року https://openreview net/forum?id=HkgsPhNYPS Jianmo Ni, Chen Qu, Jing Lu, Zhuyun Dai, Gustavo Hern’andez ‘Abrego, Ji Ma, Vincent Zhao, Yi Luan, Keith B. Hall, Ming-Wei Chang і Yinfei Yang. Великі подвійні кодери є генералізованими ретриверами. , abs/2112.07899, 2021. Архів [44] Jianmo Ni, Gustavo Hernandez Abrego, Noah Constant, Ji Ma, Keith Hall, Daniel Cer, and Yinfei Yang. Sentence-t5: Scalable sentence encoders from pre-trained text-to-text models. In , сторінки 1864–1874, 2022. Findings of the Association for Computational Linguistics: ACL 2022 [45] Barlas Oguz, Kushal Lakhotia, Anchit Gupta, Patrick Lewis, Vladimir Karpukhin, Aleksandra Piktus, Xilun Chen, Sebastian Riedel, Scott Yih, Sonal Gupta, і Yashar Mehdad. Доменні відповідні завдання попереднього навчання для щільного відновлення. Асоціація обчислювальної лінгвістики, 2022 doi: 10.18653/v1/2022.findings-naacl.114. URL . Findings of the Association for Computational Linguistics: NAACL 2022, Seattle, WA, United States, July 10-15, 2022 https://doi.org/10.18653/v1/2022.findings-naacl.114 [46] Fabio Petroni, Aleksandra Piktus, Angela Fan, Patrick Lewis, Majid Yazdani, Nicola De Cao, James Thorne, Yacine Jernite, Vassilis Plachouras, Tim Rocktaschel, and Sebastian Riedel. Kilt: a benchmark for knowledge intensive language tasks. In , 2020. North American Chapter of the Association for Computational Linguistics [47] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, і Ilya Sutskever. Вивчення передаваних візуальних моделей з природної мови supervi-sion. В Marina Meila і Tong Zhang, редактори, Загальна кількість 139 , pages 8748–8763. PMLR, 2021. URL . Протоколи 38-ї Міжнародної конференції з машинного навчання, ICML 2021, 18-24 липня 2021 року, Віртуальна подія Proceedings of Machine Learning Research http://proceedings.mlr.press/v139/radford21a.html [48] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. , 21:1–67, 2020. Журнал досліджень машинного навчання [49] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In , сторінки 3982–3992, Гонконг, Китай, 2019 Асоціація обчислювальної лінгвістики. doi: 10.18653/v1/D19-1410. . Proceedings of the 2019 Conference on Empirical Methods in Natural Lan-guage Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) https://aclanthology.org/D19-1410 [50] Ruiyang Ren, Yingqi Qu, Jing Liu, Wayne Xin Zhao, QiaoQiao She, Hua Wu, Haifeng Wang, і Ji-Rong Wen. RocketQAv2: Метод спільного навчання для відстеження щільного проходу та перекладання проходу. , pages 2825–2835, Online and Punta Cana, Dominican Republic, 2021. Association for Computational Linguistics. doi: 10.18653/v1/2021.emnlp-main.224. URL . Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing https://aclanthology.org/2021.emnlp-main.224 Holger Schwenk, Guillaume Wenzek, Sergey Edunov, Edouard Grave, Armand Joulin, і Angela Fan. CCMatrix: Видобуток мільярдів високоякісних паралельних речень в Інтернеті. , pages 6490–6500, Online, 2021. Association for Computational Linguistics. doi: 10.18653/v1/2021.acl-long.507. URL . Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers) https://aclanthology.org/2021.acl-long.507 Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, A. Ng, і Christopher Potts. Рекурсивні глибокі моделі для семантичної композиційності над сентиментальним треебанком. У 2013 році. Conference on Empirical Methods in Natural Language Processing [53] Nandan Thakur, Nils Reimers, Andreas Rücklé, Abhishek Srivastava і Iryna Gurevych. Beir: Гетерогенний еталон для нульової оцінки моделей отримання інформації. , 2021. Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2) James Thorne, Andreas Vlachos, Christos Christodoulopoulos, і Arpit Mittal. FEVER: великий набір даних для вилучення фактів і перевірки. , pages 809–819, New Orleans, Louisiana, 2018. Association for Computational Linguistics. doi: 10.18653/v1/N18-1074. URL Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers) https: . //aclanthology.org/N18-1074 [55] Ellen Voorhees, Tasmeer Alam, Steven Bedrick, Dina Demner-Fushman, William R Hersh, Kyle Lo, Kirk Roberts, Ian Soboroff, and Lucy Lu Wang. Trec-covid: constructing a pandemic information retrieval test collection. In , volume 54, pages 1–12. ACM New York, NY, USA, 2021. АКМ Сигір Форум [56] Henning Wachsmuth, Shahbaz Syed, and Benno Stein. Retrieval of the best counterargument without prior topic knowledge. In , pages 241–251, 2018. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) [57] David Wadden, Shanchuan Lin, Kyle Lo, Lucy Lu Wang, Madeleine van Zuylen, Arman Cohan, and Hannaneh Hajishirzi. Fact or fiction: Verifying scientific claims. In , сторінки 7534–7550, 2020 року Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) [58] Liang Wang, Nan Yang, Xiaolong Huang, Binxing Jiao, Linjun Yang, Daxin Jiang, Rangan Majumder і Furu Wei. Simlm: попередня підготовка з представницькою пляшкою для відновлення щільного проходу. , abs/2207.02578, 2022. ArXiv [59] Wenhui Wang, Hangbo Bao, Shaohan Huang, Li Dong, і Furu Wei. Minilmv2: Дестиляція відносин багатоголовного самозаймання для стиснення перепідготовлених трансформаторів. , сторінки 2140–2151, 2021. Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021 [60] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and Edouard Grave. CCNet: Extracting high quality monolingual datasets from web crawl data. In , pages 4003–4012, Marseille, France, 2020. European Language Resources Associ-ation. ISBN 979-10-95546-34-4. URL . Проведення 12-ї конференції з питань мовних ресурсів та оцінювання https://aclanthology.org/2020.lrec-1.494 [61] Lee Xiong, Chenyan Xiong, Ye Li, Kwok-Fung Tang, Jialin Liu, Paul N. Bennett, Junaid Ahmed, and Arnold Overwijk. Approximate nearest neighbor negative contrastive learning for dense text retrieval. In . OpenReview.net, 2021. URL . . . 9th International Conference on Learning Representations, ICLR 2021, Virtual Event, Austria, May 3-7, 2021 https://openreview net/forum?id=автомобіль [62] Canwen Xu, Daya Guo, Nan Duan, and Julian McAuley. Laprador: Unsupervised pretrained dense retriever for zero-shot text retrieval. In , pages 3557–3569, 2022. Висновки Асоціації обчислювальної лінгвістики: ACL 2022 Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov, і Christopher D Manning. Hotpotqa: Набір даних для різноманітних, пояснюваних відповідей на багатохвильові питання. , сторінки 2369–2380, 2018 р. Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing A Dataset Details For Common Crawl, we download the 2022-33 snapshot and cc_net is used for preprocessing including language identification, de-duplication, language model filtering, etc. Web pages from the MS-MARCO document ranking corpus are also included. For the data filtering step, we examine each pair of passages within a web page instead of just using the title as a query. For Wikipedia, we use the version released by Petroni et al. Щоб уникнути можливого забруднення даних, ми видаляємо текстові пари, які відбуваються в наборах даних оцінки на основі точного збігу рядків. 8 [46] Reddit data is collected from the year 2018 to August 2022. For the S2ORC data, we use a sample weight of 0*.*3 during training to avoid over-fitting the scientific domains. Для бенчмарку BEIR ми використовуємо 15 наборів даних, які забезпечують публічні завантаження: MS MARCO [ ], Трек-Ковід [ ], NFCorpus [ Наприклад, в НК [ Наприклад, у готелі [ ], FiQA [ ] , Аргуана [ ], Touche-2020 [ ], CQADupStack [ ], Quora, DBPedia [ ], Scidocs [ ], Fever [ Климатична температура [ ], and Scifact 8 55 5 32 63 37 56 4 26 24 12 54 18 [57]. Б. Деталі виконання Перелічимо гіперпараметри в таблиці Since some evaluation datasets have long texts, we freeze the position embeddings during both pre-training and fine-tuning and set the maximum text length to 512 for evaluation. 11. For the Quora duplicate retrieval task in the BEIR benchmark, we add prefix “ ” to all the questions. For other retrieval tasks, we use “ «І» «Представлено відповідність. query: Запрошуємо : passage: The MS-MARCO results in Table Використовуйте назви документів, надані RocketQA [ ]. Цей налаштування оцінки узгоджується з більшістю найсучасніших густих ретриверів. проте, дані MS-MARCO від бенчмарку BEIR не мають заголовків, тому очікується, що результати будуть нижчими. 12 50 Повідомляємо про результати для наборів даних в домені в Таблиці These results can help illustrate the benefits brought by contrastive pre-training when abundant in-domain labeled data are available. For MS-MARCO passage ranking, MRR@10 and Recall@1k are reported. For the NQ dataset, Recall@20 and Recall@100 are the main metrics. In-domain Evaluation 12. C. Негативні результати Here are some attempts that we eventually give up on: Подібне стосується і ДФС [ ], ми додаємо один жорсткий негатив BM25 для кожної позитивної пари під час тренування. При використанні даних 15M ця стратегія покращує загальні результати на ~ 0,5 пунктів на бенчмарк BEIR. Однак, запуск алгоритму BM25 над набором даних 250M+ є занадто тривалим навіть при багатовузловому і багатопроцесу паралелізмі. Adding BM25 hard negatives 30 Хоча RoBERTa демонструє послідовний приріст у багатьох завданнях НЛП, ми емпірично виявили, що RoBERTa виконує гірше, ніж ініціалізація BERT на більшості бенчмаркових наборів даних BEIR. Using RoBERTa instead of BERT for initialization Ми додаємо втрату маскування мовного моделювання для 25% тренувальних пар тексту. Цифри нарівні з видаленням цієї допоміжної мети, але вартість навчання зростає. Auxiliary MLM objective This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. available on arxiv Цей документ є under CC by 4.0 Deed (Attribution 4.0 International) license. Доступно в архіві