כיצד מיקרוסופט הכשרה 270 מיליון זוגות AI כדי להפעיל חיפוש חכם יותר

סופרים : Liang Wang (Microsoft Corporation) Nan Yang (Microsoft Corporation) Xiaolong Huang (Microsoft Corporation) Binxing Jiao (Microsoft Corporation) Linjun Yang (Microsoft Corporation) Daxin Jiang (Microsoft Corporation) Rangan Majumder (Microsoft Corporation) Furu Wei (Microsoft Corporation) סופרים : ליאנג וואנג (Microsoft Corporation) Nan Yang (חברת מיקרוסופט) Xiaolong Huang (חברת מיקרוסופט) Binxing Jiao (חברת מיקרוסופט) Linjun Yang (Microsoft Corporation) Daxin Jiang (חברת מיקרוסופט) Rangan Majumder (חברת מיקרוסופט) Furu Wei (חברת מיקרוסופט) abstractעריכה תגיות קשורות E5 מודל זה מאומץ באופן ניגודי עם אותות פיקוח חלשים ממגוון נתונים של זוגות טקסט בגודל גדול שלנו (נקראים CCPairs). E5 יכול לשמש בקלות כמודל פיקוח למטרה כללית עבור כל משימה הדורשת ייצוג יחיד-ווקטור של טקסטים כגון חיפוש, קבוצה ודירוג, ובכך להשיג ביצועים חזקים גם בהגדרות אפס-הצלחה וגם בהגדרות מתואמות. אנו מבצעים הערכות מקיפות על 56 קבוצות נתונים מהביקורות BEIR ו-MTEB. עבור הגדרות אפס-הצלחה, E5 הוא המודל הראשון שמגדיל את הבסיס החזק BM25 בביקורות החיפוש BEIR מבלי להשתמש בכל נתונים מתואמים. 1 1 ההקדמה השבבים טקסטים הם ייצוגים וקטוריים ממדיים נמוכים עבור טקסטים באורך arbitrary ומשחקים תפקידים מרכזיים במשימות NLP רבות, כגון חיפוש בקנה מידה גדול. בהשוואה לייצוגים ממדיים גבוהים וחסרים כגון TF-IDF, השבבים טקסטים יש את הפוטנציאל להתגבר על הבעיה של חוסר תואמות מילולית ולסייע בחיפוש יעיל והתאמה בין טקסטים. בעוד מודלים שפות מראש מאומנים כגון BERT [ ) ו GPT [ ] can produce transferrable text representations, they are not ideal for tasks such as retrieval and text matching where a single-vector embedding of texts is more desired due to its efficiency and versatility. To obtain better text embeddings, contrastive learning is often the go-to framework to enhance the sequence-level representations from text pairs. Along this line of research, some works are geared towards learning task-specific embeddings. For example, GTR [ תגית: תגית: T5 [ ] התאמת דגמים מראש מאומנים עם קבוצות נתונים המנוהלים ללמוד השבבים מותאמים אישית עבור חיפוש עבר ושילוב טקסט סמנטי, בהתאמה.עבודות אחרות ללמוד השבבים ללא פיקוח מ זוגות טקסט שנבנו באופן אוטומטי.שיטות טיפוסיות לבניית זוגות טקסט כוללות Inverse Close Task (ICT) [ ], קרוואן אקראי [ ] וטקסט השכנים מקיפים [ בעוד נתונים סינתטיים כאלה הם בכמות בלתי מוגבלת, הם לעתים קרובות רעים באיכות וההדבקות המתקבלות אינן תואמות את הביצועים של הבסיס הקלאסי BM25 ללא התאמה מעמיקה נוספת. 17 7 43 44 9 28 41 [ 40 ] בעבודה זו אנו לומדים טקסט כללי באיכות גבוהה בשם E5, MB ddings מ bidir סיציליה קובץ R E5 שואפת לספק שילוב טקסט חזק מחוץ למסגרת המתאים לכל משימה הדורשת ייצוג ויקטור יחיד בהגדרות אפס או מתואמות. כדי להשיג מטרה זו, במקום להסתמך על נתונים מוגבלים עם תוויות או זוגות טקסט סינתטיים באיכות נמוכה, אנו מאמנים את שילוב E5 מ- CCPairs, קבוצת נתונים של זוגות טקסט בקנה מידה אינטרנט המכילה אותות הכשרה הטרוגניים. אנו בונים את קבוצת הנתונים של CCPairs על ידי שילוב של מקורות נתונים חצי מבוססיים שונים כגון CommunityQA, Common Crawl ו- Scientific Papers, ומבצעים פילטרים אגרסיביים עם מסנן מבוסס עקביות [ כדי לשפר את איכות הנתונים. אנו בוחרים מתכון ללמידה קונטרסטטיבי פשוט באמצעות שליליות בשורה עם גודל שורה גדול כדי להכשיר את המודל שלנו. ניסויים נרחבים על ביקורות BEIR ו- MTEB מוכיחים את האפקטיביות של השיטה המוצעת. ], E5 הוא המודל הראשון להתגבר על בסיס BM25 חזק מבלי להשתמש בכל נתונים מסומנים. כאשר מתאים היטב על קבוצות נתונים מסומנים, ביצועים יכולים להיות משופרים עוד יותר. תוצאות על 56 קבוצות נתונים מהמיקוד MTEB שהושק לאחרונה [ מראה כי E5base שלנו הוא תחרותי נגד GTRxxl ו Sentence-T5xxl, אשר יש 40 פעמים יותר פרמטרים. E E E E E 15 53 40 2 עבודות הקשורות יש התעניינות ארוכת טווח בשינוי טקסטים להגדרות צפופות בממדים נמוכים.עבודות מוקדמות כוללות אינדקס סמנטי לאנטנט (LSA) [ ] ו latent Dirichlet Allocation (LDA) [ LSA משתמשת בהפרדה של מטריית התרחשות משותפת של מילה-מסמך כדי ליצור שילוב מסמכים, בעוד LDA משתמשת במודלים גרפיים סבירוניסטיים כדי ללמוד הפצות נושאים. מראה כי ממוצע משקל פשוט של ויקטורים מילים [ ] יכול להיות בסיס חזק עבור השתלבות משפטים. 16 3 Arora ואל 38 With the development of pre-trained language models [ , , ] and large-scale labeled datasets such as SNLI [ מרקוס מארק [ ], שיטות כמו Sentence-BERT [ סימפסון [ ], Sentence-T5 [ ) ו SGPT [ ] directly fine-tune language models to output continuous embeddings. Most research focuses on short texts and thus uses the term "sentence embeddings". For long documents, it remains an open research question whether fixed-length embeddings can encode all the information. Contrastive loss popularized by SimCLR [ ] מתברר להיות יעיל יותר מאשר הפסדים מבוססי סיווג [ , תגיות קשורות תגיות קשורות תגיות קשורות תגיות קשורות תגיות קשורות בלייזר [ ] ו קליפ [ להרחב עוד יותר לתוך תרחישים רב-לשוניים ו-multimodal באמצעות משפטים מקבילים וזוגות תמונה-טקסט. 17 35 48 6 8 49 22 44 39 10 49 14 20 2 47 כיוון נוסף הוא עיצוב משימות הכשרה מוקדמת בשליטה עצמית עבור תואמות טקסט וחיפוש. [ ] מציע את המשימה המפורסמת ה- Inverse Cloze (ICT), שבה משפט אקראי בתוך פסקה נבחרה כפזודה-קריירה והשאר מטופל כדוגמה חיובית. ] מראה כי קציר אקראי עם הגדלת נתונים יעיל יותר מאשר ICT על מגוון של משימות איסוף מידע אפס. השתמש בטקסטים השכנים בתור חיוביים ולהגדיל את גודל המודל ל-175B. מבצע אימונים מקדימים תואמים לתחום כדי לשפר את התוצאות ב-domain. ] מאמן רטריבר צפוף על ידי טיפול BM25 כמודל מורה. למרות הגישות שהוזכרו לעיל יכול בקלות לקבל אותות פיקוח עשירים, נתונים סינתטיים כאלה נוטים להיות באיכות נמוכה. ] מראה שהם מתקשים להתאים את הביצועים של BM25 אם לא מתאים יותר על ערכות נתונים מסומנות. 9 28 41 [45 ] 11 53 ההערכה והפרשנות של שילוב טקסט הם גם לא טריוויאליים. מרבית הביקורות למדי את האיכות של שילוב באמצעות ביצועי משימות מתחת למסלול. ] משתמש בחיפוש ליניארי ואוסף של קבוצות נתונים של דמיון טקסט (STS), בעוד BEIR benchmark [ [ ] מתמקדת בסקרים של איסוף מידע של אפס מכה. ] משלב 56 קבוצות נתונים המשתלבות על פני 8 משימות ו-112 שפות. ניסויים מראים כי אין מודל מסוגל להשיג תוצאות עכשוויות על כל משימות ההלבשה עדיין. 13 53 40 הקשר הקרוב ביותר לעבודה שלנו הוא סדרה של מאמץ קהילתי על ידי כדי להכשיר את ההדבקות עם אוסף של קבוצות נתונים מסומנות אוטומטית שנאספו. במאמר זה, אנו מראים כי ניתן להכשיר את ההדבקות באיכות גבוהה באמצעות אימון מראש בפיקוח עצמי בלבד. טרנספורמרים 2 3 CCPairs: אוסף גדול של קבוצת נתונים של זוגות טקסט האיכות והגוון של הנתונים חיוניים להכשרת שילוב טקסט למטרות כלליות.בעבודה זו, אנו מנצלים ומערבבים CCPairs, קבוצת נתונים של זוגות טקסט באיכות גבוהה ממקורות אינטרנט המספקים אותות הכשרה מגוונים המועברים היטב למגוון רחב של משימות. קבוצות נתונים בקנה מידה גדול באיכות גבוהה כמו C4 [ ] ו CCMatrix [ עבור הלמידה טקסט Embeddings, עבודות קיימות או להשתמש במידה קטנה נתונים אנושיים מצטיינים כגון NLI [ מרקוס מארק [ ) או לקחת heuristics כגון cropping אקראי [ להשיג אותות פיקוח בקנה מידה גדול אך רעש מאוד. Harvesting semi-structured data sources 48 51 22 8 28 בואו נתחיל מהדפדפן של קובץ PDF ( אולמרט Lean טקסט (למשל, על ידי איסוף מקורות נתונים חצי מבוזרים heterogeneous) , ) מציין זוג טקסט המורכב משאילתות ועוד עבר כאן אנו משתמשים » כדי לציין רצפים של מילים באורך סביר, אשר יכול להיות משפט קצר, סעיף, או מסמך ארוך. , (שאלה, תשובה נבחרת) זוגות מ Stackexchange , (שם ישות + כותרת סעיף, פסקה) זוגות מויקיפדיה האנגלית, (כותרת, ערך) זוגות ציטוטים מכתבי מדעיים [ ], ו (שם, פסקה) זוגות מ Common Crawl אתר אינטרנט ומקורות חדשות שונים. C C Pairs q p q p מעבר 3 4 36 5 אנו כוללים רק מקורות נתונים שיכולים להיות מופעלים באופן אוטומטי, וכמה תת קבוצות משמשים ישירות מחדש ממערכות נתונים קיימות. הכללים הרוריסטיים פשוטים מיושמים כדי לסנן נתונים מ Reddit ו Common Crawl. 4096 תווים) או לקבל ציון פחות מ 1, ולהסיר פסוקים מדפי אינטרנט עם מבולבלות גבוהה [ ]. לאחר סינון ראשוני, אנו מסתיימים עם ∼ 1 * * 3 מיליארד זוגות טקסט, רובם מגיעים מ- Reddit ו- Common Crawl. > 60 א כדי לשפר עוד יותר את איכות הנתונים ולהפוך את עלויות ההכשרה לניהול, אנו מציעים טכניקת מסנן נתונים המבוססת על עקביות: מודל מתאמן תחילה על זוגות טקסט רועשים 1 * * 3B, ולאחר מכן משמש כדי להגדיר כל זוג נגד קבוצה של 1 מיליון פסוקים אקראיים. במילים אחרות, התחזית של המודל צריכה להיות תואמת לתוויות ההכשרה. = 2 מבוסס על בדיקה ידנית של איכות הנתונים.לאחר שלב זה, אנו מסתיימים עם ∼ 270M זוגות טקסט להכשרה מוקדמת. Consistency-based filter k k האינטואיציה עבור טכניקה זו באה מהתנהגויות הזיכרון של רשתות נוירליות [ ]: כאשר מאומנים על ערכות נתונים רועשות, רשתות נוירליות נוטות לזכור תחילה את התוויות הנקיות ולאחר מכן בהדרגה להגדיל את התוויות רועשות. , , ניתן גם ליישם את המסנן הזה באופן איטרטיבי, נשאיר אותו לעבודה עתידית. 19 42 15 23 4 שיטות השבבים שלנו יכולים להיות מאומנים רק עם זוגות טקסט ללא תוויות מ-CCPairs עם הכשרה מראש ניתנת להפרדה. ניתן לבצע התאמה מעמיקה של השלב השני על קבוצות נתונים קטנות, עם תוויות באיכות גבוהה כדי להגדיל עוד יותר את איכות השבבים המתקבלים. על מנת לקבל סקירה. 1 4.1 אימון מראש עם נתונים ללא תוויות התשובה היא שניתן להבחין בין התשובה לשאלת התשובה, בין התשובה לשאלת התשובה. ( ) , אנו מספקים רשימה של פסוקים שליליים { ◄ = 1 עבור דוגמה: אובדן ההפך של InfoNCE זה כמו הבא: פי, פי n p M I i [10 ] איפה ( ) היא פונקציה של ציון בין query → מעבר פרמטרים על ידי בעקבות ארכיטקטורת biencoder הפופולרית, אנו משתמשים בקוד Transformer מאומץ מראש וקובץ ממוצע על פני שכבת הפתיחה כדי להשיג שילוב טקסט בגודל קבוע ו הסקירה היא הדמיון הקוסין המצטבר על ידי היפרפרמטר טמפרטורה • : s θ q , p q p θ E q E p τ θ θ איפה אנחנו משתמשים בקודר משותף עבור כל הטקסטים ההכנסה ולשבור את הסימטריה על ידי הוספת שני מזהים קדמיות ו 2 ו עבור מקורות נתונים מסוימים כגון זוגות ציטוטים, זה לא ברור באיזה צד צריך להיות השאילתה, אנו בוחרים אחד באופן אקראי למען הפשטות. τ » בקשה » “העבר” q d בעיה חשובה נוספת עבור אימון ניגודיות היא איך לבחור את הדגימות השליליות. ], שבו העברות משני זוגות אחרים בסדרה משמשות כדוגמאות שליליות, אנו מוצאים כי אסטרטגיה פשוטה זו מאפשרת הכשרה יציבה יותר ומעניקה שיטות כגון MoCo כאשר גודל החבילה הוא גדול מספיק. 10 [25 ] 4.2 התאמה מעמיקה עם נתונים מסומנים בעוד ההכשרה הקדמית המנוגדת על CCPairs מספקת בסיס מוצק לשילוב למטרות כלליות, הכשרה נוספת על נתונים מתויגים יכול להזריק ידע אנושי למודל כדי להגביר את הביצועים. , ] הוכיחו כי התאמה מעמיקה מובילה לשיפור ביצועים עקבי.במאמר זה, אנו בוחרים להתאמן עוד יותר עם שילוב של 3 קבוצות נתונים: NLI (השפה הטבעית Inference), MS-MARCO passage ranking dataset [ נתונים אישיים של NQ (Natural Questions) , באופן אמפירי, משימות כגון STS (Semantic Textual Similarity) ו-linear probing ניתנות לתועלת מהנתונים של NLI, בעוד שמערכות נתונים של MS-MARCO ו-NQ מועברות היטב למשימות של חיפוש. 43 44 6 8 30 32 מבוסס על השיטות של אימון סטטוס-of-the-art רטריבר צפוף [ , ], אנו משתמשים שליטים קשים משומשים ודיסטילציה של ידע מ מודל מדפסת בין (CE) למורה עבור MS-MARCO ו- NQ קבוצות נתונים עבור קבוצת נתונים NLI, משפטים של התנגדות נחשבים שליליות קשות פונקציה האובדן היא אינטרפולציה ליניארית בין אובדן ניגודיות תגית: hard labels and KL divergence KL עבור דיסטלינג תוויות רכות מן המודל של המורה. 50 58 L D איפה CE ו stu הם הסיכויים של מודל המורה בין-קודד ואת מודל התלמיד שלנו. הוא היפרפרמטר כדי לאזן את שתי הפונקציות האובדן. זה אותו דבר כמו בשוויון. p p α L 1. 4.3 יישומים לתפקידי שילוב טקסט לאחר שתי השלבים לעיל, אנו מקבלים שילוב טקסט באיכות גבוהה שמועבר היטב למגוון רחב של משימות מבלי להתאים היטב את הפרמטרים של המודל. בשילוב עם טכניקות כגון חיפוש השכנים הקרובים ביותר, שילוב טקסט מספק פתרון מתוחכם ויעיל עבור יישומים כגון חיפוש באינטרנט. ראשית, ההדבקות של המעבר עבור הקורפוס היעד מחושבות ומאנדקסו מחוץ לאינטרנט, ולאחר מכן עבור כל שאילתות, אנו מחושבים את ההדבקות של השאילתה של השאילתה ומחזירים את החלק העליון. רשימות מסוג Corpus מבוססות על דמיון קוסין. Zero-shot Retrieval k דירוג ליניארי מתאמן על גבי ההדבקות הקפואות עם כמה דוגמאות מסומנות. משימות שונות צריכות רק להכשיר ולשמור על הפרמטרים של ראשי הדירוג. Few-shot Text Classification [ 27 ] הטקסטים של ההנחיות והסימנים הופכים לביטויים המבוססים על תבניות הצעות שנכתבו באופן ידני. התווית המתוכננת היא זו הקרובה ביותר לטקסט ההנחיות בחלל ההדבקה.קח את דירוג הרגשות של ביקורות סרטים כדוגמה, עם ההנחיה המקורית " ”, התווית טקסט היא “ והטקסט הפך להיות " » Zero-shot Text Classification אני נהנה לצפות בו ביקורת סרטים / ביקורת סרטים / ביקורת סרטים / ביקורת סרטים ביקורת לסרט: אני נהנה לראות אותו בהתחשב בשני שילובי טקסט, אנו משתמשים בפונקציה הקוסין כדי למדוד את הדמיון הסמנטי שלהם.מאז ציונים של דמיון מוחלט אינם מאפשרים פרשנות קלה, ההערכה מבוססת בדרך כלל על עמידות רמה. Semantic Textual Similarity ניתן ליישם אלגוריתמים סטנדרטיים לקבוצות כגון k-means באופן ישיר.טקסטים שייכים לאותה קטגוריה צפויים להיות קרובים בחלל ההלבשה. Text Clustering עבור משימות אחרות מאשר סיווג טקסט אפס צילומים וקבלת, אנו משתמשים בהרכבות שאילתות כברירת מחדל. 5 ניסויים 5.1 Pre-training ו- Fine-tuning Configurations אנו מתכוננים להכשרה מוקדמת על קבוצת הנתונים המוצעת עבור שלוש גדלים מודל: E5small, E5base ו-E5large המוקדמים מ- MiniLM [59], bert-base-uncased, ו- bert-large-uncased-whole-wordmasking בהתאמה. גודל החבילה מוגדר ל- 32, 768 ערך גדול כדי להגדיל את מספר השליליות. שיעור הלמידה הוא {3, 2, 1}×10−4 עבור {micro, base, large} מודלים, עם התפוררות ליניארית ואת 1000 הצעדים הראשונים לחימום. אנו מתכוננים להכשרה מוקדמת עבור 20k שלבים בסך הכל עם AdamW optimizer, אשר הוא בערך 2.5 תקופות מעל קבוצת הנתונים. זה לוקח Pre-training is performed on the concatenation of 3 datasets: MS-MARCO passage ranking [ ], NQ [ , ], and NLI [ ] datasets. We reuse the mined hard negatives and re-ranker scores from SimLM [ ] for the first two datasets. Models are fine-tuned for 3 epochs with batch size 256 on 8 GPUs. Learning rate is {3*,* 2*,* 1}×10−5 for the {small, base, large} models with 400 steps warmup. For each example, we use 7 hard negatives. Since the NLI dataset only has 1 hard negative for each example, 6 sentences are randomly sampled from the entire corpus. Fine-tuning 8 32 30 22 58 We use E5-PT to denote models with contrastive pre-training only. More implementation details can be found in Appendix B. 5.2 ערכת נתונים is a collection of 19 information retrieval datasets, ranging across ad-hoc web search, question answering, fact verification and duplicate question retrieval, etc. We evaluate the 15 datasets that provide public downloads. The main metric is nDCG@10. BEIR Benchmark [ ] 53 53 is recently proposed for benchmarking massive text embedding tasks. Though MTEB is multilingual due to the inclusion of bitext mining datasets, most datasets are still only available in English. In this paper, we evaluate the English subsets, which have 56 datasets spanning across 6 categories: Classification (Class.), Clustering (Clust.), Pair Classification (PairClass.), Rerank, Retrieval (Retr.), STS, and Summarization (Summ.). The evaluation metrics are accuracy, v-measure, average precision, MAP, nDCG@10, and Spearman coefficients, respectively. Please refer to the MTEB paper for details. MTEB Benchmark [ ] 40 40 5.3 תוצאות ב-BEIR Benchmark In Table we show model results that do not use any labeled data. When averaged over all 15 datasets, E5-PTbase outperforms the classic BM25 algorithm by 1*.*2 points. To the best of our knowledge, this is the first reported result that an unsupervised model can beat BM25 on the BEIR benchmark. When scaling up to E5-PTlarge, we see further benefits from42. *2. Results with Unsupervised Methods 1, 9 עד 44 In terms of pre-training tasks, Contriever adopts random cropping, while LaPraDor combines ICT and dropout-as-positive-instance from SimCSE. The methods can easily obtain large-scale training data, while our approach requires more effort in dataset curation. Such efforts pay off with better results. Recent studies [ , , ] גם מראה כי שיפור איכות הנתונים הוא צעד חיוני להכשרת מודלים שפה גדולה. 34 60 21 In Table we fine-tune our models on supervised datasets and then transfer them to the BEIR benchmark. Since our fine-tuning datasets include MS-MARCO and NQ, the corresponding numbers are in-domain results. For other datasets, these are zero-shot transfer results. Our E5base model achieves an average nDCG@10 of 48*.*7, already surpassing existing methods with more parameters such as GTRlarge [ ]. Most datasets benefit from supervised fine-tuning, but there are also a few exceptions such as FiQA, Scidocs, and Fever, etc. This is likely due to the lack of enough domain diversity for the fine-tuning datasets. Results with Supervised Fine-tuning 2 , 43 5.4 Results on MTEB benchmark על השולחן E5 models not only substantially outperform existing ones with similar sizes, but also match the results of much larger models. The top-2 models on MTEB leaderboard GTRxxl and Sentence-T5xxl have 4*.*8B parameters, while our E5large model is more than 10× smaller with 300M parameters. We expect that our model will benefit from continual scaling up. 3, 7 Since the difference between BERT-FTbase and E5base is that BERT-FTbase only has fine-tuning stage, their performance gap demonstrates the usefulness of contrastive pre-training on our proposed CCPairs dataset. For most task categories except Clustering, performance improves after supervised fine-tuning. Consistent with prior works [ , ], זה שוב מוכיח את החשיבות של שילוב הידע האנושי כדי ללמוד שילובים טקסטים טובים יותר.השאלה נשארת פתוחה האם ניתן להשיג שילובים עכשוויים בצורה של פיקוח עצמי בלבד. 43 44 Table shows the zero-shot text classification results on the dev set of the SST-2 dataset [ ]. By formulating text classification as embedding matching between input and label texts, our model can be much better than the “majority” baseline in a zero-shot setting. We use the prompt template from Section 4 52 4.3 5.5 Analysis בסעיף זה, אנו מבצעים סדרה של ניתוחים כדי לבחון אפשרויות עיצוב שונות.כל המספרים בסעיף זה מגיעים ממודלים בגודל בסיס.לדוגמה BEIR, אנו בוחרים 6 קבוצות נתונים עם תוצאות יציבות יותר במרוצים שונים. ג Since we use in-batch negatives for contrastive pre-training, larger batch size will provide more negatives and therefore improve the quality of the learned text embeddings. In Table increasing batch size from 1K to 32K leads to consistent gains across all 6 datasets. It is also possible to train with smaller batch sizes by adding hard negatives [ ]. However, the engineering efforts of mining hard negatives for large datasets (>100M) are non-trivial. Impacts of Batch Size 5, 50 GTR models are fine-tuned with “MS-MARCO + NQ”, while Sentence-T5 models use NLI instead. In Table we can see that the “MS-MARCO + NQ” setting performs best on retrieval tasks, and the NLI data is beneficial for STS and linear probing classification. Similar observations are also made by Muennighoff et al. . Combining all of them leads to the best overall scores on the MTEB benchmark. This also illustrates the importance of dataset diversity for learning text embeddings. Fine-tuning Datasets 6, [40] One crucial step in our dataset curation pipeline is filtering out low-quality text pairs. In Table כאשר אימון עם זוגות 1M, שימוש בנתונים מסנן יש יתרון של כמעט 6 נקודות. כאשר כל זוגות הטקסט משמשים, הגדרת "w / o מסנן" יש בערך 4x יותר נתונים אבל עדיין מאחור על ידי 1 * * 6 נקודות. , ] show that deep learning models are quite robust to dataset noises, data filtering still has benefits in improving training efficiency and model quality. Data Filtering 7 , 29 47 אנו בוחנים שתי שיטות חלופיות להגדיל את מספר השליליות: שליליות מראש [ ] reuse embeddings from previous batches as additional negatives, while MoCo Negative Sampling 33 [ ] introduces a momentum encoder and uses a FIFO queue to store negatives. For both approaches, the negative size can be easily scaled up without incurring much GPU memory overhead. The downside is that most negatives are produced by an older version of model parameters. In Table in-batch negatives still perform favorably. Empirically, we find that MoCo is more sensitive to certain hyperparameters such as temperature, better results are possible with more tuning. 25 8, With the rapid development of dense retrieval models, can we replace the long-standing BM25 algorithm from now on? The answer is likely “ BM25 עדיין מחזיק יתרונות ברורים במונחים של פשוטות, יעילות ופרשנות. ] and retrieval tasks that involve long documents (Touche-2020) [ ] or rely heavily on exact lexical match (Fever) [ מחקרים נוספים עדיין נחוצים כדי לשפר את הרטריביים העמוקים הנוכחיים. BM25 vs Dense Retrieval עדיין לא 55 4 54 6 Conclusion בעבודה זו, אנו לומדים מודל E5 להטביע טקסט למטרה כללית ממסמכי פיקוח חלשים. אנו מקבלים מסגרת אימון פשוטה עם שליליות במגזרים ולומדים ממסד נתונים בשני טקסטים בקנה מידה גדול שאנו אוספים ממקורות נתונים heterogeneous ברחבי האינטרנט. E5 מציעה ביצועים חזקים מחוץ לשטח עבור מגוון רחב של משימות הדורשות ייצוג טקסט יחיד-וקטורי כגון חיפוש, דמיון טקסט סמנטי, ושילוב טקסט. References [1] Sanjeev Arora, Yingyu Liang, and Tengyu Ma. A simple but hard-to-beat baseline for sentence embeddings. . OpenReview.net, 2017. URL . 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings https://openreview.net/forum?id=SyK00v5xx [2] Mikel Artetxe ו- Holger Schwenk: מונחים רב-לשוניים למטרות העברה בין-לשונית ללא תקלות ומעבר לכך. , 7:597–610, 2019. doi: 10.1162/tacl_a_00288. URL . . Transactions of the Association for Computational Linguistics https://aclanthology org/Q19-1038 [3] David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent dirichlet allocation. In Thomas G. Dietterich, Suzanna Becker, and Zoubin Ghahramani, editors, , עמודים 601–608 MIT Press, 2001 URL . Advances in Neural Information Processing Systems 14 [Neural Information Processing Systems: Natural and Synthetic, NIPS 2001, December 3-8, 2001, Vancouver, British Columbia, Canada] https://proceedings.neurips.cc/paper/2001/hash/ 296472c9542ad4d4788d543508116cbc-Abstract.html [4] Alexander Bondarenko, Maik Fröbe, Johannes Kiesel, Shahbaz Syed, Timon Gurcke, Meriem Beloucif, Alexander Panchenko, Chris Biemann, Benno Stein, Henning Wachsmuth, et al. Overview of touché 2022: argument retrieval. In , pages 311–336. Springer, 2022. International Conference of the Cross-Language Evaluation Forum for European Languages [5] Vera Boteva, Demian Gholipour, Artem Sokolov, and Stefan Riezler. A full-text learning to rank dataset for medical information retrieval. In , עמודים 716-722 ספרינגר, 2016 European Conference on Information Retrieval [6] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In , pages 632–642, Lisbon, Portugal, 2015. Association for Computational Linguistics. doi: 10.18653/v1/D15-1075. URL Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing https: . //aclanthology.org/D15-1075 [7] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhari-wal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learn-ers. In Hugo Larochelle, Marc’Aurelio Ranzato, Raia Hadsell, Maria-Florina Balcan, and Hsuan-Tien Lin, editors, שנת 2020 URL . Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual https://proceedings.neurips.cc/paper/2020/hash/ 1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html [8] דניאל פרננדו קמפוס, טרי נגין, מיר רוזנברג, שיה סונג, ג'יאנפנג גאו, סאורהב טיווארי, רנגאן מאגומדר, לי דנג, ובשקר מיטרה. , abs/1611.09268, 2016. ArXiv [9] Wei-Cheng Chang, Felix X. Yu, Yin-Wen Chang, Yiming Yang, and Sanjiv Kumar. Pre-training tasks for embedding-based large-scale retrieval. In . OpenReview.net, 2020. URL . 8th International Conference on Learning Representations, ICLR 2020, אדיס אבהבה, אתיופיה, 26-30 באפריל, 2020 https://openreview.net/forum?id=rkg-mA4FDr [10] Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey E. Hinton. A simple framework for contrastive learning of visual representations. In , volume 119 of , pages 1597–1607. PMLR, 2020. URL Proceedings of the 37th International Conference on Machine Learning, ICML 2020, 13-18 July 2020, Virtual Event מחקרים בנושא Machine Learning http: . //proceedings.mlr.press/v119/chen20j.html [11] Xilun Chen, Kushal Lakhotia, Barlas Og˘uz, Anchit Gupta, Patrick Lewis, Stan Peshterliev, Yashar Mehdad, Sonal Gupta, and Wen-tau Yih. Salient phrase aware dense retrieval: Can a dense retriever imitate a sparse one? בשנת 2021. arXiv preprint arXiv:2110.06918 [12] Arman Cohan, Sergey Feldman, Iz Beltagy, Doug Downey, and Daniel S Weld. Specter: Document-level representation learning using citation-informed transformers. In , עמודים 2270–2282, 2020 Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics [13] Alexis Conneau and Douwe Kiela. SentEval: An evaluation toolkit for universal sentence representations. In , Miyazaki, Japan, 2018. European Language Resources Association (ELRA). URL . Proceedings of the Eleventh International Conference on Language Re-sources and Evaluation (LREC 2018) https://aclanthology.org/L18-1269 [14] Alexis Conneau, Douwe Kiela, Holger Schwenk, Loïc Barrault, and Antoine Bordes. Super-vised learning of universal sentence representations from natural language inference data. In , pages 670–680, Copenhagen, Denmark, 2017. Association for Computational Linguistics. doi: 10.18653/v1/D17-1070. URL . Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing https://aclanthology.org/D17-1070 [15] Zhuyun Dai, Vincent Zhao, Ji Ma, Yi Luan, Jianmo Ni, Jing Lu, Anton Bakalov, Kelvin Guu, Keith B. Hall, and Ming-Wei Chang. Promptagator: Few-shot dense retrieval from 8 examples. , abs/2209.11755, 2022. ArXiv [16] Scott Deerwester, Susan T Dumais, George W Furnas, Thomas K Landauer, and Richard Harshman. Indexing by latent semantic analysis. , 41(6):391–407, 1990. Journal of the American society for information science [17] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In , pages 4171–4186, Minneapolis, Minnesota, 2019. Association for Computational Linguistics. doi: 10.18653/v1/N19-1423. URL . Proceedings of the 2019 Confer-ence of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) https://aclanthology.org/N19-1423 [18] Thomas Diggelmann, Jordan Boyd-Graber, Jannis Bulian, Massimiliano Ciaramita, and Markus Leippold. Climate-fever: A dataset for verification of real-world climate claims. , 2020. arXiv preprint arXiv:2012.00614 [19] ויטלי Feldman ו Chiyuan Zhang. מה רשתות נוירליות לזכור ולמה: גילוי הזנב הארוך באמצעות הערכת השפעה. ב Hugo Larochelle, Marc'Aurelio Ranzato, Raia Hadsell, Maria-Florina Balcan, ו Hsuan-Tien Lin, עורך, , 2020. URL . Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual https://proceedings.neurips.cc/ paper/2020/hash/1e14bfe2714193e7af5abc64ecbd6b46-Abstract.html [20] Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, and Wei Wang. Language-agnostic bert sentence embedding. In , pages 878–891, 2022. Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) [21] Leo Gao, Stella Rose Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, Horace He, Anish Thite, Noa Nabeshima, Shawn Presser, and Connor Leahy. The pile: An 800gb dataset of diverse text for language modeling. , abs/2101.00027, 2021. ArXiv [22] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In , pages 6894–6910, Online and Punta Cana, Dominican Republic, 2021. Association for Computational Linguistics. doi: 10.18653/v1/2021.emnlp-main.552. URL . Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing https://aclanthology.org/2021.emnlp-main.552 [23] Bo Han, Quanming Yao, Xingrui Yu, Gang Niu, Miao Xu, Weihua Hu, Ivor W. Tsang, and Masashi Sugiyama. Co-teaching: Robust training of deep neural networks with extremely noisy labels. In Samy Bengio, Hanna M. Wallach, Hugo Larochelle, Kris-ten Grauman, Nicolò Cesa-Bianchi, and Roman Garnett, editors, , Advances in Neu-ral Information Processing Systems 31: Annual Conference on Neural Information Processing Systems 2018, NeurIPS 2018, December 3-8, 2018, Montréal, Canada pages 8536–8546, 2018. URL . https://proceedings.neurips.cc/paper/2018/hash/ a19744e268754fb0148b017647355b7b-Abstract.html [24] Faegheh Hasibi, Fedor Nikolaev, Chenyan Xiong, Krisztian Balog, Svein Erik Bratsberg, Alexander Kotov, and Jamie Callan. Dbpedia-entity v2: a test collection for entity search. In , pages 1265–1268, 2017. Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval [25] Kaiming He, Haoqi Fan, Yuxin Wu, Saining Xie, and Ross B. Girshick. Momentum contrast for unsupervised visual representation learning. In , pages 9726–9735. IEEE, 2020. doi: 10.1109/CVPR42600.2020.00975. URL . 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2020, Seattle, WA, USA, June 13-19, 2020 https://doi.org/10.1109/ CVPR42600.2020.00975 [26] Doris Hoogeveen, Karin M Verspoor, and Timothy Baldwin. Cqadupstack: A benchmark data set for community question-answering research. In , pages 1–8, 2015. Proceedings of the 20th Australasian document computing symposium [27] Neil Houlsby, Andrei Giurgiu, Stanislaw Jastrzebski, Bruna Morrone, Quentin de Laroussilhe, Andrea Gesmundo, Mona Attariyan, and Sylvain Gelly. Parameter-efficient transfer learning for NLP. In Kamalika Chaudhuri and Ruslan Salakhutdinov, editors, , volume 97 of , pages 2790–2799. PMLR, 2019. URL . Proceedings of the 36th International Conference on Machine Learning, ICML 2019, 9-15 June 2019, Long Beach, California, USA Proceedings of Machine Learning Research http://proceedings.mlr.press/v97/houlsby19a.html [28] Gautier Izacard, Mathilde Caron, Lucas Hosseini, Sebastian Riedel, Piotr Bojanowski, Armand Joulin, and Edouard Grave. Towards unsupervised dense information retrieval with contrastive learning. , abs/2112.09118, 2021. ArXiv [29] Chao Jia, Yinfei Yang, Ye Xia, Yi-Ting Chen, Zarana Parekh, Hieu Pham, Quoc V. Le, Yun-Hsuan Sung, Zhen Li, and Tom Duerig. Scaling up visual and vision-language representation learning with noisy text supervision. In Marina Meila and Tong Zhang, editors, , volume 139 of , pages 4904–4916. PMLR, 2021. URL . Proceedings of the 38th International Conference on Machine Learning, ICML 2021, 18-24 July 2021, Virtual Event Proceedings of Machine Learning Research http://proceedings.mlr.press/v139/jia21b.html [30] Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wen-tau Yih. Dense passage retrieval for open-domain question answering. In , pages 6769–6781, Online, 2020. Association for Computational Linguistics. doi: 10. 18653/v1/2020.emnlp-main.550. URL . . הוועידה לשנת 2020 על שיטות אמפיריות לעיבוד שפה טבעית (EMNLP) https://aclanthology.org/2020.emnlp-main 550 [31] Omar Khattab and Matei Zaharia. Colbert: Efficient and effective passage search via contex-tualized late interaction over BERT. In Jimmy Huang, Yi Chang, Xueqi Cheng, Jaap Kamps, Vanessa Murdock, Ji-Rong Wen, and Yiqun Liu, editors, , pages 39–48. ACM, 2020. doi: 10.1145/3397271.3401075. URL . Proceedings of the 43rd International ACM SIGIR conference on research and development in Information Retrieval, SIGIR 2020, Vir-tual Event, China, July 25-30, 2020 https://doi.org/10.1145/3397271.3401075 [32] Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, Kristina Toutanova, Llion Jones, Matthew Kelcey, Ming-Wei Chang, Andrew M. Dai, Jakob Uszkoreit, Quoc Le, וסלאב פטרוב. , 7:452–466, 2019. doi: 10.1162/tacl_a_00276. URL . Transactions of the Association for Computational Linguistics https://aclanthology.org/Q19-1026 [33] Jinhyuk Lee, Mujeen Sung, Jaewoo Kang, and Danqi Chen. Learning dense representations of phrases at scale. In , pages 6634–6647, Online, 2021. Association for Computational Linguistics. doi: 10.18653/v1/2021.acl-long.518. URL . . Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers) https://aclanthology.org/2021 אולמרט 518 [34] Katherine Lee, Daphne Ippolito, Andrew Nystrom, Chiyuan Zhang, Douglas Eck, Chris Callison-Burch, and Nicholas Carlini. Deduplicating training data makes language models better. In בשנת 2022. ACL [35] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. , abs/1907.11692, 2019. ArXiv [36] קייל לו, לוסי לואנג, מארק נוימן, רודני קיניי, ודניאל וולד. S2ORC: המדען הסמנטי פתוח מחקר קורפוס. , pages 4969–4983, Online, 2020. Associ-ation for Computational Linguistics. doi: 10.18653/v1/2020.acl-main.447. URL . הפגישה השנתית ה-58 של האגודה ללימודי חשבונאות https://aclanthology.org/2020.acl-main.447 [37] Macedo Maia, Siegfried Handschuh, אנדרה Freitas, בריאן דיוויס, רוס McDermott, מנל Zarrouk, ואלכסנדרה Balahur. Www'18 אתגר פתוח: ייצור דעה פיננסית ותשובות לשאלות. , pages 1941–1942, 2018. Companion proceedings of the the web conference 2018 Tomas Mikolov, Kai Chen, Gregory S. Corrado, ו Jeffrey Dean. הערכה יעילה של ייצוגים של מילים בחלל וקטור. , 2013. ICLR [39] Niklas Muennighoff. Sgpt: Gpt sentence embeddings for semantic search. , abs/2202.08904, 2022. ארכיון [40] Niklas Muennighoff, Nouamane Tazi, Loic Magne, and Nils Reimers. Mteb: Massive text embedding benchmark. , abs/2210.07316, 2022. ארכיון [41] Arvind Neelakantan, Tao Xu, Raul Puri, Alec Radford, Jesse Michael Han, Jerry Tworek, Qiming Yuan, Nikolas A. Tezak, Jong Wook Kim, Chris Hallacy, Johannes Heidecke, Pranav Shyam, Boris Power, Tyna Eloundou Nekoul, Girish Sastry, Gretchen Krueger, David P. Schnurr, Felipe Petroski Such, Kenny Sai-Kin Hsu, Madeleine Thompson, Tabarak Khan, Toki Sherbakov, Joanne Jang, Peter Welinder, ו Lilian Weng. , abs/2201.10005, 2022. ArXiv [42] Duc Tam Nguyen, Chaithanya Kumar Mummadi, Thi-Phuong-Nhung Ngo, Thi Hoai Phuong Nguyen, Laura Beggel, and Thomas Brox. SELF: learning to filter noisy labels with self-ensembling. In אתר OpenReview.net, 2020 . . 8th International Conference on Learning Representations, ICLR 2020, אדיס אבהבה, אתיופיה, 26-30 באפריל, 2020 https://openreview net/forum?id=HkgsPhNYPS Jianmo Ni, Chen Qu, Jing Lu, Zhuyun Dai, Gustavo Hern'andez 'Abrego, Ji Ma, Vincent Zhao, Yi Luan, Keith B. Hall, Ming-Wei Chang, ו Yinfei Yang. , abs/2112.07899, 2021. ArXiv [44] Jianmo Ni, Gustavo Hernandez Abrego, Noah Constant, Ji Ma, Keith Hall, Daniel Cer, and Yinfei Yang. Sentence-t5: Scalable sentence encoders from pre-trained text-to-text models. In , pages 1864–1874, 2022. ממצאי האגודה ללימודי חשבונאות: ACL 2022 [45] Barlas Oguz, Kushal Lakhotia, Anchit Gupta, Patrick Lewis, Vladimir Karpukhin, Aleksandra Piktus, Xilun Chen, Sebastian Riedel, Scott Yih, Sonal Gupta, and Yashar Mehdad. Domain-matched pre-training tasks for dense retrieval. In , עמודים 1524–1534. האגודה ללימודי מחשבים, 2022. doi: 10.18653/v1/2022.findings-naacl.114. URL . ממצאים של האגודה ללימודי מחשבים: NAACL 2022, סיאטל, וו, ארצות הברית, 10-15 ביולי 2022 https://doi.org/10.18653/v1/2022.findings-naacl.114 [46] Fabio Petroni, Aleksandra Piktus, Angela Fan, Patrick Lewis, Majid Yazdani, Nicola De Cao, James Thorne, Yacine Jernite, Vassilis Plachouras, Tim Rocktaschel, and Sebastian Riedel. Kilt: a benchmark for knowledge intensive language tasks. In , 2020. פרק צפון אמריקה של האגודה ללימודי חשבונאות [47] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervi-sion. In Marina Meila and Tong Zhang, editors, סעיף 139 , עמודים 8748–8763. PMLR, 2021 URL . Proceedings of the 38th International Conference on Machine Learning, ICML 2021, 18-24 July 2021, Virtual Event Proceedings of Machine Learning Research http://proceedings.mlr.press/v139/radford21a.html [48] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. , 21:1–67, 2020. Journal of Machine Learning Research [49] Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In , עמודים 3982–3992, הונג קונג, סין, 2019 האגודה לשוניות מחשב. doi: 10.18653/v1/D19-1410. . Proceedings of the 2019 Conference on Empirical Methods in Natural Lan-guage Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) https://aclanthology.org/D19-1410 [50] Ruiyang Ren, Yingqi Qu, Jing Liu, Wayne Xin Zhao, QiaoQiao She, Hua Wu, Haifeng Wang, ו Ji-Rong Wen. RocketQAv2: שיטת אימון משותפת עבור איסוף עבר צפוף וחיזוק עבר. , pages 2825–2835, Online and Punta Cana, Dominican Republic, 2021. Association for Computational Linguistics. doi: 10.18653/v1/2021.emnlp-main.224. URL . Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing https://aclanthology.org/2021.emnlp-main.224 [51] Holger Schwenk, Guillaume Wenzek, Sergey Edunov, Edouard Grave, Armand Joulin, and Angela Fan. CCMatrix: Mining billions of high-quality parallel sentences on the web. In , pages 6490–6500, Online, 2021. Association for Computational Linguistics. doi: 10.18653/v1/2021.acl-long.507. URL . Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers) https://aclanthology.org/2021.acl-long.507 [52] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, A. Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In , 2013. Conference on Empirical Methods in Natural Language Processing Nandan Thakur, Nils Reimers, Andreas Rücklé, Abhishek Srivastava, ו Iryna Gurevych. Beir: מדד מגוונת עבור הערכה אפס של מודלים של איסוף מידע. , 2021. Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2) [54] ג'יימס תורן, אנדראס ולאצ'וס, כריסטוס כריסטודולופולוס, וארפיט מיטל. FEVER: ערכת נתונים בקנה מידה גדול לחילוץ עובדות ו- VERIFICATION. , עמודים 809-819, ניו אורלינס, לואיזיאנה, 2018. Association for Computational Linguistics. doi: 10.18653/v1/N18-1074. Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers) https: . // aclanthology.org/N18-1074 [55] Ellen Voorhees, Tasmeer Alam, Steven Bedrick, Dina Demner-Fushman, William R Hersh, Kyle Lo, Kirk Roberts, Ian Soboroff, and Lucy Lu Wang. Trec-covid: constructing a pandemic information retrieval test collection. In , volume 54, pages 1–12. ACM New York, NY, USA, 2021. ACM SIGIR Forum [56] Henning Wachsmuth, Shahbaz Syed, ו Benno Stein. איסוף התנגדות הטובה ביותר ללא ידע מוקדם בנושא. , עמודים 241–251, 2018 Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) [57] David Wadden, Shanchuan Lin, Kyle Lo, Lucy Lu Wang, Madeleine van Zuylen, Arman Cohan, and Hannaneh Hajishirzi. Fact or fiction: Verifying scientific claims. In , עמודים 7534–7550, 2020 Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) [58] Liang Wang, Nan Yang, Xiaolong Huang, Binxing Jiao, Linjun Yang, Daxin Jiang, Rangan Majumder, and Furu Wei. Simlm: Pre-training with representation bottleneck for dense passage retrieval. , abs/2207.02578, 2022. ArXiv [59] Wenhui Wang, Hangbo Bao, Shaohan Huang, Li Dong, ו Furu Wei. Minilmv2: דיסטילציה של יחסי תשומת לב עצמית מרובים עבור דחיסה של טרנספורמרים מראש. , pages 2140–2151, 2021. Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021 [60] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, ו Edouard Grave. CCNet: תמצית קבוצות נתונים חד-לשוניות באיכות גבוהה מנתוני גלישה באינטרנט. , עמודים 4003–4012, מרסיי, צרפת, 2020 European Language Resources Association. ISBN 979-10-95546-34-4. . Proceedings of the 12th Language Resources and Evaluation Conference https://aclanthology.org/2020.lrec-1.494 [61] לי Xiong, Chenyan Xiong, Ye Li, Kwok-Fung Tang, Jialin Liu, פול N. Bennett, Junaid Ahmed, ו ארנולד Overwijk. קרוב השכנה הקרובה שלילית ללמידה קונטרסטטיבית עבור חיפוש טקסט צפוף. . OpenReview.net, 2019 URL . . 9th International Conference on Learning Representations, ICLR 2021, אירוע וירטואלי, אוסטריה, 3-7 במאי 2021 https://openreview net/forum?id=zeFrfgyZln [62] Canwen Xu, Daya Guo, Nan Duan, and Julian McAuley. Laprador: Unsupervised pretrained dense retriever for zero-shot text retrieval. In , pages 3557–3569, 2022. ממצאי האגודה ללימודי חשבונאות: ACL 2022 Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov, וChristopher D Manning. Hotpotqa: ערכת נתונים עבור מגוון, ניתן להסביר multi-hop שאלות התשובה. , pages 2369–2380, 2018. Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing נתונים פרטיים For Common Crawl, we download the 2022-33 snapshot and cc_net הוא משמש לעיבוד מראש כולל זיהוי שפה, de-duplication, פילטר מודל שפה, וכו 'דפי אינטרנט מ MS-MARCO מסמך דירוג קופסוס כוללים גם. עבור שלב פילטר נתונים, אנו בוחנים כל זוג של פסוקים בתוך דף אינטרנט במקום להשתמש רק את הכותרת כמחקר. . To avoid possible data contamination, we remove text pairs that occur in the evaluation datasets based on exact string match. 8 [ידיעות נוספות] Reddit data is collected from the year 2018 to August 2022. For the S2ORC data, we use a sample weight of 0*.*3 during training to avoid over-fitting the scientific domains. For the BEIR benchmark, we use the 15 datasets that provide public downloads: MS MARCO [ ], Trec-Covid [ תגית: NFCorpus ], NQ [ (למשל, חבילת חשמל חשמלית פיקאפ [ ], ArguAna [ חבילות נופש 2020 [ (במקומות מסוימים יש לנקות) ], Quora, DBPedia [ (למשל, תתמוטטות [ • חום ( חום אוויר [ ], and Scifact 8 55 5 32 63 37 56 4 26 24 12 54 18 [57 ] B Implementation Details אנו מציגים את ההיפרפרפרמטרים בטבלה Since some evaluation datasets have long texts, we freeze the position embeddings during both pre-training and fine-tuning and set the maximum text length to 512 for evaluation. 11. For the Quora duplicate retrieval task in the BEIR benchmark, we add prefix “ ” to all the questions. For other retrieval tasks, we use “ » » » "הדברים מתוארים באופן דומה. query: query: passage: תוצאות MS-MARCO בשולחן שימוש בכותרות מסמכים שסופקו על ידי RocketQA [ ]. This evaluation setup is consistent with most state-of-the-art dense retrievers. However, the MS-MARCO data from the BEIR benchmark does not have titles, so the results are expected to be lower. 12 50 We report results for in-domain datasets in Table תוצאות אלה יכולות לעזור להדגים את היתרונות של ההכשרה הקדמית המנוגדת כאשר נתונים מסומנים בשפע בשדה זמינים. עבור דירוג העברת MS-MARCO, מדווחים על MRR@10 ו- Recall@1k. עבור קבוצת הנתונים של NQ, Recall@20 ו- Recall@100 הם המדידות העיקריות. In-domain Evaluation 12. C Negative Results הנה כמה ניסיונות שאנחנו בסופו של דבר לוותר על: Similar to DPR [ ], אנו מוסיפים אחד BM25 שלילי קשה עבור כל זוג חיובי במהלך האימון. כאשר משתמשים 15M נתונים, אסטרטגיה זו משפרת את התוצאות הכוללות על ידי ~ 0.5 נקודות על התווית BEIR. Adding BM25 hard negatives 30 Though RoBERTa shows consistent gains on many NLP tasks, we empirically find that RoBERTa performs worse than BERT initialization on most of the BEIR benchmark datasets. Using RoBERTa instead of BERT for initialization We add a masked language modeling loss for 25% of the training text pairs. The numbers are on par with removing this auxiliary objective, but the training cost goes up. Auxiliary MLM objective This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. available on arxiv הנייר הזה הוא רישיון CC by 4.0 Deed (Attribution 4.0 International) זמין בArchiv