การฝังสำหรับ RAG - ภาพรวมที่สมบูรณ์

บทความนี้เริ่มต้นด้วยตัวแปลงและพิจารณาข้อบกพร่องของตัวแปลงในฐานะโมเดลการฝังตัว จากนั้นจะสรุปภาพรวมของ BERT และเจาะลึกเกี่ยวกับ Sentence BERT (SBERT) ซึ่งเป็นเทคโนโลยีล้ำสมัยสำหรับการฝังตัวประโยคสำหรับ LLM และ RAG pipeline คำอธิบายภาพ หากคุณเป็นคนที่ชอบดูภาพเหมือนฉันและอยากดูคำอธิบายแบบเห็นภาพ โปรดดูวิดีโอนี้: https://youtu.be/rZnfv6KHdIQ?si=kC5IDmZ7zOVYVfXo&embedable=true หม้อแปลงไฟฟ้า ไม่จำเป็นต้องมีการแนะนำเกี่ยวกับ Transformers แม้ว่าในตอนแรก Transformers ถูกออกแบบมาเพื่อการแปลภาษา แต่ในปัจจุบัน Transformers ถือเป็นม้าขับเคลื่อนเบื้องหลังหลักสูตร LLM เกือบทั้งหมด ในระดับสูง จะประกอบด้วยบล็อกสองบล็อก ได้แก่ ตัวเข้ารหัสและตัวถอดรหัส บล็อกตัวเข้ารหัสจะรับอินพุตและส่งออกการแสดงเมทริกซ์ บล็อกตัวถอดรหัสจะรับเอาต์พุตของตัวเข้ารหัสตัวสุดท้ายและสร้างเอาต์พุต บล็อกตัวเข้ารหัสและตัวถอดรหัสอาจประกอบด้วยหลายชั้น แม้ว่าหม้อแปลงเดิมจะมี 6 ชั้นในแต่ละบล็อกก็ตาม เลเยอร์ทั้งหมดประกอบด้วยการใส่ใจตัวเองหลายหัว อย่างไรก็ตาม ความแตกต่างเพียงอย่างเดียวระหว่างตัวเข้ารหัสและตัวถอดรหัสคือเอาต์พุตของตัวเข้ารหัสจะถูกป้อนไปยังเลเยอร์ของตัวถอดรหัสแต่ละเลเยอร์ ในแง่ของเลเยอร์การใส่ใจ เลเยอร์การใส่ใจของตัวถอดรหัสจะถูกปิดบัง ดังนั้นเอาต์พุตในตำแหน่งใดๆ ก็ตามจะได้รับอิทธิพลจากเอาต์พุตในตำแหน่งก่อนหน้า บล็อกตัวเข้ารหัสและตัวถอดรหัสยังประกอบด้วยเลเยอร์บรรทัดฐานและเลเยอร์เครือข่ายประสาทฟีดฟอร์เวิร์ดอีกด้วย ต่างจากโมเดลก่อนหน้าอย่าง RNN หรือ LSTM ที่ประมวลผลโทเค็นแยกกัน พลังของหม้อแปลงอยู่ที่ความสามารถในการจับบริบทของแต่ละโทเค็นโดยสัมพันธ์กับลำดับทั้งหมด ดังนั้น จึงจับบริบทได้มากเมื่อเทียบกับสถาปัตยกรรมก่อนหน้าที่ออกแบบมาสำหรับการประมวลผลภาษา มีอะไรผิดปกติกับหม้อแปลง? Transformers เป็นสถาปัตยกรรมที่ประสบความสำเร็จมากที่สุดที่ขับเคลื่อนการปฏิวัติ AI ในปัจจุบัน ดังนั้น ฉันอาจต้องออกจากระบบหากฉันระบุข้อจำกัดของมันได้ อย่างไรก็ตาม ตามความเป็นจริงแล้ว เพื่อลดภาระงานในการคำนวณ ชั้นความสนใจของ Transformers ได้รับการออกแบบมาให้ดูแลเฉพาะโทเค็นที่ผ่านมาเท่านั้น ซึ่งเหมาะสำหรับงานส่วนใหญ่ แต่ก็อาจไม่เพียงพอสำหรับงานอย่างการถาม-ตอบ มาดูตัวอย่างด้านล่างกัน จอห์นมางานปาร์ตี้กับไมโล ไมโลสนุกสนานมากในงานปาร์ตี้ เขาเป็นแมวสีขาวขนฟูแสนสวย สมมติว่าเราถามคำถามว่า “Milo ได้ดื่มที่งานปาร์ตี้กับ John หรือเปล่า” จาก 2 ประโยคแรกในตัวอย่างข้างต้น มีแนวโน้มสูงที่ LLM จะตอบว่า “เนื่องจาก Milo มีความสนุกสนานมาก แสดงว่า Milo ดื่มในงานปาร์ตี้” อย่างไรก็ตาม โมเดลที่ได้รับการฝึกด้วยบริบทล่วงหน้าจะตระหนักถึงประโยคที่ 3 ซึ่งก็คือ “เขาเป็น ที่สวยงามและเป็นมิตร” และจะตอบกลับว่า “ไมโลเป็นแมว ดังนั้นจึงไม่น่าเป็นไปได้ที่เขาจะดื่มในงานปาร์ตี้” แมว แม้ว่านี่จะเป็นเพียงตัวอย่างสมมติ แต่คุณก็พอจะเข้าใจแนวคิดแล้ว ในงานที่ต้องตอบคำถาม การเรียนรู้ทั้งบริบทไปข้างหน้าและข้างหลังจึงมีความสำคัญ นี่คือจุดที่โมเดล BERT เข้ามามีบทบาท เบิร์ต BERT ย่อมาจาก Bidirectional Encoder Representations from Transformers ตามชื่อ BERT อิงตาม Transformers และผสมผสานทั้งบริบทไปข้างหน้าและย้อนหลัง แม้ว่า BERT จะเผยแพร่ครั้งแรกสำหรับงานเช่นการตอบคำถามและการสรุป แต่ BERT มีศักยภาพในการสร้างการฝังตัวที่ทรงพลังเนื่องจากมีลักษณะทิศทางสองทาง โมเดล BERT BERT เป็นเพียงตัวเข้ารหัสของหม้อแปลงที่วางซ้อนกันเป็นลำดับ ความแตกต่างเพียงอย่างเดียวคือ BERT ใช้ ในขณะที่หม้อแปลงแบบวานิลลาใช้การใส่ใจตัวเองแบบจำกัด ซึ่งโทเค็นแต่ละตัวสามารถใส่ใจเฉพาะบริบททางด้านซ้ายเท่านั้น การใส่ใจตัวเองแบบสองทิศทาง หมายเหตุ: ลำดับเทียบกับประโยค เป็นเพียงหมายเหตุเกี่ยวกับคำศัพท์เพื่อหลีกเลี่ยงความสับสนในการใช้งานโมเดล BERT ประโยคคือชุดคำที่คั่นด้วยจุด ลำดับอาจเป็นประโยคจำนวนเท่าใดก็ได้ที่ซ้อนกัน เพื่อทำความเข้าใจ BERT เรามาดูตัวอย่างการตอบคำถามกัน เนื่องจากคำถาม-คำตอบนั้นต้องมีอย่างน้อยสองประโยค BERT จึงได้รับการออกแบบมาให้รับประโยคคู่หนึ่งในรูปแบบ ซึ่งจะทำให้มีโทเค็นคั่น เช่น [CLS] ที่ส่งมาตอนต้นเพื่อระบุจุดเริ่มต้นของลำดับ จากนั้นจึงใช้โทเค็น [SEP] เพื่อแยกคำถามและคำตอบออกจากกัน ดังนั้นอินพุตง่ายๆ ตอนนี้จะกลายเป็น [CLS] [SEP] [SEP] ตามที่แสดงในรูปด้านล่าง ประโยค A และ B สองประโยคจะถูกส่งผ่านโมเดลการฝัง WordPiece หลังจากรวมโทเค็น [CLS] และ [SEP] เนื่องจากเรามีประโยคสองประโยค โมเดลจึงต้องมีการฝังเพิ่มเติมเพื่อแยกความแตกต่างระหว่างประโยคทั้งสอง ซึ่งมาในรูปแบบของการฝังเซกเมนต์และตำแหน่ง การฝังเซกเมนต์ที่แสดงเป็นสีเขียวด้านล่างนี้บ่งชี้ว่าโทเค็นอินพุตเป็นของประโยค A หรือ B จากนั้นก็มาถึงการฝังตำแหน่งซึ่งระบุตำแหน่งของแต่ละโทเค็นในลำดับ รูปภาพที่นำมาจากเอกสาร BERT แสดงให้เห็นการแสดงอินพุตของแบบจำลอง การฝังทั้งสามแบบจะถูกสรุปรวมกันและป้อนให้กับโมเดล BERT ซึ่งเป็นแบบทิศทางสองทางดังที่แสดงในรูปก่อนหน้านี้ โดยโมเดลจะจับไม่เฉพาะบริบทไปข้างหน้าเท่านั้น แต่ยังรวมถึงบริบทย้อนหลังด้วย ก่อนที่จะให้ผลลัพธ์สำหรับโทเค็นแต่ละตัวแก่เรา การฝึกอบรมก่อน BERT มีสองวิธีในการฝึกโมเดล BERT ล่วงหน้าโดยใช้สองงานที่ไม่มีการดูแล: ที่นี่ เราจะปิดบังโทเค็นบางส่วนในลำดับ และปล่อยให้แบบจำลองทำนายโทเค็นที่ถูกปิดบัง เรียกอีกอย่างว่างาน ในทางปฏิบัติ โทเค็น 15% จะถูกปิดบังเพื่องานนี้ แบบจำลองภาษาที่ถูกปิดบัง (MLM) cloze ในที่นี้ เราสร้างโมเดลทำนายประโยคถัดไปในลำดับ เมื่อใดก็ตามที่ประโยคเป็นประโยคถัดไปจริง ๆ เราจะใช้ป้ายกำกับ และเมื่อไม่ใช่ เราจะใช้ป้ายกำกับ การทำนายประโยคถัดไป (Next Sentence Prediction: NSP) IsNext NotNext ตามที่เห็นได้จากรูปด้านบนในเอกสาร โทเค็นเอาต์พุตแรกจะใช้สำหรับงาน NSP และโทเค็นตรงกลางซึ่งถูกปิดบังไว้จะใช้สำหรับงาน MLM ขณะที่เรากำลังฝึกในระดับโทเค็น โทเค็นอินพุตแต่ละอันจะสร้างโทเค็นเอาต์พุตขึ้นมา เช่นเดียวกับงานการจำแนกประเภทอื่นๆ การสูญเสียระหว่างเอนโทรปีจะถูกใช้เพื่อฝึกโมเดล BERT เป็นอะไรไป? แม้ว่า BERT จะมีประโยชน์ในการจับบริบททั้งไปข้างหน้าและข้างหลัง แต่ก็อาจไม่เหมาะที่สุดที่จะค้นหาความคล้ายคลึงกันระหว่างประโยคหลายพันประโยค ลองพิจารณาภารกิจในการค้นหาคู่ประโยคที่คล้ายคลึงกันมากที่สุดในประโยคจำนวนมาก 10,000 ประโยค กล่าวอีกนัยหนึ่ง เราต้องการ "ดึง" ประโยคที่คล้ายกับประโยค A มากที่สุดจากประโยคทั้งหมด 10,000 ประโยค ในการดำเนินการนี้ เราต้องจับคู่ประโยค 2 ประโยคจากทั้งหมด 10,000 ประโยคที่เป็นไปได้ทั้งหมด ซึ่งจะเท่ากับ n * (n — 1) / 2 = 4,999,500 คู่! นี่มันความซับซ้อนแบบกำลังสองชัดๆ โมเดล BERT จะใช้เวลา 65 ชั่วโมงในการสร้างการฝังและแก้ปัญหาสำหรับการเปรียบเทียบนี้ กล่าวอย่างง่ายๆ ก็คือโมเดล BERT ไม่ใช่โมเดลที่ดีที่สุดสำหรับการค้นหาความคล้ายคลึง แต่การดึงข้อมูลและการค้นหาความคล้ายคลึงถือเป็นหัวใจสำคัญของกระบวนการ RAG โซลูชันอยู่ที่ SBERT SBERT — ระดับประโยค BERT ข้อจำกัดของ BERT ส่วนใหญ่มาจาก ซึ่งเราป้อนประโยคสองประโยคเข้าด้วยกันตามลำดับโดยมีโทเค็น [SEP] อยู่ตรงกลาง หากเราพิจารณาแต่ละประโยคแยกกัน เราก็สามารถคำนวณการฝังตัวล่วงหน้าและใช้การฝังตัวเหล่านั้นเพื่อคำนวณในลักษณะเดียวกันเมื่อจำเป็น นี่คือข้อเสนอของประโยค BERT หรือเรียกสั้นๆ ว่า SBERT สถาปัตยกรรมแบบ cross-encoder SBERT แนะนำ ให้กับสถาปัตยกรรม BERT คำนี้หมายถึงคู่แฝดหรือมีความเกี่ยวข้องกันอย่างใกล้ชิด เครือข่าย Siamese ความหมายของคำว่าสยามที่นำมาจาก dictionary.com ดังนั้น ใน SBERT เรามีเครือข่าย BERT เดียวกันที่เชื่อมต่อเป็น “ฝาแฝด” โมเดลจะฝังประโยคแรกตามด้วยประโยคที่สองแทนที่จะจัดการตามลำดับ หมายเหตุ: การวาดเครือข่าย 2 เครือข่ายคู่กันเป็นเรื่องปกติธรรมดา แต่ในทางปฏิบัติแล้ว การวาดเครือข่ายเดียวจะรับอินพุต 2 แบบที่แตกต่างกัน สถาปัตยกรรม SBERT ด้านล่างนี้เป็นแผนภาพที่แสดงภาพรวมของสถาปัตยกรรม SBERT สถาปัตยกรรมเครือข่ายสยามที่มีวัตถุประสงค์การจำแนกประเภทสำหรับการสูญเสีย เอาต์พุต U และ V จากสองสาขาจะเรียงต่อกันพร้อมกับความแตกต่าง - ประการแรก เราจะสังเกตได้ว่า SBERT นำเสนอเลเยอร์การรวมข้อมูลในช่วงไม่นานหลังจาก BERT เลเยอร์นี้จะลดมิติของผลลัพธ์ของ BERT เพื่อลดการคำนวณ BERT มักจะสร้างผลลัพธ์ที่มิติ 512 X 768 เลเยอร์การรวมข้อมูลจะลดมิตินี้ลงเหลือ 1 X 768 การรวมข้อมูลเริ่มต้นคือค่าเฉลี่ย แม้ว่าการรวมข้อมูลค่าเฉลี่ยและค่าสูงสุดจะใช้งานได้ก็ตาม ต่อไปมาดูแนวทางการฝึกอบรมที่ SBERT แตกต่างจาก BERT กัน การฝึกอบรมเบื้องต้น SBERT เสนอวิธีฝึกโมเดลสามวิธี มาดูแต่ละวิธีกัน การอนุมานภาษาธรรมชาติ (NLI) — วัตถุประสงค์ในการจำแนกประเภท SBERT ได้รับการปรับแต่งให้เหมาะกับข้อมูล Stanford Natural Language Inference (SNLI) และชุดข้อมูล NLI หลายประเภทสำหรับสิ่งนี้ SNLI ประกอบด้วยคู่ประโยค 570,000 คู่ และ MNLI มี 430,000 คู่ คู่ประโยคเหล่านี้มีสมมติฐาน (P) และสมมติฐาน (H) ที่นำไปสู่หนึ่งในสามป้ายกำกับ: การยื่นหางออกไป — ข้อสมมติฐานชี้ให้เห็นถึงสมมติฐาน เป็นกลาง — ข้อสันนิษฐานและสมมติฐานอาจเป็นจริงแต่ไม่จำเป็นต้องเกี่ยวข้องกัน ความขัดแย้ง — ข้อสันนิษฐานและสมมติฐานขัดแย้งกัน เมื่อกำหนดประโยคสองประโยคคือ P และ H โมเดล SBERT จะสร้างผลลัพธ์สองประโยคคือ U และ V จากนั้นจึงต่อกันเป็น (U, V และ |U — V|) เอาต์พุตที่ต่อกันจะใช้ในการฝึก SBERT ด้วย Classification Objective เอาต์พุตที่ต่อกันนี้จะถูกส่งไปยังเครือข่ายประสาทเทียม Feed Forward ที่มีเอาต์พุตคลาส 3 คลาส (Eltailment, Neutral และ Contradiction) การเข้าแบบไขว้ของ Softmax ใช้สำหรับการฝึกที่คล้ายกับวิธีที่เราฝึกสำหรับงานการจำแนกประเภทอื่นๆ ความคล้ายคลึงของประโยค — วัตถุประสงค์การถดถอย แทนที่จะต่อ U และ V เข้าด้วยกัน เราจะคำนวณความคล้ายคลึงของโคไซน์ระหว่างเวกเตอร์ทั้งสองโดยตรง คล้ายกับปัญหาการถดถอยมาตรฐานอื่นๆ เราใช้การสูญเสียข้อผิดพลาดกำลังสองเฉลี่ยเพื่อฝึกการถดถอย ในระหว่างการอนุมาน เครือข่ายเดียวกันสามารถใช้เปรียบเทียบประโยคสองประโยคได้โดยตรง SBERT จะให้คะแนนว่าประโยคทั้งสองมีความคล้ายคลึงกันมากเพียงใด ความคล้ายคลึงของไตรเพล็ต — วัตถุประสงค์ของไตรเพล็ต วัตถุประสงค์ของความคล้ายคลึงกันของสามกลุ่มนั้นได้รับการแนะนำครั้งแรกในระบบการจดจำใบหน้า และค่อยๆ ได้รับการปรับให้เข้ากับด้านอื่นๆ ของ AI เช่น ข้อความและหุ่นยนต์ ที่นี่ อินพุต 3 ตัวจะถูกป้อนไปยัง SBERT แทนที่จะเป็น 2 ตัว — แอนคอร์ อินพุตเชิงบวก และอินพุตเชิงลบ ควรเลือกชุดข้อมูลที่ใช้อย่างเหมาะสม ในการสร้าง เราสามารถเลือกข้อมูลข้อความใดๆ ก็ได้ และเลือกประโยคที่ต่อเนื่องกันสองประโยคเป็นความหมายเชิงบวก จากนั้นเลือกประโยคสุ่มจากย่อหน้าอื่นและตัวอย่างเชิงลบ จากนั้นจะคำนวณการสูญเสียสามเท่าโดยการเปรียบเทียบว่าค่าบวกอยู่ใกล้กับจุดยึดมากเพียงใดกับค่าลบอยู่ใกล้กับจุดยึดมากเพียงใด จากการแนะนำ BERT และ SBERT ดังกล่าว มาลองปฏิบัติจริงอย่างรวดเร็วเพื่อทำความเข้าใจว่าเราสามารถรับการฝังประโยคที่กำหนดโดยใช้โมเดลเหล่านี้ได้อย่างไร การฝึกปฏิบัติจริง SBERT ตั้งแต่มีการเผยแพร่ ไลบรารีอย่างเป็นทางการสำหรับ SBERT ซึ่งเป็น ก็ได้รับความนิยมและพัฒนาขึ้นเรื่อยๆ ไลบรารีนี้ดีพอที่จะใช้ในกรณีการใช้งานจริงของ RAG ดังนั้นมาลองใช้กันเลย sentence-transformer ในการเริ่มต้น ให้เราเริ่มด้วยการติดตั้งในสภาพแวดล้อม Python ใหม่ล่าสุด !pip install sentence-transformers มีโมเดล SBERT หลายรูปแบบที่เราสามารถโหลดจากไลบรารีได้ มาโหลดโมเดลนี้เพื่อประกอบการอธิบายกัน from sentence_transformers import SentenceTransformer model = SentenceTransformer('bert-base-nli-mean-tokens') เราสามารถสร้างรายการประโยคและเรียกใช้ฟังก์ชัน ของโมเดลเพื่อสร้างเอ็มเบ็ดดิ้งได้อย่างง่ายดาย ง่ายๆ แค่นั้นเอง! encode sentences = [ "The weather is lovely today.", "It's so sunny outside!", "He drove to the stadium.", ] embeddings = model.encode(sentences) print(embeddings.shape) และเราสามารถหาคะแนนความคล้ายคลึงระหว่างการฝังโดยใช้บรรทัดด้านล่าง 1 บรรทัด: similarities = model.similarity(embeddings, embeddings) print(similarities) สังเกตว่าความคล้ายคลึงกันระหว่างประโยคเดียวกันคือ 1 ตามที่คาดไว้: tensor([[1.0000, 0.6660, 0.1046], [0.6660, 1.0000, 0.1411], [0.1046, 0.1411, 1.0000]]) บทสรุป การฝังเป็นขั้นตอนที่สำคัญและพื้นฐานในการทำให้ท่อ RAG ทำงานได้อย่างเต็มประสิทธิภาพ หวังว่าข้อมูลนี้จะเป็นประโยชน์และเปิดหูเปิดตาให้คุณเห็นว่ามีอะไรเกิดขึ้นบ้างทุกครั้งที่เราใช้ตัวแปลงประโยคตั้งแต่แกะกล่อง ติดตามบทความที่จะเผยแพร่เร็วๆ นี้เกี่ยวกับ RAG การทำงานภายใน รวมถึงบทช่วยสอนแบบปฏิบัติจริง