AI รุ่นใหม่นี้อาจเข้ามาแทนที่งานเขียนโค้ดของคุณได้ครึ่งหนึ่ง

```html ผู้เขียน: Mayank Mishra⋆, IBM Matt Stallone⋆, IBM Gaoyuan Zhang⋆, IBM Yikang Shen, IBM Aditya Prasad, IBM Adriana Meza Soria, IBM Michele Merler, IBM Parameswaran Selvam, IBM Saptha Surendran, IBM Shivdeep Singh, IBM Manish Sethi, IBM Xuan-Hong Dang, IBM Pengyuan Li, IBM Kun-Lung Wu, IBM Syed Zawad, IBM Andrew Coleman, IBM Matthew White, IBM Mark Lewis, IBM Raju Pavuluri, IBM Yan Koyfman, IBM Boris Lublinsky, IBM Maximilien de Bayser, IBM Ibrahim Abdelaziz, IBM Kinjal Basu, IBM Mayank Agarwal, IBM Yi Zhou, IBM Chris Johnson, IBM Aanchal Goyal, IBM Hima Patel, IBM Yousaf Shah, IBM Petros Zerfos, IBM Heiko Ludwig, IBM Asim Munawar, IBM Maxwell Crouse, IBM Pavan Kapanipathi, IBM Shweta Salaria, IBM Bob Calio, IBM Sophia Wen, IBM Seetharami Seelam, IBM Brian Belgodere, IBM Carlos Fonseca, IBM Amith Singhee, IBM Nirmit Desai, IBM David D. Cox, IBM Ruchir Puri†, IBM Rameswar Panda†, IBM บทคัดย่อ Large Language Models (LLMs) ที่ได้รับการฝึกอบรมเกี่ยวกับโค้ดกำลังปฏิวัติกระบวนการพัฒนาซอฟต์แวร์ LLMs เกี่ยวกับโค้ดมีการผสานรวมเข้ากับสภาพแวดล้อมการพัฒนาซอฟต์แวร์เพิ่มขึ้นเรื่อย ๆ เพื่อปรับปรุงประสิทธิภาพของโปรแกรมเมอร์ที่เป็นมนุษย์ และตัวแทนที่ใช้ LLM กำลังเริ่มแสดงให้เห็นถึงศักยภาพในการจัดการงานที่ซับซ้อนโดยอัตโนมัติ การตระหนักถึงศักยภาพเต็มรูปแบบของ LLMs เกี่ยวกับโค้ดจำเป็นต้องมีความสามารถหลากหลาย รวมถึงการสร้างโค้ด การแก้ไขข้อผิดพลาด การอธิบายและจัดทำเอกสารโค้ด การดูแลที่เก็บโค้ด และอื่น ๆ ในงานนี้ เราขอแนะนำซีรีส์ Granite ของโมเดลโค้ดแบบ decoder-only สำหรับงานสร้างโค้ด ซึ่งได้รับการฝึกอบรมด้วยโค้ดที่เขียนด้วยภาษาโปรแกรม 116 ภาษา ตระกูลโมเดล Granite Code ประกอบด้วยโมเดลที่มีขนาดตั้งแต่ 3 ถึง 34 พันล้านพารามิเตอร์ เหมาะสำหรับแอปพลิเคชันตั้งแต่ task การปรับปรุงแอปพลิเคชันที่ซับซ้อนไปจนถึงกรณีการใช้งานที่ต้องการหน่วยความจำที่จำกัดบนอุปกรณ์ การประเมินผลในชุด task ที่ครอบคลุมแสดงให้เห็นว่าโมเดล Granite Code ได้รับประสิทธิภาพระดับ state-of-the-art อย่างสม่ำเสมอในบรรดา LLMs โค้ดโอเพนซอร์สที่มีอยู่ ตระกูลโมเดล Granite Code ได้รับการปรับให้เหมาะสมสำหรับ workflow การพัฒนาซอฟต์แวร์ระดับองค์กร และทำงานได้ดีใน task การเขียนโค้ดที่หลากหลาย (เช่น การสร้างโค้ด การแก้ไข และการอธิบาย) ทำให้เป็นโมเดลโค้ดที่หลากหลายแบบ "รอบด้าน" เราเผยแพร่โมเดล Granite Code ทั้งหมดภายใต้ใบอนุญาต Apache 2.0 สำหรับทั้งการวิจัยและการใช้งานเชิงพาณิชย์ https://github.com/ibm-granite/granite-code-models 1 บทนำ ในช่วงหลายทศวรรษที่ผ่านมา ซอฟต์แวร์ได้กลายเป็นส่วนสำคัญของทุกแง่มุมในสังคมของเรา เมื่อความต้องการในการพัฒนาซอฟต์แวร์เพิ่มสูงขึ้น การเพิ่มประสิทธิภาพการพัฒนาซอฟต์แวร์จึงมีความสำคัญยิ่งกว่าที่เคย และ LLMs ก็เป็นหนทางที่มีแนวโน้มในการเสริมศักยภาพโปรแกรมเมอร์ที่เป็นมนุษย์ กรณีการใช้งานระดับองค์กรที่สำคัญสำหรับ LLMs ในด้านประสิทธิภาพการพัฒนาซอฟต์แวร์ ได้แก่ การสร้างโค้ด การอธิบายโค้ด การแก้ไขโค้ด การสร้าง unit test และเอกสารประกอบ การปรับปรุงแอปพลิเคชัน การตรวจจับช่องโหว่ การแปลโค้ด และอื่น ๆ ในช่วงไม่กี่ปีที่ผ่านมา LLM มีความก้าวหน้าอย่างรวดเร็วในความสามารถในการสร้างและจัดการโค้ด และมีโมเดลที่มีความสามารถในการเขียนโค้ดที่น่าประทับใจให้ใช้งานในปัจจุบัน โมเดลมีขนาดตั้งแต่หลักพันล้านพารามิเตอร์ (เช่น Llama-7B (Touvron et al., 2023), Gemma-7B (Gemma-Team et al., 2024) เป็นต้น) ไปจนถึงหลักแสนล้าน: DBRX (Databricks), Arctic (Snowflake), Grok, Mixtral 8x22B (MistralAI), Command R+ (Cohere) และมีความหลากหลายในการใช้งานที่ตั้งใจไว้ โดยโมเดลบางตัวมีเป้าหมายที่จะครอบคลุมการใช้งานที่หลากหลายนอกเหนือจากโค้ด ในขณะที่โมเดลอื่น ๆ มุ่งเน้นไปที่ task ที่เกี่ยวข้องกับโค้ดเป็นหลัก (เช่น StarCoder (Li et al., 2023a; Lozhkov et al., 2024), CodeGen (Nijkamp et al., 2023), CodeLlama (Rozie`re et al., 2023), และ CodeGemma (CodeGemma Team et al., 2024)) อย่างไรก็ตาม ยังคงมีช่องว่างที่สำคัญในสาขา LLMs สำหรับโค้ดในปัจจุบัน โดยเฉพาะอย่างยิ่งในบริบทของการพัฒนาซอฟต์แวร์ระดับองค์กร ประการแรก แม้ว่า LLMs ทั่วไปที่มีขนาดใหญ่มากจะสามารถบรรลุประสิทธิภาพการเขียนโค้ดที่ยอดเยี่ยมได้ แต่ขนาดของมันทำให้มีค่าใช้จ่ายสูงในการใช้งาน โมเดลโค้ดขนาดเล็กที่เน้นโค้ด ( , ; , ; , ; , ; , ) สามารถสร้างประสิทธิภาพการสร้างโค้ดที่ยอดเยี่ยมได้ในแพ็คเกจที่เล็กและยืดหยุ่นกว่า แต่ประสิทธิภาพใน task การเขียนโค้ดนอกเหนือจากการสร้าง (เช่น การแก้ไขและการอธิบาย) อาจตามหลังประสิทธิภาพการสร้างโค้ด Li et al. 2023a Lozhkov et al. 2024 Nijkamp et al. 2023 Rozie`re et al. 2023 CodeGemma Team et al. 2024 ในหลายบริบทขององค์กร การนำ LLM เกี่ยวกับโค้ดมาใช้งานอาจซับซ้อนยิ่งขึ้นจากปัจจัยนอกเหนือจากประสิทธิภาพของโมเดล ตัวอย่างเช่น แม้แต่โมเดลโอเพนซอร์สบางครั้งก็ประสบปัญหาขาดความโปร่งใสเกี่ยวกับแหล่งข้อมูลและวิธีการประมวลผลข้อมูลที่ใช้ในโมเดล ซึ่งอาจกัดกร่อนความเชื่อมั่นในโมเดลในบริบทที่สำคัญต่อภารกิจและมีการควบคุมดูแล นอกจากนี้ เงื่อนไขใบอนุญาตใน LLM โอเพนซอร์สปัจจุบันอาจเป็นภาระและทำให้การใช้งานโมเดลขององค์กรมีความซับซ้อน ในที่นี้ เราขอเสนอโมเดล Granite Code ซึ่งเป็นชุด LLMs โค้ดที่มีความสามารถสูง ออกแบบมาเพื่อสนับสนุนการพัฒนาซอฟต์แวร์ระดับองค์กรใน task การเขียนโค้ดที่หลากหลาย Granite Code models มีสองรูปแบบหลักที่เราเผยแพร่ในสี่ขนาดที่แตกต่างกัน (3B, 8B, 20B และ 34B): โมเดลพื้นฐานสำหรับการใช้งานเกี่ยวกับโค้ด Granite Code Base: โมเดลที่ปรับตามคำสั่ง (instruction following) ซึ่งได้รับการ fine-tuned โดยใช้การผสมผสานระหว่าง Git commits ที่จับคู่กับคำสั่งของมนุษย์และชุดข้อมูลคำสั่งโค้ดที่สร้างขึ้นแบบสังเคราะห์โอเพนซอร์ส Granite Code Instruct: โมเดลพื้นฐานในซีรีส์นี้ได้รับการฝึกอบรมตั้งแต่ต้นด้วยกลยุทธ์การฝึกอบรมสองเฟส ในเฟส 1 โมเดลของเราได้รับการฝึกอบรมด้วยโทเค็น 3 ถึง 4 ล้านล้านโทเค็นที่มาจากภาษาโปรแกรม 116 ภาษา เพื่อให้เข้าใจภาษาและไวยากรณ์ในการเขียนโปรแกรมอย่างครอบคลุม ในเฟส 2 โมเดลของเราได้รับการฝึกอบรมเพิ่มเติมด้วยโทเค็น 500 พันล้านโทเค็น ด้วยการผสมผสานข้อมูลคุณภาพสูงที่ออกแบบมาอย่างรอบคอบจากโดเมนโค้ดและภาษาธรรมชาติ เพื่อปรับปรุงความสามารถในการให้เหตุผลของโมเดล เราใช้ objective การสร้างแบบจำลองภาษาแบบไม่มีผู้สอน (unsupervised language modeling objective) เพื่อฝึกอบรมโมเดลพื้นฐานในทั้งสองเฟสของการฝึกอบรม โมเดล instruct ได้รับการพัฒนาโดยการ fine-tune โมเดลพื้นฐานที่ฝึกอบรมแล้วเพิ่มเติมด้วยการผสมผสานระหว่าง CommitPack เวอร์ชันที่กรองแล้ว ( , ), ชุดข้อมูลการปฏิบัติตามคำสั่งภาษาธรรมชาติ (OASST ( , ), HelpSteer ( , )) และชุดข้อมูลคณิตศาสตร์แบบสังเคราะห์ (MathInstruct ( , ) และ MetaMathQA ( , )) รวมถึงชุดข้อมูลโค้ดที่สร้างขึ้นแบบสังเคราะห์เพื่อปรับปรุงความสามารถในการปฏิบัติตามคำสั่งและให้เหตุผล Muennighoff et al. 2023 Ko¨ pf et al. 2023 Wang et al. 2023 Yue et al. 2023 Yu et al. 2023 เราดำเนินการประเมินผล LLMs โค้ดของเราอย่างละเอียดในชุด benchmark ที่ครอบคลุม รวมถึง HumanEvalPack ( , ), MBPP+ ( , ; , ), RepoBench ( , ), ReCode ( , ) และอื่น ๆ ชุด benchmark นี้ครอบคลุม task การเขียนโค้ดหลายประเภทนอกเหนือจากการสังเคราะห์โค้ดใน Python เช่น การแก้ไขโค้ด การอธิบายโค้ด การแก้ไขโค้ด การแปลโค้ด ฯลฯ ในภาษาโปรแกรมหลัก ๆ ส่วนใหญ่ (Python, JavaScript, Java, Go, C++, Rust ฯลฯ) Muennighoff et al. 2023 Austin et al. 2021 Liu et al. 2023a Liu et al. 2023b Wang et al. 2022 ผลการวิจัยของเราแสดงให้เห็นว่าในบรรดาโมเดลโอเพนซอร์ส โมเดล Granite Code โดยรวมแสดงประสิทธิภาพที่แข็งแกร่งมากในทุกขนาดโมเดลและ benchmark (มักจะทำได้ดีกว่าโมเดลโค้ดโอเพนซอร์สอื่น ๆ ที่มีขนาดใหญ่กว่า Granite ถึงสองเท่า) เพื่อเป็นภาพประกอบ รูปที่ (ด้านบน) แสดงการเปรียบเทียบ Granite-8B-Code-Base กับ LLMs โค้ดพื้นฐานโอเพนซอร์สอื่น ๆ รวมถึง LLMs ทั่วไปที่มีประสิทธิภาพสูงในปัจจุบัน เช่น Mistral ( , ) และ LLama-3 ( , ) บน HumanEvalPack ( , ) แม้ว่า CodeGemma และ StarCoder2 จะมีประสิทธิภาพในการสร้างโค้ดที่ดี แต่ก็มีประสิทธิภาพด้อยกว่าอย่างมากใน variant การแก้ไขโค้ดและการอธิบายโค้ดของ HumanEvalPack โดยเฉลี่ยแล้ว Granite-8B-Code-Base มีประสิทธิภาพดีกว่าโมเดล CodeGemma-8B ที่แข่งขันได้มากที่สุดเกือบ 12 คะแนนบน HumanEvalPack (33.2% เทียบกับ 21.3%) แม้ว่าจะได้รับการฝึกอบรมด้วยโทเค็นจำนวนน้อยกว่าอย่างมีนัยสำคัญ (4.5T เทียบกับ 7.5T โทเค็น) นอกเหนือจากโมเดลพื้นฐานแล้ว variant ที่ได้รับการปรับตามคำสั่งของโมเดล Granite Code ของเราก็แสดงประสิทธิภาพที่แข็งแกร่งบน HumanEvalPack โดยมีประสิทธิภาพดีกว่าโมเดล instruct โค้ดโอเพนซอร์สอื่น ๆ แสดงให้เห็นถึงประโยชน์สำหรับ task การเขียนโค้ดที่หลากหลายพร้อมคำสั่งภาษาธรรมชาติ (ดูรูปที่ (ด้านล่าง)) 1 Jiang et al. 2023b AI@Meta 2024 Muennighoff et al. 2023 1 นอกจากนี้ เนื่องจากเหตุผลมีความสำคัญอย่างยิ่งในการแก้ปัญหาและ task ที่ซับซ้อน เราจึงทดสอบโมเดล Granite-8B-Code-Base ของเราบน benchmark คณิตศาสตร์หกรายการ รวมถึง MATH ( , ), GSM8K ( , ) และการแก้ปัญหาโดยการเข้าถึงเครื่องมือคำนวณ ซึ่งโมเดล Granite 8B ของเราได้ผลลัพธ์ที่ดีกว่า LLMs ขนาด 7B หรือ 8B ที่เป็น state-of-the-art ส่วนใหญ่ ตัวอย่างเช่น Granite-8B-Code-Base มีประสิทธิภาพดีกว่า Llama-3-8B-Base ประมาณ 12 คะแนนบน GSM8K และประมาณ 6 คะแนนบน MATH (ดูตาราง ) Cobbe et al. 2021 Cobbe et al. 2021 15 ข้อได้เปรียบที่สำคัญของโมเดล Granite Code ได้แก่: : โมเดล Granite Code ได้รับประสิทธิภาพที่แข่งขันได้หรือระดับ state-of-the-art ใน task ที่เกี่ยวข้องกับโค้ดประเภทต่าง ๆ รวมถึงการสร้างโค้ด การอธิบายโค้ด การแก้ไขโค้ด การแก้ไขโค้ด การแปลโค้ด ฯลฯ แสดงให้เห็นถึงความสามารถในการแก้ task การเขียนโค้ดที่หลากหลาย LLM โค้ดรอบด้าน : โมเดลทั้งหมดของเราได้รับการฝึกอบรมด้วยข้อมูลที่ได้รับอนุญาตตามใบอนุญาตซึ่งรวบรวมตามหลักการ AI Ethics ของ IBM และได้รับคำแนะนำจากทีมกฎหมายองค์กรของ IBM สำหรับการใช้งานระดับองค์กรที่เชื่อถือได้ โมเดล Granite Code ทั้งหมดได้รับการเผยแพร่ภายใต้ใบอนุญาต Apache 2.0 LLM เกรดองค์กรที่เชื่อถือได้ 1 เราอธิบาย pipeline การรวบรวมข้อมูล การกรอง และการประมวลผลเบื้องต้นทั้งหมดของเราในส่วน ส่วน อธิบายรายละเอียดสถาปัตยกรรมโมเดล ตามด้วยรายละเอียดการฝึกอบรมในส่วน ส่วน ให้รายละเอียดเกี่ยวกับการปรับตามคำสั่ง และส่วน อธิบายการทดลองและผลลัพธ์เปรียบเทียบโมเดล Granite Code กับ LLMs โอเพนซอร์สอื่น ๆ 2 3 4 5 6 2 การรวบรวมข้อมูล ในส่วนนี้ เราจะอธิบายกระบวนการรวบรวมและกรอง (Sec. ), การลบข้อมูลซ้ำ (Sec. ), การกรอง HAP/PII (Sec. ) ที่ใช้ในการเตรียมข้อมูลโค้ดสำหรับการฝึกอบรมโมเดล เรายังให้ภาพรวมของข้อมูลภาษาธรรมชาติคุณภาพสูงที่ใช้เพื่อปรับปรุงความเข้าใจภาษาและทักษะการให้เหตุผลทางคณิตศาสตร์ของโมเดล 2.1 2.2 2.3 2.1 การรวบรวมและกรองข้อมูล ข้อมูลโค้ด pretraining ถูกดึงมาจากชุดข้อมูลสาธารณะ เช่น Github Code Clean , StarCoderdata และที่เก็บโค้ดสาธารณะเพิ่มเติมและปัญหาจาก GitHub เรากรองข้อมูลดิบเพื่อเก็บรายการภาษาโปรแกรม 116 ภาษา จากกว่า 300 ภาษา ดังที่แสดงในภาคผนวก การกำหนดข้อมูลให้กับภาษาโปรแกรมจะดำเนินการโดยใช้เพียงนามสกุลไฟล์เท่านั้น เช่นเดียวกับ StarCoder ( , ) หลังจากการกรองภาษา เราใช้กฎการกรองหลักสี่ข้อเพื่อกรองโค้ดคุณภาพต่ำ ( , ): (1) ลบไฟล์ที่มีตัวอักษรน้อยกว่า 25% (2) ยกเว้นภาษา XSLT ให้กรองไฟล์ที่มีสตริง “<?xml version=” ปรากฏภายใน 100 อักขระแรก (3) สำหรับไฟล์ HTML ให้เก็บเฉพาะไฟล์ที่มีข้อความที่มองเห็นได้คิดเป็นอย่างน้อย 20% ของโค้ด HTML และมีความยาวขั้นต่ำ 100 อักขระ (4) สำหรับไฟล์ JSON และ YAML ให้เก็บเฉพาะไฟล์ที่มีจำนวนอักขระอยู่ระหว่าง 50 ถึง 5000 อักขระ เรายังติดป้ายกำกับปัญหา GitHub ด้วยชุดตัวชี้วัดคุณภาพ ซึ่งรวมถึงการลบข้อความที่สร้างขึ้นอัตโนมัติ การกรองปัญหาที่ไม่ใช่ภาษาอังกฤษ การยกเว้นความคิดเห็นจากบอท และการใช้จำนวนผู้เข้าร่วมในการสนทนาเป็นตัวบ่งชี้คุณภาพ เรายังติดป้ายกำกับไฟล์โค้ดแต่ละไฟล์พร้อมข้อมูลใบอนุญาตที่เกี่ยวข้องกับที่เก็บนั้น ๆ ซึ่งค้นหาได้ผ่าน GitHub APIs และเก็บเฉพาะไฟล์ที่มีใบอนุญาตที่อนุญาตสำหรับการฝึกอบรมโมเดล 2 3 A Li et al. 2023a Li et al. 2023a 2.2 การลบข้อมูลซ้ำแบบตรงและแบบคลุมเครือ เราใช้กลยุทธ์การลบข้อมูลซ้ำที่เข้มงวด รวมถึงการลบข้อมูลซ้ำแบบตรงและแบบคลุมเครือ เพื่อลบเอกสารที่มีเนื้อหาโค้ด (ใกล้เคียง) เหมือนกันในชุดข้อมูลฝึกอบรมของเรา สำหรับการลบข้อมูลซ้ำแบบตรง เราจะคำนวณแฮช SHA256 จากเนื้อหาของเอกสารก่อน แล้วจึงลบระเบียนที่มีแฮชเหมือนกัน หลังจากการลบข้อมูลซ้ำแบบตรง เราจะใช้การลบข้อมูลซ้ำแบบคลุมเครือ โดยมีเป้าหมายเพื่อลบไฟล์โค้ดที่อาจมีความแตกต่างเล็กน้อยและทำให้ข้อมูลมีความเป็นกลางมากขึ้น เราใช้วิธีการสองขั้นตอนสำหรับสิ่งนี้: (1) คำนวณ MinHashes ของเอกสารทั้งหมด แล้วใช้ Locally Sensitive Hashing (LSH) เพื่อจัดกลุ่มเอกสารตามลายเซ็น MinHash ของพวกเขา (2) วัดความคล้ายคลึง Jaccard ระหว่างแต่ละคู่ของเอกสารใน bucket เดียวกัน และติดป้ายกำกับเอกสาร ยกเว้นหนึ่งรายการ เป็นรายการซ้ำตามเกณฑ์ความคล้ายคลึง 0.7 เราใช้กระบวนการลบข้อมูลใกล้เคียงนี้กับทุกภาษาโปรแกรม รวมถึงปัญหา GitHub เพื่อเพิ่มความสมบูรณ์และความหลากหลายของชุดข้อมูลฝึกอบรม 2.3 การกรอง HAP, PII, Malware เพื่อลดโอกาสในการสร้างภาษาที่แสดงถึงความเกลียดชัง การคุกคาม หรือคำหยาบคาย (HAP) จากโมเดล เราได้พยายามอย่างเต็มที่ในการกรองเนื้อหา HAP ออกจากชุดข้อมูลฝึกอบรม เราสร้างพจนานุกรมคำหลัก HAP ก่อน แล้วจึงติดป้ายกำกับเอกสารโค้ดแต่ละฉบับด้วยจำนวนครั้งที่พบคำหลักดังกล่าวในเนื้อหารวมถึงความคิดเห็น เรากรองเอกสารที่เกินเกณฑ์ HAP ซึ่งคำนวณจากการวิเคราะห์การกระจายตัวและการตรวจสอบด้วยตนเองของไฟล์โค้ด นอกจากนี้ เพื่อปกป้องความเป็นส่วนตัว เราจึงปฏิบัติตาม StarCoder ( , ) และพยายามอย่างเต็มที่ในการแก้ไขข้อมูลที่สามารถระบุตัวตนได้ (Personally Identifiable Information - PII) ออกจากชุดข้อมูลฝึกอบรม โดยเฉพาะอย่างยิ่ง เราใช้โมเดล StarPII เพื่อตรวจจับที่อยู่ IP, คีย์, ที่อยู่อีเมล, ชื่อ, ชื่อผู้ใช้ และรหัสผ่านที่พบในเนื้อหา ขั้นตอนการแก้ไข PII จะแทนที่ข้อความ PII ด้วยโทเค็นที่สอดคล้องกัน NAME , EMAIL , KEY , PASSWORD และเปลี่ยนที่อยู่ IP ด้วยที่อยู่ IP ที่สร้างขึ้นแบบสังเคราะห์ เช่นเดียวกับใน Li et al. (2023a) นอกจากนี้เรายังสแกนชุดข้อมูลของเราด้วย เพื่อระบุและลบมัลแวร์ในซอร์สโค้ด Li et al. 2023a 4 2.4 ชุดข้อมูลภาษาธรรมชาติ นอกเหนือจากการรวบรวมข้อมูลโค้ดสำหรับการฝึกอบรมโมเดลแล้ว เรายังได้รวบรวมชุดข้อมูลภาษาธรรมชาติคุณภาพสูงที่มีให้ใช้งานทั่วไปหลายชุด เพื่อปรับปรุงความสามารถของโมเดลในการทำความเข้าใจภาษาและการให้เหตุผลทางคณิตศาสตร์ ชุดข้อมูลตัวอย่างในหมวดหมู่นี้ ได้แก่ เอกสารเว็บ (Stackexchange, CommonCrawl), ข้อความเว็บเกี่ยวกับคณิตศาสตร์ (OpenWeb-Math; ( ), StackMathQA; ( )), ข้อความวิชาการ (Arxiv, Wikipedia) และชุดข้อมูลการปรับตามคำสั่ง (FLAN; ( ), HelpSteer ( , )) เราไม่ได้ลบข้อมูลซ้ำในชุดข้อมูลภาษาธรรมชาติที่ประมวลผลแล้วเหล่านี้ Paster et al. 2023 Zhang 2024 Longpre et al. 2023 Wang et al. 2023 3 สถาปัตยกรรมโมเดล เราฝึกอบรมโมเดลโค้ดชุดหนึ่งที่มีขนาดต่างกันโดยใช้สถาปัตยกรรม decoder-only transformer ( , ) hyperparameter ของโมเดลสำหรับโมเดลเหล่านี้แสดงอยู่ในตาราง สำหรับสถาปัตยกรรมโมเดลทั้งหมด เราใช้ pre-normalization ( , ): การทำให้เป็นมาตรฐานที่ใช้กับอินพุตของ attention และ MLP blocks Vaswani et al. 2017 1 Xiong et al. 2020 : โมเดลที่เล็กที่สุดในตระกูล Granite-code ได้รับการฝึกอบรมด้วย RoPE embedding ( , ) และ Multi-Head Attention ( , ) โมเดลนี้ใช้ฟังก์ชันการกระตุ้น swish ( , ) ร่วมกับ GLU ( , ) สำหรับ MLP ซึ่งมักเรียกว่า swiglu สำหรับการทำให้เป็นมาตรฐาน เราใช้ RMSNorm ( , ) เนื่องจากมีประสิทธิภาพในการคำนวณมากกว่า LayerNorm ( , ) โมเดล 3B ได้รับการฝึกอบรมด้วย context length 2048 โทเค็น 3B Su et al. 2023 Vaswani et al. 2017 Ramachandran et al. 2017 Shazeer 2020 Zhang & Sennrich 2019 Ba et al. 2016 : โมเดล 8B มีสถาปัตยกรรมคล้ายกับโมเดล 3B ยกเว้นการใช้ Grouped-Query Attention (GQA) ( , ) การใช้ GQA ให้ trade-off ที่ดีขึ้นระหว่างประสิทธิภาพโมเดลและประสิทธิภาพการอนุมานในระดับนี้ เราฝึกอบรมโมเดล 8B ด้วย context length 4096 โทเค็น 8B Ainslie et al. 2023 : โมเดลโค้ด 20B ได้รับการฝึกอบรมด้วย learned absolute position embeddings เราใช้ Multi-Query Attention ( , ) ในระหว่างการฝึกอบรมเพื่อประสิทธิภาพการอนุมาน downstream เราใช้ฟังก์ชันการกระตุ้น GELU ( , ) สำหรับ MLP block สำหรับการทำให้เป็นมาตรฐานของการกระตุ้น เราใช้ LayerNorm ( , ) โมเดลนี้ได้รับการฝึกอบรมด้วย context length 8192 โทเค็น 20B Shazeer 2019 Hendrycks & Gimpel 2023 Ba et al. 2016 : ในการฝึกอบรมโมเดล 34B เราปฏิบัติตามแนวทางของ สำหรับการเพิ่มความลึกของโมเดล 20B โดยเฉพาะอย่างยิ่ง เราจะคัดลอกโมเดลโค้ด 20B ที่มี 52 เลเยอร์ก่อน แล้วจึงลบ 8 เลเยอร์สุดท้ายออกจากโมเดลเดิมและ 8 เลเยอร์แรกจากสำเนาเพื่อสร้างโมเดลสองตัว 34B Kim et al. สุดท้าย เราจะต่อโมเดลทั้งสองเข้าด้วยกันเพื่อสร้างโมเดล Granite-34B-Code ที่มี 88 เลเยอร์ (ดูรูปที่ สำหรับภาพประกอบ) หลังจากการเพิ่มความลึก เราสังเกตเห็นว่าประสิทธิภาพที่ลดลงเมื่อเทียบกับโมเดล 20B นั้นน้อยมาก ตรงกันข้ามกับสิ่งที่สังเกตได้จาก ประสิทธิภาพนี้ได้รับการฟื้นฟูอย่างรวดเร็วหลังจากที่เราฝึกอบรมโมเดล 34B ที่เพิ่มขนาดขึ้นต่อไป เช่นเดียวกับโมเดล 20B เราใช้ context 8192 โทเค็นในการ pretraining 2 Kim et al. 4 Pretraining ในส่วนนี้ เราให้รายละเอียดเกี่ยวกับการฝึกอบรมสองเฟส (Sec. ), training objectives (Sec. ), optimization (Sec. ) และ infrastructure (Sec. ) ที่ใช้ในการ pretraining โมเดล 4.1 4.2 4.3 4.4 4.1 การฝึกอบรมสองเฟส โมเดล Granite Code ได้รับการฝึกอบรมด้วยข้อมูลโค้ด 3.5T ถึง 4.5T โทเค็น และชุดข้อมูลภาษาธรรมชาติที่เกี่ยวข้องกับโค้ด ข้อมูลถูก tokenized ผ่าน byte pair encoding (BPE, ( , )) โดยใช้ tokenizer เดียวกับ StarCoder ( , ) ตาม ( , ; , ) เราใช้ข้อมูลคุณภาพสูงด้วยการฝึกอบรมสองเฟสดังนี้: Sennrich et al. 2015 Li et al. 2023a Shen et al. 2024 Hu et al. 2024 • : ในระหว่างเฟส 1 โมเดล 3B และ 8B ทั้งสองได้รับการฝึกอบรมสำหรับข้อมูลโค้ด 4 ล้านล้านโทเค็น ซึ่งประกอบด้วย 116 ภาษา โมเดลพารามิเตอร์ 20B ได้รับการฝึกอบรมด้วยโค้ด 3 ล้านล้านโทเค็น โมเดล 34B ได้รับการฝึกอบรมด้วย 1.4T โทเค็นหลังจากการเพิ่มความลึก ซึ่งทำบน checkpoint 1.6T ของโมเดล 20B เฟส 1 (การฝึกอบรมโค้ดเท่านั้น) • : ในเฟส 2 เราได้รวมข้อมูลคุณภาพสูงที่มีให้ใช้งานทั่วไปจากโดเมนต่าง ๆ เพิ่มเติม รวมถึงเอกสารทางเทคนิค คณิตศาสตร์ และเว็บ เพื่อปรับปรุงประสิทธิภาพของโมเดลในด้านการให้เหตุผลและการแก้ปัญหา ซึ่งจำเป็นสำหรับการสร้างโค้ด เราฝึกอบรมโมเดลทั้งหมดของเราสำหรับ 500B โทเค็น (80% โค้ด และ 20% ภาษา) ในเฟส 2 ของการฝึกอบรม เฟส 2 (การฝึกอบรมโค้ด + ภาษา) 4.2 Training Objective สำหรับการฝึกอบรมโมเดลทั้งหมดของเรา เราใช้ causal language modeling objective และ Fill-In-the-Middle (FIM) ( , ) objective FIM objective มีหน้าที่ทำนายโทเค็นที่แทรกเข้ามาพร้อมกับบริบทที่กำหนดและข้อความที่ตามมา เราฝึกอบรมโมเดลของเราให้ทำงานได้ทั้งโหมด PSM (Prefix-Suffix-Middle) และ SPM (Suffix-Prefix-Middle) ด้วยโทเค็นควบคุมการจัดรูปแบบที่เกี่ยวข้อง เช่นเดียวกับ StarCoder ( , ) Bavarian et al. 2022 Li et al. 2023a loss โดยรวมคำนวณจากการผสมผสานแบบถ่วงน้ำหนักของ 2 objectives: เราตั้งค่า = 0.5 ตามประสบการณ์ในการฝึกอบรม และพบว่าวิธีนี้ใช้ได้ดีในทางปฏิบัติ ทำให้ได้ประสิทธิภาพ SOTA ในทั้ง task การเติมโค้ดและการเติมช่องว่างในโค้ด ควรสังเกตว่า FIM objective ใช้เฉพาะในการ pretraining เท่านั้น อย่างไรก็ตาม เราจะลบออกในระหว่างการ fine-tuning ตามคำสั่ง นั่นคือเราตั้งค่า = 1 α α 4.3 &