ავტორი : (1) Haolong Li, Tongji Universiy და მუშაობა ByteDance- ში (furlongli322@gmail.com); (2) Yu Ma, Seed Foundation, ByteDance (mayu.1231@bytedance.com); (3) Yinqi Zhang, East China Normal University და მუშაობა ByteDance- ში (zhang.inch@gmail.com); (4) Chen Ye (კონპროექტირებელი ავტორი), ESSC Lab, Tongji Universiy (yechen@tongji.edu.cn); (5) Jie Chen, Seed Foundation, ByteDance და პროექტის ლიდერი (chenjiexjtu@gmail.com). Authors: (1) Haolong Li, Tongji Universiy და მუშაობა ByteDance- ში (furlongli322@gmail.com); (2) Yu Ma, Seed Foundation, ByteDance (mayu.1231@bytedance.com); (3) Yinqi Zhang, East China Normal University და მუშაობა ByteDance- ში (zhang.inch@gmail.com); (4) Chen Ye (კონპროექტირებელი ავტორი), ESSC Lab, Tongji Universiy (yechen@tongji.edu.cn); (5) Jie Chen, Seed Foundation, ByteDance და პროექტის ლიდერი (chenjiexjtu@gmail.com). მაგიდა ლიცენზია Abstract და 1 შეტყობინება 2 პრობლემის განხილვა 4.2 Arithmetic Puzzle პრობლემა 2.2 მონაცემთა სინთეზი 2.3 მონაცემები 3 მოდელი 4 ექსპერიმენტი 4.1 შეფასება 4.2 შედეგები 4.3 კოსმეტიკური კვლევა 5 მიმოხილვა და მიმოხილვა 6 შეზღუდვა 7 იურიდიული შეტყობინებები და რეიტინგები A Appendix A.1 Hyperparameter კონფიგურაცია A.2 ძირითადი მოდელის შეფასება A.3 შემთხვევაში კვლევა A.4 პროგნოზირებული puzzle Abstract პოსტი Big Language Models (LLMs) გააჩნია შესანიშნავი შესრულება ენის ცოდნა, ტექსტის წარმოება, კოდი სინთეზი, და მრავალი სხვა სამუშაოები, ხოლო ისინი ჯერ კიდევ განიცდიან კომპლექსური მრავალფუნქციური განიცდიან პრობლემები, როგორიცაა მექანიკური განიცდიანება. ამ სტატიაში, მექანიკური განიცდიან პრობლემა, ჩვენ განიცდიან, რომ მოდელი შეუძლია შესანიშნავი შესრულება მრავალფუნქციური განიცდიანობის სამუშაოები მაღალი ხარისხის სინთეზიული მონაცემები. ექსპერიმენტური შედეგები Open-Lama-3B მოდელი სამი განსხვავებული ტესტირების მონაცემთა კომპლექტი განიცდიან, რომ მოდელი 1 ინტეგრირება Big Language Models (LLMs), როგორც Zero-Shot და Multi-Task სტუდენტები, აჩვენა უნიკალური შესაძლებლობები სხვადასხვა ბუნებრივი ენის სამუშაოები (Vaswani et al., 2017; Schulman et al., 2017; Radford et al., 2019; Ziegler et al., 2019; Brown et al., 2020; Kojima et al., 2022; Park et al., 2023; Chowdhery et al., 2023; Rafailov et al., 2022; Chen et al., 2022; extra, 2022; Gao et al., 2023; Trinh et al., 2024). თუმცა, მაშინაც კი ყველაზე მოწინავე LLMs შეხვდება პრობლემები, როდესაც ეს მოიცავს კომპლექსური მრავალფუნქციური გზა პრობლემები, როგორიცაა მატამტიკური და მეცნიერული გზა (Koncel-Kedziorski GPT-4 (Achiam et al., 2023), LLaMA (Touvron et al., 2023a,b), Gemini (Team et al., 2023), Minerva (Lewkowycz et al., 2022), Llemma (Azerbayev et al., 2023), Mistral (Jiang et al., 2023), WizardMath (Luo et al., 2023), MAMMOTH (Yue et al., 2023), ToRA (Gou et al., 2023) და Deepseek (Bi et al., 2024; Guo et al., 2024; Lu et al., 2024) აჩვენა, როგორც პოპულარული მექანიკური განიხილვის მოდელები, როგორიცაა GSM8K (Cobbe et al., 2023), MATH (Hendrycks et al., 2021), CMHAT ამ დოკუმენტში, ჩვენ შეესაბამება აღემატება მოვლენები მიერ აღწერილი ახალი და რთული არტემიკური puzzle პრობლემა და გააკეთოს პირველი გამოცდილება გადაწყვეტა მათ. სპეციალურად, ჩვენ გთავაზობთ puzzle, რომელიც საჭიროა მრავალი ნაბიჯების კომპიუტერები, რათა შექმნათ სწორი გადაწყვეტილება. ამავე დროს, მონაცემთა სინთეზი მილები განკუთვნილია ავტომატურად იღებს დიდი რაოდენობით მაღალი ხარისხის მონაცემები მორგებული ფინალონირება (SFT). და სერია LLMs დაფუძნებული open-llama-3B (Touvron et al., 2023a) მორგებული ამ სინთეტიკური მონაცემთა კომპლექტი. გარდა ამისა, განიხილოს უნარები ჩვენ გთავაზობთ ორი ნომერი, რომელიც არ არის დონეზე, როგორც ნომერი მოცულობის გაფართოების ფორმაში და ნომერი კმაყოფილების კომპონენტების შეფუთვა. ბედნიერი შეფასების მიზნით, ჩვენ შეზღუდეთ ჩვენი მოდელები ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომერი ნომ ჩვენი ძირითადი შეტყობინებები შეიძლება დასრულდეს როგორც: (1) ჩვენ გთავაზობთ ახალი არტამტიკური puzzle პრობლემა დაკავშირებული მონაცემთა სინთეზი pipeline და out-of-domain შეზღუდვები, შეამოწმოს მრავალფუნქციური რეზოლუციის და extrapolation შესაძლებლობები LLMs ფინად შეესაბამებული სინთეტიკური მონაცემები. (2) ექსპერიმენტები აჩვენებენ, რომ გაზრდის რაოდენობის მაღალი ხარისხის სინთეტიკური მონაცემები იწვევს შესრულების გაუმჯობესება in-domain და out-of-domain მონაცემთა კომპლექტი. (3) შეიმუშავებული იყო ფართო შემთხვევაში კვლევა. ეს პრაქტიკა ხელმისაწვდომია archiv ქვეშ CC BY-NC-SA 4.0 Deed (Attribution-Noncommercial-Sharelike 4.0 International) ლიცენზია. ეს პრაქტიკა ხელმისაწვდომია archiv ქვეშ CC BY-NC-SA 4.0 Deed (Attribution-Noncommercial-Sharelike 4.0 International) ლიცენზია.
