ეს ახალი ხელოვნური ინტელექტის ინსტრუმენტი ირწმუნება, რომ მონაცემთა პრობლემებს სხვაზე უკეთ წყვეტს - აი, რატომ არის ეს მნიშვნელოვანი

ბმულების ცხრილი

• რეზიუმე და 1 შესავალი

• 2 დაკავშირებული სამუშაო

• 3 მეთოდოლოგია და 3.1 დინამიური დაგეგმვა იერარქიული სტრუქტურით

  • 3.2 ხელსაწყოების გამოყენება და წარმოება
  • 3.3 მსჯელობის გაძლიერება გადამოწმებითა და გამოცდილებით

• 4 ექსპერიმენტი

  • 4.1 ექსპერიმენტული დაყენება
  • 4.2 ძირითადი შედეგი
  • 4.3 აბლაციის შესწავლა

• 5 დასკვნა და ცნობები

  ა. დამატებითი შედეგები

  ბ. განხორციელების შედეგები

  გ. მონაცემთა ნაკრების დეტალები

აბსტრაქტი

Large Language Model (LLM)-ზე დაფუძნებულმა აგენტებმა აჩვენეს შესანიშნავი ეფექტურობა. თუმცა, მათი შესრულება შეიძლება კომპრომეტირებული იყოს მონაცემთა მეცნიერების სცენარებში, რომლებიც საჭიროებენ მონაცემთა რეალურ დროში კორექტირებას, ოპტიმიზაციის გამოცდილებას სხვადასხვა ამოცანებს შორის რთული დამოკიდებულების გამო და ზუსტი მსჯელობისთვის ლოგიკური შეცდომების იდენტიფიცირების უნარს. ამ კვლევაში, ჩვენ წარმოგიდგენთ მონაცემთა თარჯიმანს, გადაწყვეტას, რომელიც შექმნილია კოდით გადასაჭრელად, რომელიც ხაზს უსვამს სამ ძირითად ტექნიკას მონაცემთა მეცნიერებაში პრობლემის გადაჭრის გასაძლიერებლად: 1) დინამიური დაგეგმვა იერარქიული გრაფიკის სტრუქტურებით მონაცემთა რეალურ დროში ადაპტირებისთვის; 2) ინსტრუმენტების ინტეგრაცია დინამიურად, რათა გააძლიეროს კოდის ცოდნა შესრულების დროს, გამდიდრდეს საჭირო ექსპერტიზა; 3) ლოგიკური შეუსაბამობის იდენტიფიცირება უკუკავშირში და ეფექტურობის გაზრდა გამოცდილების ჩაწერის გზით. ჩვენ ვაფასებთ მონაცემთა თარჯიმანს სხვადასხვა მონაცემთა მეცნიერებისა და რეალური ამოცანების შესახებ. ღია კოდის საბაზისო ხაზებთან შედარებით, მან აჩვენა უმაღლესი შესრულება, აჩვენა მნიშვნელოვანი გაუმჯობესება მანქანათმცოდნეობის ამოცანებში, გაიზარდა 0,86-დან 0,95-მდე. გარდა ამისა, მან აჩვენა MATH მონაცემთა ნაკრების 26%-იანი ზრდა და შესამჩნევი 112%-იანი გაუმჯობესება ღია ამოცანებში. გამოსავალი გამოვა https://github.com/geekan/MetaGPT.

1 შესავალი

ენის დიდმა მოდელებმა (LLM) საშუალება მისცა აგენტებს გამოირჩეოდნენ აპლიკაციების ფართო სპექტრში, რაც აჩვენა მათი ადაპტირება და ეფექტურობა (Guo et al., 2024; Wu et al., 2023a; Zhou et al., 2023b). ამ LLM-ზე მომუშავე აგენტებმა მნიშვნელოვანი გავლენა მოახდინეს ისეთ სფეროებზე, როგორიცაა პროგრამული უზრუნველყოფის ინჟინერია (Hong et al., 2023), კომპლექსური ღია სამყაროს სცენარების ნავიგაცია (Wang et al., 2023; Chen et al., 2024a), ხელი შეუწყო ერთობლივი მრავალ აგენტური სტრუქტურებს. მულტიმოდალური ამოცანები (Zhuge et al., 2023), აუმჯობესებს ვირტუალური ასისტენტების პასუხისმგებლობა (Lu et al., 2023), ჯგუფური ინტელექტის ოპტიმიზაცია (Zhuge et al., 2024) და წვლილი სამეცნიერო კვლევებში (Tang et al., 2024).

ბოლო კვლევები ფოკუსირებული იყო ამ აგენტების პრობლემის გადაჭრის შესაძლებლობების გაუმჯობესებაზე მათი მსჯელობის პროცესის გაუმჯობესებით, რაც მიზნად ისახავს გაზრდილი დახვეწილობისა და ეფექტურობისკენ (Zhang et al., 2023; Besta et al., 2023; Sel et al., 2023; Yao et al. ., 2024; Wei et al., 2022). თუმცა, მონაცემთა ბაზაზე ორიენტირებული სამეცნიერო პრობლემები, მათ შორის მანქანათმცოდნეობა, მონაცემთა ანალიზი და მათემატიკური პრობლემების გადაჭრა, წარმოადგენენ უნიკალურ გამოწვევებს, რომელთა მოგვარებაც რჩება. მანქანათმცოდნეობის პროცესი მოიცავს ამოცანების დამუშავების რთულ, ხანგრძლივ საფეხურებს, რომლებიც ხასიათდება მრავალ დავალებას შორის რთული დამოკიდებულებით. ეს მოითხოვს ექსპერტის ჩარევას პროცესის ოპტიმიზაციისთვის და დინამიური კორექტირებისთვის წარუმატებლობის ან მონაცემთა განახლების შემთხვევაში. LLM-ებისთვის ხშირად რთულია სწორი გადაწყვეტილების მიწოდება ერთი მცდელობით. გარდა ამისა, ეს პრობლემები მოითხოვს ზუსტ მსჯელობას და მონაცემთა საფუძვლიან შემოწმებას (RomeraParedes et al., 2023), რაც დამატებით გამოწვევებს უქმნის LLM-ზე დაფუძნებული აგენტის ჩარჩოს.

უფრო მეტიც, არსებული სამუშაოები, როგორიცაა (Qiao et al., 2023; OpenAI, 2023; Lucas, 2023) ეხება მონაცემთაცენტრულ პრობლემებს კოდზე დაფუძნებული პრობლემის გადაჭრის მეთოდების მეშვეობით, რომელიც ცნობილია როგორც ინტერპრეტატორის პარადიგმა, რომელიც აერთიანებს სტატიკური მოთხოვნების დაშლას კოდის შესრულებასთან. თუმცა, მონაცემთა მეცნიერების პრაქტიკულ ამოცანებში ამ ჩარჩოების გამოყენებისას წარმოიქმნება რამდენიმე ძირითადი გამოწვევა: 1) მონაცემთა დამოკიდებულების ინტენსივობა: მონაცემთა მეცნიერებაში თანდაყოლილი სირთულე წარმოიქმნება სხვადასხვა საფეხურებს შორის რთული ურთიერთქმედებით, რომლებიც ექვემდებარება რეალურ დროში ცვლილებებს (Liu et al. , 2021). ზუსტი შედეგებისთვის მონაცემთა გაწმენდა და ფუნქციების ყოვლისმომცველი ინჟინერია წინაპირობაა მანქანური სწავლების ნებისმიერი მოდელის შემუშავებამდე. აქედან გამომდინარე, ძალიან მნიშვნელოვანია მონაცემთა ცვლილებების მონიტორინგი და გარდაქმნილ მონაცემებსა და ცვლადებზე დინამიურად მორგება. მანქანათმცოდნეობის მოდელირების პროცესი, რომელიც მოიცავს მახასიათებლების შერჩევას, მოდელის ტრენინგს და შეფასებას, მოიცავს დამუშავების ოპერატორების და საძიებო სივრცეების ფართო სპექტრს (Zheng et al., 2021). გამოწვევა მდგომარეობს მთელი პროცესის კოდის ერთდროულად გენერირებასა და გადაჭრაში. 2) დომენის დახვეწილი ცოდნა: მონაცემთა მეცნიერთა სპეციალიზებული ცოდნა და კოდირების პრაქტიკა გადამწყვეტი მნიშვნელობა აქვს მონაცემებთან დაკავშირებულ გამოწვევებს. როგორც წესი, ჩართული საკუთრების კოდში და მონაცემებში, ეს ცოდნა ხშირად მიუწვდომელი რჩება მიმდინარე LLM-ებისთვის. მაგალითად, მონაცემთა ტრანსფორმაციის კოდის გენერირება კონკრეტულ დომენებში, როგორიცაა ენერგეტიკა ან გეოლოგია, შეიძლება იყოს გამოწვევა LLM-ებისთვის დომენის საჭირო ექსპერტიზის გარეშე. არსებული მეთოდოლოგიები ძირითადად დამოკიდებულია LLM-ებზე, ნდობაზე, რომელსაც შეუძლია პროცესის გამარტივება, მაგრამ პოტენციურად კომპრომისის შესრულება. 3) მკაცრი ლოგიკური მოთხოვნები: ამჟამად ისეთი ინტერპრეტატორები, როგორიცაა (Qiao et al., 2023; OpenAI, 2023; Lucas, 2023) აერთიანებს კოდის შესრულებას და შეცდომების დაფიქსირების შესაძლებლობებს პრობლემის გადაჭრის მუშაობის გასაუმჯობესებლად. თუმცა, ისინი ხშირად უგულებელყოფენ უშეცდომოდ შესრულებას და შეცდომით თვლიან მას სწორად. მიუხედავად იმისა, რომ ძირითადი პროგრამირების ამოცანები შეიძლება გამარტივდეს და დამოკიდებულნი იყვნენ შესრულების მყისიერ გამოხმაურებაზე, როდესაც მოთხოვნები განისაზღვრა, მონაცემთა მეცნიერების პრობლემები ხშირად აჩენს ორაზროვან, არარეგულარულ და არა კარგად განსაზღვრულ მოთხოვნებს, რაც ართულებს LLM-ების გაგებას. შესაბამისად, LLM-ის მიერ გენერირებული კოდის გადაწყვეტილებები ამოცანის გადაწყვეტისთვის შეიძლება შეიცავდეს ბუნდოვანებებს, რაც მოითხოვს ლოგიკური სისწორის მკაცრ ვალიდაციას, რომელიც სცილდება უბრალო შესრულების უკუკავშირს.

ზემოაღნიშნული გამოწვევების გადასაჭრელად, ჩვენ წარმოგიდგენთ LLM-ზე დაფუძნებულ აგენტს, სახელწოდებით მონაცემთა თარჯიმანი, რომელიც შექმნილია სპეციალურად მონაცემთა მეცნიერების სფეროსთვის. ეს აგენტი მიჰყვება გეგმის კოდის გადამოწმების მიდგომას ადამიანის მოთხოვნების შესასრულებლად, ამოცანების დაშლით, კოდის შესრულებით და გამოხმაურების გადამოწმებით. კონკრეტულად, ჩვენ ვთავაზობთ 1) დინამიურ დაგეგმვას იერარქიული სტრუქტურით: ჩვენი მონაცემთა თარჯიმანი იყენებს იერარქიულ გრაფიკულ სტრუქტურებს მონაცემთა მეცნიერების თანდაყოლილი სირთულეების უფრო ეფექტურად გასაგებად. დინამიური დაგეგმვის მიდგომა აღჭურვა მას ამოცანების ვარიაციებთან ადაპტირებით, რაც განსაკუთრებით ეფექტურია მონაცემთა ცვლილებების მონიტორინგისა და მონაცემთა მეცნიერების პრობლემების თანდაყოლილი რთული ცვლადი დამოკიდებულებების მართვაში. 2) ხელსაწყოების გამოყენება და გენერაცია: ჩვენ ვაუმჯობესებთ კოდირების უნარს ადამიანის მიერ ავტორიზებული კოდის სხვადასხვა ფრაგმენტების ინტეგრირებით და შექმნით პერსონალურ ხელსაწყოებს კონკრეტული ამოცანებისთვის, უბრალო API-ზე ორიენტირებული შესაძლებლობების მიღმა. ეს პროცესი მოიცავს სხვადასხვა ხელსაწყოების ავტომატურ კომბინაციას თვითგენერირებულ კოდთან. ის იყენებს დავალების დონის შესრულებას, რათა დამოუკიდებლად შექმნას და გააფართოვოს თავისი ხელსაწყოების ბიბლიოთეკა, გაამარტივოს ხელსაწყოების გამოყენება და განახორციელოს კოდის რესტრუქტურიზაცია საჭიროებისამებრ. 3) მსჯელობის გაღრმავება ლოგიკური შეცდომების გაცნობიერებით: ეს ეფუძნება შესრულების შედეგებისა და ტესტზე ორიენტირებული ვალიდაციის შედეგად მიღებულ ნდობის ქულას, რაც აუცილებელია გამონაკლისის გარეშე სცენარისთვის. ის აღმოაჩენს შეუსაბამობას კოდის გადაწყვეტასა და ტესტის კოდის შესრულებას შორის და ადარებს მრავალ ცდას ლოგიკური შეცდომების შესამცირებლად. შესრულებისა და მსჯელობის პროცესის განმავლობაში ჩაიწერება დავალების დონის გამოცდილება, რომელიც ძირითადად მოიცავს მეტამონაცემებს და გაშვების ტრაექტორიას, რომელიც მოიცავს როგორც წარმატებებს, ასევე წარუმატებლობას.

როგორც ნაჩვენებია სურათზე 1, ჩვენი მონაცემთა თარჯიმანი მნიშვნელოვნად აჭარბებს არსებულ ღია კოდის ჩარჩოებს. ამ საბაზისო ხაზებთან შედარებით, მონაცემთა თარჯიმანი ავლენს მაღალ შესრულებას, 10,3%-ით (0,86-დან 0,95-მდე) გაუმჯობესებით მანქანური სწავლების ამოცანებით და 26%-ით გაუმჯობესებული MATH მონაცემთა ბაზაში, რაც აჩვენებს პრობლემების გადაჭრის მძლავრ შესაძლებლობებს. ღია ამოცანებში, მისი შესრულება გაორმაგდა, რაც 112%-ით გაიზარდა, რაც აჩვენებს მის ეფექტურობას გამოწვევების ფართო სპექტრის დაძლევაში.

ჩვენ ვაჯამებთ ჩვენს წვლილს შემდეგნაირად:

• ჩვენ ვთავაზობთ დინამიური დაგეგმვის ჩარჩოს იერარქიული სტრუქტურებით, რაც აძლიერებს ადაპტირებას და პრობლემის გადაჭრის შესაძლებლობებს მონაცემთა მეცნიერების ამოცანებში.

• ჩვენ ვაუმჯობესებთ კოდირების ცოდნას და ეფექტურობას LLM-ებში, ხელსაწყოების ავტომატური ინტეგრაციის დანერგვით ხელსაწყოების გამოყენებისა და გენერირებისთვის.

• ჩვენ ვაუმჯობესებთ მსჯელობას გადამოწმებისა და გამოცდილების ინტეგრირებით, რითაც ვზრდით პრობლემის გადაჭრის სიზუსტეს და ეფექტურობას.

• ჩვენი ექსპერიმენტები აჩვენებს, რომ ჩვენი მონაცემთა თარჯიმანი აჭარბებს არსებულ კრიტერიუმებს მანქანური სწავლების ამოცანების, მათემატიკური ამოცანებისა და ღია ამოცანების შესახებ, რითაც ადგენს შესრულების ახალ სტანდარტს.