
 
 
 
 
 
 
 د نویسنده: (1) Bo Wang، د بیګۍ Jiaotong پوهنتون، د بیګۍ، د چين (wangbo_cs@bjtu.edu.cn); (2) Mingda Chen، د بيجينګ Jiaotong پوهنتون، د بيجينګ، چین (23120337@bjtu.edu.cn); (3) Youfang Lin، د بیګین Jiaotong پوهنتون، د بیګین، چین (yflin@bjtu.edu.cn); (4) مایک Papadakis، د لوکسسبوک پوهنتون، لوکسسبوک (michail.papadakis@uni.lu); (5) Jie M. Zhang، King's College لندن، لندن، UK (jie.zhang@kcl.ac.uk). Authors: (1) Bo Wang، د بیګۍ Jiaotong پوهنتون، د بیګۍ، د چين (wangbo_cs@bjtu.edu.cn); (2) Mingda Chen، د بيجينګ Jiaotong پوهنتون، د بيجينګ، چین (23120337@bjtu.edu.cn); (3) Youfang Lin، د بیګین Jiaotong پوهنتون، د بیګین، چین (yflin@bjtu.edu.cn); (4) مایک Papadakis، د لوکسسبوک پوهنتون، لوکسسبوک (michail.papadakis@uni.lu); (5) Jie M. Zhang، King's College لندن، لندن، UK (jie.zhang@kcl.ac.uk). د چپې جدول Abstract او 1 نندارتون 1 نندارتون 2 Background and Related Work 2 پیژندل او اړونده کار 3 Study Design 3.1 د سروې او څیړنې پوښتنې 3.2 د معلوماتو 3.3 د LLMs له لارې د بدلون توليد 3.4 د تفتیش میټریکونه 3.5 د تجربو ترتیبات 4 Evaluation Results 4.1 RQ1: د لګښت او د کارولو وړتيا په اړه کړنو 4.2 RQ2: د سلوک شواهد 4.3 RQ3: د مختلفو پروپټونو اغیزې 4.4 RQ4: د مختلفو LLMs اغیزې 4.5 RQ5: د غیر کمپیل وړ بدلونونو ریښتیني سببونه او غلطی ډولونه 5 Discussion 5.1 د انتخاب شوي تجربو تنظیماتو حساسیت 5.2 د اغیزو 5.3 د اعتبار ته خطر 6 Conclusion and References 6 پایلې او References د Abstract د ډاټا لپاره د ازموینې لپاره کارول شوي د لوړ ګټور ډاټا موټیتونه جوړولو په کنکشن کې ستونزه ده. لوی زبان ماډلونه (LLMs) د کوډ سره تړاو شوي کارونو کې لوی پیاوړتیا ښودلی، مګر دوی د موټیتونو ازموینې کې د ګټوریتو په برخه کې ندي. موږ په اسانه توګه د LLMs د اغیزمن موټیتونو جوړولو په اړه د کارولو، د غلطی کشف احتمال، او د واقعي غلطاتو سره د اړیکو په اړه د ستونزه څیړنه کوو. په ځانګړې توګه، موږ د 4 LLMs په ګډون د لوی کچه د تجربې په اړه یو پراخ تجربې ترسره کوو، په شمول د بازو او بند شوي سرچینو ماډلونو، او د دوو جا 1 نندارتون د موټتو ټیسټینټ د سافټویر ټیسټینټ تکنیکونو څخه یو دی [17، 18، 27، 33، 59]. دا د پروګرام ویریټونو تولید له لارې ترسره کیږي د اصل پروګرام (یا د موټتو) سرچینې کوډ کې ساده سټاکټیک بدلونونه (یا د موټتو) ترسره کولو له لارې. دا ویریټینټونه د ټیسټینټ هدفونه جوړوي، په دې معنی کې چې ازموینې ته د اصل او موټتو پروګرامونو په مختلفو چلندونو کې وکارول شي. یو موټایټینټ د کولی شي کولی شي کولی شي یا زنده وي که آیا د ټیسټ اجرا د اصلي پروګرام څخه د مختلف پروګرام پایلو ته رامینځته کیږي یا نه. د کولی شوي موټینټینټونو په لکه څنګه چې بدلونونه د ازموینې هدف دي، د دې طریقې اغیزمنتیا په عمده توګه د بدلونونو ټولګه پورې اړه لري چې یو کارول کیږي. د سنټاکټیک بدلونونه (نظامونه) د ساده بدلونونو (نظامونه) په کارولو سره کاروي، چې بدلونونه په هر کوډ ځای کې جوړوي چې دوی کاروي [33, 59]. موږ دا لارښوونې د قواعدو پر بنسټ د لارښوونې په توګه خبرې کوو. ناڅاپي، د قواعدو پر بنسټ د لارښوونې د لګولو لوی شمېر د لګولو مټینونه، د دې په توګه، مټینونه چې د ازموینې پروسه نه [5, 57] او له دې امله د پروسه د محاسباتو په عمومي توګه او همدارنګه د ژوندو مټینونو د څېړنې په برخه کې د انسان د هڅو زياته کوي. د دې ستونزو د حل لپاره، څیړونکو د عمیق زده کولو لارښوونې ته د پروژې تاریخ [62, 70, 73] پر بنسټ د مټینونو کارونکي جوړولو، په امید کې چې دا به د ځینې خو اغیزمن مټینونو تولید کړي. که څه هم دلچسپي، دا لارښوونې د اغیزمن مټینونو تولید نه کوي [56]، شاید ځکه چې دوی په ځینې ډ په هرصورت، هغه پوښتنه چې هغه میټینټونه چې باید کارول شي کله چې د موټتو ټیسټ کولو لپاره کار واخلئ د لاندې ستونزې له امله شتون لري: (1) د اغیزمن موټیتونو جوړولو. د اغیزمن کولو لپاره، موټیتونه باید سندیکال درست وي، کوم چې د موجودو زده کړې پر بنسټ د طریقو اکثریت په صورت کې نه دی، او احتمالي غلطي ښودل کیږي [10، 80] که څه هم، دوی د واقعي غلطو سره د حل لپاره ښه امکان لري [7]. په داسې حال کې چې د موجودو طریقو اغیزمن دي، بل هم د ښه کولو لپاره مهم فضا شتون لري [15]. (2) د طبيعي موټیتونو جوړول. موټیتونه باید د طبيعي کوډ کولو نمونې او عملیاتو سره سمبال شي چې دوی د پراختیا په توقعاتو سره د دغو چټکونو سره حل کولو لپاره، موږ هڅه کوو چې د Large-Language Models (LLMs) کاروي، چې په لوی کوډ کې روزل شوي دي او کولی شي د انسان په څیر کوډ تولید کړي [11]. د موجودو مطالعې [26, 49, 65] وروسته، موږ د داوطلبې لارښوونې، د کوډ عنصر چې بدل شي، د اړونده طریقې کوډ، او د واقعي نړۍ بګونو څخه نمونه شوي ځینې نمونهونه ډیزاین کړ. موږ د 4 LLMs، 2 بند شوي سرچینه سوداګرۍ او 2 د پرانیستې سرچینه، 440 واقعي نړۍ بګونه د دوو جاوا بیلګې څخه، ایا Defects4J [37] او ConDefects [82]، او د موجودو تکنیکونو او وسایلو سره پرتله کړ زموږ تفتیش د LLMs لخوا تولید شوي تفتیشونو لپاره کچه او کیفیت تحلیل شامل دي، دوی سره د دوی لګښت او اغیزمنتیا په ارزانه کولو لپاره د موجودو لارښوونې سره پرتله کوي. برسېره پر دې، موږ څنګه د مختلف پروپټ انجنيرۍ ستراتیژۍ او LLMs (په معنی کې، GPT-3.5-Turbo [4]، GPT-4-Turbo، CodeLlama-13bInstruct [64]، او StarChat-β-16b [45]) د کار د اغیزمنې اغېز کوي. برسېره پر دې، موږ د LLMs لخوا تولید شوي غیر کمپیل وړ تفتیشونو اصلي سببونه او غلطی ډولونه تجزیه کوو. زموږ پایلې ښودلي چې د mutant توليد لپاره غوره ماډل GPT-4 دی ځکه چې دا د ټولو کارول شوي مټريکونو کې د نورو LLMs څخه غوره کوي، د دې په توګه، د مساوي مټینونو، مټینونو سره لوړ فایبر تشخیص پیاوړتیا، او همدارنګه د حقیقي فایبرونو سره د لوړ کوپینګ او سمینټیک ښکلا لري. GPT-3.5 د فایبر تشخیص پیاوړتیا په اړه ترټولو غوره دی، په Defects4J کې د 96.7٪ فایبرونه او په ConDefects کې 86.7٪ فایبرونه کشف کوي. د نورو تکنیکونو څخه، Major غوره دی، د Defects4J کې د 91.6٪ فایبرونه او ConDefects کې 68.9٪ فایبرونه ښ په ځانګړې توګه، زموږ پايلې ښيي چې د GPTs تر ټولو لوی پراخه پراخوالی ښيي، په دې وروستيو کې د 45 مختلفو AST نوډ ډولونه، په پرتله یوازې د 2 په پرتله د سنګاري په څیر د سنګاري په څیر کارول، او د ټولو موجوده لارښوونې په شمول، چې د LLM پر بنسټ د لارښوونې ډیر ښه contextualization ښيي. موږ هم د GPT لخوا تولید شوي بدلونونو په تحلیل کې چې کولی شي کولی شي کولی شي کولی شي، د زده کړې پر بنسټ بدلونونو سره یو عام ستونزه، او په پایله کې چې دوی په 9 کولی شي کولی شي چې د نامتو روشونو کارولو او د کوډ جوړښت د خرابولو ډولونه ترټولو شتون لري. دا پایله ښیي چې راتلونکي لارښوونې کولی شي د LLMs ته د بدلون په وخت کې د مناسبه لاره انتخاب کولو کې تمرکز وکړي. موږ زموږ پروسه په یو بدلون آله کې راټول شوي چې د ، د جاوا لپاره د LLM پر بنسټ د بدلون تولید وسیله. د تجربي معلوماتو پر بنسټ، موږ هم د ډاټا سیټ جوړ کړ چې د لوړ کیفیت د LLM تولید شوي بدلونونه شامل دي چې نه یوازې د بدلون ازموینې کې کارول کیدی شي، بلکه د نورو بګ د زيرونو غوښتنلیکونو کې هم کارول کیدی شي، لکه د غلطی ځای کولو او غلطی پیشې کولو. د کوومو پیژندنه او تجربي معلوماتو د پرانیستې علوم لپاره شتون لري [1]. Kumo په خلاصه توګه، زموږ د کاغذ د لاندې اصلي مسؤلیتونه ورکوي: • موږ د LLMs په موټتو ازموينه کې د غوښتنلیک څیړنه کوو. موږ پراخه او تفصيلات معياري تجربو ترسره کوو چې د LLMs په مقابل کې د موجودو وسایلو / روشونو ته ارزښت ورکړي. زموږ پایلې ښیي چې د GPT ماډلونه په توليد کې غوره دي چې د واقعي بیګونو سره مخنیوی کوي. • موږ د مختلف پاملرنې مقایسه کوو، او پاملرنه کوو چې د وړو زده کړې سره د مناسب کوډ کنکشن آرشیفونه غوره کړنو کوي. • موږ د غلطی ډولونو د غیر کمپیلر بدلونونو تجزیه او پوه شي چې د میټرو invocation او عضوي ارزیابیونه به د LLMs ته د غیر کمپیلر بدلونونو جوړولو لپاره ډیر احتمال لري. • موږ د جاوا بدلونونو د لوړ کیفیت ډاټا سیټ جوړ کوو چې په دستاوي توګه تحلیل شوي مساوي بدلونونه شامل دي. 
 
 دا کاغذ د CC by 4.0 Deed (Attribution 4.0 International) لائسنس لاندې archiv کې شتون لري. دا کاغذ د CC by 4.0 Deed (Attribution 4.0 International) لائسنس لاندې archiv کې شتون لري. په Archive کې شتون لري

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Mutation.TECH

Mutation: process of changing in form or nature. We publish the best academic journals & first hand accounts of Mutation

Mutation's Blog

دا غږ د کیسې په اصلي ژبه تولید شوی!

د څیړنې په پایله کې د AI کوډ بدلونونه د پراختیاو سره مرسته کوي چې بریښناونه چمتو کړي

About Author

تبصرې

hang tags

دا مقاله په کې وړاندې شوې وه

Related Stories

Stocks will be More Profitable than Crypto - Interview With Bryan Applegate

Teylor has Been Named Startup of the Year 2021 in Zürich

Thrilled to be Recognized as the 2021 HackerNoon Contributor of the Year - React

Goodtalent is the Startup of the Year in Lagos, Nigeria

Stocks will be More Profitable than Crypto - Interview With Bryan Applegate

Teylor has Been Named Startup of the Year 2021 in Zürich

Thrilled to be Recognized as the 2021 HackerNoon Contributor of the Year - React

Goodtalent is the Startup of the Year in Lagos, Nigeria

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps