
 
 
 
 
 
 
 የቅጂ መብት: (1) Bo Wang, Beijing Jiaotong University, Beijing, ቻይና (wangbo_cs@bjtu.edu.cn) (2) Mingda Chen, Beijing Jiaotong University, Beijing, ቻይና (23120337@bjtu.edu.cn) (3) Youfang Lin, Beijing Jiaotong University, Beijing, ቻይና (yflin@bjtu.edu.cn) (4) ማይክ Papadakis, የክፍያ ዩኒቨርሲቲ, luxembourg (michail.papadakis@uni.lu); (5) Jie M. Zhang, King’s College London, London, UK (jie.zhang@kcl.ac.uk) Authors: (1) Bo Wang, Beijing Jiaotong University, Beijing, ቻይና (wangbo_cs@bjtu.edu.cn) (2) Mingda Chen, Beijing Jiaotong University, Beijing, ቻይና (23120337@bjtu.edu.cn) (3) Youfang Lin, Beijing Jiaotong University, Beijing, ቻይና (yflin@bjtu.edu.cn) (4) ማይክ Papadakis, የክፍያ ዩኒቨርሲቲ, luxembourg (michail.papadakis@uni.lu); (5) Jie M. Zhang, King’s College London, London, UK (jie.zhang@kcl.ac.uk) የመስመር ላይ ገጾች Abstract እና 1 Introduction 1 መውሰድ 2 Background and Related Work 2 ተጽዕኖ እና ተኳሃኝ ሥራ 3 Study Design 3.1 ግምገማዎች እና ምርምር ጥያቄዎች 3.2 መረጃዎች 3.3 በ LLMs በኩል Mutation Generation 4.4 ግምገማዎች 3.5 የሙከራ መጫወቻዎች 4 Evaluation Results 4.1 RQ1: የክፍያ እና አጠቃቀም አፈጻጸም 4.2 RQ2: ተመሳሳይነት ተመሳሳይነት 4.3 RQ3: የተለያዩ ፈጣን ውጤቶች 4.4 RQ4: የተለያዩ LLMs ውጤቶች 4.5 RQ5: የተመሠረተ ጥቅሞች እና ያልሆነ ተለዋዋጭ ጥቅሞች 5 Discussion 5.1 የተመሠረተ ሙከራ መተግበሪያዎች ላይ ተስማሚነት 5.2 ውጤቶች 5.3 ትክክለኛነት ለመጠበቅ 6 Conclusion and References 6 ግምገማዎች እና አስተያየቶች አጠቃቀም ለሙከራ መተግበሪያዎች የሚጠቀሙ ከፍተኛ-የተግበሪያ ውሂብ ሞተሮች ለመፍጠር እንዴት እንደሚቻል በሙከራ መተግበሪያዎች ውስጥ አንድ ዋና ልምድ ነው. Large Language Models (LLMs) በኮድ ጋር የተገናኙ ተግባሮች ውስጥ ትልቅ ችሎታ ይሰጣል, ነገር ግን በሞተሮች ሙከራ ውስጥ እነሱን የሚጠቀሙበት ችሎታ ይቆጠራል. በዚህ መተግበሪያው ለሙከራ መተግበሪያዎች ውጤታማ ሞተሮች ለመፍጠር የ LLMs ውጤታማ ውጤታማ ውጤታማ ውጤታማነት ለመምረጥ በስተካከለ ነው. በተለይ, በ 4 LLMs ውስጥ በከፍተኛ-የተግበሪያ ውጤታማነት ያካትታሉ, በ Open and Closed-Source ሞተሮች ጨምሮ, እና በ 2 1 መውሰድ የፕሮግራም ውሂብ እና የፕሮግራም ውሂብ ውሂብ እና የፕሮግራም ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ው የቴክኒካዊ ቴክኖሎጂዎች ቀላል ስታታክቲክ ንድፍ (ገጽ) መተግበሪያዎችን ይጠቀማሉ, እነርሱ መተግበሪያዎች በመተግበሪያ ማንኛውም ኮድ ቦታ ላይ ስታክቲክ ንድፍ መተግበሪያዎችን ይጠቀማሉ [33, 59]. እነዚህን መተግበሪያዎች እንደ ስታክቲክ ንድፍ መተግበሪያዎችን ይደውሉ. በአጠቃላይ, የሙከራ ሂደት ላይ ተስማሚ አይችልም[5, 57] እና ስለዚህ የሙከራ ሂደት ውስጥ የኮምፒውተር ግምገማዎች, እንዲሁም ሕንፃ ሙከራ ውስጥ ተስማሚ የአካባቢ ጥንካሬ ይጨምራሉ. ይህን ጥያቄ ለመተግበሪያ ለማግኘት, ምርምር ባለሙያዎች የፕሮጀክት ታሪክ ላይ የተመሠረተ ሙከራ መተግበሪያዎችን ለመፍጠር ጥንካሬ መተግበሪያዎችን ይጠቀማሉ [62, 70, 73], እነዚህ ጥንካሬ ነገር ግን ውጤታማ ሙከራዎችን ለመፍጠር ይሆናል. አስደሳች ቢሆንም, እነዚህ መተግበሪያዎች ውጤታማ ሙከራዎችን ለመፍጠር አይችልም [56], እያንዳንዱ ጥቂት ውሂብ ተስማሚዎች ላይ ተስማሚ ናቸው. የሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚ እነዚህን ፍላጎቶች ለማስተካከል, የ Large-Language Models (LLMs) መጠቀም ይፈልጋሉ, እነሱም በባህር ኮድ ላይ የተጠናቀቀቁ ናቸው እና በባህር ኮድ ተጽዕኖ ሊሆን ይችላል [11]. በተሳካ ምርቶች [26, 49, 65] በኋላ, በተሳካ ትዕዛዞችን ያካትታሉ አንድ መደበኛ ትዕዛዞች ያካትታሉ, ተሞክሮ የሚሆን ኮድ ክፍሎች, ተስማሚ ቅርጸት ኮድ, እና በባህር ኮድ ከ ከባህር ኮድ ከ ከባህር ኮድ በባህር ኮድ በባህር ኮድ በባህር ኮድ በባህር ኮድ በባህር ኮድ በባህር ኮድ በባህር ኮድ በባህር ኮድ በባ የእኛን ግምገማዎች ለ LLMs የተፈጥሮ ሞተሮች መጠን እና ጥራት ያለው ልምድ ያካትታል, እነርሱን የክብደት እና ውጤታማነት ለማረጋገጥ በተመሳሳይ መተግበሪያዎች ጋር ተለዋዋጭ. በተጨማሪም, የተለያዩ prompt engineeringstrategies እና LLMs (እኛ, GPT-3.5-Turbo [4], GPT-4-Turbo, CodeLlama-13bInstruct [64], እና StarChat-β-16b [45]) በ LLMs የተፈጥሮ የተፈጥሮ የሞተሮች ለ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ ምልክቶች እና ስህተት ዓይነት እንዴት ይመልከቱ. የእኛን ውጤቶች የተሻለ ሞዴል ነው GPT-4 ለ ሞተር አጠቃቀም ሁሉ ውስጥ ሌሎች LLMs አጠቃቀም, ይህም ከ 96.7% በ Defects4J እና 86.7% በ ConDefects ውስጥ bugs አጠቃቀም ያደርጋል. ከሌሎች ቴክኖሎጂዎች ከ, ዋናው የተሻለ ነው, Defects4J ውስጥ የ 91.6% የ bugs እና ConDefects ውስጥ የ 68.9% የ bugs አጠቃቀም ችሎታ ጋር, ConDefects ላይ የ GPT አንድ አዲስ እና የማይታመን ውሂብ አጠቃቀም ነው ይህም በ 18% በላይ አጠቃቀም አጠቃቀም ያደርጋል. የእኛን ልምድ ውስጥ ሌላ አስደናቂ ውሂብ የሞትቶነቶች የተለያዩነት (የአሁኑ ጊዜ መተግበሪያዎች እንደ የ AST Node Types) ጋር ተስማሚ ነው. በአጠቃላይ, የእኛን ውሂብ GPTs በ 45 የተለያዩ የ AST Node Types ጋር ተስማሚ ነው, ከ 2 ብቻ እንደ የቴክኒካዊ መተግበሪያዎች እንደ ዋናዎች ጥቅም ላይ, እና በአሁኑ ጊዜ ሁሉንም መተግበሪያዎች ያካትታሉ, የ LLM-based መተግበሪያን በጣም የተሻለ ያካትታሉ. በተጨማሪም የ GPT የተፈጥሮ ተሞክሮዎችን ያካትታሉ, የሙከራ ላይ የተመሠረተ ተሞክሮዎች ጋር ተለዋዋዋጭ ችግር, እና እነርሱ የተመሠረተ 9 ተሞክሮ አይነት ውስጥ ሊሆን ይችላል, እና የክፍያ እና የክፍያ አጠቃቀም አይነት በጣም ታዋቂ ናቸው. ይህ ልምድ የ LLMs ለመምረጥ በሞተሮች ላይ ትክክክለኛ የሞተሮች ለመምረጥ ላይ ተመሠረተ ሊሆን ይችላል. የእኛን መሣሪያን በ "Mutation Tool" የሚታወቀው መሣሪያን ይሸፍናል. የኤስኤምኤስ ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም. Kumo በአጠቃላይ, የእኛን ጽሑፍ የሚከተሉት ዋና ልምድ ያቀርባል: • እኛ የ LLMs በሞትሽን ሙከራ ውስጥ ትክክለኛነት ይመራሉ. እኛ የ LLMs በዚያ መሣሪያዎች / ዘዴዎች ጋር ተዛማጅ ፈተናዎችን ለማረጋገጥ በስፋት እና ዝርዝር ይሰራሉ. የእኛን ልምድ የ GPT ሞዴሎች በተመሳሳይ ምልክቶች ለመፍጠር አስደሳች ናቸው. • የተለያዩ ትዕዛዞች ተለዋዋጭ ይሆናል, እና ቀላል ኮድ መስኮት ጋር ጥቂት-የተግበሪያ ምርጥ አፈጻጸም ያገኛል. • የእኛን የ non-compilable ሞተሮች ፍለጋ አይነት ይታያል እና method invocation እና member assessment ይበልጥ የ LLMs ወደ non-compilable ሞተሮች ለመፍጠር ይሆናል ያውቃል. • አንድ ከፍተኛ ጥራት የ Java mutations dataset የተመሰረተ ነው, ይህም manually analyzed equivalent mutants ያካትታል. 
 
 ይህ ጽሑፍ በ CC by 4.0 Deed (Attribution 4.0 International) ዝርዝር ላይ ይገኛል. ይህ ጽሑፍ በ CC by 4.0 Deed (Attribution 4.0 International) ዝርዝር ላይ ይገኛል. አግኝቷል Archive

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Mutation.TECH

Mutation: process of changing in form or nature. We publish the best academic journals & first hand accounts of Mutation

Mutation's Blog

ይህ ኦዲዮ የተዘጋጀው በታሪኩ የመጀመሪያ ቋንቋ ነው!

የ AI ኮድ ሙታዎች የ Developers Bugs ፈጣን ማግኘት ይረዳል

About Author

አስተያየቶች

ተንጠልጣይ መለያዎች

ይህ ጽሑፍ ቀርቧል

Related Stories

The relation of love to pain is one of the most difficult problems

Democratizing Tech Skills with Jeremy Morgan of Pluralsight, LIVE AMA on August 17th, 12 pm EST

999 PRISCILLA

Data Ownership & Non Custodial DeFi - Not your keys, Not Your Tokens! With Madalin Muraretiu

The relation of love to pain is one of the most difficult problems

Democratizing Tech Skills with Jeremy Morgan of Pluralsight, LIVE AMA on August 17th, 12 pm EST

999 PRISCILLA

Data Ownership & Non Custodial DeFi - Not your keys, Not Your Tokens! With Madalin Muraretiu

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps