የቅጂ መብት:
(1) Bo Wang, Beijing Jiaotong University, Beijing, ቻይና ([email protected])
(2) Mingda Chen, Beijing Jiaotong University, Beijing, ቻይና ([email protected])
(3) Youfang Lin, Beijing Jiaotong University, Beijing, ቻይና ([email protected])
(4) ማይክ Papadakis, የክፍያ ዩኒቨርሲቲ, luxembourg ([email protected]);
(5) Jie M. Zhang, King’s College London, London, UK ([email protected])
Authors:
(1) Bo Wang, Beijing Jiaotong University, Beijing, ቻይና ([email protected])
(2) Mingda Chen, Beijing Jiaotong University, Beijing, ቻይና ([email protected])
(3) Youfang Lin, Beijing Jiaotong University, Beijing, ቻይና ([email protected])
(4) ማይክ Papadakis, የክፍያ ዩኒቨርሲቲ, luxembourg ([email protected]);
(5) Jie M. Zhang, King’s College London, London, UK ([email protected])
የመስመር ላይ ገጾች
1 መውሰድ2 ተጽዕኖ እና ተኳሃኝ ሥራ3 Study Design
3.3 በ LLMs በኩል Mutation Generation
4 Evaluation Results
4.5 RQ5: የተመሠረተ ጥቅሞች እና ያልሆነ ተለዋዋጭ ጥቅሞች
5 Discussion
5.1 የተመሠረተ ሙከራ መተግበሪያዎች ላይ ተስማሚነት
6 ግምገማዎች እና አስተያየቶችአጠቃቀም
ለሙከራ መተግበሪያዎች የሚጠቀሙ ከፍተኛ-የተግበሪያ ውሂብ ሞተሮች ለመፍጠር እንዴት እንደሚቻል በሙከራ መተግበሪያዎች ውስጥ አንድ ዋና ልምድ ነው. Large Language Models (LLMs) በኮድ ጋር የተገናኙ ተግባሮች ውስጥ ትልቅ ችሎታ ይሰጣል, ነገር ግን በሞተሮች ሙከራ ውስጥ እነሱን የሚጠቀሙበት ችሎታ ይቆጠራል. በዚህ መተግበሪያው ለሙከራ መተግበሪያዎች ውጤታማ ሞተሮች ለመፍጠር የ LLMs ውጤታማ ውጤታማ ውጤታማ ውጤታማነት ለመምረጥ በስተካከለ ነው. በተለይ, በ 4 LLMs ውስጥ በከፍተኛ-የተግበሪያ ውጤታማነት ያካትታሉ, በ Open and Closed-Source ሞተሮች ጨምሮ, እና በ 2
1 መውሰድ
የፕሮግራም ውሂብ እና የፕሮግራም ውሂብ ውሂብ እና የፕሮግራም ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ውሂብ ው
የቴክኒካዊ ቴክኖሎጂዎች ቀላል ስታታክቲክ ንድፍ (ገጽ) መተግበሪያዎችን ይጠቀማሉ, እነርሱ መተግበሪያዎች በመተግበሪያ ማንኛውም ኮድ ቦታ ላይ ስታክቲክ ንድፍ መተግበሪያዎችን ይጠቀማሉ [33, 59]. እነዚህን መተግበሪያዎች እንደ ስታክቲክ ንድፍ መተግበሪያዎችን ይደውሉ.
በአጠቃላይ, የሙከራ ሂደት ላይ ተስማሚ አይችልም[5, 57] እና ስለዚህ የሙከራ ሂደት ውስጥ የኮምፒውተር ግምገማዎች, እንዲሁም ሕንፃ ሙከራ ውስጥ ተስማሚ የአካባቢ ጥንካሬ ይጨምራሉ. ይህን ጥያቄ ለመተግበሪያ ለማግኘት, ምርምር ባለሙያዎች የፕሮጀክት ታሪክ ላይ የተመሠረተ ሙከራ መተግበሪያዎችን ለመፍጠር ጥንካሬ መተግበሪያዎችን ይጠቀማሉ [62, 70, 73], እነዚህ ጥንካሬ ነገር ግን ውጤታማ ሙከራዎችን ለመፍጠር ይሆናል. አስደሳች ቢሆንም, እነዚህ መተግበሪያዎች ውጤታማ ሙከራዎችን ለመፍጠር አይችልም [56], እያንዳንዱ ጥቂት ውሂብ ተስማሚዎች ላይ ተስማሚ ናቸው.
የሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚቃ ሙዚ
እነዚህን ፍላጎቶች ለማስተካከል, የ Large-Language Models (LLMs) መጠቀም ይፈልጋሉ, እነሱም በባህር ኮድ ላይ የተጠናቀቀቁ ናቸው እና በባህር ኮድ ተጽዕኖ ሊሆን ይችላል [11]. በተሳካ ምርቶች [26, 49, 65] በኋላ, በተሳካ ትዕዛዞችን ያካትታሉ አንድ መደበኛ ትዕዛዞች ያካትታሉ, ተሞክሮ የሚሆን ኮድ ክፍሎች, ተስማሚ ቅርጸት ኮድ, እና በባህር ኮድ ከ ከባህር ኮድ ከ ከባህር ኮድ በባህር ኮድ በባህር ኮድ በባህር ኮድ በባህር ኮድ በባህር ኮድ በባህር ኮድ በባህር ኮድ በባህር ኮድ በባ
የእኛን ግምገማዎች ለ LLMs የተፈጥሮ ሞተሮች መጠን እና ጥራት ያለው ልምድ ያካትታል, እነርሱን የክብደት እና ውጤታማነት ለማረጋገጥ በተመሳሳይ መተግበሪያዎች ጋር ተለዋዋጭ. በተጨማሪም, የተለያዩ prompt engineeringstrategies እና LLMs (እኛ, GPT-3.5-Turbo [4], GPT-4-Turbo, CodeLlama-13bInstruct [64], እና StarChat-β-16b [45]) በ LLMs የተፈጥሮ የተፈጥሮ የሞተሮች ለ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ ምልክቶች እና ስህተት ዓይነት እንዴት ይመልከቱ.
የእኛን ውጤቶች የተሻለ ሞዴል ነው GPT-4 ለ ሞተር አጠቃቀም ሁሉ ውስጥ ሌሎች LLMs አጠቃቀም, ይህም ከ 96.7% በ Defects4J እና 86.7% በ ConDefects ውስጥ bugs አጠቃቀም ያደርጋል. ከሌሎች ቴክኖሎጂዎች ከ, ዋናው የተሻለ ነው, Defects4J ውስጥ የ 91.6% የ bugs እና ConDefects ውስጥ የ 68.9% የ bugs አጠቃቀም ችሎታ ጋር, ConDefects ላይ የ GPT አንድ አዲስ እና የማይታመን ውሂብ አጠቃቀም ነው ይህም በ 18% በላይ አጠቃቀም አጠቃቀም ያደርጋል.
የእኛን ልምድ ውስጥ ሌላ አስደናቂ ውሂብ የሞትቶነቶች የተለያዩነት (የአሁኑ ጊዜ መተግበሪያዎች እንደ የ AST Node Types) ጋር ተስማሚ ነው. በአጠቃላይ, የእኛን ውሂብ GPTs በ 45 የተለያዩ የ AST Node Types ጋር ተስማሚ ነው, ከ 2 ብቻ እንደ የቴክኒካዊ መተግበሪያዎች እንደ ዋናዎች ጥቅም ላይ, እና በአሁኑ ጊዜ ሁሉንም መተግበሪያዎች ያካትታሉ, የ LLM-based መተግበሪያን በጣም የተሻለ ያካትታሉ.
በተጨማሪም የ GPT የተፈጥሮ ተሞክሮዎችን ያካትታሉ, የሙከራ ላይ የተመሠረተ ተሞክሮዎች ጋር ተለዋዋዋጭ ችግር, እና እነርሱ የተመሠረተ 9 ተሞክሮ አይነት ውስጥ ሊሆን ይችላል, እና የክፍያ እና የክፍያ አጠቃቀም አይነት በጣም ታዋቂ ናቸው. ይህ ልምድ የ LLMs ለመምረጥ በሞተሮች ላይ ትክክክለኛ የሞተሮች ለመምረጥ ላይ ተመሠረተ ሊሆን ይችላል.
የእኛን መሣሪያን በ "Mutation Tool" የሚታወቀው መሣሪያን ይሸፍናል.Kumoየኤስኤምኤስ ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም ኤም.
በአጠቃላይ, የእኛን ጽሑፍ የሚከተሉት ዋና ልምድ ያቀርባል:
• እኛ የ LLMs በሞትሽን ሙከራ ውስጥ ትክክለኛነት ይመራሉ. እኛ የ LLMs በዚያ መሣሪያዎች / ዘዴዎች ጋር ተዛማጅ ፈተናዎችን ለማረጋገጥ በስፋት እና ዝርዝር ይሰራሉ. የእኛን ልምድ የ GPT ሞዴሎች በተመሳሳይ ምልክቶች ለመፍጠር አስደሳች ናቸው.
• የተለያዩ ትዕዛዞች ተለዋዋጭ ይሆናል, እና ቀላል ኮድ መስኮት ጋር ጥቂት-የተግበሪያ ምርጥ አፈጻጸም ያገኛል.
• የእኛን የ non-compilable ሞተሮች ፍለጋ አይነት ይታያል እና method invocation እና member assessment ይበልጥ የ LLMs ወደ non-compilable ሞተሮች ለመፍጠር ይሆናል ያውቃል.
• አንድ ከፍተኛ ጥራት የ Java mutations dataset የተመሰረተ ነው, ይህም manually analyzed equivalent mutants ያካትታል.
ይህ ጽሑፍ በ CC by 4.0 Deed (Attribution 4.0 International) ዝርዝር ላይ ይገኛል.
ይህ ጽሑፍ በ CC by 4.0 Deed (Attribution 4.0 International) ዝርዝር ላይ ይገኛል.
አግኝቷል Archive
