Tabell från vänster Abstrakt och 1. introduktion Kontexter, metoder och uppgifter 3 Blandade resultat 3.2 Kvalitet och produktivitet 3.3. lärande och 3.4 kostnad 4 Moderatorer 4.1 Uppgiftstyper och komplexitet 4.2 Kompatibilitet 4.3 Kommunikation 4.4 Samarbete 5.3 Logistik Diskussion och framtida arbete 5.1 LLM, din partner programmerare? 5.2 LLM, ett bättre par programmerare? 5.3 LLM, Students’ PAIr Programmerare? Slutsatser, erkännanden och referenser 5.2 LLM, ett bättre par programmerare? Som granskats i avsnitt 3 har tidigare litteratur undersökt en mängd olika åtgärder för att utvärdera olika aspekter av mänsklig-mänsklig parprogrammering, medan den nuvarande utforskningen av mänsklig-AI-parprogrammering är ganska begränsad. Murillo och D’Angelo [54] har föreslagit utvärderingsmetoder för LLM-baserade kreativa kodskrivare assistenter i mjukvaruteknik. Fler arbeten kan använda mer giltiga åtgärder i mänsklig-mänsklig parprogrammeringslitteraturen för att utforska hur man bäst kan hjälpa människor och LLM-baserade AI-programmeringsassistenter att samarbeta. Det skulle också vara intressant att ha en studieuppsättning med tre villkor - mänsklig-mänsklig, mänsklig-AI och mänsk Tidigare litteratur föreslog några nyckelfaktorer i framgången för människo-mänsklig parprogrammering, som sammanfattas i tabell 1. Dessa moderatorer som orsakar utmaningar för människo-mänsklig parprogrammering kan ge möjligheter att utforska i människo-AI-parprogrammering (tabell 2). Till exempel kan själveffektivitet leda till en skillnad i tillfredsställelse [81] och kön kan leda till en skillnad i inlärning [47], påverkar dessa kompatibilitets moderatorer pAIr också? Kan vi förbättra pAIr-resultaten med hjälp av insikter som härrör från människo-mänsklig litteratur (t.ex. simulera en AI-partner med liknande nivåer av själveffektivitet och samma kön)? Därför Kan dessa faktorer genomföras för mänsklig AI-programmering? skulle de göra mänsklig AI-programmering mer effektiv, mindre effektiv, eller har inget inflytande, och varför? Som vi vet från litteraturen för mänsklig-mänsklig parprogrammering är en bra samarbetsuppgift av rätt komplexitet viktig, men att skapa eller välja sådana uppgifter kan vara svårt. Under tiden hjälper LLMs utbildare att effektivt generera instruktionsmaterial som frågor [85], frågor-svar [40], feedback [20] och tips [61], vilket kan vara av liknande kvalitet som mänskligt författat innehåll. Det finns också arbete som föreslog den preliminära framgången med att använda LLM för att bryta ner problem i underfrågor [78]. Därför, baserat på insikter från mänsklig-mänsklig parprogrammering litteratur och de kända förmågorna hos LLM, finns det en öppen fråga att utforska i mänsklig-AI pr AI-programmering: kan LLM genereras för att konfigur Uppgiftstyper och komplexitet. - Expertis. När det gäller kompatibilitetsfaktorns expertis tyder programmeringslitteraturen på att matchande partners med liknande kompetensnivå kan vara bäst för att främja produktivitet och lärande [5, 16, 31]. Utvärderingsstudier visar att GPT3-baserade modeller kan vara en över genomsnittlig student i ett CS1-klassrum [22, 68] och dess prestanda blir sämre när koden blir mer komplicerad [89]. GPT4 gör ännu bättre på att lösa introduktions- och grundläggande programmeringsproblem (även om dess korrekthet fortfarande inte är jämförbar med en utvecklare i praktiken) [14]. Vi kan också avsiktligt generera buggar och låta modellerna göra misstag [38], så potentiellt kan vi skapa en AI-partner med en liknande färdighetsnivå för nybörjare. Kompatibilitet Forskare har undersökt hur man kan låta LLMs generera interaktion baserat på en utformad persona och rimligen replikera mänskligt beteende [1, 34], och i utbildning, Cao [15] låta LLMs interagera med studenter samtidigt som de spelar roller som olika fiktiva karaktärer för att hjälpa till att minska elevernas ångest och öka motivationen. Det finns möjligheter att personifiera en AI-partner med olika personlighetsdrag eller de andra parens kompatibilitetsfaktorer som kön, etnicitet och självkänsla som Salleh et al. [70] föreslog. Övriga kompatibilitetsfaktorer. För kommunikation vet vi den sociala aspekten av ett konversationsämne [17] och att vissa typer av diskurs kan vara mer effektiva för att underlätta debugging [55] i mänsklig-mänsklig parprogrammering. därför, eftersom LLM-baserade verktyg som ChatGPT kan simulera social interaktion, skulle det vara intressant att utforska om LLM kan stödja olika typer av kommunikation, kan de olika komponenterna i kommunikation replikeras i en LLM-baserad programmeringsassistent, och om det är effektivt eller inte. Kommunikation När det gäller samarbete rapporteras det ofta att skapa smidigt samarbete är utmanande både i branschen [11] och i utbildningssammanhang [57, 87]. Med tanke på att freeriderproblemet minskar parprogrammeringens effektivitet [57] och regelbunden rollväxling potentiellt lindrar förarens kognitiva belastning och säkerställer balanserade inlärningsresultat [5, 83], skulle det vara intressant att utforska om LLM-baserad AI kan konfigureras för att undvika överhjälp, stödja rollväxling och hur man bäst stöder det mänskliga AI-paret att samarbeta. Samarbete Logistiskt sett kan användningen av Copilot som programmeringspartner ha den speciella fördelen att undvika schemalagda logistiker, men det finns också problem med ansvarsskyldighet som måste hanteras [12, 22]. I allmänhet kommer det att finnas etiska risker och sociala konsekvenser av att använda AI i parprogrammering på arbetsplatsen och i pedagogiska sammanhang, vilket behöver en djupare undersökning i framtida arbeten. logistik 
 
 
 
 
 Författare : (1) Qianou Ma (Korrespondent författare), Carnegie Mellon University, Pittsburgh, USA (qianouma@cmu.edu); (2) Tongshuang Wu, Carnegie Mellon University, Pittsburgh, USA (sherryw@cs.cmu.edu) (3) Kenneth Koedinger, Carnegie Mellon University, Pittsburgh, USA (koedinger@cmu.edu). Authors: (1) Qianou Ma (Korrespondent författare), Carnegie Mellon University, Pittsburgh, USA (qianouma@cmu.edu); (2) Tongshuang Wu, Carnegie Mellon University, Pittsburgh, USA (sherryw@cs.cmu.edu) (3) Kenneth Koedinger, Carnegie Mellon University, Pittsburgh, USA (koedinger@cmu.edu). 
 
 Denna artikel finns tillgänglig på arkiv under CC BY-NC-SA 4.0 DEED licens. Detta papper är Licensierad enligt CC BY-NC-SA 4.0 DEED. Tillgänglig i Arkiv Tillgänglig i Arkiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Pair Programming AI Agent 

undefined's blog

Det här ljudet är producerat på berättelsens originalspråk!

För länge; Att läsa

Make resilience your competitive advantage

När ditt par programmerare är en bot med gränser

About Author

KOMMENTARER

HÄNG TAGGAR

DENNA ARTIKEL PRESENTERAS I

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps