Baloldali asztal Absztrakt és 1. Bevezetés 2. Kontextusok, módszerek és feladatok 3. Vegyes eredmények 3.1 Minőség és termelékenység 3.3 A tanulás és a költségek 4. A moderátorok 4.1 Feladat típusa és összetettsége 4.2 Kompatibilitás 4.3 Kommunikáció 4.4 Együttműködés 5. Logisztika 5. Beszélgetés és jövőbeli munka 5.1 LLM, a páros programozó? 5.2 LLM, egy jobb páros programozó? 5.3 LLM, a diákok PAIr programozó? 6. Következtetés, elismerések és hivatkozások 5.2 LLM, egy jobb páros programozó? Ahogyan a 3. szakaszban felülvizsgálták, a korábbi irodalom számos intézkedést vizsgált az ember-ember páros programozás különböző aspektusainak értékelésére, míg az ember-AI páros programozás jelenlegi felfedezése meglehetősen korlátozott. Murillo és D’Angelo [54] javasolták az LLM-alapú kreatív kódíró asszisztensek értékelési mutatóit a szoftverfejlesztésben. További munkák használhatnák az ember-ember páros programozási irodalomban érvényesebb intézkedéseket, hogy feltárják, hogyan lehetne a legjobban segíteni az embereknek és az LLM-alapú AI programozó asszisztenseknek együttműködni. Érdekes lenne egy tanulmányi beállítás is három feltétellel – ember-ember, ember-AI Az előző szakirodalom néhány kulcsfontosságú tényezőt javasolt az emberi-emberi páros programozás sikerében, amint azt az 1. táblázat összegzi.Az emberi-emberi páros programozás számára kihívásokat okozó moderátorok lehetőséget adhatnak a humán-AI páros programozásban való feltárásra (2. táblázat). Például az önhatékonyság az elégedettség különbségéhez vezethet [81] és a nemek a tanulási különbséghez vezethetnek [47], ezek a kompatibilitási moderátorok is befolyásolják a pAI-t? Vajon ezek a tényezők alkalmazhatók-e az emberi-AI páros programozásra? hatékonyabbá, kevésbé hatékonyvá teszik-e az emberi-AI páros programozást, vagy nincs befolyásuk, és miért? Amint tudjuk az emberi-emberi páros programozási irodalomból, a megfelelő összetettségű jó együttműködési feladat fontos, de az ilyen feladatok létrehozása vagy kiválasztása nehéz lehet. Időközben az LLM-ek segítenek az oktatóknak olyan oktatási anyagok hatékony generálásában, mint a kérdések [85], a kérdés-válaszok [40], a visszajelzések [20] és a tippek [61], amelyek hasonló minőségűek lehetnek, mint az emberi szerzői tartalmak. Vannak olyan munkák is, amelyek az LLM használatának előzetes sikerét javasolták, hogy problémákat bontsanak le alkérdésekre [78]. Ezért az emberi-emberi páros programozási irodalomból származó betekintés és az LLM ismert képességei alapján nyitott kérdés van az emberi-AI Feladat típusa és összetettsége. - Szakértelem. A kompatibilitási tényezők szakértelmét illetően a páros programozási irodalom azt sugallja, hogy a hasonló szintű szakértelemmel rendelkező partnerek összehangolása a legjobb a termelékenység és a tanulás előmozdításában [5, 16, 31]. Értékelési tanulmányok azt mutatják, hogy a GPT3-alapú modellek a CS1 osztályteremben átlag feletti hallgatók lehetnek [22, 68] és a teljesítményük rosszabb lesz, amikor a kód bonyolultabbá válik [89]. A GPT4 még jobb a bevezető és az alapvető programozási problémák megoldásában (bár a helyesség még mindig nem hasonlítható össze a fejlesztővel a gyakorlatban) [14]. Szándékosan is generálhatunk hibákat és hagyhatjuk, hogy a modellek hib Kompatibilitás A kutatók felfedezték, hogyan lehet lehetővé tenni az LLM-ek számára, hogy egy tervezett persona alapján kölcsönhatást alakítsanak ki, és ésszerűen megismételjék az emberi viselkedést [1, 34], és az oktatásban Cao [15] lehetővé tette az LLM-ek számára, hogy kölcsönhatásba lépjenek a diákokkal, miközben szerepjátékokat játszanak, mint a különböző kitalált karakterek, hogy segítsenek csökkenteni a diákok szorongását és növeljék a motivációt. Lehetőség van egy AI partner személyre szabására különböző személyiségjellemzőkkel vagy a másik pár kompatibilitási tényezőivel, mint a nem, az etnikai hovatartozás és az önbecsülés, amelyet Salleh et al. [70] javasolt. Egyéb kompatibilitási tényezők. A kommunikáció tekintetében ismerjük a beszélgetés tárgya társadalmi aspektusát [17] és azt, hogy bizonyos típusú diskurzusok hatékonyabbak lehetnek az emberi-emberi páros programozás hibakeresésének megkönnyítésére.[55] Ezért, mivel az LLM-alapú eszközök, mint például a ChatGPT, képesek szimulálni a társadalmi interakciót, érdekes lenne feltárni, hogy az LLM támogathatja-e a különböző típusú kommunikációt, a kommunikáció különböző összetevőit lehet reprodukálni egy LLM-alapú programozási asszisztensben, és hogy hatékony-e vagy sem. Kommunikáció Az együttműködés szempontjából gyakran beszámolnak arról, hogy a zökkenőmentes együttműködés létrehozása kihívást jelent mind az iparágban [11], mind az oktatási környezetben [57, 87]. Tekintettel arra, hogy a szabadvezető probléma csökkenti a páros programozás hatékonyságát [57] és a rendszeres szerepcserélés potenciálisan enyhíti a vezető kognitív terheit és kiegyensúlyozott tanulási eredményeket biztosít [5, 83], érdekes lenne feltárni, hogy az LLM-alapú AI konfigurálható-e a túlzott segítségnyújtás elkerülése, a szerepcserélés támogatása, és hogyan lehet a legjobban támogatni az emberi-AI párt az együttműködéshez. együttműködés Logisztikai szempontból a Copilot programozási partnerként való használata különösen előnyös lehet az ütemezés logisztikájának elkerülésében, de vannak olyan elszámoltathatósági aggályok is, amelyeket meg kell oldani [12, 22]. Általánosságban elmondható, hogy az AI páros programozás alkalmazása a munkahelyen és az oktatási környezetben etikai kockázatokkal és társadalmi következményekkel jár, ami a jövőbeli munkákban mélyebb vizsgálatot igényel. logisztika A szerzők: (1) Qianou Ma (Megfelelő szerző), Carnegie Mellon Egyetem, Pittsburgh, USA (qianouma@cmu.edu); (2) Tongshuang Wu, Carnegie Mellon Egyetem, Pittsburgh, USA (sherryw@cs.cmu.edu) (3) Kenneth Koedinger, Carnegie Mellon Egyetem, Pittsburgh, USA (koedinger@cmu.edu) Authors: (1) Qianou Ma (Megfelelő szerző), Carnegie Mellon Egyetem, Pittsburgh, USA (qianouma@cmu.edu); (2) Tongshuang Wu, Carnegie Mellon Egyetem, Pittsburgh, USA (sherryw@cs.cmu.edu) (3) Kenneth Koedinger, Carnegie Mellon Egyetem, Pittsburgh, USA (koedinger@cmu.edu) Ez a dokumentum a CC BY-NC-SA 4.0 DEED licenc alatt érhető el. Ez a papír az a CC BY-NC-SA 4.0 DEED licenc alatt. available on arxiv Elérhető archívum