테이블 왼쪽 abstract 및 1.introduction 2) 컨텍스트, 방법 및 작업 3) 혼합된 결과 3.1 품질과 3.2 생산성 3.3 학습 및 3.4 비용 4 Moderators 4.1 작업 유형 및 복잡성 4.2 호환성 4.3 통신 4.4 협력 5.2 물류 5) 토론 및 미래 작업 5.1 LLM, 당신의 파이어 프로그래머? 5.2 LLM, 더 나은 커플 프로그래머? 5.3 LLM, 학생들의 PAIr 프로그래머? 결론, 인정 및 참조 5.2 LLM, 더 나은 커플 프로그래머? 섹션 3에서 검토한 바와 같이, 이전 문헌은 인간-인간 커플 프로그래밍의 다양한 측면을 평가하기위한 다양한 조치를 탐구했지만, 현재 인간-인공지능 커플 프로그래밍에 대한 탐구는 상당히 제한적입니다. Murillo와 D’Angelo [54]는 소프트웨어 엔지니어링에서 LLM 기반의 창조적 인 코드 작성 조수에 대한 평가 매개 변수를 제안했습니다. 더 많은 작품은 인간-인간 커플 프로그래밍 문헌에서 더 유효한 측정을 사용하여 인간과 LLM 기반의 AI 프로그래밍 조수가 함께 협력하는 것을 가장 잘하는 방법을 탐구 할 수 있습니다. 이전 문서는 표 1에서 요약한 바와 같이 인간-인간 커플 프로그래밍의 성공에 몇 가지 핵심 요소를 제안했습니다. 인류-인공지능 커플 프로그래밍에 도전을 일으키는 이러한 모더레이터는 인간-인공지능 커플 프로그래밍에서 탐구할 수 있는 기회를 제공할 수 있습니다(표 2). 예를 들어, 자기 효율성은 만족도 차이를 초래할 수 있습니다 [81] 그리고 성별은 학습 차이를 초래할 수 있습니다 [47], 이러한 호환성 모더레이터는 또한 pAIr에 영향을 미칩니까? 우리는 인간-인간 문학에서 유래한 통찰력을 사용하여 pAI 결과를 향상시킬 수 있습니까 (예를 들어, 비슷한 자기 효율도 수준과 같은 성별 이러한 요소들이 인간-AI 쌍 프로그래밍에 적용될 수 있습니까?이 요소들은 인간-AI 쌍 프로그래밍을 더 효과적이고, 덜 효과적이거나 영향을 미치지 않을까요? 인간-인간 커플 프로그래밍 문학에서 알 수 있듯이, 올바른 복잡성의 좋은 공동 작업은 중요하지만 그러한 작업을 만들거나 선택하는 것은 어려울 수 있습니다. 한편, LLM은 교육자가 질문 [85], 질문-응답 [40], 피드백 [20] 및 힌트 [61]와 같은 교육 자료를 효율적으로 생성하는 데 도움을줍니다. 인간-인간 커플 프로그래밍 문학의 통찰력과 LLM의 알려진 능력에 근거하여 인간-AI pAIr 프로그래밍에서 탐구 할 수있는 열린 질문이 있습니다. LLM은 공동 학습 목표와 함께 작업 유형을 구성하고 프로그래머를위한 작업 복잡성을 사용하기 위해 LLM을 생성 할 수 있습니까? 작업 유형 & 복잡성. - 전문성. 호환성 요소 전문성에 관해서는, 쌍 프로그래밍 문헌은 유사한 수준의 전문성을 가진 파트너를 맞추는 것이 생산성과 학습을 촉진하는 데 최선이 될 수 있다고 제안합니다 [5, 16, 31]. 평가 연구에 따르면 GPT3 기반 모델은 CS1 교실에서 평균 이상의 학생이 될 수 있습니다 [22, 68] 그리고 코드가 더 복잡해질 때 성능이 악화됩니다 [89]. GPT4는 초보자와 유사한 기술 수준의 AI 파트너를 만들 수 있습니다 [14]. 우리는 또한 의도적으로 버그를 생성하고 모델이 실수를 할 수 있습니다 [38], 그래서 잠재적으로 초보자와 유사한 기술 수준을 가진 AI 파트너를 만들 수 있습니다. Future Works는 학생의 기술 수준에 적응하기 위해 AI를 구성 호환성 연구자들은 LLM이 설계된 캐릭터를 기반으로 상호 작용을 생성하고 인간 행동을 합리적으로 복제하는 방법을 탐구했으며, 교육에서 Cao [15]은 LLM이 학생들의 불안을 줄이고 동기를 높이는 데 도움이되는 다른 픽션 캐릭터로 역할을하는 동안 학생들과 상호 작용하는 방법을 탐구했습니다. AI 파트너가 다른 성격 특성이나 성별, 민족성 및 자부심과 같은 다른 쌍의 호환성 요소를 가진 AI 파트너를 개인화 할 수있는 가능성은 Salleh et al. [70]가 제안했습니다. 잠재적으로 프로그래머의 동기 부여 및 / 또는 참여를 높이기 위해 사용될 수 있지만 인간-AI 커플 프로그래밍에 얼마나 유용한지는 아직 조사되지 않았습니다. 다른 호환성 요소들 커뮤니케이션을 위해, 우리는 대화의 사회적 측면을 알고 [17] 어떤 종류의 대화는 인간-인간 커플 프로그래밍에서 디버깅을 촉진하기 위해 더 효과적일 수 있다는 것을. 그러므로, ChatGPT와 같은 LLM 기반 도구가 사회적 상호 작용을 시뮬레이션 할 수 있기 때문에, LLM이 다른 유형의 커뮤니케이션을 지원할 수 있는지, 커뮤니케이션의 다른 구성 요소가 LLM 기반 프로그래밍 보조에서 복제 될 수 있는지, 그리고 효과적인지 여부를 탐구하는 것이 흥미 롭습니다. 통신 협업의 관점에서, 그것은 종종 업계 [11] 및 교육 맥락 [57, 87]에서 부드러운 협업을 만드는 것이 도전이라고보고됩니다. free-rider 문제는 쌍 프로그래밍의 효율성을 감소시키고 정기적 인 역할 전환은 잠재적으로 드라이버의인지 부하를 완화하고 균형 잡힌 학습 결과를 보장한다 [5, 83], LLM 기반 AI는 과도한 도움을 피하고, 역할 전환을 지원하고, 인간-AI 쌍을 협력하는 방법을 가장 잘 지원하기 위해 구성 될 수 있는지 탐구하는 것이 흥미 롭습니다. 협력 논리적으로, Copilot를 프로그래밍 파트너로 사용하는 것은 스케줄링 물류를 피하는 특별한 이점을 가질 수 있지만, 책임감에 대한 우려도 있어야 한다.[12, 22] 일반적으로 직장과 교육 환경에서 AI를 쌍으로 프로그래밍하는 데에는 윤리적 위험과 사회적 영향이 있을 것이며, 앞으로의 작업에서 더 깊은 검토가 필요할 것이다. 물류 저자 : (1) Qianou Ma (대응 저자), Carnegie Mellon University, 피츠버그, 미국 (qianouma@cmu.edu); (2) Tongshuang Wu, Carnegie Mellon University, 피츠버그, 미국 (sherryw@cs.cmu.edu) (3) Kenneth Koedinger, Carnegie Mellon University, 피츠버그, 미국 (koedinger@cmu.edu) Authors: (1) Qianou Ma (대응 저자), Carnegie Mellon University, 피츠버그, 미국 (qianouma@cmu.edu); (2) Tongshuang Wu, Carnegie Mellon University, 피츠버그, 미국 (sherryw@cs.cmu.edu) (3) Kenneth Koedinger, Carnegie Mellon University, 피츠버그, 미국 (koedinger@cmu.edu) 이 논문은 CC BY-NC-SA 4.0 DEED 라이선스 아래에 arxiv에서 사용할 수 있습니다. 이 종이는 CC BY-NC-SA 4.0 DEED 라이선스 available on arxiv Archive 에서 이용 가능