左のテーブル 抽象と1 導入 2. 文脈、方法、課題 3.混合結果 3.1 品質と生産性 3.2 3.3 学習とコスト 4. モダニター 4.1 課題の種類と複雑性 2.互換性 3.コミュニケーション 4.協力 5. 物流 5.議論と将来の仕事 5.1 LLM、あなたのプログラマーパイア? 5.2 LLM、より良いカップルプログラマー? 5.3 LLM、学生のPAIrプログラマー? 6. Conclusion, Recognitions, and References (結論、承認、参照) 5.2 LLM, A Better PAIrプログラマー? セクション3でレビューされたように、以前の文献は、人間と人間のカップルのプログラミングのさまざまな側面を評価するためのさまざまな措置を調べたが、現在の人間とAIのカップルのプログラミングの探求はかなり限られている。 Murillo と D’Angelo [54] は、ソフトウェアエンジニアリングにおけるLLMベースのクリエイティブコードライティングアシスタントのための評価メトリクスを提案しました。より多くの作品は、人間と人間のカップルのプログラミング文献のより有効な措置を使用して、人間とLLMベースのAIプログラミングアシスタントが一緒に協力するのに最適な方法を探索することができます。また、同じタスクで働く人間、人間、AI、人間の3つの条件を持つ 以前の文献では、ヒューマン・AI・カップルプログラミングの成功にいくつかの重要な要因を示唆したが、表1で概要したように、ヒューマン・AI・カップルプログラミングの課題を引き起こすこれらのモダレーターは、ヒューマン・AI・カップルプログラミングで探求する機会を生み出す可能性がある(表2)。 たとえば、自己効率性は満足度の違いにつながる可能性がある(81)、性別は学習の違いにつながる可能性がある(47)、これらの互換性モダレーターはPAIrにも影響を与えるのか? ヒューマン・AI・カップルプログラミングの洞察を用いてPAIの結果を向上させることができる(たとえば、同様の自己効率性レベル これらの要因は、人間とAIのカップルプログラミングに実装され得るだろうか?それらは、人間とAIのカップルプログラミングをより効果的で、より効果的でないか、あるいは何の影響もないだろうか? 人と人間のカップルのプログラミング文献から知られているように、適切な複雑さの良いコラボレーションタスクは重要ですが、そのようなタスクを作成または選択することは困難です。同時に、LLMは、質問(85)、質問回答(40)、フィードバック(20)、ヒント(61)などの教育者に効率的に教材を生成するのに役立ちますが、これは人間が作成したコンテンツと同様の品質である可能性があります。LLMを使用して問題をサブクエストに分解するための初期の成功を示唆した仕事もあります(78)。 したがって、人と人間のカップルのプログラミング文献からの洞察とLLMの既知の能力に基づいて、人間のAIのPARプログラミングで探求するオープンな質問があります: タスクタイプ&複雑性 互換性要因の専門知識に関して、カップルプログラミング文献は、同様のレベルの専門知識を持つパートナーを合わせることは、生産性と学習を促進する最善の方法かもしれないと示唆しています(5, 16, 31)。評価研究は、GPT3ベースのモデルがCS1教室の平均を上回る生徒であるかもしれないことを示しています(22、68)、そのパフォーマンスはコードがより複雑になったときに悪化します(89)。GPT4は、初心者と基本的なプログラミングの問題を解決する上でさらに優れている(その正確性はまだ実践において開発者と比較されていないが)(14)。我々はまた、意図的にバグを生み出し、モデルに間違いを犯させることができる(38),したがって、我々は潜在的に 互換性 研究者たちは、LLMsが設計された個性に基づいて相互作用を生成し、合理的に人間の行動を複製する方法を研究し、教育において、Cao(15)は、LLMsが異なるファンタジーのキャラクターとして役割を演じながら学生と相互作用させ、学生の不安を軽減し、動機づけを高める方法を調べました。AIパートナーを異なる人格特性や、サルレヒ・エッセンシャル(Salleh et al. 70)が提案した性別、民族性別、自己評価などの他のカップルの互換性要因を個性化する可能性があります。 その他の互換性の要因 コミュニケーションに関しては、会話物質の社会的側面を知っており、いくつかの種類のスピーチは、人と人間のカップルのプログラミングにおけるデバッグを容易にするのにより効果的である可能性があるため、ChatGPTのようなLLMベースのツールが社会的相互作用をシミュレートできるので、LLMがさまざまな種類のコミュニケーションをサポートできるかどうか、コミュニケーションのさまざまなコンポーネントがLLMベースのプログラミングアシスタントで複製され、効果的かどうかを探るのは興味深いでしょう。 通信 コラボレーションの面では、スムーズなコラボレーションを構築することは業界[11]と教育的文脈[57, 87]の両方で課題であることが頻繁に報告されています。フリーライダーの問題がカップルプログラミングの有効性を低下させる[57]と、定期的なロールスイッチングがドライバーの認知負荷を軽減し、バランスの取れた学習結果を確保する可能性があることを考慮して、LLMベースのAIが過剰な助けを避けるように構成され、ロールスイッチをサポートし、人間のAIのカップルを協力するのに最適な方法を調べることは興味深いでしょう。 協力 ロジスティック面では、プログラミングパートナーとしてのCopilotの使用は、スケジュールのロジスティックを避けるという特別な利点を持っているかもしれないが、責任に関する懸念も取り組む必要がある(12、22)。 物流 
 
 
 
 
 著者: (1) Qianou Ma (Corresponding author), Carnegie Mellon University, Pittsburgh, USA (qianouma@cmu.edu) (2) Tongshuang Wu, Carnegie Mellon University, Pittsburgh, USA (sherryw@cs.cmu.edu) (3)ケネス・コーディンガー、カーネギー・メロン大学、ピッツバーグ、米国(koedinger@cmu.edu) Authors: (1) Qianou Ma (Corresponding author), Carnegie Mellon University, Pittsburgh, USA (qianouma@cmu.edu) (2) Tongshuang Wu, Carnegie Mellon University, Pittsburgh, USA (sherryw@cs.cmu.edu) (3)ケネス・コーディンガー、カーネギー・メロン大学、ピッツバーグ、米国(koedinger@cmu.edu) 
 
 この論文は CC BY-NC-SA 4.0 DEED ライセンスの下で archiv で利用できます。 この紙は CC BY-NC-SA 4.0 DEED ライセンス ARCHIV で利用可能 ARCHIV で利用可能

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Pair Programming AI Agent 

undefined's blog

このオーディオは、ストーリーの元の言語で制作されています。

When Your Pair Programmer Is a Bot with Boundaries あなたのプログラマーが境界線を持つボットであるとき

About Author

コメント

ラベル

この記事は

Related Stories

目に見えない層: ユーザーインタビューがかけがえのない資産である理由

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

目に見えない層: ユーザーインタビューがかけがえのない資産である理由

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps