Garantir la qualité et la conformité : relever les défis liés à l'utilisation du copilote

IV. DISCUSSION

Améliorez la compatibilité entre divers IDE et éditeurs et simplifiez la configuration de Copilot. Selon les résultats de RQ1 et RQ2, le problème de compatibilité est la deuxième plus grande catégorie, et le problème de compatibilité éditeur/IDE est la cause qui conduit à de nombreux problèmes d'utilisation. Du point de vue des utilisateurs, nous avons également observé de nombreuses discussions sur les détails liés à la configuration et aux paramètres de Copilot, ce qui fait de Modifier la configuration/les paramètres la deuxième solution la plus fréquemment utilisée. De plus, une configuration/un réglage incorrect constitue la cinquième cause de problèmes la plus courante. Sur la base de nos résultats, nous pensons qu’améliorer la compatibilité et simplifier le processus de configuration de Copilot pour les utilisateurs peut améliorer considérablement leur expérience. Par conséquent, l'équipe Copilot peut proposer des directives d'installation et de configuration plus détaillées, fournir des options de configuration conviviales et effectuer des mises à jour et une maintenance régulières.

Besoin de davantage d'options de personnalisation pour permettre aux utilisateurs d'adapter le comportement de Copilot à leur propre flux de travail. Parmi les 123 DEMANDES DE FONCTIONS, nous avons identifié 52 instances de telles demandes visant à personnaliser le comportement de Copilot sous divers aspects, représentant environ 50 %. Certaines requêtes courantes consistent à spécifier les types de fichiers ou l'espace de travail dans lequel Copilot s'exécute automatiquement (11), à modifier les touches de raccourci pour accepter les suggestions (10), à accepter les suggestions de code ligne par ligne ou mot par mot (9), à empêcher Copilot de générer certains types de suggestions (par exemple, chemins de fichiers, commentaires) (3), et configurer la couleur et les polices du texte (3). Dans l'étude de Zhang et al. [19], ils ont également indiqué qu'il est essentiel de permettre aux utilisateurs de personnaliser leurs suggestions. De plus, selon la MAUVAISE EXPÉRIENCE DE FONCTIONNALITÉ (par exemple, percevoir les suggestions automatiques du Copilot comme distrayantes, ce qui est également mentionné dans l'étude de Bird et al. [20]), nous pouvons discerner la demande de personnalisation du comportement du Copilot. D'après les résultats, nous pensons que la mesure dans laquelle le comportement de Copilot peut bien s'adapter aux habitudes de codage individuelles des utilisateurs est un facteur important dans leur décision d'utiliser Copilot. Par conséquent, fournir des options de personnalisation flexibles et conviviales est très bénéfique. En outre, il est intéressant d’explorer la manière dont les outils de codage de l’IA devraient interagir avec les utilisateurs et intégrer ces outils dans le développement pratique.

Les utilisateurs ont besoin de plus de moyens pour contrôler le contenu généré par Copilot. D'après le tableau IV, on peut observer que la majorité des solutions visent à résoudre les problèmes d'utilisation et de compatibilité, alors qu'il existe un petit nombre de solutions pour les problèmes de contenu de suggestion. Sur 69 problèmes de contenu suggéré, nous n'avons identifié que 5 solutions, ce qui indique que les utilisateurs peuvent avoir du mal à fournir des solutions idéales aux problèmes de contenu suggérés par Copilot. Cela est en partie dû au fait que les utilisateurs disposent de moyens limités pour contrôler la génération de code de Copilot, en dehors du code et des commentaires de code en soi. Par conséquent, des méthodes supplémentaires sont nécessaires pour résoudre les problèmes de contenu de suggestion, par exemple, permettant aux développeurs d'interagir avec Copilot et de parcourir le code généré jusqu'à ce que le code atteigne les attentes des développeurs.

Améliorez la qualité du code généré par Copilot. Dans les problèmes de contenu de suggestion, les types prédominants sont la SUGGESTION DE FAIBLE QUALITÉ (27) et la SUGGESTION NON SENSIBLE (13). L'expérience d'Imai et al. [9] ont constaté que, par rapport à la programmation en binôme humain, Copilot, bien que capable de générer une quantité importante de code, conduisait également à davantage de suppressions de code lors des tests, soulignant la nécessité d'améliorer la qualité du code de Copilot. Bird et coll. [20] ont observé que Copilot propose occasionnellement des suggestions de code étranges et absurdes, comme le rapportent les utilisateurs, dont certaines peuvent inclure des informations personnelles. De plus, bien que SUGGESTION INSÉCURISÉE et SUGGESTION MOINS EFFICACE n'aient chacune que deux instances, nous pensons que cela est principalement dû au fait que les utilisateurs rencontrent des difficultés à détecter des problèmes de ce type et sont moins enclins à les signaler. Pearce et coll. [6] ont constaté que sur les 1 689 extraits de code générés par Copilot, 40 % étaient vulnérables. Compte tenu des itérations successives de Copilot, il devient impératif de procéder à des évaluations régulières de la qualité de ses suggestions.

L'utilisation de Copilot modifie le processus de codage et augmente le temps nécessaire à la vérification des suggestions de code, ce qui rend les explications du code très importantes. Dans notre recherche, la SUGGESTION INCOMPRÉHENSIBLE (8) se classe au quatrième rang des problèmes de contenu de suggestion les plus courants. Certains utilisateurs ont mentionné des problèmes liés aux suggestions de code trop longues, ce qui entraînait une lisibilité réduite. Cela indique que lorsque Copilot fournit des suggestions relativement complexes, ou lorsque les utilisateurs manquent d'expérience en codage dans un domaine particulier, comprendre la logique du code et vérifier son exactitude peut prendre du temps. L'étude de Wang et al. [21] montre que l’utilisation de code généré par l’IA peut entraîner une pression de révision importante. Par conséquent, nous pensons que les outils de codage de l'IA (par exemple, Copilot) modifieront la répartition du temps consacré à diverses tâches de développement logiciel. Nous avons observé quatre demandes de fonctionnalités liées à l'explication du code, et l'équipe Copilot accorde une importance particulière à l'extension de cette fonctionnalité. La fonctionnalité de chat [15] introduite dans Copilot X est déjà capable de fournir des explications détaillées du code, tandis que sa précision nécessite une évaluation expérimentale plus approfondie dans les étapes ultérieures.

Tenez compte de la propriété intellectuelle et du droit d’auteur. Le nombre de problèmes de droits d'auteur et de politique est légèrement plus élevé que prévu, et nous avons observé de nombreuses préoccupations de la part des utilisateurs et des propriétaires de référentiels GitHub pendant le processus d'extraction des données. Oiseaux et coll. [20] a également remarqué certaines discussions sur la façon dont le droit d'auteur s'appliquait aux suggestions de code de Copilot. Le but de notre recherche n'est pas de fournir une évaluation de ces problèmes ni de la nature non open source de Copilot, car il s'agit d'un problème complexe qui dépend de divers facteurs tels que l'objectif, les utilisateurs cibles et le modèle économique de Copilot. Cependant, nous soutenons que l'équipe Copilot peut prendre des mesures pour résoudre ces problèmes, en fournissant des services de génération de code stables et de haute qualité tout en protégeant la vie privée et la propriété intellectuelle des utilisateurs.