Auteurs:
(1) Renato P. dos Santos, CIAGE – Centre d'intelligence artificielle générative dans la cognition et l'éducation.
Conceptualiser les réactions chimiques
Approfondissement de la compréhension des réactions chimiques
Question sur un graphique des gaz se transformant en eau au fil du temps
Question sur la différence entre les atomes, les molécules et les taupes
Approfondissement sur la notion de taupe
Question sur le changement d'état
Question sur une représentation animée de molécules d'eau subissant des changements de phase
Question sur le plasma, un état de la matière
Question sur les liaisons chimiques
Question sur l'illustration des liaisons chimiques
Question sur l'essence du type de liaison chimique
Limites de l’étude et études futures possibles
Contributions des auteurs, conflits d'intérêts, remerciements et références
Les résultats de cette étude divergent de ceux de Gregorcic et Pendrill (2023), qui affirmaient que malgré la correction des erreurs et des contradictions via le dialogue socratique, ChatGPT ne répondait pas aux critères nécessaires pour fonctionner comme tuteur de physique. Cette disparité pourrait provenir de l’utilisation d’une itération plus ancienne et moins avancée de ChatGPT, en particulier le modèle GPT-3 introduit par OpenAI en 2020 (Brown et al., 2020).
Nos recherches indiquent que les versions actuelles de ChatGPT, Bing Chat, Bard et Claude peuvent agir comme des objets de réflexion efficaces, selon le concept de Papert (1980, p. 11), cultivant un apprentissage engageant, interactif et inclusif. environnement. Ces outils d’IA peuvent soutenir la créativité, la collaboration, l’exploration, la pensée critique et la résolution de problèmes, approfondissant potentiellement la compréhension du sujet. Cela concerne la comparaison entre ChatGPT, Bard et Bing Chat dans l'étude de Liu et al. (2023).
Le succès global de ce parcours éducatif, avec les GenAIbots servant d’agents de réflexion, met en évidence quelques stratégies pédagogiques efficaces qui peuvent faciliter une compréhension approfondie des concepts impliqués. Une partie importante du processus impliquait le renforcement positif, car les GenAIbots reconnaissaient les observations des étudiants comme étant agréables, validant leurs expériences et stimulant leur curiosité. De plus, à la suite de Gregorcic et Pendrill (2023), nous avons adopté ce qui pourrait être considéré comme une stratégie de dialogue de type socratique, incitant les étudiants à réfléchir de manière critique et à s’engager activement dans leur apprentissage plutôt que de simplement leur fournir des réponses. Les GenAIbots ont également capitalisé sur les connaissances existantes des étudiants en s'enquérant de leur compréhension de sujets tels que le poids et la gravité, établissant ainsi un pont significatif entre les informations nouvelles et celles apprises précédemment.
S'appuyant sur l'étude préliminaire de Bitzenbauer (2023) qui a mis en évidence le potentiel des chatbots expansifs basés sur des modèles de langage, y compris ChatGPT, pour enrichir les expériences d'apprentissage, et sur l'affirmation d'Adiguzel et al. (2023) du potentiel de transformation de ChatGPT dans l'éducation via un enseignement personnalisé et de véritables -time feedback, nos recherches mettent l’accent sur les avantages de l’intégration de l’IA dans les environnements d’apprentissage. Les chatbots pilotés par l'IA comme ChatGPT, Bing Chat, Bard, Claude et d'autres modèles génératifs pourraient servir d'agents avancés pour aborder des scénarios d'apprentissage difficiles, élargir progressivement les connaissances des étudiants et fournir des explications, des exemples et des analogies pertinents pour soutenir leur apprentissage. Cette étude met en évidence le potentiel des outils basés sur l’IA pour promouvoir l’apprentissage actif, l’enseignement personnalisé et la compréhension conceptuelle en chimie. Il souligne la valeur de l’IA pour améliorer les expériences éducatives et conclut que les GenAIbots peuvent servir de plates-formes innovantes pour explorer des scénarios éducatifs difficiles.
Néanmoins, notre analyse révèle que ChatGPT et Claude ont systématiquement fourni des réponses plus complètes, détaillées et précises que Bing Chat, qui avait tendance à donner des réponses plus courtes et moins informatives. ChatGPT-4 a pu adapter les réponses aux questions des étudiants, répondre aux idées fausses et proposer des explications personnalisées. ChatGPT était également plus apte à aborder les nuances et les subtilités des questions, à reconnaître le contexte et à interagir avec le point de vue ou l'interprétation unique de l'utilisateur. D’un autre côté, Bing Chat ne parvenait souvent pas à répondre à ces nuances et fournissait moins d’informations contextuelles. Dans l’ensemble, ChatGPT et Claude ont démontré une compréhension supérieure du sujet et une capacité plus remarquable à transmettre des concepts scientifiques complexes de manière accessible.
L'étude a également souligné la nécessité d'une formation complète des enseignants avant d'intégrer ces outils dans les salles de classe. Une formation adéquate permet aux enseignants de guider efficacement les élèves dans l’expression de leurs pensées et la construction d’arguments solides. Cette préparation permettrait aux éducateurs d'évaluer les performances des GenAIbots face à des contre-exemples convaincants, favorisant ainsi des discussions productives entre collègues.
Enfin, il est essentiel de mentionner que les résultats de cette expérience ont révélé des écarts significatifs dans les performances de ChatGPT, Bing Chat, Bard et Claude. Ce résultat est en accord avec Franciscu (2023), dans lequel ChatGPT, un modèle de génération de langage naturel de pointe, excelle dans la production de réponses de type humain adaptées aux chatbots. Sur la base de l'analyse détaillée ci-dessus, malgré certaines similitudes fondamentales, ChatGPT a nettement surpassé BingChat, Bard et Claude suivant de près les performances de ChatGPT et affichant des niveaux de compétence comparables entre eux, comme décrit ci-dessous et résumé dans le tableau 2.
1. ChatGPT se distingue par sa personnalisation cohérente et sa touche personnelle grâce à des mécanismes de renforcement positif et de feedback. Il utilise des stratégies pédagogiques efficaces, décomposant souvent systématiquement les explications, et engage fréquemment les utilisateurs avec engagement et interactivité en sollicitant des commentaires. Avec un talent pour l' utilisation de l'analogie et des illustrations comparatives , ChatGPT traduit des concepts abstraits en scénarios pertinents. Sa recommandation sur la profondeur des détails et le contenu est adaptée et complète, et elle s'aventure occasionnellement dans la méta-discussion et le cadrage de perspectives pour fournir des contextes plus larges.
2. Les forces de Claude résident principalement dans la personnalisation et le contact personnel ainsi que dans l'engagement et l'interactivité , donnant l'impression que l'apprentissage ressemble à un dialogue interactif. Offrant des explications simples, il s'appuie fortement sur l' utilisation d'analogies et d'illustrations comparatives, en particulier lorsqu'il s'appuie sur les informations des utilisateurs. Bien que ses stratégies pédagogiques apportent de la clarté, la profondeur peut varier, répondant à des requêtes concises et élaborées. Le penchant de Claude pour la méta-discussion et le cadrage de perspectives met l'accent sur la signification plus large des concepts, améliorant ainsi l'expérience d'apprentissage globale.
3. Les réponses de Bard ressemblent à une approche classique des stratégies pédagogiques , semblable à un style de classe conventionnel. En se concentrant sur des présentations factuelles et structurées, il utilise souvent l' utilisation d'analogies et d'illustrations comparatives pour élucider les concepts. La personnalisation et la personnalité sont évidentes, en particulier lors de la reconnaissance des entrées des utilisateurs et de la fourniture d'informations plus approfondies, favorisant ainsi l'engagement et l'interactivité. Bard intègre occasionnellement la méta-discussion et le cadrage de perspective pour mettre en évidence des applications plus larges.
4. BingChat met l'accent sur la profondeur des détails et la recommandation de contenu en dirigeant souvent les utilisateurs vers des ressources externes. Adoptant une approche de renforcement et de feedback plus correctionnelle, il souligne les inexactitudes dans les entrées des utilisateurs, qui peuvent parfois éclipser sa personnalisation et sa touche personnelle. Bien que BingChat propose des stratégies pédagogiques structurées, son recours à des liens externes peut diminuer l'engagement et l'interactivité directs. Son utilisation de l'analogie et des illustrations comparatives est présente, quoique moins prononcée.
Ce classement est basé sur l’analyse présentée précédemment. Il fournit une note comparative pour chaque IA dans différentes catégories, mais la note spécifique peut être subjective et varier en fonction des différentes questions, contextes ou même d'une session à l'autre. La préférence peut également être subjective en fonction des styles et des besoins d’apprentissage individuels.
En utilisant GenAIbots comme outils pédagogiques, les enseignants pourraient créer des expériences d'apprentissage plus engageantes et personnalisées. Cette approche pourrait potentiellement favoriser une compréhension plus approfondie de concepts complexes en chimie et peut-être dans d’autres matières.
Cet article est disponible sur arxiv sous licence CC BY-SA 4.0 DEED.