Aprimorando o aprendizado de química com ChatGPT, Bing Chat, Bard e Claude como agentes para pensar

Tabela de links

Resumo e introdução

Materiais e métodos

Resultados e análises

Prompts e textos gerados

Conceituando reações químicas

Aprofundando-se na compreensão das reações químicas

Dúvida sobre combustão

Pergunta sobre um gráfico de gases que se transformam em água ao longo do tempo

Pergunta sobre a diferença entre átomos, moléculas e moles

Aprofundando o conceito de toupeira

Pergunta sobre mudança de estado

Pergunta sobre uma representação animada de moléculas de água passando por mudanças de fase

Pergunta sobre plasma, um estado da matéria

Questão sobre ligações químicas

Pergunta sobre ilustração de ligações químicas

Pergunta sobre a essência do tipo de ligação química

Análise adicional

Conclusões

Limitações do estudo e possíveis estudos futuros

Contribuições do autor, conflitos de interesse, agradecimentos e referências

Abstrato

Esta investigação investiga as vantagens comparativas dos chatbots de IA generativa (GenAIbots) - ChatGPT, Bing Chat, Bard e Claude - no contexto do ensino de Química, enquadrado numa perspectiva construtivista. Nosso objetivo principal era identificar qual dessas quatro ferramentas de IA é mais eficaz para melhorar o aprendizado de Química. Empregando uma abordagem de estudo de caso único, examinamos os registros de interação entre os sistemas de IA e a persona de um estudante simulado durante simulações de aprendizagem de Química, incorporando a metodologia de Análise de Conteúdo para aprofundar o discurso. Nossas descobertas ressaltam o potencial dessas ferramentas como “agentes com quem pensar”, melhorando o pensamento crítico, a resolução de problemas, a compreensão, a criatividade e a aprendizagem personalizada. Especialmente digna de nota é a sua capacidade de estimular os alunos através de questionamentos do tipo socrático, alinhados com princípios construcionistas. A pesquisa enfatiza o papel fundamental da elaboração imediata para obter as respostas desejadas dos GenAIbots, gerando reflexões iterativas. Também destaca a necessidade de uma formação robusta de educadores para infundir estas tecnologias em ambientes educativos. Conclusivamente, enquanto ChatGPT, Bing Chat, Bard e Claude estão preparados para enriquecer o ensino de Química ao promover experiências de aprendizagem dinâmicas e inclusivas, ChatGPT se destacou, superando decisivamente o desempenho do Bing Chat. Bard e Claude seguiram de perto, com todos os três apresentando uma compreensão mais profunda, precisa e matizada, ressaltando a habilidade do ChatGPT na compreensão contextual.

Palavras-chave: Educação em Química, ChatGPT, Bing Chat, Bard, Claude, Inteligência Artificial na Educação, agentes para pensar com

Introdução

A Química, uma disciplina central da Educação Científica, esclarece as propriedades e transformações da matéria, moldando assim de forma crítica a nossa vida quotidiana (Dunlop et al., 2020). No entanto, a Química é também um campo complexo e dinâmico que necessita de uma compreensão profunda de conceitos e princípios fundamentais, e por vezes é difícil para os alunos associarem circunstâncias da vida real a conceitos abstratos de química (Dewi et al., 2021). A pesquisa em Educação em Química busca estratégias eficazes para amenizar essas dificuldades de aprendizagem (Permatasari et al., 2022; Timilsena et al., 2022; Tümay, 2016).

Timilsena et al. (2022) identificaram dificuldades na compreensão da natureza abstrata das reações químicas e de fatores como materiais didáticos inadequados e complexidade curricular, enfatizando a necessidade de estratégias e ferramentas de ensino eficazes. Tümay (2016) discutiu as dificuldades dos alunos na compreensão dos conceitos fundamentais da química e enfatizou a importância de abordar equívocos e dificuldades de aprendizagem.

Dewi et al. (2021) sublinharam a necessidade de competências de pensamento crítico e da integração da tecnologia digital para melhorar a qualidade do ensino de Química para os alunos da Geração Z. Dunlop et al. (2020) propuseram a introdução do diálogo filosófico no ensino superior para enfrentar os desafios dos estudantes de graduação em Química, sugerindo que ele pode estimular novas formas de pensar.

Em 2023, Castro Nascimento e Pimentel realizaram um estudo para avaliar a proficiência do modelo ChatGPT fazendo-o responder a cinco tarefas distintas em vários subcampos da química (Castro Nascimento & Pimentel, 2023). Essas tarefas incluíram a conversão de nomes de compostos em sua representação química SMILES e vice-versa, a obtenção de informações sobre o coeficiente de partição octanol-água de compostos químicos, a extração de informações estruturais sobre compostos de coordenação, a determinação da solubilidade em água de polímeros e a identificação de grupos de pontos moleculares de compostos simples. compostos moleculares. Os resultados insatisfatórios destacaram potenciais limitações na capacidade do modelo de abordar adequadamente essas questões específicas relacionadas à química. Notavelmente, o desempenho abaixo do ideal observado pode ser atribuído à utilização de uma versão antiquada do ChatGPT, especificamente o modelo GPT-3 introduzido pela OpenAI em 2020 (Brown et al., 2020).

Num estudo separado realizado no mesmo ano, Leon e Vidhani (2023) exploraram a fiabilidade das respostas do ChatGPT no âmbito de um curso introdutório de Química de nível universitário. Suas descobertas indicaram uma preocupação significativa com a confiabilidade, com o ChatGPT não conseguindo garantir uma pontuação acima de 37%. Tal desempenho implica que os alunos que dependem desta ferramenta para apoio ao estudo receberiam predominantemente respostas incorretas, com a variabilidade da ferramenta levando a respostas diferentes para alunos individuais. Embora os autores não tenham especificado qual versão do ChatGPT utilizaram em seu estudo, sua referência à "versão original gratuita do ChatGPT" e a citação da pesquisa de Floridi e Chiriatti (2020) sobre ChatGPT-3 sugerem a probabilidade de que eles empregaram esta versão .

Além disso, Pimentel et al. (2023) investigaram a eficácia das versões 3 e 4 do ChatGPT em responder a questões complexas que abrangem seis tópicos de Química. Embora tenham concluído que ambas as versões eram atualmente inadequadas para abordar as nuances de tópicos complexos, também observaram avanços notáveis do ChatGPT-3 para o ChatGPT-4. Esse progresso sinaliza um potencial promissor para a ferramenta ajudar os cientistas em futuras revisões de literatura, pesquisas e esforços educacionais.

Chatbots generativos alimentados por IA (GenAIbots), incluindo ChatGPT, Bing Chat, Bard e Claude, foram introduzidos como soluções inovadoras para desafios persistentes na educação em Química (Baidoo-Anu & Owusu Ansah, 2023; Taylor et al., 2022). O seu surgimento oferece um ambiente educacional dinâmico e inclusivo, transformando a forma como conceitos complexos são transmitidos e compreendidos. Esses GenAIbots simplificam tópicos complexos, promovem a autorreflexão, envolvem os usuários em diálogos estimulantes, facilitam a aprendizagem personalizada e melhoram o pensamento crítico, a colaboração e o desenvolvimento cognitivo (Okonkwo & Ade-Ibijola, 2021). Como resultado, eles desempenharam um papel fundamental na revolução do ensino de Química.

No discurso sobre agência, teorias tradicionais, como as de Anscombe e Davidson, atribuem ações a entidades baseadas em estados mentais representacionais que abrangem desejos, crenças e intenções. No entanto, perspectivas alternativas, baseadas nos trabalhos de Heider e Simmel, Dennett, Davidson e Barandiaran et al., desafiam esta visão dependente da representação, sugerindo agência potencial sem tais representações mentais (Schlosser, 2019). Ao considerar os GenAIbots dentro destas estruturas, a capacidade da entidade de responder com base na formação contrasta com a sua falta de autoconsciência, intenções e comportamento proativo – características centrais para a agência. Consequentemente, embora os modelos filosóficos e cognitivos dominantes não concedam agência ao ChatGPT, interpretações mais expansivas, como as oferecidas por estes pensadores citados, poderiam aceitá-la.

Com base nesta base e inspirados pela sugestão de Melanie Swan, expandimos o conceito de Papert (1980) de “objetos para pensar com” para introduzir “agentes para pensar com”. Isto posiciona os GenAIbots como participantes integrais no caminho educacional, ecoando o conceito de Turkle (1984) de "máquinas metacognitivas", no sentido de que ajudam a aumentar a consciência dos seus próprios processos cognitivos, ou seja, "pensar sobre o pensamento", conforme descrito por Flavell (1976). Na perspectiva de Latour (1991), podemos perceber os GenAIbots como “híbridos”, que confundem as fronteiras entre humanos e entidades não humanas. Tal perspectiva alinha-se ainda mais com a visão de Swan (2015) de um futuro onde humanos aumentados e IA colaboram e prosperam simbioticamente.

Embora os GenAIbots se considerem ferramentas educacionais metacognitivas poderosas, promovendo o pensamento crítico, a resolução de problemas e a compreensão profunda de conceitos, é imperativo reconhecer as suas limitações. Por exemplo, existe a possibilidade de gerar conteúdo sem sentido ou impreciso, como destacou OpenAI (2023). No entanto, a capacidade única dos GenAIbots de fornecer feedback instantâneo, introduzir diversas perspectivas e promover um envolvimento interativo com ideias complexas solidifica a sua posição como agentes influentes com quem pensar no domínio da educação em Química.