Autores:
(1) Hamid Reza Saeidnia, Departamento de Ciência da Informação e Estudos do Conhecimento, Universidade Tarbiat Modares, Teerão, República Islâmica do Irão;
(2) Elaheh Hosseini, Departamento de Ciência da Informação e Estudos do Conhecimento, Faculdade de Psicologia e Ciências da Educação, Universidade Alzahra, Teerão, República Islâmica do Irão;
(3) Shadi Abdoli, Departamento de Ciência da Informação, Université de Montreal, Montreal, Canadá
(4) Marcel Ausloos, School of Business, Universidade de Leicester, Leicester, Reino Unido e Universidade de Estudos Económicos de Bucareste, Bucareste, Roménia.
RQ 4: Futuro da Cientometria, Webometria e Bibliometria com IA
RQ 5: Considerações Éticas de Cientometria, Webometria e Bibliometria com IA
Conclusão, Limitações e Referências
Nosso estudo envolveu a realização de uma revisão completa da literatura existente para explorar os vários aspectos e vários indicadores relacionados ao uso de IA aprimorada em Cientometria, Webometria e Bibliometria. Ao longo da preparação deste manuscrito, aderimos à lista de verificação PRISMA-ScR e seguimos as diretrizes de relatórios recomendadas para revisões sistemáticas [19]. É importante ressaltar que este manuscrito não foi previamente registrado no PROSPERO ou em qualquer base de dados similar. Queremos enfatizar que embora o registro do PROSPERO esteja normalmente associado a revisões sistemáticas, tomamos uma decisão deliberada de não registrar esta revisão específica. Esta decisão baseia-se no escopo da nossa revisão, que não atende estritamente aos critérios de elegibilidade do PROSPERO, e na praticidade dentro das limitações do nosso projeto. Queremos garantir aos leitores que nosso processo de busca e seleção de literatura segue uma metodologia rigorosa e que nossas descobertas são relatadas de forma transparente, a fim de responder a quaisquer preocupações relativas à credibilidade.
Questões de pesquisa
"Como as técnicas de ponta em cienciometria aprimorada por IA contribuem para o campo da avaliação de pesquisa e avaliação de impacto?"
“Quais avanços foram feitos na webometria aprimorada por IA e como eles melhoram a compreensão das informações baseadas na web e do comportamento do usuário online?”
"De que forma as técnicas de ponta em bibliometria aprimorada por IA revolucionam a análise e medição de publicações acadêmicas e seu impacto?"
• Além disso, buscamos respostas para as seguintes dúvidas:
"O que o futuro reserva para a Cientometria, Webometria e Bibliometria com IA?"
"Quais são as considerações éticas que precisam ser levadas em conta ao utilizar IA em Cientometria, Webometria e Bibliometria?"
Critérios de inclusão e exclusão
Durante o processo de seleção dos estudos, implementamos critérios específicos para identificar artigos relevantes na base de dados. Consideramos vários tipos de artigos, excluindo artigos de revisão sistemática, pois nosso objetivo é nos concentrar em estudos de pesquisa originais, e meta-análises, pois muitas vezes têm seus próprios critérios distintos de inclusão e exclusão que podem diferir dos nossos. Os artigos selecionados precisavam focar no uso da IA para transformar a medição e análise da comunicação acadêmica, identificar tendências de pesquisa emergentes e avaliar o impacto das publicações científicas. Consequentemente, são excluídos da revisão artigos que abordem apenas a análise da comunicação científica e o impacto das publicações científicas sem qualquer relevância para a IA. Através da aplicação destes critérios, garantimos que os estudos escolhidos abordam diretamente a análise de técnicas melhoradas por IA no campo da cienciometria, webometria e bibliometria, permitindo-nos fornecer uma análise direcionada e focada para a nossa investigação.
Bancos de dados e método de pesquisa
Realizamos pesquisas em diversas bases de dados, incluindo ProQuest (LISTA & IBSS), EBSCO (LISTA), IEEE Explore, Web of Science e Scopus para identificar estudos relevantes. A busca limitou-se a artigos publicados entre 1º de janeiro de 2000 e setembro de 2022, a fim de abranger a literatura mais recente relacionada aos nossos objetivos de pesquisa. Para garantir uma estratégia de pesquisa abrangente, utilizamos uma combinação de termos de pesquisa amplos e conduzimos uma pesquisa aninhada [20]. A estratégia de busca envolveu o uso de palavras-chave relevantes para o nosso tema de pesquisa, incluindo variações e sinônimos para maximizar a cobertura. Por exemplo, no Scopus, nossa string de pesquisa incluía termos como “AI” OR “Inteligência Artificial” AND “Scientometrics” OR “Webometrics” OR “Bibliometrics” ou variações deles. Ao incorporar essas palavras-chave e usar operadores booleanos para combiná-las, nosso objetivo foi identificar artigos que focassem no impacto, eficácia e avaliação de cuidados de saúde ou tecnologias inteligentes de saúde. Os termos de pesquisa específicos e a string podem ter variado ligeiramente para cada banco de dados, mas seguiram uma estrutura semelhante.
Seleção de estudos
O processo de seleção dos estudos consistiu em duas etapas para identificar os artigos que atendessem aos nossos critérios de inclusão. Inicialmente, dois revisores independentes (HR.S. e EH) selecionaram os títulos e resumos dos artigos identificados para determinar sua relevância para a nossa questão de pesquisa e critérios de inclusão. Quaisquer divergências entre os revisores foram resolvidas por meio de discussão e consenso. Caso persistissem divergências, um terceiro revisor (MA) era consultado como árbitro. O terceiro revisor examinou cuidadosamente os artigos em questão e forneceu informações para chegar a um consenso. Essa abordagem garantiu que a seleção final dos artigos fosse (e seja) baseada em acordo coletivo.
Avaliação da qualidade do estudo
A avaliação da qualidade das revisões incluídas foi conduzida por dois pesquisadores (HR.S. e EH) utilizando a Lista de Verificação de Revisão Sistemática CASP (Apêndice 1). Resolvemos quaisquer divergências por meio de discussão e chegamos a um consenso sobre a qualidade de cada estudo.
Estrutura de codificação para análise dos artigos selecionados
Para garantir uma análise sistemática e consistente dos artigos selecionados, foi desenvolvida e aplicada uma estrutura de codificação. A estrutura de codificação consistia em diversas categorias e critérios-chave que orientaram o processo de análise. A seguir está uma visão geral da estrutura de codificação usada:
1. Categoria 1: Metodologia de Pesquisa
- Critérios: Identificar a metodologia de pesquisa empregada em cada artigo (ex.: experimental, levantamento, estudo de caso, etc.).
2. Categoria 2: Aplicações de IA
- Critérios: Determine as aplicações específicas de inteligência artificial discutidas ou utilizadas em cada artigo (por exemplo, aprendizado de máquina, processamento de linguagem natural, mineração de dados, etc.).
3. Categoria 3: Métricas e Medidas
- Critérios: Captar as diferentes métricas e medidas utilizadas ou propostas nos artigos para avaliar o impacto ou eficácia das aplicações de IA em cienciometria, webometria e bibliometria.
4. Categoria 4: Considerações Éticas
- Critérios: Identificar quaisquer considerações ou implicações éticas discutidas em relação às aplicações de IA nos artigos selecionados.
5. Categoria 5: Implicações Futuras
- Critérios: Examinar as discussões ou previsões sobre as implicações futuras e potenciais desenvolvimentos relacionados ao uso da IA em cienciometria, webometria e bibliometria.
Durante a análise, dois pesquisadores independentes codificaram cada artigo utilizando esta estrutura. Quaisquer discrepâncias ou divergências na codificação foram resolvidas por meio de discussão e consenso. A confiabilidade do intercodificador foi avaliada pelo cálculo do coeficiente kappa de Cohen, que rendeu um nível de concordância substancial de 0,85. Ao utilizar esta estrutura de codificação, objetivamos fornecer uma análise abrangente dos artigos selecionados e garantir consistência na avaliação dos aspectos relevantes. O processo de codificação permitiu um exame sistemático da metodologia de pesquisa, aplicações de IA, métricas, considerações éticas e implicações futuras discutidas em cada artigo.
Este artigo está disponível no arxiv sob licença CC BY 4.0 DEED.