Modelos de linguagem grande (LLMs), como   , rapidamente se tornaram um dos avanços tecnológicos mais significativos no campo do processamento de linguagem natural (NLP). o GPT-3  Os LLMs demonstraram um potencial significativo para auxiliar em uma variedade de tarefas, incluindo tradução de idiomas, resumo de texto, resposta a perguntas, recuperação de informações, mecanismo de recomendação, robótica fundamentada em idiomas e muitos outros.   Embora os Modelos de Linguagem Grande (LLMs) como o ChatGPT tenham mostrado desempenho excepcional em várias tarefas de processamento de linguagem natural, seu potencial uso indevido levanta   que   . Com a capacidade de gerar texto coerente e contextualmente relevante, os LLMs podem ser usados para produzir notícias falsas ou espalhar desinformação, o que pode ter consequências graves para a sociedade. questões éticas devem ser abordadas  Esse uso indevido pode levar à erosão da confiança na mídia e a uma percepção distorcida da realidade. Além disso, os LLMs podem ser utilizados para geração de plágio, roubo de propriedade intelectual ou análises falsas de produtos, o que pode enganar os consumidores e impactar negativamente os negócios. Além disso, a capacidade dos LLMs de manipular o conteúdo da web para fins maliciosos, como criar contas falsas em redes sociais ou influenciar discussões online, pode ter efeitos desastrosos na opinião pública e no discurso político.  Com a crescente preocupação, provavelmente é hora de fazer a pergunta:    textos gerados por IA dos gerados por humanos? Podemos discernir   Pesquisa anterior e detectabilidade  Por um lado, o DetectGPT de Stanford compara a probabilidade que um modelo atribui ao texto escrito com a de uma modificação do texto, a detectar.   Por outro lado, abordagens baseadas em marcas d'água desenvolvidas pelo grupo de Tom Goldstein são propostas para aumentar efetivamente a detectabilidade.   No entanto, as marcas d'água (que não são treinadas de forma robusta) demonstraram ser vulneráveis a ataques de paráfrase e falsificação, por Sadasivan e outros e Krishna e cols.      Último debate na comunidade  Ultimamente, a comunidade tem tido um debate acalorado sobre se os textos gerados por IA podem ser diferenciados dos gerados por humanos, juntamente com discussões sobre se   e teremos um apocalipse AGI, já que não podemos detectar o IA- conteúdo gerado. Os líderes de tecnologia até pediram uma suspensão de 6 meses do treinamento de modelo de linguagem grande (LLM). falharemos em 'reter a IA'  Líderes acadêmicos como Yann Lecun e Andrew Ng são contra essa proibição da IA.  Vice-presidente e cientista-chefe de IA da Meta, cita   , Yann LeCun  “Por que retardar o progresso do conhecimento?”   Possibilidade de Detecção  Em meio a esse momento crítico, estudamos a detectabilidade de textos gerados por IA por meio de uma lente da teoria da informação. Fornecemos evidências de otimismo: quase sempre deve ser possível detectar, a menos que as distribuições de texto humano e de máquina sejam exatamente as mesmas em todo o suporte.   A detectabilidade é possível  A detectabilidade depende de uma compensação precisa com informações de Chernoff e mais observações. Provamos um limite superior atingível de AUROC (que está entre 0 e 1, maior significa mais detectável) por meio de um detector baseado em razão de verossimilhança usando várias amostras. À medida que o número de amostra aumenta, AUROC aumenta exponencialmente para 1.    Uma Lente Direcionada à Informação  Os resultados teóricos desta informação dependem de uma quantidade chave chamada informação de Chernoff, que pode orientar o design de marcas d'água de LLMs. Experimentalmente, verificamos que a indetectabilidade da detecção em nível de palavra torna-se detectável quando alternada para detecção em nível de parágrafo.    Resultados teóricos  Os resultados teóricos desta informação dependem de uma quantidade chave chamada informação de Chernoff, que pode orientar o design de marcas d'água de LLMs. Derivamos limites de complexidade de amostra para guiar a possibilidade de detecção de texto gerado por IA.    Demonstrações empíricas  A indetectabilidade no nível da palavra torna-se detectável quando alternada para a detecção no nível do parágrafo em vários conjuntos de dados. À medida que aumentamos o comprimento da detecção, a precisão da detecção do ZeroShot aumenta significativamente.   No final, acreditamos que a maneira certa de lidar com o uso indevido de   é corrigi-los em vez de bani-los. #LLMs   Mesmo quando jovem, porém, eu não conseguia acreditar que, se o conhecimento representasse perigo, a solução seria a ignorância. Para mim, sempre pareceu que a solução tinha que ser a sabedoria. Você não se recusou a olhar para o perigo, mas aprendeu a lidar com ele com segurança.  Isaac Asimov  Observação: este é o primeiro passo e nosso estudo exige pesquisa contínua para desenvolver estruturas e diretrizes que estimulem a inovação e garantam o uso ético dessas ferramentas poderosas.   Colaboradores convidados:      , Ph.D. Estudante de graduação na   ,   , cientista pesquisador da Universidade de Maryland, Sicheng Zhu, Bang An,   e Furong Huang estão pesquisando a detectabilidade de textos gerados por IA através de uma lente de teoria da informação. Quaisquer opiniões expressas neste artigo são estritamente dos autores. Souradip Chakraborty Universidade de Maryland Amrit Singh Bedi Dinesh Manocha  Este artigo foi originalmente publicado por Souradip Chakraborty, Ph.D. Estudante de graduação na Universidade de Maryland, Amrit Singh Bedi, Cientista Pesquisador, Universidade de Maryland, Sicheng Zhu, Bang An, Dinesh Manocha e Furong Huang no  The Tech Panda.

This story contains new, firsthand information uncovered by the writer.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Podemos realmente detectar texto gerado por IA do ChatGPT e outros LLMs?

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Crescimento de Criptomoedas: Criando Personas de Usuários Eficazes

Uma breve introdução à teoria do cérebro de Boltzmann

Digital Nomads Ouçam: O que você precisa saber sobre o novo visto DTV da Tailândia

Vazamento do prompt do sistema Claude Sonnet 3.5: uma análise forense

Crescimento de Criptomoedas: Criando Personas de Usuários Eficazes

Uma breve introdução à teoria do cérebro de Boltzmann

Digital Nomads Ouçam: O que você precisa saber sobre o novo visto DTV da Tailândia

Vazamento do prompt do sistema Claude Sonnet 3.5: uma análise forense

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps