Quão boa é a IA do Claude 2 no trabalho com PDFs? - Vamos descobrir

Arquivos Portable Document Format (PDF) são onipresentes em nosso mundo digital. Nós os usamos para tudo, desde compartilhar documentos até preencher formulários online. Mas trabalhar com PDFs nem sempre é fácil. É aí que entra a inteligência artificial.

Veremos quão bem o assistente de IA Claude 2 lida com tarefas relacionadas a PDF. Claude 2, criado pela Anthropic, foi projetado para ser útil, inofensivo e honesto. Vamos testar algumas ações comuns do PDF para ver se ele atende a esses ideais ao trabalhar com esse importante formato de arquivo.

É essencial testar os assistentes de IA em cenários do mundo real. Com a IA se tornando uma parte tão importante de nossas vidas, é crucial saber no que eles se destacam e onde podem ficar aquém. Claude parece estar emergindo como um concorrente robusto, possivelmente no mesmo nível de modelos como o GPT-4. Estamos confiantes de que os usuários que entendem essas tecnologias desempenharão um papel significativo na sua adoção bem-sucedida.

Então junte-se a nós enquanto exploramos se Claude 2 pode facilitar o trabalho com PDFs ou se suas habilidades ainda precisam ser melhoradas. Os resultados podem te surpreender.

Capacidade PDF de Claude 2

Claude 2 se destaca de outros assistentes de IA por sua capacidade integrada de analisar e trabalhar com arquivos PDF. Os pesquisadores da Anthropic projetaram Claude 2 para analisar e compreender a estrutura de documentos PDF usando técnicas de aprendizado de máquina. Isso dá ao Claude 2 uma vantagem inerente no processamento de PDFs em comparação com outros chatbots que teriam dificuldade para entendê-los. Como um dos primeiros modelos de IA com um componente analisador de PDF dedicado, o Claude 2 está em uma posição única para se destacar em tarefas relacionadas a PDF. Nesta postagem do blog, examinaremos como sua engenharia especializada se traduz em proficiência no mundo real no trabalho com esse formato de documento onipresente. Nossos testes revelarão se o Claude 2 pode cumprir sua promessa de fornecer assistência útil, inofensiva e honesta na manipulação de PDFs. Além disso, observe que 10 MB é o tamanho máximo do arquivo.

Testando PDFs

Para o bem do nosso tutorial, usaremos um PDF do tutorial do Python e veremos o que podemos obter com ele.

Vamos começar fazendo perguntas que sabemos que estão no documento. Daremos a ele o prompt “O que são literais de string formatados?”. A resposta também está bem aprofundada no PDF, então seria interessante se ele pudesse responder textos no início dos documentos, mas não no final.

Aqui está o resultado. As respostas são bastante concisas no PDF.

Cotações diretas

Agora, vamos tentar obter cotações diretas do arquivo. Nosso prompt agora será “O que são anotações de função? Dê-me uma citação do documento”.

Aqui está o resultado.

O que confirma ser uma citação direta! Foi até capaz de exibir o trecho de código.

Documentos Financeiros

Agora, tentaremos documentos financeiros. Adicionaremos o relatório trimestral mais recente da Microsoft. Iremos avisá-lo com “De acordo com o documento. Qual foi a receita total da Microsoft no trimestre?”Aqui está a captura de tela de nossos resultados.

Podemos ver que Claude forneceu as informações sobre receitas que solicitamos e, após a verificação dos fatos, podemos validar com segurança sua exatidão. Claude até apontou a página exata onde essa informação poderia ser encontrada, e também está correta.

Em seguida, perguntamos: “Qual foi a variação percentual na receita em relação ao ano passado?”. Queria ver se poderia fazer alguma análise.

Para minha surpresa, ele foi capaz de descobrir. Também forneceu o número da página dos resultados. Eu nem sabia que esses dados estavam nos documentos. Achei que seria necessária a receita do terceiro trimestre do ano passado e a deste ano e, em seguida, fazer as contas para calcular a diferença percentual.

Alternativas

Atualmente o Claude impõe limitações na quantidade de solicitações que você pode fazer e pode até ter lista de espera para acesso. Com estas restrições em mente, vale a pena explorar algumas opções alternativas.

Perplexidade

Perplexity AI é uma ótima ferramenta de IA para PNL com documentos. Os usuários podem fazer upload de arquivos PDF em texto simples, código ou formato PDF, e o Perplexity utilizará o conteúdo do arquivo para formular respostas. Para arquivos curtos, todo o documento será analisado pelo modelo de linguagem. O Perplexity também pode dividir PDFs longos manualmente em áreas de tópico e alimentá-los no GPT-4 para escrita criativa. O Perplexity pode analisar PDFs para responder perguntas diretamente dos documentos, fornecer citações de fontes para as respostas fornecidas, comparar e contrastar artigos de pesquisa, encontrar documentos ou artigos relacionados com base em uma consulta, analisar dados e gerar insights de várias fontes, visualizar dados e criar gráficos de diversas fontes e traduzir texto de um idioma para outro. Se você tiver uma conta gratuita, só poderá fazer um determinado número de solicitações. Se quiser upload ilimitado de arquivos, você precisará se inscrever por US$ 20/mês.

Bate-papoGPT

ChatGPT anunciou a análise de PDF como um novo recurso em sua atualização mais recente para assinantes do ChatGPT Plus. Este recurso permite aos usuários fazer upload de arquivos PDF e outros documentos, que podem então ser analisados pelo ChatGPT. O chatbot pode extrair resumos e vários pontos de dados ou até mesmo escrever gráficos e tabelas com base nesses dados. A funcionalidade está atualmente em beta e disponível para membros ChatGPT Plus. A atualização também inclui troca automática de ferramentas, que permite ao ChatGPT adivinhar o que os usuários desejam com base no contexto. Os novos recursos estão disponíveis para clientes ChatGPT Plus desde outubro de 2023

Código aberto

Por último, mas certamente não menos importante, as soluções de código aberto oferecem uma alternativa atraente. Uma infinidade de ferramentas de código aberto estão disponíveis para análise de PDF, aproveitando várias tecnologias, como Langchain ou ciência de dados Python, muitas vezes integradas a bancos de dados vetoriais. É importante notar que soluções de banco de dados vetoriais como o Pgvector podem oferecer uma opção significativamente mais econômica em comparação com serviços comerciais como o Pinecone. No entanto, a comunidade de código aberto em plataformas como o GitHub oferece uma variedade de modelos acessíveis e personalizáveis para atender às suas necessidades de análise de PDF.

Conclusão

Fiquei muito animado quando testamos pela primeira vez o analisador de PDF de Claude. Os primeiros resultados pareciam ótimos. Mas você sabe como acontece com os modelos de IA – eles não são perfeitos. Definitivamente houve alguns erros aqui e ali. Quando comecei a conversar com Claude sobre PDFs, muitas vezes ficava confuso. Mas tenho ficado continuamente impressionado com o quanto melhorou. Os erros estão muito baixos, se é que existem, em comparação com antes.

É realmente promissor ver esse tipo de melhoria ao longo do tempo. Não estou dizendo que já esteja pronto para substituir a expertise humana; obviamente, você gostaria de verificar as coisas. Ainda precisamos ficar atentos a possíveis problemas. Mas estou otimista sobre o rumo que as habilidades de PDF de Claude estão tomando. Isso pode acabar sendo uma ferramenta extremamente útil. Claro, existem muitas opções, mas esta é uma ótima delas.