Quelle est la qualité de l'IA Claude 2 pour travailler avec des PDF ? - Découvrons-le

Les fichiers PDF (Portable Document Format) sont omniprésents dans notre monde numérique. Nous les utilisons pour tout, du partage de documents au remplissage de formulaires en ligne. Mais travailler avec des PDF n'est pas toujours facile. C'est là qu'intervient l'intelligence artificielle.

Nous examinerons dans quelle mesure l'assistant IA Claude 2 gère les tâches liées aux PDF. Claude 2, créé par Anthropic, est conçu pour être utile, inoffensif et honnête. Nous allons le mettre à l'épreuve sur certaines actions PDF courantes pour voir s'il est à la hauteur de ces idéaux lorsque vous travaillez avec ce format de fichier important.

Il est essentiel de tester les assistants IA dans des scénarios réels. L’IA prenant une place si importante dans nos vies, il est crucial de savoir dans quoi ils excellent et où ils pourraient échouer. Claude semble émerger comme un concurrent robuste, peut-être à égalité avec des modèles comme GPT-4. Nous sommes convaincus que les utilisateurs qui comprennent ces technologies joueront un rôle important dans leur adoption réussie.

Alors rejoignez-nous pour découvrir si Claude 2 peut faciliter le travail avec des PDF ou si ses compétences doivent encore être améliorées. Les résultats pourraient vous surprendre.

Capacité PDF de Claude 2

Claude 2 se distingue des autres assistants IA par sa capacité intégrée à analyser et à travailler avec des fichiers PDF. Les chercheurs d'Anthropic ont conçu Claude 2 pour analyser et comprendre la structure des documents PDF à l'aide de techniques d'apprentissage automatique. Cela donne à Claude 2 un avantage inhérent dans le traitement des PDF par rapport aux autres chatbots qui auraient du mal à les comprendre. En tant que l'un des premiers modèles d'IA dotés d'un composant d'analyseur PDF dédié, Claude 2 est dans une position unique pour exceller dans les tâches liées aux PDF. Dans cet article de blog, nous examinerons comment son ingénierie spécialisée se traduit par une maîtrise concrète de l'utilisation de ce format de document omniprésent. Nos tests révéleront si Claude 2 peut tenir sa promesse de fournir une assistance utile, inoffensive et honnête lors de la manipulation de fichiers PDF. Notez également que 10 Mo est la taille maximale du fichier.

Tester les PDF

Pour le bien de notre tutoriel, nous allons utiliser un tutoriel PDF Python et voir ce que nous pouvons en tirer.

Commençons par lui poser des questions dont nous savons qu'elles figurent dans le document. Nous lui donnerons l'invite « Que sont les littéraux de chaîne formatés ? La réponse est également assez profonde dans le PDF, il serait donc intéressant qu'il puisse répondre aux textes au début des documents mais pas à la fin.

Voici le résultat. Les réponses sont assez concises dans le PDF.

Citations directes

Essayons maintenant d'obtenir des citations directes du fichier. Notre invite sera désormais « Que sont les annotations de fonction ? Donnez-moi une citation du document ».

Voici le résultat.

Ce qui confirme être une citation directe ! Il était même capable d'afficher l'extrait de code.

Documents financiers

Maintenant, nous allons essayer les documents financiers. Nous ajouterons le rapport trimestriel le plus récent de Microsoft. Nous lui demanderons « Selon le document. Quel a été le chiffre d'affaires total de Microsoft pour le trimestre ? » Voici la capture d'écran de nos résultats.

Nous pouvons voir que Claude a fourni les informations sur les revenus que nous avons demandées, et après vérification des faits, nous pouvons valider en toute confiance leur exactitude. Claude a même identifié la page exacte où l'on pouvait trouver cette information, et c'est également exact.

Ensuite, nous lui avons demandé : « Quel a été le pourcentage de variation des revenus par rapport à l'année dernière ? Je voulais voir s'il pouvait faire une analyse.

À ma grande surprise, il a réussi à le comprendre. Il donnait également le numéro de page des résultats. Je ne savais même pas que ces données figuraient dans les documents. Je pensais qu'il faudrait prendre les revenus du troisième trimestre de l'année dernière et ceux de cette année, puis faire le calcul pour calculer la différence en pourcentage.

Alternatives

Claude impose actuellement des limites quant au nombre de demandes que vous pouvez faire et peut même avoir une liste d'attente pour y accéder. Compte tenu de ces contraintes, il vaut la peine d’explorer quelques options alternatives.

Perplexité

Perplexity AI est un excellent outil d'IA pour la PNL avec des documents. Les utilisateurs peuvent télécharger des fichiers PDF au format texte brut, code ou PDF, et Perplexity utilisera le contenu du fichier pour formuler des réponses. Pour les fichiers courts, l'ensemble du document sera analysé par le modèle de langage. Perplexity peut également regrouper manuellement de longs PDF en zones thématiques et les transmettre à GPT-4 pour une écriture créative. Perplexity peut analyser des PDF pour répondre aux questions directement à partir des documents, fournir des citations de sources pour les réponses qu'il donne, comparer et contraster des articles de recherche, trouver des documents ou des articles connexes basés sur une requête, analyser des données et générer des informations à partir de diverses sources, visualiser des données et créer des graphiques provenant de diverses sources et traduire du texte d’une langue à une autre. Si vous disposez d'un compte gratuit, vous ne pouvez effectuer qu'un certain nombre de requêtes. Si vous souhaitez un téléchargement de fichiers illimité, vous devrez vous abonner pour 20 $/mois.

ChatGPT

ChatGPT a annoncé l'analyse PDF comme nouvelle fonctionnalité dans sa dernière mise à jour pour les abonnés ChatGPT Plus. Cette fonctionnalité permet aux utilisateurs de télécharger des fichiers PDF et d'autres documents, qui peuvent ensuite être analysés par ChatGPT. Le chatbot peut extraire des résumés et divers points de données ou même rédiger des graphiques et des diagrammes basés sur ces données. La fonctionnalité est actuellement en version bêta et disponible pour les membres ChatGPT Plus. La mise à jour inclut également le changement automatique d'outil, qui permet à ChatGPT de deviner ce que veulent les utilisateurs en fonction du contexte. Les nouvelles fonctionnalités sont disponibles pour les clients ChatGPT Plus depuis octobre 2023

Open source

Enfin et surtout, les solutions open source offrent une alternative intéressante. Une multitude d'outils open source sont disponibles pour l'analyse PDF, exploitant diverses technologies telles que la science des données Langchain ou Python, souvent intégrées aux bases de données vectorielles. Il convient de noter que les solutions de bases de données vectorielles telles que Pgvector peuvent offrir une option nettement plus rentable que les services commerciaux comme Pinecone. Néanmoins, la communauté open source sur des plateformes comme GitHub propose une multitude de modèles accessibles et personnalisables pour répondre à vos besoins d'analyse PDF.

Conclusion

J'étais vraiment excité lorsque nous avons testé pour la première fois l'analyseur PDF de Claude. Les premiers résultats semblaient excellents. Mais vous savez comment ça se passe avec les modèles d’IA : ils ne sont pas parfaits. Il y a certainement eu des erreurs ici et là. Lorsque j’ai commencé à discuter avec Claude à propos des PDF, cela prêtait souvent à confusion. Mais j’ai été continuellement impressionné par l’amélioration des choses. Les erreurs sont en baisse, voire inexistantes, par rapport à avant.

C'est vraiment prometteur de voir ce genre d'amélioration au fil du temps. Je ne dis pas qu’elle est prête à remplacer l’expertise humaine pour l’instant ; évidemment, vous voudriez revérifier les choses. Nous devons toujours garder un œil sur tout problème potentiel. Mais je suis optimiste quant à la direction que prendront les capacités PDF de Claude. Cela pourrait finir par être un outil incroyablement utile. Bien sûr, il existe de nombreuses options, mais celle-ci en est une excellente.