Dans cet article, nous utiliserons MinIO Bucket Notifications et Apache Tika pour l'extraction de texte de documents, qui est au cœur des tâches critiques en aval telles que la formation du Large Language Model (   ) et la Retrieval Augmented Generation (   ). LLM RAG  La prémisse  Disons que je souhaite construire un ensemble de données de texte que je peux ensuite utiliser pour  un LLM. Pour ce faire, nous devons d’abord assembler divers documents (qui peuvent avoir des formats différents en raison de leur source) et en extraire le texte. La sécurité et l'auditabilité des ensembles de données sont primordiales, c'est pourquoi ces documents non structurés doivent être stockés dans un magasin d'objets pour correspondre. MinIO est le magasin d'objets conçu pour  . D'autre part, Apache Tika est une boîte à outils qui « détecte et extrait les métadonnées et le texte de plus d'un millier de types de fichiers différents (tels que PPT, XLS et PDF) ». Ensemble, ils se réunissent pour former un système capable d’atteindre notre objectif.   affiner   ces situations et plus encore  , nous avons mis en place un serveur d'inférence de détection d'objets avec MinIO prêt à l'emploi et environ 30 lignes de code. Nous allons exploiter une fois de plus cette architecture hautement portable et reproductible, cette fois pour la tâche d'extraction de texte. Vous trouverez ci-dessous une représentation approximative du système que nous allons construire.    Dans un article précédent  Configuration d'Apache Tika  Le moyen le plus simple de faire fonctionner Apache Tika consiste à utiliser le  . Vérifiez Docker Hub pour la version/balise de votre image Tika souhaitée.    Image officielle de Docker  Dans cet exemple, je lui permets d'utiliser et d'exposer le port par défaut, 9998.   docker pull apache/tika:<version> docker run -d -p 127.0.0.1:9998:9998 apache/tika:<version>  Utilisez   ou Docker Desktop pour vérifier que le conteneur Tika est en cours d'exécution et a exposé le port 9998. docker ps  Construire le serveur d'extraction de texte  Maintenant que Tika est en cours d'exécution, nous devons construire un serveur capable d'effectuer par programme des requêtes d'extraction Tika pour de nouveaux objets. Ensuite, nous devons configurer des webhooks sur un bucket MinIO pour alerter ce serveur de l'arrivée de nouveaux objets (en d'autres termes, des événements PUT pour un bucket). Passons en revue étape par étape.  Pour garder les choses relativement simples et mettre en évidence la portabilité de cette approche, le serveur d'extraction de texte sera construit en Python, en utilisant le framework Flask populaire. Voici le code du serveur (également disponible dans le référentiel MinIO Blog Resources sous  ) qui effectue une extraction de texte sur les nouveaux documents ajoutés à un bucket avec l'utilisation de Tika (via  ).   extraction_server.py   Tika-Python   """ This is a simple Flask text extraction server that functions as a webhook service endpoint for PUT events in a MinIO bucket. Apache Tika is used to extract the text from the new objects. """ from flask import Flask, request, abort, make_response import io import logging from tika import parser from minio import Minio # Make sure the following are populated with your MinIO details # (Best practice is to use environment variables!) MINIO_ENDPOINT = '' MINIO_ACCESS_KEY = '' MINIO_SECRET_KEY = '' # This depends on how you are deploying Tika (and this server): TIKA_SERVER_URL = 'http://localhost:9998/tika' client = Minio( MINIO_ENDPOINT, access_key=MINIO_ACCESS_KEY, secret_key=MINIO_SECRET_KEY, ) logger = logging.getLogger(__name__) app = Flask(__name__) @app.route('/', methods=['POST']) async def text_extraction_webhook(): """ This endpoint will be called when a new object is placed in the bucket """ if request.method == 'POST': # Get the request event from the 'POST' call event = request.json bucket = event['Records'][0]['s3']['bucket']['name'] obj_name = event['Records'][0]['s3']['object']['key'] obj_response = client.get_object(bucket, obj_name) obj_bytes = obj_response.read() file_like = io.BytesIO(obj_bytes) parsed_file = parser.from_buffer(file_like.read(), serverEndpoint=TIKA_SERVER_URL) text = parsed_file["content"] metadata = parsed_file["metadata"] logger.info(text) result = { "text": text, "metadata": metadata } resp = make_response(result, 200) return resp else: abort(400) if __name__ == '__main__': app.run()  Démarrons le serveur d'extraction :   Notez le nom d'hôte et le port sur lesquels l'application Flask est exécutée.  Configuration des notifications de compartiment  Il ne reste plus qu'à configurer le webhook pour le bucket sur le serveur MinIO afin que tout événement PUT (c'est-à-dire les nouveaux objets ajoutés) dans le bucket déclenche un appel au point de terminaison d'extraction. Avec l'outil   , nous pouvons le faire en quelques commandes seulement. mc  Tout d’abord, nous devons définir quelques variables d’environnement pour signaler à votre serveur MinIO que vous activez l’appel d’un webhook et du point de terminaison correspondant. Remplacez <YOURFUNCTIONNAME> par un nom de fonction de votre choix. Pour plus de simplicité, j'ai opté pour   Assurez-vous également que la variable d'environnement du point de terminaison est définie sur l'hôte et le port corrects pour votre serveur d'inférence. Dans ce cas, http://localhost:5000 est l'endroit où notre application Flask s'exécute. « extraction ».   export MINIO_NOTIFY_WEBHOOK_ENABLE_<YOURFUNCTIONNAME>=on export MINIO_NOTIFY_WEBHOOK_ENDPOINT_<YOURFUNCTIONNAME>=http://localhost:5000  Une fois que vous avez défini ces variables d'environnement, démarrez le  (ou s'il était déjà en cours d'exécution,  ). Dans les étapes suivantes, nous aurons besoin d'un « alias » pour le déploiement de votre serveur MinIO. Pour en savoir plus sur les alias et comment en définir un, consultez le  . Nous utiliserons également   , l'outil de ligne de commande MinIO Client, alors assurez-vous de l'avoir  .   Serveur MinIO   redémarrez-le   Documentation mc   installée  Ensuite, configurons la notification d'événement pour notre bucket et le type d'événement dont nous souhaitons être informés. Pour les besoins de ce projet, j'ai créé un tout nouveau bucket également nommé '   '. Vous pouvez le faire soit  ou   Puisque nous voulons déclencher le webhook lors de l'ajout de nouveaux objets au compartiment «  , les événements   sont notre priorité. Remplacez ALIAS par l'   et BUCKET par le bucket souhaité sur ce serveur. Comme auparavant, assurez-vous de remplacer <YOURFUNCTIONNAME> par la même valeur que celle que vous avez utilisée à l'étape précédente. extraction   via la console MinIO mc   commandes  extraction » PUT alias de votre déploiement de serveur MinIO   mc event add ALIAS/BUCKET arn:minio:sqs::<YOURFUNCTIONNAME>:webhook --event put  Enfin, vous pouvez vérifier que vous avez configuré le type d'événement correct pour les notifications du compartiment en vérifiant si   est généré lorsque vous exécutez cette commande : s3:ObjectCreated:*   mc event ls ALIAS/BUCKET arn:minio:sqs::<YOURFUNCTIONNAME>:webhook  Si vous souhaitez en savoir plus sur la publication d'événements de bucket sur un webhook, consultez le    ainsi que ceci  . Nous sommes maintenant prêts à tester notre serveur d'extraction de texte.   doc umentation   approfondir les notifications d'événements  Essaye le  Voici un document dont je souhaite extraire du texte. C'est un  , un texte législatif financier influent aux États-Unis.    PDF de la loi de 2000 sur la modernisation de l'avenir des matières premières  J'ai mis ce PDF dans mon bucket «   » à l'aide de la console MinIO.  extraction  Cet événement PUT déclenche une notification de compartiment qui est ensuite publiée sur le point de terminaison du serveur d'extraction. En conséquence, le texte est extrait par Tika et imprimé sur la console.   Prochaines étapes   Bien que nous imprimions simplement le texte extrait pour l'instant, ce texte aurait pu être utilisé pour de nombreuses tâches en aval, comme l'indique The Premise. Par exemple:    : Imaginez que vous souhaitiez affiner un grand modèle de langage sur une collection de documents d'entreprise qui existent dans une variété de formats de fichiers (c'est-à-dire PDF, DOCX, PPTX, Markdown, etc.). Pour créer l'ensemble de données textuelles compatible LLM pour cette tâche, vous pouvez collecter tous ces documents dans un compartiment MinIO configuré avec un webhook similaire et transmettre le texte extrait pour chaque document à une trame de données de l'ensemble de réglage fin/formation. De plus, en disposant des fichiers sources de votre ensemble de données sur MinIO, il devient beaucoup plus facile de gérer, d'auditer et de suivre la composition de vos ensembles de données. Création d'ensembles de données pour le réglage fin du LLM    : RAG est un moyen permettant aux applications LLM d'utiliser un contexte précis et d'éviter les hallucinations. Un aspect central de cette approche est de garantir que le texte de vos documents peut être extrait puis intégré dans des vecteurs, permettant ainsi une recherche sémantique. De plus, il est généralement recommandé de stocker les documents sources réels de ces vecteurs dans un magasin d'objets (comme MinIO !). Avec l’approche décrite dans cet article, vous pouvez facilement réaliser les deux. Si vous souhaitez en savoir plus sur RAG et ses avantages, consultez ceci  . Retrieval Augmented Generation   message précédent    : Avec un moyen programmatique d'extraire instantanément le texte d'un document nouvellement stocké, les possibilités sont infinies, surtout si vous pouvez utiliser un LLM. Pensez à la détection de mots clés (c'est-à-dire l'invite : « Quels titres boursiers sont mentionnés ? »), à l'évaluation du contenu (c'est-à-dire l'invite : « Selon la rubrique, quel score cette soumission d'essai devrait-elle obtenir ?), ou à peu près tout type d'analyse basée sur le texte. (c'est-à-dire Invite : « Sur la base de cette sortie de journal, quand la première erreur s'est-elle produite ? »). Application LLM  Au-delà de l'utilité des notifications de compartiment pour ces tâches, MinIO est conçu pour offrir une tolérance aux pannes et des performances de classe mondiale pour tout type et nombre d'objets, qu'il s'agisse de Powerpoints, d'images ou d'extraits de code.  Si vous avez des questions, rejoignez notre  ou envoyez-nous un message à  . Nous sommes là pour vous aider.   Chaîne Slack   bonjour@min.io

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Developers do. Download MinIO and see for yourself. 

MinIO

Cet audio est produit dans la langue originale de l'histoire !

Trop long; Pour lire

Get Free Unlimited IP Geo Data With IPinfo Lite

Tirer parti de MinIO et Apache Tika pour l’extraction et l’analyse automatisées de texte

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Nomades numériques, écoutez : ce que vous devez savoir sur le nouveau visa DTV de la Thaïlande

Le guide complet pour réussir une migration vers le cloud : stratégies et bonnes pratiques

Vous voulez gagner un concours d’écriture HackerNoon ? Voici ce que recommandent les gagnants du concours #crypto-api

Naviguer sur les eaux : développer des applications RAG de qualité production avec des lacs de données

Nomades numériques, écoutez : ce que vous devez savoir sur le nouveau visa DTV de la Thaïlande

Le guide complet pour réussir une migration vers le cloud : stratégies et bonnes pratiques

Vous voulez gagner un concours d’écriture HackerNoon ? Voici ce que recommandent les gagnants du concours #crypto-api

Naviguer sur les eaux : développer des applications RAG de qualité production avec des lacs de données

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps