In diesem Beitrag verwenden wir MinIO Bucket Notifications und Apache Tika zur Dokumenttextextraktion, die das Herzstück kritischer nachgelagerter Aufgaben wie dem Training von Large Language Models (   ) und Retrieval Augmented Generation (   ) bildet. LLM RAG  Die Voraussetzung  Nehmen wir an, ich möchte einen Textdatensatz erstellen, den ich dann verwenden kann, um  ein LLM. Dazu müssen wir zunächst verschiedene Dokumente zusammenstellen (die je nach Quelle unterschiedliche Formfaktoren haben können) und den Text daraus extrahieren. Die Sicherheit und Überprüfbarkeit von Datensätzen ist von größter Bedeutung, daher müssen diese unstrukturierten Dokumente in einem entsprechenden Objektspeicher gespeichert werden. MinIO ist der Objektspeicher, der für  . Apache Tika hingegen ist ein Toolkit, das „Metadaten und Text aus über tausend verschiedenen Dateitypen (wie PPT, XLS und PDF) erkennt und extrahiert.“ Zusammen bilden sie ein System, mit dem wir unser Ziel erreichen können.   Feinabstimmung   diese Situationen und mehr  haben wir einen sofort einsatzbereiten Objekterkennungs-Inferenzserver mit MinIO und etwa 30 Zeilen Code zusammengestellt. Wir werden diese hochgradig portable und wiederholbare Architektur erneut nutzen, dieses Mal für die Aufgabe der Textextraktion. Unten finden Sie eine grobe Darstellung des Systems, das wir bauen werden.    In einem früheren Beitrag  Einrichten von Apache Tika  Der einfachste Weg, Apache Tika zum Laufen zu bringen, ist mit dem  . Suchen Sie im Docker Hub nach der gewünschten Tika-Image-Version/dem gewünschten Tika-Image-Tag.    offizielles Docker-Image  In diesem Beispiel erlaube ich die Verwendung und Anzeige des Standardports 9998.   docker pull apache/tika:<version> docker run -d -p 127.0.0.1:9998:9998 apache/tika:<version>  Verwenden Sie   oder Docker Desktop, um zu überprüfen, ob der Tika-Container ausgeführt wird und Port 9998 freigegeben ist. docker ps  Erstellen des Textextraktionsservers  Nachdem Tika nun läuft, müssen wir einen Server erstellen, der programmgesteuert Tika-Extraktionsanfragen für neue Objekte stellen kann. Anschließend müssen wir Webhooks auf einem MinIO-Bucket konfigurieren, um diesen Server über das Eintreffen neuer Objekte zu informieren (mit anderen Worten PUT-Ereignisse für einen Bucket). Gehen wir das Ganze Schritt für Schritt durch.  Um die Dinge relativ einfach zu halten und die Portabilität dieses Ansatzes hervorzuheben, wird der Textextraktionsserver in Python erstellt, unter Verwendung des beliebten Flask-Frameworks. Hier ist der Code für den Server (auch verfügbar im MinIO Blog Resources-Repository unter  ), das mithilfe von Tika (über  ).   Extraktionsserver.py   Tika-Python   """ This is a simple Flask text extraction server that functions as a webhook service endpoint for PUT events in a MinIO bucket. Apache Tika is used to extract the text from the new objects. """ from flask import Flask, request, abort, make_response import io import logging from tika import parser from minio import Minio # Make sure the following are populated with your MinIO details # (Best practice is to use environment variables!) MINIO_ENDPOINT = '' MINIO_ACCESS_KEY = '' MINIO_SECRET_KEY = '' # This depends on how you are deploying Tika (and this server): TIKA_SERVER_URL = 'http://localhost:9998/tika' client = Minio( MINIO_ENDPOINT, access_key=MINIO_ACCESS_KEY, secret_key=MINIO_SECRET_KEY, ) logger = logging.getLogger(__name__) app = Flask(__name__) @app.route('/', methods=['POST']) async def text_extraction_webhook(): """ This endpoint will be called when a new object is placed in the bucket """ if request.method == 'POST': # Get the request event from the 'POST' call event = request.json bucket = event['Records'][0]['s3']['bucket']['name'] obj_name = event['Records'][0]['s3']['object']['key'] obj_response = client.get_object(bucket, obj_name) obj_bytes = obj_response.read() file_like = io.BytesIO(obj_bytes) parsed_file = parser.from_buffer(file_like.read(), serverEndpoint=TIKA_SERVER_URL) text = parsed_file["content"] metadata = parsed_file["metadata"] logger.info(text) result = { "text": text, "metadata": metadata } resp = make_response(result, 200) return resp else: abort(400) if __name__ == '__main__': app.run()  Starten wir den Extraktionsserver:   Notieren Sie sich den Hostnamen und den Port, auf dem die Flask-Anwendung ausgeführt wird.  Einrichten von Bucket-Benachrichtigungen  Jetzt müssen wir nur noch den Webhook für den Bucket auf dem MinIO-Server konfigurieren, damit alle PUT-Ereignisse (also neu hinzugefügte Objekte) im Bucket einen Aufruf des Extraktionsendpunkts auslösen. Mit dem   Tool können wir dies mit nur wenigen Befehlen erledigen. mc  Zuerst müssen wir einige Umgebungsvariablen festlegen, um Ihrem MinIO-Server zu signalisieren, dass Sie einen Webhook und den Aufruf des entsprechenden Endpunkts aktivieren. Ersetzen Sie <IHRFUNKTIONSNAME> durch einen Funktionsnamen Ihrer Wahl. Der Einfachheit halber habe ich mich für   Stellen Sie außerdem sicher, dass die Umgebungsvariable des Endpunkts auf den richtigen Host und Port für Ihren Inferenzserver eingestellt ist. In diesem Fall wird unsere Flask-Anwendung unter http://localhost:5000 ausgeführt. „Extraktion“ entschieden.   export MINIO_NOTIFY_WEBHOOK_ENABLE_<YOURFUNCTIONNAME>=on export MINIO_NOTIFY_WEBHOOK_ENDPOINT_<YOURFUNCTIONNAME>=http://localhost:5000  Nachdem Sie diese Umgebungsvariablen festgelegt haben, starten Sie den  (oder wenn es bereits lief,  ). In den folgenden Schritten benötigen wir einen „Alias“ für Ihre MinIO-Serverbereitstellung. Weitere Informationen zu Aliasen und zum Festlegen eines Alias finden Sie im  . Wir werden auch   verwenden, das MinIO-Client-Befehlszeilentool. Stellen Sie also sicher, dass Sie es haben  .   MinIO-Server   starte es neu   Dokumentation mc   Eingerichtet  Als nächstes konfigurieren wir die Ereignisbenachrichtigung für unseren Bucket und den Ereignistyp, über den wir benachrichtigt werden möchten. Für die Zwecke dieses Projekts habe ich einen brandneuen Bucket mit dem Namen „   “ erstellt. Sie können dies entweder tun  oder   Da wir den Webhook beim Hinzufügen neuer Objekte zum Bucket „   auslösen möchten, liegt unser Fokus auf   Ereignissen. Ersetzen Sie ALIAS durch den   und BUCKET durch den gewünschten Bucket auf diesem Server. Achten Sie wie zuvor darauf, <YOURFUNCTIONNAME> durch denselben Wert zu ersetzen, den Sie im vorherigen Schritt verwendet haben. Extraktion   über die MinIO-Konsole mc   Befehle Extraktion“ PUT- Alias Ihrer MinIO-Serverbereitstellung   mc event add ALIAS/BUCKET arn:minio:sqs::<YOURFUNCTIONNAME>:webhook --event put  Abschließend können Sie prüfen, ob Sie den richtigen Ereignistyp für die Bucket-Benachrichtigungen konfiguriert haben. Überprüfen Sie dazu, ob beim Ausführen des folgenden Befehls   ausgegeben wird: s3:ObjectCreated:*   mc event ls ALIAS/BUCKET arn:minio:sqs::<YOURFUNCTIONNAME>:webhook  Wenn Sie mehr über das Veröffentlichen von Bucket-Ereignissen in einem Webhook erfahren möchten, lesen Sie den    sowie diese  . Jetzt sind wir bereit, unseren Textextraktionsserver auszuprobieren.   Dokument umentation   tieferes Eintauchen in Ereignisbenachrichtigungen  Versuch es  Hier ist ein Dokument, aus dem ich Text extrahieren möchte. Es ist ein  , ein einflussreiches Finanzgesetz in den Vereinigten Staaten.    PDF des Commodities Future Modernization Act von 2000  Ich habe dieses PDF mithilfe der MinIO-Konsole in meinen „   “-Bucket gelegt.  Extraktions  Dieses PUT-Ereignis löst eine Bucket-Benachrichtigung aus, die dann am Endpunkt des Extraktionsservers veröffentlicht wird. Dementsprechend wird der Text von Tika extrahiert und auf der Konsole ausgegeben.   Nächste Schritte   Obwohl wir jetzt nur den extrahierten Text ausdrucken, hätte dieser Text für viele nachgelagerte Aufgaben verwendet werden können, wie in The Premise angedeutet. Zum Beispiel:    : Stellen Sie sich vor, Sie möchten ein großes Sprachmodell für eine Sammlung von Unternehmensdokumenten feinabstimmen, die in verschiedenen Dateiformaten vorliegen (z. B. PDF, DOCX, PPTX, Markdown usw.). Um den LLM-freundlichen Textdatensatz für diese Aufgabe zu erstellen, könnten Sie alle diese Dokumente in einem MinIO-Bucket sammeln, der mit einem ähnlichen Webhook konfiguriert ist, und den extrahierten Text für jedes Dokument an einen Datenrahmen des Feinabstimmungs-/Trainingssatzes übergeben. Darüber hinaus wird es viel einfacher, die Zusammensetzung Ihrer Datensätze zu verwalten, zu prüfen und zu verfolgen, wenn die Quelldateien Ihres Datensatzes auf MinIO gespeichert sind. Datensatzerstellung für LLM-Feinabstimmung    : RAG ist eine Möglichkeit für LLM-Anwendungen, präzise Kontexte zu nutzen und Halluzinationen zu vermeiden. Ein zentraler Aspekt dieses Ansatzes besteht darin, sicherzustellen, dass der Text Ihrer Dokumente extrahiert und dann in Vektoren eingebettet werden kann, wodurch eine semantische Suche ermöglicht wird. Darüber hinaus ist es im Allgemeinen eine bewährte Methode, die eigentlichen Quelldokumente dieser Vektoren in einem Objektspeicher (wie MinIO!) zu speichern. Mit dem in diesem Beitrag beschriebenen Ansatz können Sie beides problemlos erreichen. Wenn Sie mehr über RAG und seine Vorteile erfahren möchten, lesen Sie dies  . Retrieval Augmented Generation   früherer Beitrag    : Mit einer programmgesteuerten Methode zum sofortigen Extrahieren des Textes aus einem neu gespeicherten Dokument sind die Möglichkeiten endlos, insbesondere wenn Sie ein LLM verwenden können. Denken Sie an die Schlüsselworterkennung (z. B. Eingabeaufforderung: „Welche Börsenticker werden erwähnt?“), die Inhaltsbewertung (z. B. Eingabeaufforderung: „Welche Punktzahl sollte dieser Aufsatz gemäß der Rubrik erhalten?“) oder praktisch jede Art textbasierter Analyse (z. B. Eingabeaufforderung: „Wann ist basierend auf dieser Protokollausgabe der erste Fehler aufgetreten?“). LLM-Anwendung  Über den Nutzen von Bucket-Benachrichtigungen für diese Aufgaben hinaus ist MinIO so konzipiert, dass es erstklassige Fehlertoleranz und Leistung für jede Art und Anzahl von Objekten bietet – egal, ob es sich um Powerpoints, Bilder oder Codeausschnitte handelt.  Wenn Sie Fragen haben, kontaktieren Sie uns  oder schreiben Sie uns eine Nachricht an  . Wir sind hier, um dir zu helfen.   Slack-Kanal   hallo@min.io

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Nutzung von MinIO und Apache Tika zur automatischen Textextraktion und -analyse

About Author

KOMMENTARE

Hängeetiketten

DIESER ARTIKEL WURDE VORGESTELLT IN

Related Stories

HackerNoon Decoded 2024: Celebrating Our Management Community!

HackerNoon Decoded 2024: Celebrating Our Startups Community!

HackerNoon Decoded 2024: Celebrating Our Writing Community!

HackerNoon Decoded 2024: Celebrating Our Data Science Community!

HackerNoon Decoded 2024: Celebrating Our Management Community!

HackerNoon Decoded 2024: Celebrating Our Startups Community!

HackerNoon Decoded 2024: Celebrating Our Writing Community!

HackerNoon Decoded 2024: Celebrating Our Data Science Community!

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps