Trong bài đăng này, chúng tôi sẽ sử dụng Thông báo nhóm MinIO và Apache Tika để trích xuất văn bản tài liệu, vốn là trọng tâm của các nhiệm vụ quan trọng ở cấp dưới như đào tạo Mô hình ngôn ngữ lớn (   ) và Tạo tăng cường truy xuất (   ). LLM RAG  Tiền đề  Giả sử tôi muốn xây dựng một tập dữ liệu văn bản mà sau đó tôi có thể sử dụng để  một LLM. Để làm điều này, trước tiên chúng ta cần tập hợp nhiều tài liệu khác nhau (có thể ở các dạng khác nhau do nguồn của chúng) và trích xuất văn bản từ chúng. Tính bảo mật và khả năng kiểm tra của tập dữ liệu là điều tối quan trọng, vì vậy những tài liệu phi cấu trúc này cần được lưu trữ trong kho đối tượng để khớp. MinIO là kho đối tượng được xây dựng cho  . Mặt khác, Apache Tika là bộ công cụ “phát hiện và trích xuất siêu dữ liệu cũng như văn bản từ hơn một nghìn loại tệp khác nhau (chẳng hạn như PPT, XLS và PDF)”. Cùng nhau, họ kết hợp với nhau để tạo thành một hệ thống có thể đạt được mục tiêu của chúng tôi.   tinh chỉnh   những tình huống này và hơn thế nữa  , chúng tôi đã kết hợp một máy chủ suy luận phát hiện đối tượng với MinIO ngay lập tức và khoảng 30 dòng mã. Chúng tôi sẽ tận dụng kiến trúc có tính di động cao và có thể lặp lại đó một lần nữa, lần này cho nhiệm vụ trích xuất văn bản. Dưới đây là mô tả sơ bộ về hệ thống mà chúng tôi sẽ xây dựng.    Trong một bài viết trước đó  Thiết lập Apache Tika  Cách đơn giản nhất để thiết lập và chạy Apache Tika là sử dụng  . Kiểm tra Docker Hub để biết phiên bản/thẻ hình ảnh Tika mà bạn mong muốn.    hình ảnh Docker chính thức  Trong ví dụ này, tôi cho phép nó sử dụng và hiển thị cổng mặc định, 9998.   docker pull apache/tika:<version> docker run -d -p 127.0.0.1:9998:9998 apache/tika:<version>  Sử dụng   hoặc Docker Desktop để xác minh rằng vùng chứa Tika đang chạy và có cổng 9998. docker ps  Xây dựng máy chủ trích xuất văn bản  Bây giờ Tika đang chạy, chúng ta cần xây dựng một máy chủ có thể lập trình thực hiện các yêu cầu trích xuất Tika cho các đối tượng mới. Sau đó, chúng ta cần định cấu hình webhooks trên nhóm MinIO để cảnh báo máy chủ này về sự xuất hiện của các đối tượng mới (nói cách khác là các sự kiện PUT cho một nhóm). Chúng ta hãy đi qua nó từng bước một.  Để giữ mọi thứ tương đối đơn giản và làm nổi bật tính di động của phương pháp này, máy chủ trích xuất văn bản sẽ được xây dựng bằng Python, sử dụng khung Flask phổ biến. Đây là mã dành cho máy chủ (cũng có sẵn trong kho Tài nguyên Blog MinIO bên dưới  ) thực hiện trích xuất văn bản trên các tài liệu mới được thêm vào nhóm bằng cách sử dụng Tika (thông qua  ).   extract_server.py   Tika-Python   """ This is a simple Flask text extraction server that functions as a webhook service endpoint for PUT events in a MinIO bucket. Apache Tika is used to extract the text from the new objects. """ from flask import Flask, request, abort, make_response import io import logging from tika import parser from minio import Minio # Make sure the following are populated with your MinIO details # (Best practice is to use environment variables!) MINIO_ENDPOINT = '' MINIO_ACCESS_KEY = '' MINIO_SECRET_KEY = '' # This depends on how you are deploying Tika (and this server): TIKA_SERVER_URL = 'http://localhost:9998/tika' client = Minio( MINIO_ENDPOINT, access_key=MINIO_ACCESS_KEY, secret_key=MINIO_SECRET_KEY, ) logger = logging.getLogger(__name__) app = Flask(__name__) @app.route('/', methods=['POST']) async def text_extraction_webhook(): """ This endpoint will be called when a new object is placed in the bucket """ if request.method == 'POST': # Get the request event from the 'POST' call event = request.json bucket = event['Records'][0]['s3']['bucket']['name'] obj_name = event['Records'][0]['s3']['object']['key'] obj_response = client.get_object(bucket, obj_name) obj_bytes = obj_response.read() file_like = io.BytesIO(obj_bytes) parsed_file = parser.from_buffer(file_like.read(), serverEndpoint=TIKA_SERVER_URL) text = parsed_file["content"] metadata = parsed_file["metadata"] logger.info(text) result = { "text": text, "metadata": metadata } resp = make_response(result, 200) return resp else: abort(400) if __name__ == '__main__': app.run()  Hãy khởi động máy chủ giải nén:   Ghi lại tên máy chủ và cổng mà ứng dụng Flask đang chạy.  Thiết lập thông báo nhóm  Bây giờ, tất cả những gì còn lại là định cấu hình webhook cho nhóm trên máy chủ MinIO để mọi sự kiện PUT (hay còn gọi là đối tượng mới được thêm) trong nhóm sẽ kích hoạt lệnh gọi đến điểm cuối trích xuất. Với công cụ   , chúng ta có thể thực hiện việc này chỉ bằng một vài lệnh. mc  Trước tiên, chúng ta cần đặt một vài biến môi trường để báo hiệu cho máy chủ MinIO rằng bạn đang bật webhook và điểm cuối tương ứng sẽ được gọi. Thay thế <YOURFUNCTIONNAME> bằng tên chức năng bạn chọn. Để đơn giản, tôi sử dụng   Ngoài ra, hãy đảm bảo rằng biến môi trường điểm cuối được đặt thành máy chủ và cổng chính xác cho máy chủ suy luận của bạn. Trong trường hợp này, http://localhost:5000 là nơi ứng dụng Flask của chúng tôi đang chạy. 'trích xuất'.   export MINIO_NOTIFY_WEBHOOK_ENABLE_<YOURFUNCTIONNAME>=on export MINIO_NOTIFY_WEBHOOK_ENDPOINT_<YOURFUNCTIONNAME>=http://localhost:5000  Khi bạn đã đặt các biến môi trường này, hãy bắt đầu  (hoặc nếu nó đã chạy rồi,  ). Trong các bước sau, chúng tôi sẽ cần 'bí danh' để triển khai máy chủ MinIO của bạn. Để tìm hiểu thêm về bí danh và cách đặt bí danh, hãy xem  . Chúng tôi cũng sẽ sử dụng   , công cụ dòng lệnh MinIO Client, vì vậy hãy đảm bảo bạn có nó  .   máy chủ MinIO   khởi động lại nó   tài liệu mc   Cài đặt  Tiếp theo, hãy định cấu hình thông báo sự kiện cho nhóm của chúng tôi và loại sự kiện mà chúng tôi muốn được thông báo. Với mục đích của dự án này, tôi đã tạo một nhóm hoàn toàn mới cũng có tên là '   '. Bạn có thể làm điều này  hoặc   Vì chúng tôi muốn kích hoạt webhook khi thêm các đối tượng mới vào nhóm '   nên các sự kiện   là trọng tâm của chúng tôi. Thay thế ALIAS bằng   và BUCKET bằng nhóm mong muốn trên máy chủ đó. Cũng như trước đây, hãy đảm bảo thay thế <YOURFUNCTIONNAME> bằng cùng giá trị mà bạn đã sử dụng ở bước trước đó. extract   thông qua Bảng điều khiển MinIO mc   lệnh trích xuất' PUT bí danh triển khai máy chủ MinIO của bạn   mc event add ALIAS/BUCKET arn:minio:sqs::<YOURFUNCTIONNAME>:webhook --event put  Cuối cùng, bạn có thể kiểm tra xem bạn đã định cấu hình đúng loại sự kiện cho thông báo nhóm hay chưa bằng cách xác minh xem   có được xuất ra khi bạn chạy lệnh này hay không: s3:ObjectCreated:*   mc event ls ALIAS/BUCKET arn:minio:sqs::<YOURFUNCTIONNAME>:webhook  Nếu bạn muốn tìm hiểu thêm về cách xuất bản các sự kiện nhóm lên webhook, hãy xem    cũng như thế này  . Bây giờ, chúng tôi đã sẵn sàng dùng thử máy chủ trích xuất văn bản của mình.   bác sĩ suy luận   đi sâu vào thông báo sự kiện  Hãy thử nó  Đây là tài liệu mà tôi muốn trích xuất văn bản từ đó. nó là một  , một bộ luật tài chính có ảnh hưởng ở Hoa Kỳ.    PDF của Đạo luật Hiện đại hóa Tương lai Hàng hóa năm 2000  Tôi đặt bản PDF này vào nhóm '   ' của mình bằng Bảng điều khiển MinIO.  trích xuất  Sự kiện PUT này kích hoạt thông báo nhóm, sau đó được xuất bản tới điểm cuối của máy chủ trích xuất. Theo đó, văn bản được Tika trích xuất và in ra console.   Bước tiếp theo   Mặc dù hiện tại chúng tôi chỉ in ra văn bản được trích xuất nhưng văn bản này có thể đã được sử dụng cho nhiều tác vụ tiếp theo, như được gợi ý trong Tiền đề. Ví dụ:    : Hãy tưởng tượng bạn muốn tinh chỉnh một mô hình ngôn ngữ lớn trên một bộ sưu tập tài liệu của công ty tồn tại ở nhiều định dạng tệp khác nhau (ví dụ: PDF, DOCX, PPTX, Markdown, v.v.). Để tạo tập dữ liệu văn bản, thân thiện với LLM cho tác vụ này, bạn có thể thu thập tất cả các tài liệu này vào nhóm MinIO được định cấu hình bằng một webhook tương tự và chuyển văn bản được trích xuất cho từng tài liệu vào khung dữ liệu của tập huấn luyện/tinh chỉnh. Hơn nữa, bằng cách có các tệp nguồn của tập dữ liệu của bạn trên MinIO, việc quản lý, kiểm tra và theo dõi thành phần tập dữ liệu của bạn trở nên dễ dàng hơn nhiều. Tạo tập dữ liệu để tinh chỉnh LLM    : RAG là cách mà các ứng dụng LLM có thể sử dụng ngữ cảnh chính xác và tránh ảo giác. Khía cạnh trọng tâm của phương pháp này là đảm bảo văn bản trong tài liệu của bạn có thể được trích xuất và sau đó được nhúng vào các vectơ, từ đó cho phép tìm kiếm ngữ nghĩa. Ngoài ra, cách tốt nhất thường là lưu trữ tài liệu nguồn thực tế của các vectơ này trong kho lưu trữ đối tượng (như MinIO!). Với cách tiếp cận được nêu trong bài đăng này, bạn có thể dễ dàng đạt được cả hai. Nếu bạn muốn tìm hiểu thêm về RAG và lợi ích của nó, hãy xem phần này  . Thế hệ tăng cường truy xuất   bài đăng trước đó    : Với cách lập trình để trích xuất ngay văn bản từ tài liệu mới được lưu trữ, khả năng là vô tận, đặc biệt nếu bạn có thể sử dụng LLM. Hãy nghĩ đến việc phát hiện từ khóa (ví dụ: Lời nhắc: “Những mã cổ phiếu nào được đề cập?”), đánh giá nội dung (ví dụ: Lời nhắc: “Theo tiêu chí đánh giá, bài luận này sẽ đạt được điểm bao nhiêu?) hoặc gần như bất kỳ loại phân tích dựa trên văn bản nào (tức là Lời nhắc: “Dựa trên kết quả nhật ký này, lỗi đầu tiên xảy ra khi nào?”). Ứng dụng LLM  Ngoài tiện ích của Thông báo nhóm cho các tác vụ này, MinIO còn được xây dựng để cung cấp khả năng chịu lỗi và hiệu suất đẳng cấp thế giới cho bất kỳ loại và số lượng đối tượng nào – cho dù chúng là Powerpoint, hình ảnh hay đoạn mã.  Nếu bạn có bất kỳ câu hỏi nào hãy tham gia cùng chúng tôi  hoặc gửi cho chúng tôi một ghi chú tại  . Chúng tôi đang ở đây để giúp bạn.   Kênh Slack   xin chào@min.io

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Developers do. Download MinIO and see for yourself. 

MinIO

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

dài quá đọc không nổi

Get Free Unlimited IP Geo Data With IPinfo Lite

Tận dụng MinIO và Apache Tika để trích xuất và phân tích văn bản tự động

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

145 Stories To Learn About Book

184 Stories To Learn About Psychology

85 Stories To Learn About Travel

72 Stories To Learn About Adam Smith

145 Stories To Learn About Book

184 Stories To Learn About Psychology

85 Stories To Learn About Travel

72 Stories To Learn About Adam Smith

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps