В этом посте мы будем использовать MinIO Bucket Notifications и Apache Tika для извлечения текста документа, что лежит в основе критически важных последующих задач, таких как обучение модели большого языка (   ) и поисковая дополненная генерация (   ). LLM RAG  Предпосылка  Допустим, я хочу создать набор текстовых данных, который затем смогу использовать для  LLM. Для этого нам сначала нужно собрать различные документы (которые могут иметь разные форм-факторы в зависимости от их источника) и извлечь из них текст. Безопасность и возможность аудита набора данных имеют первостепенное значение, поэтому эти неструктурированные документы необходимо хранить в хранилище объектов, чтобы они соответствовали друг другу. MinIO — это хранилище объектов, созданное для  . С другой стороны, Apache Tika — это набор инструментов, который «обнаруживает и извлекает метаданные и текст из более чем тысячи различных типов файлов (таких как PPT, XLS и PDF)». Вместе они объединяются, чтобы сформировать систему, которая может достичь нашей цели.   тонкая настройка   эти ситуации и многое другое  , мы собрали сервер вывода обнаружения объектов с MinIO прямо из коробки и примерно 30 строк кода. Мы собираемся снова использовать эту легко переносимую и повторяемую архитектуру, на этот раз для задачи извлечения текста. Ниже приведено примерное изображение системы, которую мы собираемся построить.    В предыдущем посте  Настройка Apache Тика  Самый простой способ запустить Apache Tika — использовать  . Проверьте Docker Hub на наличие нужной версии/тега образа Tika.    официальный образ Docker  В этом примере я разрешаю ему использовать и выставлять порт по умолчанию — 9998.   docker pull apache/tika:<version> docker run -d -p 127.0.0.1:9998:9998 apache/tika:<version>  Используйте   или Docker Desktop, чтобы убедиться, что контейнер Tika запущен и открыт порт 9998. docker ps  Создание сервера извлечения текста  Теперь, когда Tika запущена, нам нужно создать сервер, который сможет программно выполнять запросы Tika на извлечение новых объектов. После этого нам нужно настроить веб-перехватчики в корзине MinIO, чтобы предупреждать этот сервер о прибытии новых объектов (другими словами, события PUT для корзины). Давайте пройдемся по нему шаг за шагом.  Чтобы упростить задачу и подчеркнуть переносимость этого подхода, сервер извлечения текста будет построен на Python с использованием популярной инфраструктуры Flask. Вот код сервера (также доступен в репозитории ресурсов блога MinIO в разделе  ), который выполняет извлечение текста из новых документов, добавленных в корзину с помощью Tika (через  ).   добыча_server.py   Тика-Питон   """ This is a simple Flask text extraction server that functions as a webhook service endpoint for PUT events in a MinIO bucket. Apache Tika is used to extract the text from the new objects. """ from flask import Flask, request, abort, make_response import io import logging from tika import parser from minio import Minio # Make sure the following are populated with your MinIO details # (Best practice is to use environment variables!) MINIO_ENDPOINT = '' MINIO_ACCESS_KEY = '' MINIO_SECRET_KEY = '' # This depends on how you are deploying Tika (and this server): TIKA_SERVER_URL = 'http://localhost:9998/tika' client = Minio( MINIO_ENDPOINT, access_key=MINIO_ACCESS_KEY, secret_key=MINIO_SECRET_KEY, ) logger = logging.getLogger(__name__) app = Flask(__name__) @app.route('/', methods=['POST']) async def text_extraction_webhook(): """ This endpoint will be called when a new object is placed in the bucket """ if request.method == 'POST': # Get the request event from the 'POST' call event = request.json bucket = event['Records'][0]['s3']['bucket']['name'] obj_name = event['Records'][0]['s3']['object']['key'] obj_response = client.get_object(bucket, obj_name) obj_bytes = obj_response.read() file_like = io.BytesIO(obj_bytes) parsed_file = parser.from_buffer(file_like.read(), serverEndpoint=TIKA_SERVER_URL) text = parsed_file["content"] metadata = parsed_file["metadata"] logger.info(text) result = { "text": text, "metadata": metadata } resp = make_response(result, 200) return resp else: abort(400) if __name__ == '__main__': app.run()  Запустим сервер извлечения:   Запишите имя хоста и порт, на котором работает приложение Flask.  Настройка уведомлений сегмента  Теперь все, что осталось, — это настроить веб-перехватчик для корзины на сервере MinIO, чтобы любые события PUT (то есть добавленные новые объекты) в корзине инициировали вызов конечной точки извлечения. С помощью инструмента   мы можем сделать это всего за несколько команд. mc  Во-первых, нам нужно установить несколько переменных среды, чтобы сигнализировать вашему серверу MinIO о том, что вы разрешаете веб-перехватчик и вызов соответствующей конечной точки. Замените <YOURFUNCTIONNAME> именем функции по вашему выбору. Для простоты я выбрал   Кроме того, убедитесь, что для переменной среды конечной точки задан правильный хост и порт для вашего сервера вывода. В данном случае http://localhost:5000 — это место, где работает наше приложение Flask. «извлечение».   export MINIO_NOTIFY_WEBHOOK_ENABLE_<YOURFUNCTIONNAME>=on export MINIO_NOTIFY_WEBHOOK_ENDPOINT_<YOURFUNCTIONNAME>=http://localhost:5000  После установки этих переменных среды запустите  (или, если он уже запущен,  ). На следующих шагах нам понадобится «псевдоним» для развертывания вашего сервера MinIO. Чтобы узнать больше о псевдонимах и о том, как их установить, ознакомьтесь с  . Мы также будем использовать   , инструмент командной строки клиента MinIO, поэтому убедитесь, что он у вас есть.  .   МинИО-сервер   перезапусти его   документация mc   установлен  Далее давайте настроим уведомление о событиях для нашей корзины и тип события, о котором мы хотим получать уведомления. Для целей этого проекта я создал совершенно новое ведро, также названное «   ». Вы можете сделать это либо  или   Поскольку мы хотим активировать веб-перехватчик при добавлении новых объектов в корзину «   , в центре внимания находятся события   . Замените ALIAS   , а BUCKET — желаемым сегментом на этом сервере. Как и раньше, обязательно замените <YOURFUNCTIONNAME> тем же значением, которое вы использовали на предыдущем шаге. извлечение   через консоль MinIO mc   команды извлечение» PUT псевдонимом вашего развертывания сервера MinIO   mc event add ALIAS/BUCKET arn:minio:sqs::<YOURFUNCTIONNAME>:webhook --event put  Наконец, вы можете проверить, что вы настроили правильный тип событий для уведомлений корзины, проверив, выводится ли   при запуске этой команды: s3:ObjectCreated:*   mc event ls ALIAS/BUCKET arn:minio:sqs::<YOURFUNCTIONNAME>:webhook  Если вы хотите узнать больше о публикации событий корзины в веб-перехватчике, ознакомьтесь со статьей    , а также это  . Теперь мы готовы опробовать наш сервер извлечения текста.   док упоминание   глубокое погружение в уведомления о событиях  Попробуйте это  Вот документ, из которого я хочу извлечь текст. Это  , влиятельный элемент финансового законодательства в Соединенных Штатах.    PDF Закона о будущей модернизации сырьевых товаров 2000 г.  Я поместил этот PDF-файл в корзину   с помощью консоли MinIO.  для извлечения  Это событие PUT запускает уведомление сегмента, которое затем публикуется на конечной точке сервера извлечения. Соответственно, текст извлекается Тикой и выводится на консоль.   Следующие шаги   Хотя на данный момент мы просто распечатываем извлеченный текст, этот текст можно было бы использовать для многих последующих задач, как намекается в «Предпосылке». Например:    . Представьте, что вы хотите точно настроить большую языковую модель для коллекции корпоративных документов, существующих в различных форматах файлов (например, PDF, DOCX, PPTX, Markdown и т. д.). Чтобы создать удобный для LLM текстовый набор данных для этой задачи, вы можете собрать все эти документы в корзину MinIO, настроенную с помощью аналогичного веб-перехватчика, и передать извлеченный текст для каждого документа в фрейм данных набора тонкой настройки/обучения. Более того, имея исходные файлы вашего набора данных на MinIO, становится намного проще управлять, проверять и отслеживать состав ваших наборов данных. Создание набора данных для тонкой настройки LLM    : RAG — это способ, с помощью которого приложения LLM могут использовать точный контекст и избегать галлюцинаций. Центральным аспектом этого подхода является обеспечение возможности извлечения текста ваших документов и его последующего внедрения в векторы, что обеспечивает возможность семантического поиска. Кроме того, обычно рекомендуется хранить исходные документы этих векторов в хранилище объектов (например, MinIO!). Используя подход, изложенный в этом посте, вы можете легко достичь и того, и другого. Если вы хотите узнать больше о RAG и его преимуществах, ознакомьтесь с этим  . Поисковая дополненная генерация   предыдущий пост    : благодаря программному способу мгновенного извлечения текста из вновь сохраненного документа возможности безграничны, особенно если вы можете использовать LLM. Подумайте об обнаружении ключевых слов (например, подсказка: «Какие биржевые котеры упоминаются?»), оценке контента (т. е. подсказка: «Какую оценку должно получить это эссе по рубрике?)» или практически о любом текстовом анализе. (т. е. подсказка: «На основании этих данных журнала, когда произошла первая ошибка?»). Приложение LLM  Помимо использования групповых уведомлений для этих задач, MinIO создан для обеспечения отказоустойчивости и производительности мирового класса для любого типа и количества объектов — будь то Powerpoints, изображения или фрагменты кода.  Если у вас есть вопросы, присоединяйтесь к нам  или напишите нам по адресу  . Мы здесь чтобы помочь вам.   Слабый канал   привет@min.io

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Developers do. Download MinIO and see for yourself. 

MinIO

Этот звук создан на языке оригинала истории!

Слишком долго; Читать

Get Free Unlimited IP Geo Data With IPinfo Lite

Использование MinIO и Apache Tika для автоматического извлечения и анализа текста

About Author

КОММЕНТАРИИ

БИРКИ

ЭТА СТАТЬЯ БЫЛА ПРЕДСТАВЛЕНА В

Related Stories

Утечка информации о системе Claude Sonnet 3.5: судебно-медицинский анализ

Модель Bitcoin UTXO, обеспечивающая работу уникальной экосистемы

Нажмите, чтобы заработать: Telegram может привлечь следующие 10 миллиардов пользователей криптовалюты до Соланы

Как улучшить ваш рабочий процесс в 10 раз: 17 основных приложений

Утечка информации о системе Claude Sonnet 3.5: судебно-медицинский анализ

Модель Bitcoin UTXO, обеспечивающая работу уникальной экосистемы

Нажмите, чтобы заработать: Telegram может привлечь следующие 10 миллиардов пользователей криптовалюты до Соланы

Как улучшить ваш рабочий процесс в 10 раз: 17 основных приложений

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps