LanceDB: ваш надежный помощник в борьбе со сложностью данных

Основанная на Lance, формате столбчатых данных с открытым исходным кодом, LanceDB имеет несколько интересных функций, которые делают ее привлекательной для AI/ML. Например, LanceDB поддерживает явную и неявную векторизацию с возможностью обработки различных типов данных. LanceDB интегрирован с ведущими платформами машинного обучения, такими как и . Еще круче быстрый поиск соседей LanceDB, который позволяет эффективно находить похожие векторы с использованием приблизительных алгоритмов ближайшего соседа. Все это в совокупности создает векторную базу данных, которая является быстрой, простой в использовании и настолько легкой, что ее можно развернуть где угодно. PyTorch ТензорФлоу LanceDB способна запрашивать данные в S3-совместимом объектном хранилище. Эта комбинация оптимальна для создания высокопроизводительных, масштабируемых и облачных систем хранения и поиска данных машинного обучения. MinIO обеспечивает производительность и беспрецедентную гибкость при работе с разнообразным оборудованием, местоположениями и облачными средами, что делает его естественным выбором для таких развертываний. По завершении этого руководства вы будете готовы использовать LanceDB и MinIO для решения любых задач, связанных с данными. Что такое Лэнс? Формат файла — это формат столбчатых данных, оптимизированный для рабочих процессов и наборов данных машинного обучения. Он разработан таким образом, чтобы его можно было легко и быстро создавать, запрашивать и использовать для обучения, и он подходит для различных типов данных, включая изображения, видео, трехмерные облака точек, аудио и табличные данные. Кроме того, он поддерживает высокопроизводительный произвольный доступ: с в 100 раз быстрее Parquet в запросах. Скорость Lance отчасти является результатом реализации на Rust и его облачного дизайна, который включает в себя такие функции, как управление версиями с нулевым копированием и оптимизированные векторные операции. Лэнс Контрольные показатели отчетности Lance Один из его это возможность выполнять векторный поиск, позволяющий пользователям находить менее чем за 1 миллисекунду и объединить OLAP-запросы с векторным поиском. Другие производственные приложения для формата lance включают развертываемые на периферии векторные базы данных с малой задержкой для приложений машинного обучения, крупномасштабное хранение, извлечение и обработку мультимодальных данных в компаниях по производству беспилотных автомобилей, а также персонализированный поиск векторов в более чем миллиарде масштабов в электронном виде. -торговые компании. Частично привлекательность формата файла Lance заключается в его совместимости с популярными инструментами и платформами, такими как Pandas, , полярные и . Даже если вы не используете LanceDB, вы все равно можете использовать формат файла Lance в своем стеке данных. ключевая особенность ближайшие соседи ДакДБ Пярроу Создан для искусственного интеллекта и машинного обучения Векторные базы данных, такие как LanceDB, предлагают явные преимущества для приложений искусственного интеллекта и машинного обучения благодаря своей эффективной а также вычислительные архитектуры и поиск многомерных векторных представлений данных. Вот несколько ключевых случаев использования: отдельное хранилище Обработка естественного языка (НЛП): находите документы или отрывки, похожие на запрос, по смыслу, а не только по ключевым словам. Это обеспечивает ответы чат-ботов, персонализированные рекомендации по контенту и системы поиска знаний. Семантический поиск: Понимайте сложные вопросы и отвечайте на них, находя соответствующие отрывки текста на основе семантического сходства. Ответы на вопросы: обнаруживайте скрытые темы в больших текстовых коллекциях, что полезно для кластеризации документов и анализа тенденций. Моделирование тем: Компьютерное зрение: поиск похожих изображений или видео на основе визуального контента, что имеет решающее значение для поиска изображений на основе контента, поиска продуктов и анализа видео. Поиск изображений и видео: Повышайте точность моделей обнаружения и классификации объектов за счет эффективного получения аналогичных обучающих данных. Обнаружение и классификация объектов. : рекомендуйте похожие видео на основе визуального содержания ранее просмотренных видео. Видеорекомендация Среди множества векторных баз данных, представленных на рынке, LanceDB особенно хорошо подходит для искусственного интеллекта и машинного обучения, поскольку поддерживает запросы к S3-совместимому хранилищу. Ваши данные повсюду, ваша база данных тоже должна быть повсюду. Архитектура для успеха Использование MinIO с LanceDB дает ряд преимуществ, в том числе: : Облачный дизайн MinIO создан для масштабируемого и высокопроизводительного хранения и извлечения данных. Используя масштабируемость и производительность MinIO, LanceDB может эффективно обрабатывать большие объемы данных, что делает его хорошо подходящим для современных рабочих нагрузок машинного обучения. Масштабируемость и производительность : MinIO отличается высокой доступностью, неизменностью и высокой надежностью. Это гарантирует, что данные, хранящиеся в MinIO, защищены от аппаратных сбоев, а также обеспечивают высокую доступность и отказоустойчивость, которые имеют решающее значение для приложений с интенсивным использованием данных, таких как LanceDB. Высокая доступность и отказоустойчивость : Репликация «активный-активный» на нескольких площадках обеспечивает почти синхронную репликацию данных между несколькими развертываниями MinIO. Этот надежный процесс обеспечивает высокую надежность и резервирование, что делает его идеальным для защиты данных в критически важных производственных средах. Активно-активная репликация Комбинация MinIO и LanceDB обеспечивает высокопроизводительное масштабируемое облачное решение для управления и анализа крупномасштабных наборов данных машинного обучения. Требования Чтобы следовать этому руководству, вам нужно будет использовать . Вы можете установить двоичные файлы Docker Engine и Docker Compose отдельно или вместе с помощью Docker Desktop. Самый простой вариант — установить Docker Desktop. Докер Составление Убедитесь, что Docker Compose установлен, выполнив следующую команду: docker compose version Вам также потребуется установить Python. Вы можете скачать Python с . Во время установки обязательно установите флажок добавить Python в PATH вашей системы. здесь При желании вы можете создать виртуальную среду. Хорошей практикой является создание виртуальной среды для изоляции зависимостей. Для этого откройте терминал и запустите: python -m venv venv Чтобы активировать виртуальную среду: В Windows: .\venv\Scripts\activate В macOS/Linux: source venv/bin/activate Начиная Начните с клонирования проекта из . После этого перейдите в папку, в которую вы загрузили файлы, в окне терминала и запустите: здесь docker-compose up minio Это запустит контейнер MinIO. Вы можете перейти к ' ', чтобы взглянуть на консоль MinIO. http://172.20.0.2:9001 Войдите в систему, используя имя пользователя и пароль . minioadmin:minioadmin Затем выполните следующую команду, чтобы создать корзину MinIO под названием . lance docker compose up mc Эта команда выполняет ряд (mc) команды внутри оболочки. Клиент MinIO Вот разбивка каждой команды: ;: Эта команда неоднократно пытается настроить хост MinIO с именем с указанными параметрами (конечная точка, ключ доступа и секретный ключ) до достижения успеха. Во время каждой попытки отображается ожидающее сообщение и делается пауза на 1 секунду. до тех пор, пока (/usr/bin/mc config хост не добавит minio http://minio:9000 minioadmin minioadmin) do echo '...waiting...' && Sleep 1; Done minio Эта команда принудительно удаляет (удаляет) все содержимое в контейнере в MinIO. /usr/bin/mc rm -r --force minio/lance;: lance : эта команда создает в MinIO новую корзину с именем . /usr/bin/mc mb minio/lance; lance : эта команда устанавливает общедоступную политику корзины, разрешая публичный доступ для чтения. /usr/bin/mc установка политики public minio/lance; lance : Эта команда гарантирует, что сценарий завершит работу с кодом состояния 0, что указывает на успешное выполнение. выход 0; ЛансДБ К сожалению, LanceDB не имеет встроенной поддержки S3, и в результате вам придется использовать что-то вроде boto3 для подключения к созданному вами контейнеру MinIO. По мере развития LanceDB мы с нетерпением ожидаем появления встроенной поддержки S3, которая сделает работу пользователя еще лучше. Приведенный ниже пример сценария поможет вам начать. Установите необходимые пакеты с помощью pip. Создайте файл с именем require.txt следующего содержания: lancedb~=0.4.1 boto3~=1.34.9 botocore~=1.34.9 Затем выполните следующую команду для установки пакетов: pip install -r requirements.txt Вам потребуется изменить свои учетные данные, если ваш метод создания контейнера MinIO отличается от описанного выше. Сохраните приведенный ниже сценарий в файл, например, . lancedb_script.py import lancedb import os import boto3 import botocore import random def generate_random_data(num_records): data = [] for _ in range(num_records): record = { "vector": [random.uniform(0, 10), random.uniform(0, 10)], "item": f"item_{random.randint(1, 100)}", "price": round(random.uniform(5, 100), 2) } data.append(record) return data def main(): # Set credentials and region as environment variables os.environ["AWS_ACCESS_KEY_ID"] = "minioadmin" os.environ["AWS_SECRET_ACCESS_KEY"] = "minioadmin" os.environ["AWS_ENDPOINT"] = "http://localhost:9000" os.environ["AWS_DEFAULT_REGION"] = "us-east-1" minio_bucket_name = "lance" # Create a boto3 session with path-style access session = boto3.Session() s3_client = session.client("s3", config=botocore.config.Config(s3={'addressing_style': 'path'})) # Connect to LanceDB using path-style URI and s3_client db_uri = f"s3://{minio_bucket_name}/" db = lancedb.connect(db_uri) # Create a table with more interesting data table = db.create_table("mytable", data=generate_random_data(100)) # Open the table and perform a search result = table.search([5, 5]).limit(5).to_pandas() print(result) if __name__ == "__main__": main() Этот скрипт создаст таблицу Lance из случайно сгенерированных данных и добавит ее в корзину MinIO. Опять же, если вы не используете метод из предыдущего раздела для создания сегмента, вам нужно будет сделать это перед запуском сценария. Не забудьте изменить приведенный выше пример сценария, чтобы он соответствовал тому, как вы называете свою корзину MinIO. Наконец, скрипт открывает таблицу, не перемещая ее из MinIO, и использует Pandas для поиска и печати результатов. Результат работы скрипта должен выглядеть примерно так, как показано ниже. Помните, что сами данные каждый раз генерируются случайным образом. vector item price _distance 0 [5.1022754, 5.1069164] item_95 50.94 0.021891 1 [4.209107, 5.2760105] item_100 69.34 0.701694 2 [5.23562, 4.102992] item_96 99.86 0.860140 3 [5.7922664, 5.867489] item_47 56.25 1.380223 4 [4.458882, 3.934825] item_93 9.90 1.427407 Расширяйтесь самостоятельно На основе этой основы, предложенной в этом руководстве, существует множество способов создания производительных, масштабируемых и ориентированных на будущее архитектур ML/AI. В вашем арсенале есть два передовых строительных блока с открытым исходным кодом — объектное хранилище MinIO и векторная база данных LanceDB — считайте это своим выигрышным билетом в области машинного обучения и искусственного интеллекта. . турнир Не останавливайтесь здесь. LanceDB предлагает широкий спектр и учебные пособия, позволяющие расширить возможности того, что вы создали в этом руководстве, включая недавно анонсированный курс Udacity по . Особый интерес представляет рецепт общения с вашими документами. Мы все за то, чтобы разрушить барьеры на пути к максимальному использованию ваших данных. рецепты Создание решений генеративного искусственного интеллекта с помощью векторных баз данных этот Пожалуйста, покажите нам, что вы создаете, и если вам понадобится помощь в вашем благородном поиске, не стесняйтесь, напишите нам по адресу hello@minio.io или присоединяйтесь к нашему круглому столу на . Слабость