Аналитика на DynamoDB Инженерным командам часто приходится запускать сложные фильтры, агрегаты и текстовый поиск по данным из DynamoDB. Однако DynamoDB — это оперативная база данных, оптимизированная для обработки транзакций, а не для анализа в реальном времени. В результате многие инженерные группы столкнулись с ограничениями по аналитике DynamoDB и ищут альтернативные варианты. Это связано с тем, что операционные рабочие нагрузки имеют совсем другие шаблоны доступа, чем сложные аналитические рабочие нагрузки. DynamoDB поддерживает только ограниченный набор операций, что усложняет аналитику, а в некоторых ситуациях делает ее невозможной. Даже , компания, стоящая за DynamoDB, советует компаниям рассмотреть возможность переноса аналитики на другие специализированные решения. Одним из часто упоминаемых решений является Elasticsearch, в которое мы сегодня углубимся. AWS — одна из самых популярных баз данных NoSQL, которая используется многими веб-компаниями в сфере игр, социальных сетей, Интернета вещей и финансовых услуг. DynamoDB — это база данных, которую выбирают из-за ее масштабируемости и простоты, обеспечивающей производительность, равную однозначным миллисекундам, при масштабах 20 миллионов запросов в секунду. Чтобы достичь такой скорости в масштабе, DynamoDB уделяет большое внимание обеспечению производительности для рабочих нагрузок — высокочастотных операций с низкой задержкой над отдельными записями данных. DynamoDB — это распределенная поисковая система с открытым исходным кодом, построенная на Lucene и используемая для текстового поиска и анализа журналов. Elasticsearch является частью более крупного стека ELK, который включает Kibana, инструмент визуализации для аналитических информационных панелей. Хотя Elasticsearch известен своей гибкостью и широкими возможностями настройки, это сложная распределенная система, для поддержания производительности которой требуются операции с кластерами и индексами, а также управление ими. Существуют управляемые предложения Elasticsearch, доступные от Elastic и AWS, поэтому вам не нужно запускать их самостоятельно на экземплярах EC2. Elasticsearch Shameless Plug: — это база данных аналитики в реальном времени, созданная для облака. Он имеет встроенный коннектор к DynamoDB и принимает и индексирует данные для поиска, агрегирования и объединения за доли секунды. Но эта статья посвящена вариантам использования DynamoDB и Elasticsearch, на случай, если вы захотите изучить этот вариант. Rockset Подключение DynamoDB к Elasticsearch с помощью AWS Lambda Вы можете использовать AWS Lambda для непрерывной загрузки данных DynamoDB в Elasticsearch для аналитики. Вот как это работает: Создайте лямбда-функцию для синхронизации каждого обновления из с Elasticsearch. потока DynamoDB Создайте лямбда-функцию, чтобы сделать снимок существующей таблицы DynamoDB и отправить его в Elasticsearch. Для чтения содержимого таблицы DynamoDB можно использовать или . сценарий EC2 поток Amazon Kinesis Существует альтернативный подход к синхронизации данных с Elasticsearch с использованием для DynamoDB, но он в настоящее время не поддерживается и его может быть сложно настроить. плагина Logstash Текстовый поиск по данным DynamoDB с использованием Elasticsearch Текстовый поиск — это поиск текста внутри документа с целью найти наиболее релевантные результаты. Часто вам нужно искать часть слова, синоним или антонимы слов или строку слов вместе, чтобы найти наилучший результат. Некоторые приложения даже оценивают условия поиска по-разному в зависимости от их важности. DynamoDB может поддерживать некоторые ограниченные варианты использования текстового поиска, просто используя секционирование для фильтрации данных. Например, если у вас сайт электронной коммерции, вы можете разделить данные в DynamoDB на основе категории продуктов, а затем запустить поиск в памяти. Судя по всему, именно так обрабатывает множество случаев использования текстового поиска. DynamoDB также поддерживает , которая позволяет найти строку, содержащую определенную подстроку данных. розничное подразделение Amazon.com функцию contains Сайт электронной коммерции может разделять данные по категориям продуктов. Дополнительные атрибуты могут отображаться вместе с искомыми данными, такими как марка и цвет. В сценариях, где полнотекстовый поиск является основой вашего приложения, вам потребуется использовать поисковую систему, такую как Elasticsearch, с рейтингом релевантности. Вот как работает текстовый поиск на высоком уровне в Elasticsearch: : Elasticsearch имеет рейтинг релевантности, который он автоматически присваивает результатам поиска, или вы можете настроить рейтинг для вашего конкретного случая использования приложения. По умолчанию Elasticsearch создает рейтинг ранжирования на основе частоты терминов, обратной частоты документов и нормы длины поля. Рейтинг релевантности : Elasticsearch разбивает текст на токены для индексации данных, что называется токенизацией. Затем к нормализованным терминам применяются анализаторы для улучшения результатов поиска. Стандартный анализатор по умолчанию разделяет текст в соответствии с Консорциумом Unicode, чтобы обеспечить общую многоязычную поддержку. Анализ текста В Elasticsearch также есть такие концепции, как нечеткий поиск, поиск с автозаполнением и даже более расширенная релевантность, которую можно настроить в соответствии со спецификой вашего приложения. Сложные фильтры данных DynamoDB с использованием Elasticsearch Сложные фильтры используются для сужения набора результатов, тем самым обеспечивая более быстрое и эффективное получение данных. Во многих сценариях поиска вам потребуется объединить несколько фильтров или фильтровать по диапазону данных, например за определенный период времени. DynamoDB разделяет данные и выбор хорошего ключа раздела может помочь повысить эффективность фильтрации данных. DynamoDB также поддерживает вторичные индексы, что позволяет реплицировать данные и использовать другой первичный ключ для поддержки дополнительных фильтров. могут быть полезны, когда к вашим данным применяется несколько шаблонов доступа. Вторичные индексы Например, логистическое приложение может быть разработано для фильтрации товаров по статусу их доставки. Чтобы смоделировать этот сценарий в DynamoDB, мы создадим базовую таблицу для логистики с ключом раздела , ключом сортировки и атрибутами покупателя, и . Item_ID Status ETA SLA Нам также необходимо поддерживать дополнительный шаблон доступа в DynamoDB на случай, если задержки доставки превышают соглашение об уровне обслуживания. Вторичные индексы в DynamoDB можно использовать для фильтрации только тех поставок, которые превышают соглашение об уровне обслуживания. В поле будет создан индекс, который является копией атрибута ETA, уже находящегося в базовой таблице. Эти данные включаются в только в том случае, если ETA превышает SLA. Вторичный индекс — это разреженный индекс, уменьшающий объем данных, которые необходимо сканировать в запросе. — это ключ раздела, а ключ сортировки — . ETADelayedBeyondSLA ETADelayedBeyondSLA buyer ETADelayedBeyondSLA Вторичные индексы можно использовать для поддержки нескольких шаблонов доступа в приложении, включая шаблоны доступа, включающие сложные фильтры. DynamoDB имеет операцию в своем API запросов и сканирования для фильтрации результатов, которые не соответствуют выражению. применяется только после запроса или операции сканирования таблицы, поэтому вы по-прежнему привязаны к ограничению данных в 1 МБ для запроса. Тем не менее, полезно для упрощения логики приложения, уменьшения размера полезных данных ответа и проверки срока действия. Таким образом, вам все равно придется секционировать данные в соответствии с шаблонами доступа вашего приложения или использовать вторичные индексы для фильтрации данных в DynamoDB. filterexpression filterexpression filterexpression DynamoDB упорядочивает данные по ключам и значениям для быстрого поиска данных и не идеален для сложной фильтрации. Если вам нужны сложные фильтры, вы можете перейти на поисковую систему, такую как Elasticsearch, поскольку эти системы идеально подходят для запросов в стоге сена. В Elasticsearch данные хранятся в индексе поиска, то есть в списке документов, для которых значение столбца хранится в виде списка проводок. Любой запрос, имеющий предикат (например: user=A), может быстро получить список документов, удовлетворяющих предикату. Поскольку списки публикаций отсортированы, их можно быстро объединить во время запроса, чтобы были соблюдены все критерии фильтрации. Elasticsearch также использует для ускорения процесса поиска часто используемых сложных фильтровальных запросов. WHERE простое кэширование Запросы с фильтрами, обычно называемые в Elasticsearch , могут извлекать данные быстрее и эффективнее, чем запросы текстового поиска. Это потому, что для этих запросов не требуется релевантность. Кроме того, Elasticsearch также поддерживает запросы диапазона, что позволяет быстро извлекать данные между верхней и нижней границей (например, от 0 до 5). запросами без оценки age Агрегирование данных DynamoDB с использованием Elasticsearch Агрегации — это когда данные собираются и выражаются в сводной форме для бизнес-аналитики или анализа тенденций. Например, вы можете захотеть отображать показатели использования вашего приложения в режиме реального времени. DynamoDB не поддерживает агрегатные функции. Обходной путь, рекомендованный AWS, — использовать для поддержания агрегированного представления данных в таблице DynamoDB. DynamoDB и Lambda Давайте в качестве примера возьмем на сайте социальной сети, например Twitter. Мы первичным ключом, а ключ сортировки — временным окном, по которому мы собираем лайки. В этом случае мы включим потоки DynamoDB и подключим функцию Lambda, чтобы твиты нравились (или не нравились) и отображались в с отметкой времени (т. е.: ). агрегирование лайков tweet_ID like_count last_ updated В этом сценарии потоки DynamoDB и функции Lambda используются для табулирования Like_count в качестве атрибута таблицы. Другой вариант — выгрузить агрегаты в другую базу данных, например Elasticsearch. Elasticsearch по своей сути представляет собой поисковый индекс, в который добавлены расширения для поддержки функций агрегирования. Одним из таких расширений являются , структура, созданная во время индексации для хранения значений документа в виде столбцов. Эта структура по умолчанию применяется к полям, которые поддерживают значения документа, и существует некоторое раздувание хранилища, связанное со значениями документа. Если вам требуется поддержка только агрегирования данных DynamoDB, возможно, будет более рентабельно использовать хранилище данных, которое может эффективно сжимать данные для аналитических запросов к широким наборам данных. значения документа Вот общий обзор структуры : агрегации Elasticsearch . Вы можете думать о сегментировании как о в мире баз данных SQL. Вы можете группировать документы на основе значений полей или диапазонов. Агрегации корзин Elasticsearch также включают в себя вложенную агрегацию и агрегацию родительских и дочерних элементов, которые являются распространенными обходными путями отсутствия поддержки соединений. Агрегации сегментов GROUP BY Метрики позволяют выполнять такие вычисления, как , , , , и т. д., над набором документов. Метрики также можно использовать для расчета значений для агрегирования сегментов. Агрегации метрик. SUM COUNT AVG MIN MAX . Входными данными для конвейерных агрегатов являются другие агрегаты, а не документы. Обычное использование включает средние значения и сортировку на основе метрики. Конвейерные агрегаты Использование агрегатов может повлиять на производительность, особенно при . масштабировании Elasticsearch Альтернатива Elasticsearch для поиска, агрегирования и объединения в DynamoDB Хотя Elasticsearch является одним из решений для выполнения сложного поиска и агрегирования данных из DynamoDB, многие выразили обеспокоенность по поводу этого выбора. Команды инженеров выбирают DynamoDB, поскольку она не требует разделения и может использоваться в большом масштабе с минимальными эксплуатационными расходами. В другом блоге мы оценили несколько других вариантов , включая Athena, Spark и Rockset, с точки зрения простоты настройки, обслуживания, возможности выполнения запросов и задержки. сторонники бессерверных технологий аналитики на DynamoDB Rockset — альтернатива Elasticsearch, и Алекс ДеБри рассмотрел с использованием SQL на Rockset. Rockset — это облачная база данных со , упрощающая начало работы и масштабирование вариантов аналитического использования, включая варианты использования со сложными соединениями. Вы можете изучить Rockset как альтернативу Elasticsearch в нашей с кредитами в размере 300 долларов США. фильтрацию и агрегирование запросов встроенным коннектором к DynamoDB бесплатной пробной версии
