DynamoDB'de Analitik Mühendislik ekiplerinin genellikle DynamoDB'den gelen veriler üzerinde karmaşık filtreler, toplamalar ve metin aramaları yapması gerekir. Ancak DynamoDB, gerçek zamanlı analiz için değil, işlem işleme için optimize edilmiş operasyonel bir veritabanıdır. Sonuç olarak, birçok mühendislik ekibi DynamoDB'de analitik konusunda sınırlara ulaşıyor ve alternatif seçenekler arıyor. Bunun nedeni operasyonel iş yüklerinin karmaşık analitik iş yüklerinden çok farklı erişim modellerine sahip olmasıdır. DynamoDB yalnızca sınırlı sayıda işlemi destekler, bu da analitiği zorlaştırır ve bazı durumlarda mümkün kılmaz. DynamoDB'nin arkasındaki şirket olan bile şirketlere analitiği diğer amaca yönelik çözümlere aktarmayı düşünmelerini tavsiye ediyor. Yaygın olarak başvurulan çözümlerden biri, bugün inceleyeceğimiz Elasticsearch'tür. AWS en popüler NoSQL veritabanlarından biridir ve oyun, sosyal medya, IoT ve finansal hizmetlerde birçok web ölçekli şirket tarafından kullanılmaktadır. DynamoDB, ölçeklenebilirliği ve basitliği nedeniyle tercih edilen veritabanıdır ve saniyede 20 milyon istek ölçeğinde tek haneli milisaniye performansı sağlar. Bu hıza geniş ölçekte ulaşmak için DynamoDB, bireysel veri kayıtlarında yüksek frekanslı, düşük gecikmeli işlemlerle operasyonel iş yüklerine yönelik performansı artırmaya odaklanmıştır. DynamoDB, Lucene üzerine kurulu, metin arama ve günlük analizi kullanım durumları için kullanılan açık kaynaklı, dağıtılmış bir arama motorudur. Elasticsearch, analitik gösterge tablolarına yönelik bir görselleştirme aracı olan Kibana'yı içeren daha büyük ELK yığınının bir parçasıdır. Elasticsearch esnek ve son derece özelleştirilebilir olmasıyla bilinmesine rağmen, performansı korumak için küme ve dizin işlemleri ve yönetimini gerektiren karmaşık bir dağıtılmış sistemdir. Elastic ve AWS'nin yönetilen yönetilen Elasticsearch teklifleri mevcuttur, dolayısıyla bunu EC2 bulut sunucularında kendiniz çalıştırmanıza gerek yoktur. Elasticsearch, Utanmaz Fiş: , bulut için oluşturulmuş gerçek zamanlı bir analiz veritabanıdır. DynamoDB için yerleşik bir bağlayıcıya sahiptir ve bir saniyeden kısa sürede arama, toplama ve birleştirme için verileri alır ve dizine ekler. Ancak bu yazı, bu seçeneği keşfetmek istemeniz durumunda DynamoDB ve Elasticsearch'ün kullanım örneklerini vurgulamakla ilgilidir. Rockset AWS Lambda Kullanarak DynamoDB'yi Elasticsearch'e Bağlama Analitik amacıyla DynamoDB verilerini Elasticsearch'e sürekli olarak yüklemek için AWS Lambda'yı kullanabilirsiniz. İşte nasıl çalışıyor: her güncellemeyi Elasticsearch'e senkronize etmek için bir lambda işlevi oluşturun DynamoDB akışındaki Mevcut DynamoDB tablosunun anlık görüntüsünü almak ve bunu Elasticsearch'e göndermek için bir lambda işlevi oluşturun. DynamoDB tablo içeriğini okumak için bir veya kullanabilirsiniz. EC2 komut dosyası Amazon Kinesis akışı Verileri Elasticsearch'e senkronize etmek için DynamoDB için içeren alternatif bir yaklaşım vardır, ancak şu anda desteklenmemektedir ve yapılandırılması karmaşık olabilir. Logstash Eklentisini Elasticsearch Kullanarak DynamoDB Verilerinde Metin Arama Metin arama, en alakalı sonuçları bulmak için bir belgenin içindeki metnin aranmasıdır. Çoğu zaman, en iyi sonucu bulmak için bir kelimenin bir bölümünü, kelimenin eşanlamlısını veya zıt anlamlısını veya bir kelime dizisini birlikte aramak isteyeceksiniz. Hatta bazı uygulamalar, önemlerine göre arama terimlerini farklı şekilde ağırlıklandıracaktır. DynamoDB, verilerin filtrelenmesine yardımcı olmak için yalnızca bölümlendirmeyi kullanarak bazı sınırlı metin arama kullanım örneklerini destekleyebilir. Örneğin, bir e-ticaret sitesiyseniz DynamoDB'deki verileri bir ürün kategorisine göre bölümlendirebilir ve ardından aramayı bellekte çalıştırabilirsiniz. Görünen o ki, birçok metin arama kullanım durumunu bu şekilde ele alıyor. DynamoDB ayrıca belirli bir veri alt dizesini içeren bir dize bulmanızı sağlayan bir de destekler. Amazon.com perakende bölümü içerme işlevini Bir e-ticaret sitesi, verileri ürün kategorisine göre bölümlendirebilir. Aranan verilerle birlikte marka ve renk gibi ek özellikler gösterilebilir. Tam metin aramanın uygulamanızın temelini oluşturduğu senaryolarda, Elasticsearch gibi alaka düzeyi sıralamasına sahip bir arama motoru kullanmak isteyeceksiniz. Elasticsearch'te metin aramanın yüksek düzeyde nasıl çalıştığı aşağıda açıklanmıştır: : Elasticsearch'ün, arama sonuçlarına kullanıma hazır olarak verdiği bir alaka sıralaması vardır veya sıralamayı özel uygulama kullanım durumunuz için özelleştirebilirsiniz. Elasticsearch varsayılan olarak terim sıklığı, ters belge sıklığı ve alan uzunluğu normuna dayalı bir sıralama puanı oluşturacaktır. İlgililik sıralaması : Elasticsearch, verileri indekslemek için metni jetonlara böler ve buna tokenleştirme adı verilir. Analizciler daha sonra arama sonuçlarını geliştirmek için normalleştirilmiş terimlere uygulanır. Varsayılan standart çözümleyici, genel, çoklu dil desteği sağlamak için metni Unicode Konsorsiyumuna göre böler. Metin analizi Elasticsearch ayrıca bulanık arama, otomatik tamamlama araması gibi kavramlara da sahiptir ve uygulamanızın özelliklerini karşılayacak şekilde daha da gelişmiş alaka düzeyi yapılandırılabilir. Elasticsearch Kullanarak DynamoDB Verilerinde Karmaşık Filtreler Sonuç kümesini daraltmak ve böylece verilere daha hızlı ve daha verimli bir şekilde ulaşmak için karmaşık filtreler kullanılır. Birçok arama senaryosunda, birden çok filtreyi birleştirmek veya belirli bir süre boyunca olduğu gibi bir dizi veriyi filtrelemek isteyeceksiniz. DynamoDB verileri bölümlere ayırır ve iyi bir bölüm anahtarı seçmek, verilerin filtrelenmesini daha verimli hale getirmeye yardımcı olabilir. DynamoDB ayrıca ikincil dizinleri de destekler; böylece verilerinizi çoğaltabilir ve ek filtreleri desteklemek için farklı bir birincil anahtar kullanabilirsiniz. Verileriniz için birden fazla erişim modeli olduğunda yararlı olabilir. ikincil dizinler Örneğin, öğeleri teslimat durumlarına göre filtrelemek için bir lojistik uygulaması tasarlanabilir. Bu senaryoyu DynamoDB'de modellemek için, bölüm anahtarına, sıralama anahtarına ve alıcı, ve niteliklerine sahip bir lojistik için temel tablo oluşturacağız. Item_ID Status ETA SLA Teslimat gecikmelerinin SLA'yı aşması durumunda DynamoDB'de ek bir erişim modelini de desteklememiz gerekiyor. DynamoDB'deki ikincil dizinlerden yalnızca SLA'yı aşan teslimatları filtrelemek için yararlanılabilir. Zaten temel tabloda bulunan ETA özniteliğinin bir kopyası olan alanında bir dizin oluşturulacaktır. Bu veriler yalnızca ETA, SLA'yı aştığında dahil edilir. İkincil dizin, sorguda taranması gereken veri miktarını azaltan seyrek bir dizindir. bölüm anahtarıdır ve sıralama anahtarı . ETADelayedBeyondSLA ETADelayedBeyondSLA buyer ETADelayedBeyondSLA İkincil dizinler, karmaşık filtreler içeren erişim modelleri de dahil olmak üzere uygulamadaki çoklu erişim modellerini desteklemek için kullanılabilir. DynamoDB, bir ifadeyle eşleşmeyen sonuçları filtrelemek için Sorgu ve Tarama API'sinde bir işlemine sahiptir. yalnızca bir sorgu veya tablo tarama işleminden sonra uygulanır; böylece sorgu için hâlâ 1 MB'lık veri sınırına bağlı kalırsınız. Bununla birlikte, , uygulama mantığını basitleştirmede, yanıt yükü boyutunu azaltmada ve yaşam süresinin sona ermesini doğrulamada yardımcı olur. Özetle, verilerinizi yine de uygulamanızın erişim modellerine göre bölümlendirmeniz veya DynamoDB'deki verileri filtrelemek için ikincil dizinler kullanmanız gerekecektir. ifade filtreleme filterexpression filterexpression DynamoDB, hızlı veri alımı için verileri anahtarlar ve değerler halinde düzenler ve karmaşık filtreleme için ideal değildir. Karmaşık filtrelere ihtiyaç duyduğunuzda, Elasticsearch gibi bir arama motoruna geçmek isteyebilirsiniz, çünkü bu sistemler samanlıkta iğne arama sorguları için idealdir. Elasticsearch'te veriler, sütun değerinin bir kayıt listesi olarak saklandığı belgelerin listesi anlamına gelen bir arama dizininde saklanır. Bir yüklemi olan herhangi bir sorgu (yani: user=A), yüklemi karşılayan belgelerin listesini hızlı bir şekilde getirebilir. Gönderme listeleri sıralandığından, tüm filtreleme kriterlerinin karşılanması için sorgu sırasında hızlı bir şekilde birleştirilebilirler. Elasticsearch ayrıca sık erişilen karmaşık filtre sorgularının alma sürecini hızlandırmak için kullanır. WHERE basit önbelleğe alma özelliğini Elasticsearch'te genellikle olarak adlandırılan filtre sorguları, verileri metin arama sorgularından daha hızlı ve daha verimli bir şekilde alabilir. Bunun nedeni, bu sorgular için alaka düzeyinin gerekli olmamasıdır. Ayrıca Elasticsearch, aralık sorgularını da destekleyerek üst ve alt sınır (yani 0-5 arası) arasında hızlı bir şekilde veri almayı mümkün kılar. puanlamasız sorgular age Elasticsearch Kullanarak DynamoDB Verilerinde Toplamalar Toplamalar, verilerin iş zekası veya trend analizi için toplanıp bir özet biçiminde ifade edilmesidir. Örneğin uygulamanızın kullanım ölçümlerini gerçek zamanlı olarak göstermek isteyebilirsiniz. DynamoDB toplu işlevleri desteklemez. AWS tarafından önerilen geçici çözüm, bir DynamoDB tablosundaki verilerin toplu görünümünü korumak için kullanmaktır. DynamoDB ve Lambda Örnek olarak Twitter gibi bir sosyal medya sitesindeki kullanalım. birincil anahtar yapacağız ve ardından sıralama anahtarını, beğenileri topladığımız zaman penceresi yapacağız. Bu durumda, DynamoDB akışlarını etkinleştireceğiz ve bir Lambda işlevi ekleyeceğiz, böylece tweet'ler beğenildikçe (veya beğenilmedikçe) bir zaman damgasıyla tablolaştırılacak (ör.: ). beğenilerin toplanmasını tweet_ID like_count last_ updated Bu senaryoda, DynamoDB akışları ve Lambda işlevleri, like_count'u tabloda bir öznitelik olarak tablolaştırmak için kullanılır. Diğer bir seçenek ise toplamaları Elasticsearch gibi başka bir veritabanına aktarmaktır. Elasticsearch, özünde bir arama dizini olup, toplama işlevlerini desteklemek için ek uzantılara sahiptir. Bu uzantılardan biri, belge değerlerini sütun odaklı bir şekilde depolamak için dizin zamanında oluşturulmuş bir yapı olan . Yapı, varsayılan olarak belge değerlerini destekleyen alanlara uygulanır ve belge değerleriyle birlikte gelen bazı depolama şişkinlikleri vardır. Yalnızca DynamoDB verilerindeki toplamalar için desteğe ihtiyacınız varsa geniş veri kümeleri üzerindeki analitik sorgular için verileri verimli bir şekilde sıkıştırabilen bir veri ambarı kullanmak daha uygun maliyetli olabilir. doc value'dur çerçevesine üst düzey bir genel bakış: Elasticsearch'ün toplama : Paketlemeyi SQL veritabanları dünyasındaki benzer şekilde düşünebilirsiniz. Belgeleri alan değerlerine veya aralıklara göre gruplandırabilirsiniz. Elasticsearch paket toplamaları aynı zamanda birleştirme desteği eksikliğinin yaygın geçici çözümleri olan iç içe toplamayı ve üst-alt toplamayı da içerir. Kova toplamaları GROUP BY Metrikler, bir dizi belge üzerinde , , , , vb. gibi hesaplamalar yapmanıza olanak tanır. Metrikler aynı zamanda bir paket toplamaya ilişkin değerleri hesaplamak için de kullanılabilir. Metrik toplamalar: SUM COUNT AVG MIN MAX : Boru hattı toplamalarına ilişkin girdiler, belgelerden ziyade diğer toplamalardır. Yaygın kullanımlar arasında ortalamalar ve bir metriğe dayalı sıralama yer alır. Boru hattı toplamaları Toplamaları kullanırken, özellikle de performansla ilgili sonuçlar ortaya çıkabilir. Elasticsearch'ü ölçeklendirirken DynamoDB'de Arama, Toplama ve Birleştirmeler için Elasticsearch'e Alternatif Elasticsearch, DynamoDB'den gelen veriler üzerinde karmaşık arama ve toplama işlemleri yapmak için bir çözüm olsa da, birçok bu seçimle ilgili endişelerini dile getirdi. Mühendislik ekipleri DynamoDB'yi, sunucusuz olması ve çok az operasyonel ek yük ile uygun ölçekte kullanılabildiği için seçiyor. Kurulum kolaylığı, bakım, sorgu yeteneği ve gecikmeye ilişkin Athena, Spark ve Rockset dahil olmak üzere yönelik diğer birkaç seçeneği başka bir blogda değerlendirdik. sunucusuz destekçisi DynamoDB'deki analizlere Rockset, Elasticsearch'e bir alternatiftir ve Alex DeBrie, Rockset'te SQL kullanarak konusunda ayrıntılı bilgi vermiştir. Rockset sahip, bulutta yerel bir veritabanıdır ve karmaşık birleştirmeleri içeren kullanım senaryoları da dahil olmak üzere analitik kullanım senaryolarını başlatmayı ve ölçeklendirmeyi kolaylaştırır. Rockset'i, Elasticsearch'e alternatif olarak 300 $ krediyle keşfedebilirsiniz. sorguların filtrelenmesi ve toplanması , DynamoDB'ye yerleşik bir bağlayıcıya ücretsiz denememizde
