Yüksek yüklü sistemlerde altyapı maliyetlerini azaltmanın beş yolu: AdTech örnek olay incelemesi

Bulut heyecanı dalgasının tozu yatıştıkça, daha fazla teknoloji ekibi, genellikle radar altında tutulan bulut altyapılarının yan etkilerini keşfediyor. Talep üzerine ölçeklenebilirlik, şirket içi hizmetleri yönetmek için daha az zaman ve diğer avantajlar gibi umut verici görünse de, bunlar genellikle önemli bir dezavantajla, yani yüksek yüklü sistemlerde altyapı maliyetlerindeki ani artışlarla dengelenir. Altyapı maliyetlerini tartışırken, yüksek yüklü sistemlere odaklanmak önemlidir: Küçük şirketler için buluttan daha esnek ve daha ucuz bir alternatif neredeyse yoktur. Ancak QPS yüzbinlere ulaştığında küçük görünen satıcı ücretleri artık sürdürülebilir değil. AdTech için yüksek yüklü sistemler oluşturma ve optimize etme konusunda uzmanlaşmış bir yazılım geliştirme şirketi olarak, ekiplerin altyapı maliyetlerinin aniden artmasını önlemek için kullandığı çeşitli uygulamaları araştırdık. Xenoss, 15 yılı aşkın tecrübesiyle Activision Blizzard, Verve Group, Smartly, Voodoo, Inmar Intelligence ve diğerleri gibi projelerin sağlam ama çevik altyapılar inşa edilmesine destek oldu. Bu yazıda, yüksek yüklü platformlarla ilgili altyapı sorunlarına ilişkin deneyimimizi ve bilgi birikimimizi paylaşmak ve maliyetleri düzenlemenin yollarını araştırmak istiyoruz. Gönderide gösterilen taktikleri örneklendirmek için hız ve ölçeğin tartışmasız olduğu bir sektörü kullanacağız: Reklam Teknolojisi. Ayrıca, altyapı daha ayrıntılı olarak ele alan, yazılım mimarlarımızın uzman ipuçlarını ve yorumlarını ve altyapı maliyetinin yirmi kat azaltılmasına ilişkin bir örnek çalışmayı içeren bir blog gönderimiz de var. maliyet optimizasyonunu AdTech platformları – yüksek yüklü sistemler için bir poster örneği Yüksek yüklü platformlar bankacılık, sağlık hizmetleri ve daha fazlası gibi birden fazla sektörü mümkün kılar. Programatik reklamcılık, çoğu zaman geliştirilmesi gereken teknik bir başarı olarak görülmese de, operasyonel gereksinimleri çoğu zaman altyapı tasarımının sınırlarını zorladığından, diğer karmaşık sistemlere rakip olabilir. AdTech platformlarının (SSP, DSP vb.) keşfetmek için neden mükemmel bir mercek olduğunu kısaca özetleyelim. altyapı maliyet optimizasyonunu Yüksek hacim ve düşük gecikme için basınç AdTech platformları, yüksek trafik hacmi ihtiyacı ile düşük gecikme süresi arasında sürekli bir çekişmenin ortasında kalıyor. Bir yandan, çevrimiçi reklamcılığın oluşturduğu büyük miktardaki trafiği (TPA Digital CEO'su günde 950 milyar gösterime tekabül eden) yönetmeleri gerekiyor. Wayne Bloodwell'e göre Yükün yanı sıra ekosistemin gerçek zamanlı yapısı da yeni bir karmaşıklık katmanı ekliyor. AdTech platformlarındaki yüksek gecikme, yani teklif isteği ile yanıt arasındaki gecikme, teklifleri zamanında işleme alınmadığı için reklamverenlerin yüksek kaliteli envanteri kaçırmasına neden olur. Yüksek gecikme, yayıncılar için reklam alanlarını doldurmada zorluk yaratır ve bu da uzun vadede gelirlerin düşmesine yol açar. Teklif işleme için standart bir zaman dilimi, sektörün faaliyet gösterdiği ortalama zaman dilimi olan 80-120 ms civarındadır. Gerçek zamanlı karar verme Gerçek zamanlı veri işleme, aşağıdaki zorluklar nedeniyle AdTech projeleri için yinelenen bir başka zorluktur: Teklif fiyatı modelleme gibi gerçek zamanlı kararlar almak için verileri hızlı bir şekilde (100 ms'nin altında) almanız gerekir. Hedef kitle verilerinin birden çok kaynaktan toplanması, ardışık düzenlerin karmaşıklığını artırır ve çeşitli veri türlerini işlemek için gereken araç setini genişletir. Veri kalitesiyle ilgili endişeler: Yanlış veriler, reklamverenlerin teklif verme konusunda hatalı kararlar vermesine neden olabilir. Her satış hattı aşaması (alım, işleme, tüketim) için veri kalitesi kontrolleri önemlidir. Aşağıdaki klip, gerçek zamanlı veri analitiğinin karmaşıklığını ve kritik operasyonlarını göstermektedir https://www.youtube.com/watch?v=uaRzovqK3t0 Ölçeklenebilirlik talepleri Reklam Teknolojisi endüstrisi, reklam hizmetlerine olan talepte dalgalanmalara yol açan ekonomik iniş ve çıkış dönemleriyle döngüseldir. Pazar artışları, AdTech platformlarının dinamik ölçeklenebilirlik yeteneklerini uygulaması yönünde baskı yapıyor. DPT'nin yükselişiyle birlikte AdTech tedarikçileri, talepteki değişikliklere yanıt olarak kapasitelerini güvenilir bir şekilde artırma veya azaltma baskısını hissediyor. Bu nedenle, performans veya güvenilirlikten ödün vermeden yoğun trafiği yönetebilme (ve piyasa dalgalanmalarına uyum sağlamak için bunu küçültebilme) becerisine ve kaynaklara ihtiyaçları vardır. Ham ve toplu verilerin toplanması Ham verilerin kullanılması AdTech platformlarının başarısı açısından çok önemlidir. Bu sistemler, demografik bilgiler, tarama geçmişi, kullanıcı davranışı vb. gibi çok sayıda toplu veri toplar. Bu bilgiler çeşitli kaynaklardan entegre edilir ve hedeflemeyi ve kişiselleştirmeyi desteklemeye yardımcı olur. Ham verilerin kullanıma hazır hale getirilmesinden önce ETL adımlarından geçmesi gerekir: Çıkarma, dönüştürme ve yükleme. Ancak, sistemlerin ölçeklenmesi ve veri hacimlerinin katlanarak artması nedeniyle birden fazla boru hattının bakımı mühendislik açısından bir zorluk haline geliyor. Xenoss'un yüksek yüklü sistemlerde altyapı maliyetlerini optimize etmek için kullandığı en iyi uygulamalar Teknoloji ekipleri altyapı maliyetlerine dikkat etmezlerse hızla kontrolden çıkarlar. Verimsiz veri modelleme ve depolama, hizmetlere güvenme konusunda seçicilik eksikliği ve tehditleri önceden planlayıp karşı koymadaki başarısızlık, altyapıları öngörülemez, yavaş, pahalı ve bakımı zor hale getiriyor. Altyapı maliyetlerini azaltmak bir günlük iş değildir ancak ekosistem ve platformunuz hakkındaki bilgi birikimiyle donanmış olarak, birkaç ince ayar ile önemli azalmalar elde edebilirsiniz. Xenoss teknoloji ekiplerinin müşterilerimizin daha yalın altyapılara ulaşmalarına yardımcı olmak için kullandığı çeşitli altyapı azaltma uygulamalarının bir listesini burada bulabilirsiniz. Hibrit bulut altyapısının avantajlarını keşfetme Erken aşamadaki projelerde optimum bulut altyapısının tasarlanması üzerinde fazla düşünülmez. Teknik ekipler genellikle iki yoldan birini seçer; AWS, Google Cloud veya Microsoft Azure gibi . Geliştirme sürecinin başlarında bir bulut tedarikçisine güvenmek anlaşılabilir olsa da teknoloji liderlerini, kesinlikle ihtiyaç duyulmadığı sürece yönetilen hizmetleri kullanmamaları konusunda uyarmak istiyoruz. Zamanla bu araçlar projenin altyapı faturalarını önemli ölçüde artırabilir; müşterilerimizden biri altyapı faturalarının 2,5 milyon dolar olduğu sırada bize ulaştı. genel bulut hizmeti sağlayıcıları . Bugünlerde şirket içi veri merkezlerinin bakımı, ön yatırım ve insan gücü gerektirdiğinden dolayı erken aşamadaki projeler için pek yaygın değil. Şirket içi altyapıların daha fazla kontrol ve daha sıkı güvenlik gibi avantajları olduğunu belirtmekte fayda var. Şirket içi ekip tarafından bakımı yapılan şirket içi altyapı AdTech'te esneklik ve dinamik olarak ölçeklendirme yeteneği hayati öneme sahiptir. Altyapı maliyetleri üzerinde tam kontrol ve güvenliği sıkılaştırma yeteneği de aynı derecede önemlidir. İlki genellikle bulutla ilişkilendirilirken, ikincisi genellikle şirket içi için bir avantaj olarak gösteriliyor. Xenoss olarak her iki altyapının da faydalarının farkındayız ve bu nedenle müşteri projelerimizde her ikisini de kullanıyoruz. Bulut ve şirket içi kombinasyonuna genellikle "hibrit bulut" adı verilir, ancak daha fazla kombinasyon bu terime uygundur. Genel ve özel bir bulutu veya iki genel bulutu (diğer adıyla çoklu bulut) birleştirmek de konsepte uyuyor. ankete katılan kuruluşların %33'ü bulut ve şirket içi altyapı kombinasyonunu kullanıyor. Yalnızca kurumsal kuruluşları (1000'den fazla çalışanı olan) dikkate aldığımızda bu rakam %42'ye çıkıyor. DZone tarafından yayınlanan Data Pipelines raporuna göre Hibrit model, AdTech ekiplerine daha yüksek finansal esneklik sunarak AdTech platformlarının şirket içi kurulumların kontrolünü bulut platformlarının dinamik ölçeklenebilirliğiyle birleştirmesine olanak tanır. Güvenlik bir diğer önemli avantajdır; projeler, hassas verileri şirket içinde tutarak ve bulutu daha az kritik görevler için kullanarak sıkı veri koruma standartlarını koruyabilir. Hibrit yaklaşımı tercih etmemizin ve savunmamızın bir diğer nedeni de satıcıya bağlı kalmayı önleme yeteneğidir. Kritik altyapıları şirket içinde tutmak, işletmelere tek bir bulut sağlayıcısına bağımlı kalmadan teknoloji yığınlarını çeşitlendirme olanağı sağlar. Ayrıca hibrit yaklaşım, ürün ekiplerinin iş yüküne özel altyapılar oluşturma konusunda daha bilinçli olmalarına olanak tanır. AdTech'teki gerçek zamanlı reklam teklifi verme veya katı bölgesel uyumlulukla sınırlanan veri işlemleri gibi bazı görevler, şirket içinde yürütmeye daha uygundur. Aynı zamanda, diğer iş akışları (kampanya analitiği, dağıtılmış reklam içeriği barındırma veya işbirlikçi reklam tasarımı) sorunsuz bir şekilde buluta geçebilir. Veri depolamayı optimize etme Deneyimlerimize göre, yalnızca depolamayı optimize etmek altyapı maliyetlerini önemli ölçüde azaltabilir. AdTech'te yapılandırılmış ve yapılandırılmamış verileri yönetmek için hem SQL hem de NoSQL veritabanları kullanılır. İki tür veritabanı arasındaki temel farkların yanı sıra bunların AdTech'teki kullanım örneklerini de özetleyelim. Tartışmaya daha fazla bağlam eklemek için ikisi arasındaki farkları özetleyelim. İlişkisel veritabanı faydaları NoSQL veritabanı avantajları Yüksek güvenilirlik Yüksek performans Yüksek veri tutarlılığı Yüksek ölçeklenebilirlik Standartlaştırılmış şema Yüksek veri hacimleri için optimize edilmiş depolama ASİT uyumluluğu Yüksek çeviklik ve kişiselleştirme Şimdi en iyi AdTech platformları için tercih edilen veritabanına ve bunların veri depolama yaklaşımlarına bakalım. AdTech satıcıları yüksek veri hacimlerini çalıştırmak için SQL veritabanlarını nasıl kullanıyor? Pubmatik Pubmatic SSP, benzersiz talep ortaklıkları, gelişmiş analizler ve yaratıcı optimizasyon araçlarıyla yayıncıların geniş kitleleri yakalamasına ve reklam gelirini en üst düzeye çıkarmasına yardımcı olur. Şirketin büyük veri kümelerini yönetmek ve karmaşık sorunları çözmek için sağlam bir veritabanına ihtiyacı vardı. Şirket, her şeyden önce güvenilir ve etkili olacak, savaşta test edilmiş bir araç istiyordu. Zorluk: MySQL Çözüm: PubMatic'in Reklam Kalitesi ekibi, birincil veri kaynağı olarak MySQL'i kullanıyor. Platformun veritabanı yüz milyona kadar kayıt saklıyor. Güvenilirliği ve sağlamlığıyla tanınan MySQL, PubMatic'in günde milyonlarca reklam öğesini işlemesine ve 2x-10x veri yüklemesini sürdürmesine olanak tanır. Etkisi: ReklamGreetz AdGreetz, özelleştirilmiş reklam öğelerini birden fazla kanala dağıtan bir kişiselleştirme platformudur: sosyal medya, CTV/OTT, uygulama içi ve daha fazlası. Kuruluşun iş akışları veri yoğundur ve milyonlarca kullanıcı kaydını destekleyecek veritabanı yönetimi çözümleri gerektirir. Zorluk: ClickHouse Seçilen veritabanı: AdGreetz'deki mühendislik ekibi için Clickhouse'un uygun maliyetli ve yüksek performanslı bir çözüm olduğu ortaya çıktı. Şirket, küçük hesaplamalarda sorgu süresini saniyelerden saniyelerin altına indirmeyi başardı. Etkisi: AdTech projeleri NoSQL veritabanlarını nasıl kullanıyor? Balmumu Beeswax, reklamverenlerin programatik operasyonları kolaylaştırmasına olanak tanıyan yönetilen bir GZT platformudur. Şirket, saniyede milyonlarca sorguyu işleyen ve dakikada 125 GB veri tüketen bir Hizmet Olarak Teklif Veren çözümü sunuyor. Verimli reklam dağıtımını sağlayacak hızlı ölçeklendirme, kuruluşun makinesinde eşit yük dağıtımı ihtiyacı. Zorluk: Amazon EC2'de çalışan Aerospike. Seçilen NoSQL veritabanı: Balmumu, 2 milisaniyelik kuyruk okuma gecikmesiyle saniyede milyonlarca sorguyu işleyebilir. Etkisi: Sakız sakız GumGum, özel bir makine öğrenimi platformu olan Verity tarafından etkinleştirilen içeriğe dayalı hedefleme için bir platform sunar. Şirket, reklamlarla ilgili yüksek hacimli verileri (gösterimler, görüntülemeler, tıklamalar, dönüşümler) minimum gecikmeyle işlemek istiyordu; veriler gerçek zamanlı olarak işlenmese de amaç, aradaki farkı minimumda tutmaktı. Zorluk: ScyllaDB Seçilen NoSQL veritabanı: Darbe: Mühendislik kaynakları üzerindeki yükün azaltılması %75 hacim artışı İsteğe bağlı kaynak tedariği sayesinde ölçeklenebilirliği kolaylaştırmak. Moloko Moloco, reklamverenlerin mobil kitleleri edinmesine, onlarla etkileşime geçmesine ve perakende satışına yardımcı olan bir mobil kitle platformudur. Platform, kampanya optimizasyonu ve tahmine dayalı analitik için büyük ölçüde makine öğrenimi modellerine güveniyor. Kesin bir gecikme sınırıyla (100 ms'nin altında) saniyede milyonlarca teklif görevini işleme baskısı. Zorluk: Google Cloud BigTable Seçilen NoSQL veritabanı: Darbe: İşlenen isteklerin sayısı saniyede 500 binden 5 milyona ölçeklendirildi Düşük gecikme süresi Yönetilen altyapı, şirketin yazılım mühendisliği kaynaklarını başka görevlere odaklanacak şekilde yeniden tahsis etmesine olanak sağladı. AdTech platformu geliştirmede uzun yıllara dayanan deneyimimiz, AdTech veri depolama altyapısı için uygun veritabanını seçme konusunda kalıplaşmış bir yaklaşımın olmadığını bize gösterdi. Veritabanı şemsiyesi altında çok fazla çeşitlilik vardır; doğru uyumu bulmak deneyim, ürün bilgisi ve kapsamlı araştırma gerektirir. Bazen iki NoSQL veritabanı arasında geçiş yapmak büyük fark yaratabilir. Yukarıda bahsedilen GumGum, ScyllaDB'ye geçmeden önce Cassandra'ya güveniyordu. MongoDB'den Aerospike'a geçiş yaptıktan sonra bir müşterinin (mobil DSP) durumunda operasyon maliyetinde önemli düşüşler gördük. Veri depolamayı optimize etmenin diğer yolları Veri sıkıştırma ve veri tekilleştirme tekniklerinin uygulanması, gerekli depolama alanını azaltmanın ve maliyet tasarrufu sağlamanın başka bir yoludur. veri boyutunun küçültülmesi anlamına gelir; bu da daha hızlı aktarıma ve daha düşük depolama maliyetlerine yol açar. Veri ekipleri GZIP gibi teknikleri kullanabilir. Sıkıştırma, , adından da anlaşılacağı gibi, verilerin gereksiz kopyalarını ortadan kaldırır. Tekrarlanan kullanıcı profillerinin veya benzer veri kümelerinin yaygın olduğu AdTech'te faydalıdır. Tekilleştirme nadiren erişilen verileri (eski kampanya ölçümleri) performansa hiçbir etkisi olmadan depolamanın uygun maliyetli bir yoludur. Soğuk depolama, Bir altyapı satıcısının sunduğu premium hizmetleri seçme Bulut hizmetlerinde gezinmek akıllı seçimler gerektirir. Dikkat etmezseniz, altyapı maliyetleri ekleyen ancak platforma hiçbir değer katmayan hizmet paketlerini kullanmak kolaydır. Aşağıdaki klipte Xenoss CTO'su Vova Kyrychenko, AdTech platformları büyüdükçe "bedava para tuzağının" nasıl yüksek altyapı maliyetlerine yol açabileceğini açıklıyor. https://www.youtube.com/watch?v=q_57WdKDJI0 AdTech satıcılarına önemli tavsiyemiz, gizli maliyetleri veya tasarrufları tespit etmek için premium hizmetlerin fiyatlarını ayrıntılı bir şekilde incelemeleridir." Ayrıca yeni araçlar platformu yavaşlatabileceğinden, yeni bir hizmeti üretime almadan önce bunları küçük ölçekte test etmek mantıklı olacaktır. Üçüncü taraf veya açık kaynaklı projelere göz kulak olmak, pahalı yönetilen tekliflere başka bir alternatiftir. Ücretsiz veya düşük maliyetli platformlar, ana bulut sağlayıcılarından daha iyi performans sunabilir. Xenoss'un mühendisleri bir müşteri projesinde bu yaklaşımı benimseyerek altyapı maliyetlerinin 20 kat azaltılmasına yardımcı oldu. Aşağıdaki infografikte müşterinin eski altyapısını ve mimarlarımız tarafından tasarlanan modernleştirilmiş versiyonunu gösteriyoruz. Trafiği ve yükü dengeleme Bir süre önce bahsettiğimiz gibi, AdTech platformları sabit yükler altında çalışmaz; bir anda platform ani bir yükselişe geçebilir ve daha sonra ne yapacağını bildiğinden daha fazla bilgi işlem kaynağına sahip olabilir. Xenoss mühendisleri verimli trafik ve yük dengelemenin AdTech sistemleri için olmazsa olmaz olduğuna inandıkları için bu kavramları daha derinlemesine inceleyelim. Yük dengeleme, gelen istekleri birden fazla sunucuya eşit şekilde dağıtarak hiçbir sunucunun aşırı yük altında kalmamasını sağlamak anlamına gelir. Bu çerçevede Xenoss mimarları, görev açısından kritik süreçlere, yani kesintiye uğradığında sistemin temel işlevselliğini (gerçek zamanlı reklam teklifleri veya kullanıcı verileri işleme) bozacak temel görevlere öncelik verir. Bu süreçlere öncelik vererek hayati öneme sahip operasyonları olası yavaşlamalardan veya arızalardan koruyoruz. Tehditlerin erken tespiti için bir mekanizma tasarlama Ünlü bir atasözü şöyledir: "Başarısızlık her planın bir parçasıdır", AdTech ürün ekiplerini tehditlere ve kesintilere karşı korunmaları konusunda kısaca uyarıyor. Bu amaçla, satıcıları ve şirket içi teknoloji ekiplerini sistem sağlığını izleyen ve kesintisiz operasyonlar sağlayan izleme araçlarından yararlanmaya çağırıyoruz. Herhangi bir anormallik için uyarı ayarlarsanız ekipler derhal uyarılabilir, hızlı hareket edebilir ve küçük aksaklıkların büyük krizlere dönüşmemesini sağlayabilirsiniz. Bu yaklaşımı yapay zeka destekli içgörülerle geliştirmek daha da fazla ayrıntı düzeyi sunar. İzolasyon Ormanı veya Tek Sınıf SVM gibi Anormallik Tespiti algoritmaları, tehditleri veya sistem güvenlik açıklarını gösterebilecek olağandışı veri modellerini tanımlamak için iyi bir seçimdir. Zaman serisi verilerini analiz etmek için Uzun Kısa Süreli Bellek yinelenen sinir ağlarının dağıtılmasını bir kez daha öneriyoruz. Büyük Dil Modelleri ayrıca anormallikleri tespit etmek için günlükleri ve sistem mesajlarını analiz ederek tehdit tespitine katkıda bulunabilir, böylece aksi durumda gözden kaçabilecek metinsel veriler anlamlandırılabilir. Alt çizgi Altyapı maliyet optimizasyonu, her sektördeki verimlilik ve karlılığı hedefleyen şirketler için temel taştır. AdTech, yüksek veri hacimleri ve trafik yükleriyle çalışmanın zorluklarını ve geçici çözümlerini keşfetmek için mükemmel bir oyun alanıdır; zira milisaniyelik bir zaman diliminde binlerce sorguyu ele alma ihtiyacı, altyapı geliştirmenin sınırlarını sonuna kadar zorlar. İyi haber şu ki deneyimli teknoloji ekipleri, genellikle deneme yanılma yoluyla, yüksek yüklü sistemlerde bile altyapı maliyetlerini düşük tutmaya yönelik bir el kitabı geliştirmiştir. Bulut ve şirket içi çözümler arasında denge kurmak, tehdit tespiti için yapay zekadan yararlanmak ve veri depolama stratejilerini sürekli iyileştirmek, ürün ekiplerinin bütçeden ödün vermeden güçlü operasyonlar sağlamasına yardımcı olur. Bu alanda çevik ve bilgili kalmak, dinamik Reklam Teknolojisi ortamında maliyet tasarrufu sağlayan bir önlem ve rekabet avantajıdır.