Google Cloud BigQuery'deki Tek Sorguda Farkında Olmadan 6 Saatte 3.000 Dolar Kazandım. İşte Nedeni ve Maliyeti Optimize Etmek İçin 3 Kolay Adım. Bu makalede 🙈 BigQuery'nin maliyetlerine nelerin katkıda bulunduğunu öğreneceksiniz. 🏛️ BigQuery'nin mimarisine dalacağız. 💰 Bir sonraki Google Cloud faturanızda %99,97 tasarruf etmek için 3 kolay adımı öğreneceksiniz. Hadi gidelim. Nasıl oldu? Danışmaya ulaşan müşteriler için veri örnekleri hazırlamak üzere bir senaryo geliştiriyordum. Örneklerin her dosyada 100 satırı vardır ve bunlar 55 yerel ayara bölünmüştür. Sorgum şuna benziyor SELECT * FROM `project.dataset.table` WHERE ts BETWEEN TIMESTAMP("2022-12-01") AND TIMESTAMP("2023-02-28") AND locale = "US" LIMIT 100; Veriler "europe-west-4"te saklanıyordu ve . Böylece betiği çalıştırarak şunu işledim: sorgulamanın ücreti TB başına 6 ABD dolarıydı Toplamda 500 TB veri Ülke başına ortalama 3 TB veri Veri örneği dosyası başına ortalama 54 ABD doları Çok pahalı. 3.000 Dolara Mal Olan Senaryo Komut dosyası yazılmıştır. JavaScript modüllerinde // bq-samples.mjs import { BigQuery } from "@google-cloud/bigquery"; import { Parser } from "@json2csv/plainjs"; import makeDir from "make-dir"; import { write } from "./write.mjs"; import { locales } from "./locales.mjs"; import { perf } from "./performance.mjs"; const q = (locale, start, end, limit) => `SELECT * FROM \`project.dataset.table\` WHERE ts BETWEEN TIMESTAMP("2022-12-01") AND TIMESTAMP("2023-02-28") AND locale = "${locale}" LIMIT ${limit}` async function main() { const timer = perf() const dir = await makeDir('samples') const bigquery = new BigQuery() const csvParser = new Parser({}) try { const jobs = locales.map((locale) => async () => { // get query result from BigQuery const [job] = await bigquery.createQueryJob({ query: q(locale, "2022-12-01", "2023-02-28", 100), }) const [rows] = await job.getQueryResults() // parse rows into csv format const csv = parse(csvParser, rows) // write data into csv files and store in the file system await write(csv, dir, locale, "2022-12-01", "2023-02-28", 100) }) await Promise.all(jobs.map((job) => job())) console.log(`✨ Done in ${timer.stop()} seconds.`) } catch (error) { console.error('❌ Failed to create sample file', error) } } await main() Yerel ayar başına formatında bir örnek dosya oluşturur. Süreç basittir: CSV BigQuery tablosunu yerel, başlangıç tarihi, bitiş tarihi ve limitle sorgulama. Sorgu sonucunu CSV formatına dönüştürme. CSV'yi dosya sistemine yazma. İşlemi tüm yerel ayarlar için tekrarlıyoruz. Sorun ne? Sorgumda birkaç şeyi yanlış yaptığım ortaya çıktı. Fiyatlandırma modeline tekrar bakarsanız maliyetin yalnızca ne kadar veri işlediğinizle ilgili olduğunu fark edeceksiniz. Dolayısıyla sorgumun 100 satır üretemeyecek kadar fazla veri aradığı açık. Bu öngörüyle sorguyu adım adım optimize edelim. Seçme * Bu biraz mantığa aykırı. Select ifademin neden işlediği veri miktarıyla bir ilgisi var? Seçtiğim sütunlar ne olursa olsun aynı kaynaklardan ve verilerden okuyor olmalıyım değil mi? Bu yalnızca satır odaklı veritabanları için geçerlidir. BigQuery aslında . Sütun odaklıdır, yani veriler sütunlar halinde yapılandırılmıştır. BigQuery, temel bilgi işlem motoru olarak kullanıyor. Dremel'de veriler soğuk depodan aktif depoya taşındığında verileri bir ağaç yapısında saklar. sütunlu bir veritabanıdır Dremel'i Her yaprak düğümü formatında sütun odaklı bir “kayıttır”. Protobuf BigQuery'de her düğüm bir sanal makinedir. Bir sorgu yürütme, seçilen sütunları almak için kök sunucudan (düğüm) ara sunucular aracılığıyla yaprak sunuculara yayılır. Tek tek sütunları seçmek için sorguyu değiştirebiliriz: SELECT session_info_1, session_info_2, session_info_3, user_info_1, user_info_2, user_info_3, query_info_1, query_info_2, query_info_3, impression_info_1, impression_info_2, impression_info_3, ts FROM `project.dataset.table` WHERE ts BETWEEN TIMESTAMP("2022-12-01") AND TIMESTAMP("2023-02-28") AND locale = "US" LIMIT 100; Tüm sütunları açıkça seçerek işlenen veriyi 3,08 TB'tan 2,94 TB'a düşürmeyi başardım. Bu . 100 GB'lık bir azalmadır Bölümlenmiş Tablo Kullanın ve Yalnızca Veri Alt Kümelerini Sorgulayın Google Cloud, önerir. Verilerin yalnızca bir alt kümesini sorgulamamıza olanak tanır. tabloları tarihe göre bölümlememizi Sorguyu daha da optimize etmek için, tablo “ts” sütununa göre bölümlendiğinden, Where ifadesindeki tarih aralığını daraltabiliriz. SELECT session_info_1, session_info_2, session_info_3, user_info_1, user_info_2, user_info_3, query_info_1, query_info_2, query_info_3, impression_info_1, impression_info_2, impression_info_3, ts FROM `project.dataset.table` WHERE ts = TIMESTAMP("2022-12-01") AND locale = "US" LIMIT 100; Tarih aralığını üç ay yerine bir güne kadar daralttım. İşlenen veriyi kadar indirmeyi başardım. Bu orijinal sorgunun sadece bir kısmı. 37.43 GB'a Aşamalarda Gerçekleştirilmiş Sorgu Sonuçlarını Kullan Maliyetleri azaltmanın başka bir yolu da sorgulama yaptığınız veri kümesini azaltmaktır. BigQuery, sorgu sonuçlarını daha küçük veri kümeleri halinde depolamak için sunar. Hedef tabloları iki şekilde gelir: geçici ve kalıcı. hedef tablolar Geçici tabloların bir ömrü olduğundan ve paylaşılmak ve sorgulanmak üzere tasarlanmadığından, sorgu sonucunu gerçekleştirmek için kalıcı bir hedef tablo oluşturdum: // bq-samples.mjs const dataset = bigquery.dataset('materialized_dataset') const materialzedTable = dataset.table('materialized_table') // ... const [job] = await bigquery.createQueryJob({ query: q(locale, '2022-12-01', '2023-02-28', 100), destination: materialzedTable, }) Sorgu sonuçları hedef tabloda saklanacaktır. Gelecekteki sorgular için referans görevi görecektir. Hedef tablodan sorgulama mümkün olduğunda BigQuery, tablodaki verileri işler. Aradığımız veri boyutunu büyük ölçüde azaltacaktır. Son düşünceler BigQuery'de maliyeti düşürmeye yönelik çok ilginç bir çalışma. Yalnızca üç kolay adımla: * kullanmayın Bölümlenmiş Tablo Kullanın ve Yalnızca Veri Alt Kümelerini Sorgulayın Aşamalarda Gerçekleştirilmiş Sorgu Sonuçlarını Kullan İşlenen veri boyutunu düşürmeyi başardım. Toplam maliyeti önemli ölçüde 3.000 $'dan 30 $'a düşürür. 3 TB'tan 37,5 GB'a BigQuery mimarisi hakkında daha fazla bilgi edinmek istiyorsanız bana yardımcı olan referansları burada bulabilirsiniz: BigQuery açıkladı: BigQuery mimarisine genel bakış Dremel'e Bir Bakış Devasa bir bakış: Google'ın ölçeklenebilir depolama sistemine bir bakış Jüpiter gelişiyor: Google'ın veri merkezi ağı dönüşümünün yansıması hakkında daha fazla bilgiyi Google Cloud belgelerinde bulabilirsiniz. BigQuery maliyet optimizasyonları Örnek olayda benimle işbirliği yaptığı ve BigQuery mimarisini anlamama yardımcı olan değerli bilgiler sağladığı için özellikle teşekkür ederim. Abu Nashir'e Referanslar — LinkedIn Abu Nashir - Peter Goldsborough Dremel'e Bir Bakış — Google Bulut BigQuery — Google Cloud BigQuery açıkladı: BigQuery mimarisine genel bakış — Google Cloud Devasa bir bakış: Google'ın ölçeklenebilir depolama sistemine bir bakış - Vikipedi Sütun odaklı DBMS - Vikipedi Virgülle ayrılmış değerler - Google Cloud Bölümlenmiş tablolar oluşturma — MDN JavaScript modülleri — Google Cloud Jüpiter gelişiyor: Google'ın veri merkezi ağ dönüşümünün yansıması — Google Cloud Yöntem: jobs.query — Vikipedi Protokol_Buffers - Google Cloud Etkileşimli ve toplu sorgu işlerini çalıştırın - Google Cloud Önbelleğe alınmış sorgu sonuçlarını kullanma — Google Cloud Sorgu sonuçlarını yazma Bağlanmak mı istiyorsunuz? Bu makale ilk olarak yayınlanmıştır. Daw-Chih'in web sitesinde

2022 - HackerNoon Contributor of the Year - Leadership

2022 - HackerNoon Contributor of the Year - Learning

2022 - HackerNoon Contributor of the Year - Product Management

2022 - HackerNoon Contributor of the Year - Software Engineering

2022 - HackerNoon Contributor of the Year - Typescript

Coding Guru of 2022

Check out my website!

Nominated for 2022 - HackerNoon Contributor of the Year - Product Management

Nominated for 2022 - HackerNoon Contributor of the Year - Typescript

Nominated for 2022 - HackerNoon Contributor of the Year - Leadership

Nominated for 2022 - HackerNoon Contributor of the Year - Software Engineering

Nominated for Coding Guru of 2022

Nominated for 2022 - HackerNoon Contributor of the Year - Learning

Bu ses hikayenin orijinal dilinde üretilmiştir!

Çok uzun; Okumak

Making security fun one episode at a time

Google Cloud BigQuery'yi Optimize Etme ve Maliyeti Kontrol Etme

Google Cloud BigQuery'yi Optimize Etme ve Maliyeti Kontrol Etme

Çok uzun; Okumak

Daw-Chih Liou

About Author

ETİKETLERİ ASIN

Languages

BU YAZI...

Google Cloud BigQuery'yi Optimize Etme ve Maliyeti Kontrol Etme

Çok uzun; Okumak

Daw-Chih Liou

About Author

ETİKETLERİ ASIN

Languages

BU YAZI...

İLGİLİ ÖYKÜLER