David Anderson, Confluent-də lider yazılım praktikası Flink SQL, real-time, streaming verileri işləmək üçün yaradılmış güclü bir motordur.Bu, uzun illərdir bir çox uygulama alanları üçün, özellikle ETL pipelines və analitik iş yükləri üçün etkili bir çözümdür, lakin bu qədər Flink SQL-in başlanğıcı xüsusiyyətləri olmamışdır. Burada bildirilən son gelişmelerlə, Apache Flink'in relasional API-ləri - Flink SQL və Table API-nin - Flink'in düşük düzeydə işləmə primitivlərinə qulaq asmaq üçün daha çox ehtiyac yoxdur. Burada söylənilən hər şey Flink SQL və Table API-yə eşitmişdir. İkisi də aynı sürət vaxtının üstündə oturur - konseptorlar və əsas imkanlar aynıdır - onlar yalnız Java və ya Python tərəfindən, SQL deyil, tablo API-ni istifadə etmək seçirsiniz. İstirahətlər Bu relasional API-lər iki geniş proqram kategoriyası üçün çox yaxşıdır. Agentic AI Modern AI aplikasiyaları sıklıqla dinamik, real-time məlumatlara qulaq asmaq lazımdır.Flinks SQL agentlik AI-ni asanlaşdırır, real-time olay aksiyaları agentlər, modellər və xidmətlər tərəfindən baxışlarla birləşdirmək asanlaşdırır.Bu, Flink vasitəsilə aksiya verilməsi kimi, bu xidmətləri real-time soruşaraq zəlzələ edilə bilər və bu, AI-nin qərar verilməsi və ya model hökmü üçün yeni və doğru kontekstlər təmin edə bilər. Shift left VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Növbəti xəbərNövbəti xəbər Flink SQL, Online Transaction Processing (OLTP) və Online Analytical Processing (OLAP) üçün yaradılan yaxşı düşünülmüş konseptləri və semantikaları qəbul edir və bunları real-time stream processing aplikasiyalarının ehtiyaclarını yerinə yetirmək üçün genişləndirir. The relational algebra remains the same SQL-in qurğusundakı relational algebra prinsipləri Flink SQL-də tamamilə qoruyur. Təbriz SQL tabelları statik olsa da, Flink SQL dinamik tabellar konsepti təqdim edir ki, bunlar davamlı, sınırsız verilişlərin logiki göstəriciləridir. Tables: Qruplar (t.b. “COUNT”, “SUM”, “AVG”) reallaşmış verilər üçün reallaşmış öhdəliklər verir. Aggregations: VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Joins: VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Continuous queries (materialized views): New challenges and ideas for stream processing Bununla yanaşı, bu relasional anlayışları dinamik aksiya prosesinin dünyasına daxil etmək yeni fikirlər gətirir: VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Thinking about state: VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Watermarks: Flink SQL-in bir çox zaman versiyası var, belə ki, zaman qapıları birləşir və su işarələri bilmək üçün su işarələrinə təvəkkül edərlər ki, onların nəticələri yayılmaq üçün hazırdır (və onlar tutduqları vəziyyət nə zaman serbestləşdiriləcək). Son gelişmeler Son zamanlar bu problemlər daha çox problemlər yaradır. Flink SQL və Table API, Kullanıcı-Defined Functions (UDF) istifadə vasitəsilə çox genişlənə bilərlər. Bunlar Java və ya Python ilə SQL-də doğrudan ifadə edilə bilmədiyi özəlləşdirilmiş logiklər üçün istifadə olunmasına imkan verirlər. VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Process Table Functions (PTFs) “Flink SQL”də işləmək VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Misal olaraq, hər bir ödəniş üçün bir yabancı anahtar referensisi (orderId) ilə bağlı olan bir online iş prosesi düşünün. siparişlər və ödənişlər Apache Kafka temalarıdır və əməllərin tamamlanması üçün istifadə ediləcək yeni Kafka teması yaratmaq istəyirik. Görünür ki, işləmək lazımdır. CREATE TABLE PaidOrders AS (
  SELECT
    o.id AS orderId,
    p.id AS paymentId
  FROM
    Orders o INNER JOIN Payments p ON o.id = p.orderId
);
 Doğrudan da, həqiqi bir proqramda, müştərinin ID, göndərmə adresi və sipariş edilən məhsulların ID-ləri kimi daha çox məlumatı çıxartmalıyıq. Flink topluluğunun danışdığına görə, belə bir dəstək “sürətli dəstək” adlandırılır (bu Flink-in daha effektiv işləməsinə imkan vermək üçün biz heç bir şey etmədik). və Flink SQL-in sürət sürəti ilə işləməkdə, normal dəstəklər şaşırtıcı qiymətli ola bilər. Əslində, bu şirkətin işini necə davam etdirdiyini bildiyimizə görə, hər bir əməlin ən çox bir qarşılıqlı ödəyicisi olacağını bilə bilərik, bu yüzden Flink-in bir əməlin işləndiyi yerdən sonra depolamağa ehtiyacı yoxdur. Bu dəstəyi daha ucuzlaşdırmaq üçün bir şey edə biləcəyik ki, ödənişlər hər zaman əməldən sonra iki saat ərzində olacaq (təkcə): CREATE TABLE PaidOrders AS (
  SELECT
    o.id AS orderId,
    p.id AS paymentId
  FROM
    Orders o INNER JOIN Payments p ON o.id = p.orderId
  WHERE
    p.paymentTime BETWEEN o.orderTime AND o.orderTime + INTERVAL '2' HOUR
);
 VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Burada bunun necə görünə biləcəyinin asanlaşdırılmış bir nümunəsi var: // Function that buffers one object from each side
// of the join to produce exactly one result.
public static class OrderPaymentJoin
  extends ProcessTableFunction<JoinResult> {

  public void eval(
    Context ctx,
    @StateHint(name = "result") JoinResult result,
    @ArgumentHint(SET_SEMANTIC_TABLE) Order order,
    @ArgumentHint(SET_SEMANTIC_TABLE) Payment payment
  ) {

    if (order != null) {
      if (result.orderId != null) {
        // Skip duplicates.
        return;
      } else {
        // Save the order and wait 
        // for the matching payment.
        result.orderId = order.id;
      }
    }

    if (payment != null) {
      if (result.paymentId != null) {
        // Skip duplicates.
        return;
      } else {
        // The order will precede the payment, but
        // we cannot guarantee the order will be
        // processed first. Save the payment
        // and wait for the matching order.
        result.paymentId = payment.id;
      }
    }
  
    if (result.orderId != null && 
        result.paymentId != null) {
      // Send out the final join result
      // and clear the state.
      collect(result);
      ctx.clearState("result");
    }
  }
}
 Bu qələbə ilə Azərbaycan xalqımız birləşib CREATE TABLE PaidOrders AS (
  SELECT
    orderId,
    paymentId
  FROM
    OrderPaymentJoin(
      order => TABLE(Orders) PARTITION BY order_id,
      payment => TABLE(Payments) PARTITION BY order_id 
    )
);
 Praktikda, bu asanlaşdırılmış nümunə, hər zaman artan sayda eşidilməyən əməllərin (bir dəfə ödənilməyən əməllərin) toplanma olasılığı ilə bağlı bir şey etmək üçün genişlənə bilər. Başqa heyranlı hadisələr Native support for ML models FLIP-437 (Flink 2.0-da daxil edilmişdir) Flink SQL-də birinci sınıf vətəndaşlar kimi makine öyrənmə modelləri üçün dəstək artırdı. Disaggregated state backend Movqe.Az xəbər verir ki, Hollandiyada, erkən parlament seçkilərin nəticəsi çox az fərqlə iqtidardakı Liberal Partiyasının (VVD) qazandığını göstərir. Daha çox detallar üçün. Dokumentasiya Semi-structured types VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Təbii ki, VARIANT (Variant) adlandırılır ki, yarı-strukturləşdirilmiş məlumatlar effektiv olaraq depolara və işləyə bilər. Fəlsəfə 521 Daha çox anlayış üçün Daha çox məlumat üçün Flink SQL Başlaya biləcəksiniz. Bu video ilə bağlı sorğu İŞİD Bu barədə çoxsaylı məlumatlar var, əgər bu barədə daha çox fikirləşmək istəyirsən. Təxminən proses tablosu Sean Falconer nə üçün . “Qəbələ”nin gələcəyini qeyd edib “Qəbələ”nin gələcəyini qeyd edib

This story contains new, firsthand information uncovered by the writer.

Bu audio hekayənin orijinal dilində hazırlanmışdır!

Apache Flink'in SQL və Table API-nin ən son güncellemələri haqqında bilmeniz gerekenlər

About Author

ŞƏRHLƏR

ETİKET ASIN

BU MƏQALƏ TƏQDİM EDİLMİŞDİR

Related Stories

How Azarus's Technology is Transforming Viewer Engagement on Stream

Optimizing Operations for Real Estate Investors - Interview with Startups of the Year Nominee, Azibo

How Azarus's Technology is Transforming Viewer Engagement on Stream

Optimizing Operations for Real Estate Investors - Interview with Startups of the Year Nominee, Azibo

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps