Node.js Eğitimi: Kafka ile Basit, Olay Odaklı Bir Uygulama Nasıl Oluşturulur

Favori uygulamalarınızdan bazılarının gerçek zamanlı güncellemeleri nasıl gerçekleştirdiğini hiç merak ettiniz mi? Canlı spor skorları, borsa takipleri ve hatta sosyal medya bildirimleri; bunların tümü, verileri anında işlemek için olay odaklı mimariye (EDA) dayanır. EDA, her yeni bilginin anında yanıt verilmesini tetiklediği bir sohbete benziyor. Bir uygulamayı daha etkileşimli ve duyarlı kılan şey budur. Bu izlenecek yolda, Heroku'da Apache Kafka'yı kullanarak basit, olaya dayalı bir uygulama oluşturma konusunda size rehberlik edeceğiz. Şunları ele alacağız: Heroku'da Kafka kümesi kurma Olayları üreten ve tüketen bir Node.js uygulaması oluşturma Uygulamanızı Heroku'ya dağıtma EDA sistemleri oluşturmak için güçlü bir araçtır. Gerçek zamanlı veri akışlarını yönetmek için tasarlanmış açık kaynaklı bir platformdur. Kafka'yı hizmet olarak sağlayan bir Heroku eklentisidir. Heroku, uygulamaları dağıtmayı ve yönetmeyi oldukça kolaylaştırıyor ve son zamanlarda bunu projelerimde daha çok kullanıyorum. Kafka'yı Heroku ile birleştirmek, olaya dayalı bir uygulamayı çalıştırmak istediğinizde kurulum sürecini basitleştirir. Apache Kafka, Heroku'da Apache Kafka, Bu kılavuzun sonunda, Heroku'da Apache Kafka ile EDA'nın gücünü gösteren, çalışan bir uygulamanız olacak. Başlayalım! Başlarken Koda dalmadan önce bazı temel kavramları hızlıca gözden geçirelim. Bunları anladıktan sonra takip etmeniz daha kolay olacaktır. , bir sensörden alınan sıcaklık okuması gibi, sistemdeki bazı olayları gösteren veri parçalarıdır. Olaylar etkinliklerin yayınlandığı kategoriler veya kanallardır. Bunları bir bültende abone olduğunuz konular olarak düşünün. Konular, , konulara etkinlik oluşturan ve gönderen varlıklardır. Demo EDA uygulamamızda üreticilerimiz bir takım hava durumu sensörleri olacak. Yapımcılar konulardan olayları okuyan ve işleyen varlıklardır. Uygulamamız, hava durumu veri olaylarını dinleyen ve günlüğe kaydeden bir tüketiciye sahip olacaktır. Tüketiciler Uygulamamıza Giriş kütüphanesini kullanarak bir Node.js uygulaması oluşturacağız. Uygulamamızın nasıl çalışacağına dair kısa bir genel bakış: KafkaJS Hava durumu sensörlerimiz (üreticiler) periyodik olarak sıcaklık, nem ve barometrik basınç gibi veriler üretecek ve bu olayları Apache Kafka'ya gönderecektir. Demo amacıyla veriler rastgele oluşturulacaktır. Konuları dinleyen bir tüketicimiz olacak. Yeni bir olay alındığında verileri bir günlüğe yazacaktır. Tüm kurulumu Heroku'ya dağıtacağız ve olayları meydana geldikçe izlemek için Heroku günlüklerini kullanacağız. Önkoşullar Başlamadan önce aşağıdakilere sahip olduğunuzdan emin olun: Heroku hesabı: Hesabınız yoksa Heroku'ya . kaydolun Heroku CLI: Heroku CLI'yi . indirip yükleyin Node.js, geliştirme amacıyla yerel makinenize yüklendi. Makinemde Node (v.20.9.0) ve npm (10.4.0) kullanıyorum. Bu projenin tamamının kod tabanı bu mevcuttur. Kodu kopyalamaktan ve bu yazı boyunca takip etmekten çekinmeyin. GitHub deposunda Artık temelleri ele aldığımıza göre, Heroku üzerinde Kafka kümemizi kurup oluşturmaya başlayalım. Heroku'da Kafka Kümesi Kurma Heroku'da her şeyi ayarlayalım. Oldukça hızlı ve kolay bir işlem. Adım 1: Heroku CLI aracılığıyla oturum açın ~/project$ heroku login Adım 2: Heroku Uygulaması Oluşturun ~/project$ heroku create weather-eda (Heroku uygulamama adını verdim ancak siz uygulamanız için benzersiz bir ad seçebilirsiniz.) weather-eda Adım 3: Heroku eklentisine Apache Kafka'yı ekleyin ~/project$ heroku addons:create heroku-kafka:basic-0 Creating heroku-kafka:basic-0 on ⬢ weather-eda... ~$0.139/hour (max $100/month) The cluster should be available in a few minutes. Run `heroku kafka:wait` to wait until the cluster is ready. You can read more about managing Kafka at https://devcenter.heroku.com/articles/kafka-on-heroku#managing-kafka kafka-adjacent-07560 is being created in the background. The app will restart when complete... Use heroku addons:info kafka-adjacent-07560 to check creation progress Use heroku addons:docs heroku-kafka to view documentation Heroku'daki Apache Kafka eklentisi hakkında daha fazla bilgiyi bulabilirsiniz. Demomuz için eklentinin Temel 0 katmanını ekliyorum. Eklentinin maliyeti 0,139$/saattir. Bu demo uygulamasını oluştururken eklentiyi bir saatten az kullandım ve sonra kapattım. burada Heroku'nun Kafka'yı harekete geçirip sizin için hazırlaması birkaç dakika sürer. Çok yakında şunu göreceksiniz: ~/project$ heroku addons:info kafka-adjacent-07560 === kafka-adjacent-07560 Attachments: weather-eda::KAFKA Installed at: Mon May 27 2024 11:44:37 GMT-0700 (Mountain Standard Time) Max Price: $100/month Owning app: weather-eda Plan: heroku-kafka:basic-0 Price: ~$0.139/hour State: created 4. Adım: Kafka Kimlik Bilgilerini ve Yapılandırmalarını Alın Kafka kümemiz açıldığında kimlik bilgilerini ve diğer yapılandırmaları almamız gerekecek. Heroku, uygulamamız için çeşitli yapılandırma değişkenleri oluşturur ve bunları yeni oluşturulan Kafka kümesindeki bilgilerle doldurur. Aşağıdakileri çalıştırarak tüm bu yapılandırma değişkenlerini görebiliriz: ~/project$ heroku config === weather-eda Config Vars KAFKA_CLIENT_CERT: -----BEGIN CERTIFICATE----- MIIDQzCCAiugAwIBAgIBADANBgkqhkiG9w0BAQsFADAyMTAwLgYDVQQDDCdjYS1h ... -----END CERTIFICATE----- KAFKA_CLIENT_CERT_KEY: -----BEGIN RSA PRIVATE KEY----- MIIEowIBAAKCAQEAsgv1oBiF4Az/IQsepHSh5pceL0XLy0uEAokD7ety9J0PTjj3 ... -----END RSA PRIVATE KEY----- KAFKA_PREFIX: columbia-68051. KAFKA_TRUSTED_CERT: -----BEGIN CERTIFICATE----- MIIDfzCCAmegAwIBAgIBADANBgkqhkiG9w0BAQsFADAyMTAwLgYDVQQDDCdjYS1h ... F+f3juViDqm4eLCZBAdoK/DnI4fFrNH3YzhAPdhoHOa8wi4= -----END CERTIFICATE----- KAFKA_URL: kafka+ssl://ec2-18-233-140-74.compute-1.amazonaws.com:9096,kafka+ssl://ec2-18-208-61-56.compute-1.amazonaws.com:9096...kafka+ssl://ec2-34-203-24-91.compute-1.amazonaws.com:9096 Gördüğünüz gibi birçok yapılandırma değişkenimiz var. Proje kök klasörümüzde tüm bu config var değerlerinin bulunduğu adında bir dosya olmasını isteyeceğiz. Bunu yapmak için aşağıdaki komutu çalıştırmamız yeterlidir: .env ~/project$ heroku config --shell > .env dosyamız şuna benzer: .env KAFKA_CLIENT_CERT="-----BEGIN CERTIFICATE----- ... -----END CERTIFICATE-----" KAFKA_CLIENT_CERT_KEY="-----BEGIN RSA PRIVATE KEY----- ... -----END RSA PRIVATE KEY-----" KAFKA_PREFIX="columbia-68051." KAFKA_TRUSTED_CERT="-----BEGIN CERTIFICATE----- ... -----END CERTIFICATE-----" KAFKA_URL="kafka+ssl://ec2-18-233-140-74.compute-1.amazonaws.com:9096,kafka+ssl://ec2-18-208-61-56.compute-1.amazonaws.com:9096...kafka+ssl://ec2-34-203-24-91.compute-1.amazonaws.com:9096" Ayrıca .gitignore dosyamıza .env dosyasını da eklemeye dikkat ediyoruz. Bu hassas verileri depomuza dahil etmek istemeyiz. Adım 5: Kafka Eklentisini Heroku CLI'ye yükleyin Heroku CLI, Kafka ile ilgili komutlarla birlikte kutudan çıkar çıkmaz gelmez. Kafka kullandığımız için gerekecek. CLI eklentisini kurmamız ~/project$ heroku plugins:install heroku-kafka Installing plugin heroku-kafka... installed v2.12.0 Artık Kafka kümemizi CLI üzerinden yönetebiliriz. ~/project$ heroku kafka:info === KAFKA_URL Plan: heroku-kafka:basic-0 Status: available Version: 2.8.2 Created: 2024-05-27T18:44:38.023+00:00 Topics: [··········] 0 / 40 topics, see heroku kafka:topics Prefix: columbia-68051. Partitions: [··········] 0 / 240 partition replicas (partitions × replication factor) Messages: 0 messages/s Traffic: 0 bytes/s in / 0 bytes/s out Data Size: [··········] 0 bytes / 4.00 GB (0.00%) Add-on: kafka-adjacent-07560 ~/project$ heroku kafka:topics === Kafka Topics on KAFKA_URL No topics found on this Kafka cluster. Use heroku kafka:topics:create to create a topic (limit 40) Adım 6: Kümeyle Etkileşim Kurmayı Test Edin Akıl sağlığı kontrolü olarak Kafka kümemizle biraz oynayalım. Bir konu oluşturarak başlıyoruz. ~/project$ heroku kafka:topics:create test-topic-01 Creating topic test-topic-01 with compaction disabled and retention time 1 day on kafka-adjacent-07560... done Use `heroku kafka:topics:info test-topic-01` to monitor your topic. Your topic is using the prefix columbia-68051.. ~/project$ heroku kafka:topics:info test-topic-01 ▸ topic test-topic-01 is not available yet Bir dakika kadar sonra konumuz hazır hale geliyor. ~/project$ heroku kafka:topics:info test-topic-01 === kafka-adjacent-07560 :: test-topic-01 Topic Prefix: columbia-68051. Producers: 0 messages/second (0 bytes/second) total Consumers: 0 bytes/second total Partitions: 8 partitions Replication Factor: 3 Compaction: Compaction is disabled for test-topic-01 Retention: 24 hours Daha sonra, bu terminal penceresinde, bu konuyu takip ederek dinleyen bir tüketici gibi davranacağız. ~/project$ heroku kafka:topics:tail test-topic-01 Buradan terminal, konuyla ilgili yayınlanan etkinlikleri bekler. Ayrı bir terminal penceresinde yapımcı olarak hareket edeceğiz ve konuyla ilgili bazı mesajlar yayınlayacağız. ~/project$ heroku kafka:topics:write test-topic-01 "hello world!" Tüketicimizin terminal penceresine döndüğümüzde şunu görüyoruz: ~/project$ heroku kafka:topics:tail test-topic-01 test-topic-01 0 0 12 hello world! Harika! Kafka kümemizdeki bir konuya ilişkin etkinliği başarıyla ürettik ve tükettik. Node.js uygulamamıza geçmeye hazırız. Oyun alanımızı düzenli tutmak için bu test konusunu yok edelim. ~/project$ heroku kafka:topics:destroy test-topic-01 ▸ This command will affect the cluster: kafka-adjacent-07560, which is on weather-eda ▸ To proceed, type weather-eda or re-run this command with --confirm weather-eda > weather-eda Deleting topic test-topic-01... done Your topic has been marked for deletion, and will be removed from the cluster shortly ~/project$ heroku kafka:topics === Kafka Topics on KAFKA_URL No topics found on this Kafka cluster. Use heroku kafka:topics:create to create a topic (limit 40). Adım 7: Kafka'yı Uygulamamız için hazırlayın Uygulamamızın Kafka'yı kullanmasına hazırlanmak için iki şey oluşturmamız gerekecek: bir konu ve bir tüketici grubu. Uygulamamızın kullanacağı konuyu oluşturalım. ~/project$ heroku kafka:topics:create weather-data Daha sonra uygulamamızın tüketicisinin parçası olacağı tüketici grubunu oluşturacağız: ~/project$ heroku kafka:consumer-groups:create weather-consumers Node.js uygulamamızı oluşturmaya hazırız! Uygulamayı Oluşturun Yeni bir proje başlatalım ve bağımlılıklarımızı kuralım. ~/project$ npm init -y ~/project$ npm install kafkajs dotenv @faker-js/faker pino pino-pretty Projemizde çalışan iki süreç olacak: Konuya abone olan ve yayınlanan tüm etkinlikleri günlüğe kaydeden . consumer.js , konuyla ilgili bazı rastgele hava durumu verilerini birkaç saniyede bir yayınlayacak. producer.js Bu süreçlerin her ikisinin de Kafka kümemize bağlanmak için KafkaJS'yi kullanması gerekecek, bu nedenle kodumuzu yeniden kullanılabilir hale getirmek için modülerleştireceğiz. Kafka İstemcisi ile Çalışmak Proje klasöründe adında bir dosya oluşturuyoruz. Şuna benziyor: src kafka.js const { Kafka } = require('kafkajs'); const BROKER_URLS = process.env.KAFKA_URL.split(',').map(uri => uri.replace('kafka+ssl://','' )) const TOPIC = `${process.env.KAFKA_PREFIX}weather-data` const CONSUMER_GROUP = `${process.env.KAFKA_PREFIX}weather-consumers` const kafka = new Kafka({ clientId: 'weather-eda-app-nodejs-client', brokers: BROKER_URLS, ssl: { rejectUnauthorized: false, ca: process.env.KAFKA_TRUSTED_CERT, key: process.env.KAFKA_CLIENT_CERT_KEY, cert: process.env.KAFKA_CLIENT_CERT, }, }) const producer = async () => { const p = kafka.producer() await p.connect() return p; } const consumer = async () => { const c = kafka.consumer({ groupId: CONSUMER_GROUP, sessionTimeout: 30000 }) await c.connect() await c.subscribe({ topics: [TOPIC] }); return c; } module.exports = { producer, consumer, topic: TOPIC, groupId: CONSUMER_GROUP }; Bu dosyada yeni bir Kafka istemcisi oluşturarak başlıyoruz. Bu, Kafka aracıları için dosyamızdaki değişkeninden (başlangıçta heroku config çağrılmasından gelen) ayrıştırabildiğimiz URL'leri gerektirir. Bağlantı girişimini doğrulamak için , ve sağlamamız gerekiyor. .env KAFKA_URL KAFKA_TRUSTED_CERT KAFKA_CLIENT_CERT_KEY KAFKA_CLIENT_CERT Daha sonra Kafka müşterimizden bir ve yaratıyoruz ve tüketicilerimizi konusuna abone olduklarından emin oluyoruz. producer consumer weather-data Kafka Öneki Hakkında Açıklama konumuzun ve tüketici grubu adımızın başına eklediğimize dikkat edin. Heroku'da Apache Kafka için çok kiracılı bir Kafka planı olan Basic 0 planını kullanıyoruz. Bu, anlamına gelir. Konumuza ve tüketici grubumuz adını vermiş olsak da, çok kiracılı Kafka kümemizdeki gerçek adlarının başına eklenmiş olmalıdır (benzersiz olduklarından emin olmak için). kafka.js KAFKA_PREFIX KAFKA_PREFIX ile çalıştığımız weather-data weather-consumers KAFKA_PREFIX Yani teknik olarak demomuz için asıl konu adı değil, . (Aynı şekilde tüketici grubu adı için de.) weather-data columbia-68051.weather-data Üretici Süreci Şimdi hava durumu sensörü üreticimiz olarak görev yapacak arka plan sürecimizi oluşturalım. Proje kök klasörümüzde adında bir dosyamız var. Şuna benziyor: producer.js require('dotenv').config(); const kafka = require('./src/kafka.js'); const { faker } = require('@faker-js/faker'); const SENSORS = ['sensor01','sensor02','sensor03','sensor04','sensor05']; const MAX_DELAY_MS = 20000; const READINGS = ['temperature','humidity','barometric_pressure']; const MAX_TEMP = 130; const MIN_PRESSURE = 2910; const PRESSURE_RANGE = 160; const getRandom = (arr) => arr[faker.number.int(arr.length - 1)]; const getRandomReading = { temperature: () => faker.number.int(MAX_TEMP) + (faker.number.int(100) / 100), humidity: () => faker.number.int(100) / 100, barometric_pressure: () => (MIN_PRESSURE + faker.number.int(PRESSURE_RANGE)) / 100 }; const sleep = (ms) => { return new Promise((resolve) => { setTimeout(resolve, ms); }); }; (async () => { const producer = await kafka.producer() while(true) { const sensor = getRandom(SENSORS) const reading = getRandom(READINGS) const value = getRandomReading[reading]() const data = { reading, value } await producer.send({ topic: kafka.topic, messages: [{ key: sensor, value: JSON.stringify(data) }] }) await sleep(faker.number.int(MAX_DELAY_MS)) } })() Dosyadaki kodun büyük bir kısmı rastgele değerler üretmekle ilgilidir. Önemli kısımları vurgulayacağım: Beş farklı hava durumu sensörüne sahip olduğumuzu simüle edeceğiz. İsimleri bulunur. SENSORS Bir sensör, üç olası okumadan biri için bir değer yayar (yayınlar): , veya . nesnesi, bu okumaların her biri için makul bir karşılık gelen değer oluşturmak üzere bir işleve sahiptir. temperature humidity barometric_pressure getRandomReading Tüm süreç, sonsuz bir döngüsüne sahip bir işlev olarak çalışır. while async döngüsünde şunları yaparız: while Rastgele bir seçin. sensor Rastgele bir seçin. reading Bu okuma için rastgele bir oluşturun. value Bu verileri konuya yayınlamak için arayın. olayın görevi görürken ve olay mesajını oluşturacaktır. producer.send sensor key reading value Daha sonra döngünün bir sonraki yinelenmesinden önce 20 saniyeye kadar bekleriz. Tüketici Süreci arka plan işlemi oldukça basittir. consumer.js require('dotenv').config(); const logger = require('./src/logger.js'); const kafka = require('./src/kafka.js'); (async () => { const consumer = await kafka.consumer() await consumer.run({ eachMessage: async ({ topic, partition, message }) => { const sensorId = message.key.toString() const messageObj = JSON.parse(message.value.toString()) const logMessage = { sensorId } logMessage[messageObj.reading] = messageObj.value logger.info(logMessage) } }) })() zaten konusuna abone oldu. adını veriyoruz ve ardından için bir işleyici ayarlıyoruz. Kafka bir mesaj gönderdiğinde mesajı günlüğe kaydeder. Hepsi bu kadar. consumer weather-data consumer.run eachMessage consumer Süreçler ve Procfile dosyasına üretici ve tüketici arka plan süreçlerimizi başlatan birkaç eklememiz gerekiyor. Dosya artık aşağıdakileri içermelidir: package.json scripts ... "scripts": { "start": "echo 'do nothing'", "start:consumer": "node consumer.js", "start:producer": "node producer.js" }, ... Önemli olanlar ve . Ancak Heroku oluşturucusu onun orada olmasını beklediği için (anlamlı bir şey yapmasa da) dosyamızda devam ediyoruz. start:consumer start:producer start Daha sonra, Heroku'ya, Heroku uygulamamız için ihtiyaç duyduğumuz çeşitli işçileri nasıl başlatacağımızı anlatacak bir oluşturuyoruz. Projemizin kök klasöründe şu şekilde görünmelidir: Procfile Procfile consumer_worker: npm run start:consumer producer_worker: npm run start:producer Oldukça basit, değil mi? adında bir arka plan süreç çalışanımız ve adında bir başka çalışanımız olacak. Bir web uygulaması için genellikle göreceğiniz gibi bir çalışanımızın olmadığını fark edeceksiniz. Heroku uygulamamız için sadece iki arka plan çalışanına ihtiyacımız var. ihtiyacımız yok. consumer_worker producer_worker Procfile web web Uygulamayı Dağıtın ve Test Edin Bununla birlikte tüm kodumuz ayarlandı. Tüm kodumuzu repoya kaydettik ve dağıtıma hazırız. ~/project$ git push heroku main … remote: -----> Build succeeded! … remote: -----> Compressing... remote: Done: 48.6M remote: -----> Launching... … remote: Verifying deploy... done Konuşlandırıldıktan sonra dinamolarımızı doğru şekilde ölçeklendirdiğimizden emin olmak istiyoruz. Bir web süreci için bir dinamoya ihtiyacımız yok, ancak hem hem de için bir dinamoya ihtiyacımız olacak. Bu süreçleri ihtiyaçlarımıza göre ayarlamak için aşağıdaki komutu çalıştırıyoruz. consumer_worker producer_worker ~/project$ heroku ps:scale web=0 consumer_worker=1 producer_worker=1 Scaling dynos... done, now running producer_worker at 1:Eco, consumer_worker at 1:Eco, web at 0:Eco Şimdi her şey çalışır durumda olmalı. Perde arkasında, Kafka kümesine bağlanmalı ve ardından birkaç saniyede bir hava durumu sensörü verilerini yayınlamaya başlamalıdır. Daha sonra Kafka kümesine bağlanmalı ve abone olduğu konudan aldığı mesajları kaydetmelidir. producer_worker consumer_worker ne yaptığını görmek için Heroku günlüklerimize bakabiliriz. consumer_worker ~/project$ heroku logs --tail … heroku[producer_worker.1]: Starting process with command `npm run start:producer` heroku[producer_worker.1]: State changed from starting to up app[producer_worker.1]: app[producer_worker.1]: > weather-eda-kafka-heroku-node@1.0.0 start:producer app[producer_worker.1]: > node producer.js app[producer_worker.1]: … heroku[consumer_worker.1]: Starting process with command `npm run start:consumer` heroku[consumer_worker.1]: State changed from starting to up app[consumer_worker.1]: app[consumer_worker.1]: > weather-eda-kafka-heroku-node@1.0.0 start:consumer app[consumer_worker.1]: > node consumer.js app[consumer_worker.1]: app[consumer_worker.1]: {"level":"INFO","timestamp":"2024-05-28T02:31:20.660Z","logger":"kafkajs","message":"[Consumer] Starting","groupId":"columbia-68051.weather-consumers"} app[consumer_worker.1]: {"level":"INFO","timestamp":"2024-05-28T02:31:23.702Z","logger":"kafkajs","message":"[ConsumerGroup] Consumer has joined the group","groupId":"columbia-68051.weather-consumers","memberId":"weather-eda-app-nodejs-client-3ee5d1fa-eba9-4b59-826c-d3b924a6e4e4","leaderId":"weather-eda-app-nodejs-client-3ee5d1fa-eba9-4b59-826c-d3b924a6e4e4","isLeader":true,"memberAssignment":{"columbia-68051.test-topic-1":[0,1,2,3,4,5,6,7]},"groupProtocol":"RoundRobinAssigner","duration":3041} app[consumer_worker.1]: [2024-05-28 02:31:23.755 +0000] INFO (21): {"sensorId":"sensor01","temperature":87.84} app[consumer_worker.1]: [2024-05-28 02:31:23.764 +0000] INFO (21): {"sensorId":"sensor01","humidity":0.3} app[consumer_worker.1]: [2024-05-28 02:31:23.777 +0000] INFO (21): {"sensorId":"sensor03","temperature":22.11} app[consumer_worker.1]: [2024-05-28 02:31:37.773 +0000] INFO (21): {"sensorId":"sensor01","barometric_pressure":29.71} app[consumer_worker.1]: [2024-05-28 02:31:54.495 +0000] INFO (21): {"sensorId":"sensor05","barometric_pressure":29.55} app[consumer_worker.1]: [2024-05-28 02:32:02.629 +0000] INFO (21): {"sensorId":"sensor04","temperature":90.58} app[consumer_worker.1]: [2024-05-28 02:32:03.995 +0000] INFO (21): {"sensorId":"sensor02","barometric_pressure":29.25} app[consumer_worker.1]: [2024-05-28 02:32:12.688 +0000] INFO (21): {"sensorId":"sensor04","humidity":0.1} app[consumer_worker.1]: [2024-05-28 02:32:32.127 +0000] INFO (21): {"sensorId":"sensor01","humidity":0.34} app[consumer_worker.1]: [2024-05-28 02:32:32.851 +0000] INFO (21): {"sensorId":"sensor02","humidity":0.61} app[consumer_worker.1]: [2024-05-28 02:32:37.200 +0000] INFO (21): {"sensorId":"sensor01","barometric_pressure":30.36} app[consumer_worker.1]: [2024-05-28 02:32:50.388 +0000] INFO (21): {"sensorId":"sensor03","temperature":104.55} Üreticimizin periyodik olarak Kafka'ya mesaj yayınladığını biliyoruz çünkü tüketicimiz bu mesajları alıyor ve ardından günlüğe kaydediyor. İşe yarıyor! Elbette daha büyük bir EDA uygulamasında her sensör bir üreticidir. Çeşitli amaçlarla birden fazla konuda yayın yapabileceği gibi hepsi aynı konuda yayın da yapabilirler. Ve tüketiciniz birden fazla konuya abone olabilir. Ayrıca demo uygulamamızda tüketicilerimiz Mesajda çok fazla mesaj gönderdi; ancak bir EDA uygulamasında tüketici üçüncü taraf bir API'yi arayarak, SMS bildirimi göndererek veya bir veritabanını sorgulayarak yanıt verebilir. eachMessage Artık olaylar, konular, üreticiler ve tüketiciler hakkında temel bir anlayışa sahip olduğunuza ve Kafka ile nasıl çalışacağınızı bildiğinize göre, daha karmaşık iş kullanım durumlarını karşılamak için kendi EDA uygulamalarınızı tasarlamaya ve oluşturmaya başlayabilirsiniz. Çözüm EDA oldukça güçlüdür; kolay ölçeklenebilirlik ve gerçek zamanlı veri işleme gibi temel özelliklerin keyfini çıkarırken sistemlerinizi ayırabilirsiniz. EDA için Kafka, yüksek verimli veri akışlarını kolaylıkla yönetmenize yardımcı olan önemli bir araçtır. Heroku'da Apache Kafka'yı kullanmak hızlı bir şekilde başlamanıza yardımcı olur. Yönetilen bir hizmet olduğundan Kafka küme yönetiminin karmaşık kısımları hakkında endişelenmenize gerek yoktur. Yalnızca uygulamalarınızı oluşturmaya odaklanabilirsiniz. Buradan itibaren deneme ve prototip yapma zamanı geldi. Hangi kullanım durumlarının EDA'ya uygun olduğunu belirleyin. Dalın, Heroku'da test edin ve muhteşem bir şey oluşturun. Mutlu kodlama!