NOT: Mimarlık aktif bir şekilde gelişiyor: Kafka aracılığıyla olaylar, bir Media Gateway üzerinden MinIO'ya bajtlar, ClickHouse'da analizler ve GUI için ince bir Read API. Ingest WARC'ler yazıyor; özetler tam metin hash'i ile anahtarlanmış yan nesnelerdir. Bilgi Teknolojileri Hayatta birçok kez bir şeyi yapmak zorundayız çünkü kolay değil, çünkü zor. Ben o alanlardan birindeyim. Rüyam: teknoloji haberlerini toplamak ve ilişkilendirmek için bir program oluşturmak. Bir sonraki gen artırılmış gerçeklikle ilgileniyor musunuz? BillsTechDeck size bu konuda bilgi bulmanıza yardımcı olabilir! Dünya, teknolojik eğilimleri değerlendirmek için ilgili bir kaynaktan elde edebileceğiniz gadgets ve teknoloji duyurularının türlerine yaygın olarak açıktır ve belki de sizi güçlü bir google ile kaçtırabilecek genel bir görüntü elde edebilirsiniz. "büyük resim" elde edebilerek büyük bir nefes alarak. Apple'dan Vision Pro hakkında bilgi ararken ya da yeni Switch 2 haberlerini beklerken karşılaştığım bir sorun. Bir akış diyagramı göstererek sistemin genel bir genel bakışla başlayalım. Bazı düşünceler: mesajı geri yönlendiren tüm oklar farklı sıraya akıyor. Ayrıca, her alt sistem Docker konteynerlerinde ve K8'in ve bir CI / CD boru hattı tarafından düzenlenmiş olması düşünün (grafikte dahil etmiyordum çünkü çok meşgul olurdu). Temel olarak, tek bir yerde haberler, eğilimler, kaynaklar, analizler, özetler istiyorum, böylece teknoloji haberlerinin, cihazların ve eğilimlerin ruhunu anlayabildiğim tutarlı bir veri hacmi oluşturabilirim. Birlikte bir şeyler yapmaya çalışıyorum: Şimdi, ben sadece bir hobiciyim. Bu yüzden hiçbir şey bildiğimi iddia etmiyorum. Gerçek mutluluk olan eğleniyorum. Bunu tekrarladım çok sooooo Aşağıdaki adımları izleyin (Daha Fazla) İlgili adımlar : Kafka Harvester, FeedbackService'den gelen bilgilere dayanan IngressOrca'dan içeriği alır. MinIO'yu WARC'leri bir araya getirmek için bir yol olarak kullanır ve aynı zamanda zengin medyayı dağıtılmış bir şekilde ele alabilir. Media, sha256 ve sha1 anahtarları üzerinde çalışan MinIO kümesine (Media Cluster) depolanır (WARC'ler durumunda, ancak sistem birleşimi için sha256 hash anahtarları da olacak) Sanitizer, Harvester'den sıraya giren işleri alır ve medya kapısından sanitasyon yapmak için medyayı çeker. Kirli ise, kontrol edilmiş bir ortamda adli tıp yapmaya devam ederiz. OCR, Kafka'dan işlere dayanan zengin medyada çalışıyor spaCy (NER), her şey üzerinde çalışır. spaCy, spaCy sağlığı denetleyicisine bir çift iş gönderir ve eğer doğruysa otomatik bir phi4 özetinin haklı olup olmadığını belirlemek için bir puanlama servisine gönderilir, eğer haklı değilse sadece korelasyon motoruna gönderilir. Phi4, puanlama hizmeti tarafından garanti edilen veya kullanıcı tarafından başlatılan belirli veriler üzerinde çalıştırılır. Korelasyon Motoru Her Şeye Çalışıyor Her alt sistem, LogHandler ve LogSilo/ElasticSearch tarafından yönetilecek kayıt sıraları için sağlam denetleme ve gönderime sahip olacak. Medya erişimi gerektiren alt sistemler/dealerler, MediaGateway aracılığıyla sessiz bir çağrı yoluyla MinIO kümesiyle etkileşime gireceklerdir. GUIHandler, ControlEvents'i gönderebilir ( phi4 özetlemesi, tweaking stuff) FeedbackService, HistoricalHandler ile HistoricalSilo'dan daha iyi bilgi verecek bir model yetiştirmek için konuşur, böylece IngressOrca (Orchestrator) daha iyi ne zaman, nerede ve nasıl daha iyi bilgi çekebileceğimize karar verebilir. Tüm veriler bir MinIO kümesine (MediaCluster) depolanır ve dinlendirici aramalar aracılığıyla erişilir Çağrılar Hürriyet Çağrı Merkezi’ne yapılır Tüm alt sistemler Kubernetes tarafından konteynerize edilmiş ve orkestrasyonlanmıştır. Harvester Giriş Feedback Hizmetleri Saniye Harvester OCR Hakkında Sıcaklık ( NER ) Çılgınlar Phi4 Hakkında Korelasyon Motoru Lojistik Etiket Arşivi / ElasticSearch medya yolları Media Cluster Hakkında medya yolları Tüketiciler Tüketiciler Kontroller Feedback Hizmetleri Tarihi Ticaret Tarihçi Giriş MediaCluster için Tüketiciler I'm sure I left out some detail, but that's the gist. Harvester Hakkında: Veri Toplama Veri Toplama Pixel Fold 3 hakkında yeni haberler nasıl toplayabiliriz? Çeşitli kaynaklar çeşitli veri toplama yöntemlerini gerektirir. Tüm sitelerin de belirli yapıları vardır (ne kadar karmaşıktır). Neyse ki, veri toplama arkasında inanılmaz bir ekosistem var. bot algılama, DDoS filtreleme, captchas, hatalı bilgi Python bir Bu amaçla kullanılabilecek bir dil ve benim gibi hobiler, Steam Deck 2 teknolojisi özellikleri ve diğer sohbetleri hakkında önemli bilgileri yakalamak için yoğun bir şekilde çalışan canlı bir topluluğa sahiptir (ne kadar inanılmaz). inanılmaz Recon What is the site structure? What is the site's flow? What tricks are companies like Akamai pulling to impede my ability to get my precious tech snippets? What values change and where? When does my cookie become invalid depending on an abnormal flow? Does the javascript try to fool me? Is it dynamic, obfuscated or check for tampering? Are my user agents okay and when do I rotate them? How do I handle headers? How do I handle TLS Fingerprinting? This list is getting long so I'll just add "heuristics" Bu çok ilginç bir süreçtir ve iyi bir miktar dikkat gerektirir. bu yüzden teknoloji haberlerimi almak için hedefler genel olarak kurulmalı ve kapsamlı olmalıdır. ve Site ve heuristikleri hakkında değerli bilgiler toplamak önemlidir. düştü Proxy Hakkında CAPTCHAs *: image recognition tasks* Tradition CAPTCHAs *: Machine learning looking at user behavior to determine bot behavior* ReCAPTCHA *: pesky things that run in the background by grumpy site admins looking to stop me* Invisible CAPTCHAs Geleneksel Captcha Geri Dönüşüm Görünmez Captcha Küçük bir liste olmasına rağmen, bu kesinlikle büyük bir engeldir ve hiçbir şekilde eksiksiz bir liste değildir.Bu sorunlara yönelik tüm çözümler karmaşık çözümler gerektirir. Devam edebilirdim ama güvenilir konut proxy'leri, mobil proxy'leri, oran sınırlamaları, aygıt parmak izlerini tanımak ve hafifletmek ve son olarak bal kutuları gibi şeyleri eklemeye inanıyorum. Bu nedenle farklı yaklaşım seviyelerine ihtiyacımız var: Graduate Response Crawling Stratejisi “Bir pellet tüfeği ile test edin, eğer fubar’d ise bir Ordinance’a tırmanın.” “Bir pellet tüfeği ile test edin, eğer fubar’d ise bir Ordinance’a tırmanın.” : Level 1 Pellet Gun aiohttp scrapy Use for static pages, public APIs, or weakly protected endpoints. Low noise, low cost. : Level 2 Scoped Rifle Playwright + stealth plugins Use for JS-rendered sites, light bot defenses, simple captchas. Mimics real users, simulates browser behavior. Level 3: Ordinance Crawl4AI / Nodriver , heavyCAPTCHA solving , Mobile proxies Use when you hit: invisible captchas, anti-bot JavaScript puzzles, DOM obfuscation, or flow control defenses. Heavy but necessary for hard targets. Pellet Silahı Saldırgan tüfek emirleri Neden önemli bu Verimlilik: Curl çalıştığında Playwright döngüleri yakmayın. Stealth: Gereksiz alarmları kaldırmaktan kaçının. Uzun ömür: Aylar boyunca yasaklama olmadan çalışmak, haftalar değil. Ama şimdi karmaşıklığı tanıtıyoruz. başlangıçta çok basit kurallara sahip olacağız. daha güçlü hale gelir, daha iyi yerlere daha iyi aramalar yapabiliriz çünkü Bizi yönlendirmeye çalışanlar da var. Tarihçi Tarihsel veriler Tarihçi Sistemin bu kısmı muhtemelen ve sürekli güncelleme gerektiren biri olacak çünkü weenies arasında kedi ve fare oyunu beni tatlı, tatlı Samsung haberlerinden uzak tutan siteler. En Önemli Gerçek zamanlı verileri çekme konusunda gerçekten endişelenmeden önce yutmak, yutmak, yutmak ve doğrulayabilmek için bir plan hazırladım. Asynchronous ve blocker olmadan. İnternet Arşivi Python Eğer zamanında çok fazla veri çekmeye başlamış olsaydım, korelasyonlarımın hiçbir şey anlamadığından emin olamazdım.Tarihsel veriler bana çok daha fazla güven veriyor ve bilgileri 20/20 arka bakış açısıyla doğrulayabiliyorum. Bu yaklaşım, çok fazla değişiklik gerektiren bir crawler oluşturmak zorunda kalmadan sistemin geri kalanına konsantre olmanızı ve konsantre olmanızı sağlar. bir crawler oluşturmak başlangıçta çok fazla zaman tüketir ve sistemin geri kalanını bırakır. Hiçbir veri güvenilmemelidir: Sisteminizi zehirlemek isteyen insanların sanatı Sisteminizi zehirlemek isteyen insanların sanatı What's the problem with taking data from the internet? Neyse, herhangi bir süre boyunca internette olan herkes kirli trolllar hakkında biliyor. Sizi ve yeni akıllı telefon bilgilerini almak için soylu hedefiniz için dışarıda olan aktörler. İnsanların sizi zorlamak istediği gerçeği nedeniyle, en kötüsünü varsaymanız gerekir. Bazı endişeleri vurgulayalım (tamamen bir liste değil, sadece bir tadı) Malice in action Javascript Payloads (XSS, Embedded goodness, etc) Worry about data exfiltration Browser Exploits Redirection and Phishing PDF Macros and Embedded Object Can do spooky things like "remote code execution" Info disclosures Initiate connections to scary C2's Handling various filetypes Office Document macros EXE/DLL (less of a concern since they'd be filtered Malicous archive files that contain executables and path traversals Image/Media file: hiding stegonagraphy or utilizing dirty dirty codecs Data Integrity Tampered data Spoofed sources People looking to poison my system with generally bad data So how do we deal with this? Some things I left off this list (like servers trying to DDoS my harvester by serving up tons of unnecessary data to hurt my feelings). We first off want to isolate and contain all data we haven't vetted. A separate black box that either resides on a different network system or is . While occurs, it has to be weighed with the caveats that come with air-gapping (which I won't bore anyone with). air-gapped Vlan atlama One level is running rules on a file. Which is fine, and a great starting point. We have tools for macro analysis. We have bir analiz aracı. dosyaları ne olduklarını doğrulayabiliriz (kötü trollların exe'leri gizlemediğinden emin olmak). Biz tehdit feeds karşı hash kontrol ediyoruz. Yaralı PDF static code analysis Biz de varız at the other extreme. It İnternet Arşivi’ne geçmeden önce; Dinamik analiz, davranış raporlama, tehdit algılama... ve Some dirty files can detect sandbox environments. Others can escape them. It is resource intensive and has a complex setup. It is too resource intensive and complex for a while. Cuckoo Uygulanmayacak Önemli But it can be thwarted! engellenebilir hale gelebilir! Lastly, we have to worry about data poisoning. I don't have a clear path on how to handle this. There is a breadth of research papers I am going to go through to better understand the problem and approaches. Kimse söylemedi . I write this not a definitive writing of what I'm doing. More so highlighting the amount of ways bad hombres can me and my system. safety is easy staggering Kompromisi I have yet to see a lock that can't be picked. Sadece yapabildiğim kadar karmaşık yapabilirim. With that in mind, I am designing this part with Performans, hafıza güvenliği ve çok beğendim. Haberler >Yerel Haberler >Yerel Haberler >Yerel Haberler >Yerel Haberler to interact with the (MinIO cluster) Rust TOKİ medya yolları MediaCluster medya yolları MediaCluster In conclusion: In conclusion: Sonuç olarak : For the majority of time, var mı for . The further I can put the sweet, sweet apples up the tree and the better. bad actors looking low hanging fruit minimize my attack surface If the data is skanky we quarantine it so we can analyze it. We document it and store the analytics revolving around it in the . HistoricalSilo HistoricalSilo Phi4 Orta Boyutları: summarizing for busy people like me summarizing for busy people like me come with a lot of challenges. Resource wise, content wise. However, they also have the ability to give us cogent summaries of potentially lengthy pieces of information. That's why I'm using (Daha güçlü bir şeye ihtiyacım var) LLM Hakkında Phi4-medium Why would I choose this? Goldilocks size and performance Medium is bigger than mini. Medium has 14 billion parameters. Competitive enough with larger models but more efficient Optimized for my use cases Yerel uygulamalar için uygundur Cost effective (since I'm a lowly cabbage farmer) Geliştirme esnekliği I need something local and powerful and it fits the bill. Having it being its own docker image makes it easy. Another positive is my ability to fine tune it (for my greedy need for information on the new iPhone). Caveats! Hallucination Tis the cost of doing business. For this I may have to implement and RAG system. My own guys are working against me! *sigh* English In the end this is not an overall large deal since I'm not multilingual. Though it adds complexity should I want to expand data sources to places I can't understand I'm pigeonholing myself into consuming English. My own guys are working against me! English O zaman ne yapar a Benim gibi mi yapıyorsun? headstrong cabbage farmer Sanity checks. Things like volume yields : Checks if the summary's length is reasonable. Meaning Did Phi-4 produce a 150-word summary as requested, or did it return a single sentence or a 10-page novel? . Cardinality or categorical value checks : Checks if the entities (people, places, etc.) in the summary are a valid subset of the entities in the original article. Primary defense against hallucination. Meaning Does the summary mention 'Germany' when the source text only ever mentioned 'France'? . Completeness and fill rate checks Checks for the omission of critical information. Meaning: The original article mentioned three key companies, but the summary only includes one. Is the summary missing vital information? Uniqueness checks Checks for repetitive or redundant content within the summary. Meaning: Did the model get stuck in a loop and repeat the same sentence three times? . Range checks Checks if numerical data in the summary is factually correct based on the source. Meaning: The source text says profits were '$5 million,' but the summary says '$5 billion.' Is this a catastrophic numerical error? Presence checks The most basic check: did the service return anything at all? Meaning: Did the Phi-4 service time out or return an empty string instead of a summary? Data type validation checks. Checks if the summary adheres to the requested structure. Meaning: I asked for a JSON object with a 'title' and 'key_points' array. Is the output valid JSON with those exact keys? Consistency checks The deepest check for factual grounding and logical contradiction. Meaning: The source text says 'the project was cancelled,' but the summary implies it's ongoing. Does the summary contradict the facts of the original article? Things like volume yields Kardinalite veya kategorik değer kontrolü Completeness and fill rate checks Benzersiz Kontroller Range checks Presence checks Veri türü doğrulama denetimi. Consistency checks This list can quickly become like Benjamin Buford Blue naming uses for shrimp so I'll top it off there. This will be auto-run based on the scoring service or manually requested by . moi SpaCy ile entiteler yakalamak: ve yakalamak Önemli şeyler grabbing pertinent things We are at the Bölüm olarak spaCy Hangi modeli seçmeliyim? Çeşitli modeller sunar, hepsi kendi kullanımları ile. so out of the box . I will likely need to fine tune a custom ve ekle . At the start I will need to annotate data to train my model (there are open source tools to somewhat automate this process). This will also encompass training it to . spaCy Genel Web İçeriği it won't recognize tech jargon model değil custom components recognize entity types I will need to be (Bölüm ve ). I içeri girmek ve yapmak ve (i.e. "Apple" the company and "apple" the fruit). With that comes the possibility of building a custom entity linking component or external tool integration (hopefully not). fluent in rule-based matching matcher EntityRuler will need entity linking çelişkileri Since I'm only worried about English at the moment, I am blessed to be ignorant of language detection. Past that I will need to consider performant things like ve . When not in use turn it off! batch processing component disabling With the consideration possible koşarak I'll have to consider temel modelleri ve based models, and also have to consider considerable RAM utilization. parallel processes F4 Hakkında CPU GPU There's . The use of custom attributes will be a must. I will have to plan for out-of-domain text which I will inevitably run into and is crucial for me to know how to handle. pre-processing, post-processing and possibly integrating external logic and models Lastly, and almost most importantly: Sanity checks. Validasyon Programı Verifying correct data types Paying close attention to the behavior around critical fields Beklenen veri türlerini tanımlamak Tarihler ve kelime sayımları gibi şeylerle kabul edilebilir aralıklar oluşturma İzin verilen değerler Tamamlanma Sınırı Belirleme Çapraz alan tutarlılığı kurallarının dikkate alınması Yukarıda bahsettiğimiz sağlık kontrol malzemelerinin birçoğu burada geçerlidir, ancak entitelerle ilgili daha detaylı bir anlamda. liste devam eder ve yine Forrest Gump'a hamamböceği için kullanımlar listelenir. I feel okay about the completeness of this section. Data correlation: making sense of things making sense of things in this system is important. I need a language that can provide me some memory guarantees as well as stop me from making newbie mistakes. I drifted towards başlangıçta. bunu düşündüm ve geri geldim . I'm simply not an experienced programmer and would likely implement things that would hose my system. Data correlation incredibly C++ Rust C++ Basically, takes entities from Kullanacağınız ürünler için tıklayınız. İki . I needed some real granularity and functionality for statistics in correlation. An earlier draft incorporated RocksDB, which wasn't robust enough with recent developments. dinlenmek spaCy ClickHouse write/read/store Uygun things So stats will be important (yay!). An Kodlama yöntemi anahtar ve ne yaptığımı, neden yaptığımı ve nasıl uyguladığımı çok bilinçli olmak zorunda kalacağım. bu bölümde birçok I/O süreçleri konuşacağım çünkü . idomatic TOKİ Kilikon Aslında tüm kurumları ve on them an compare it . run rich analysis historical data I consider the following things: Bu ilişki istatistiksel olarak önemli midir? Is this correlation more than just "chance"? Is this significance worth creating a graph relationship with? Is there factual backing to put emphasis on this specific relationship? So I'd need to do things like establish a for connections. It'd also be a good idea to establish , a measure that scores how much more likely two entities are to appear together than by random chance. Where high and negative scores tell me great things about a correlation. p değerleri Karşılıklı bilgilendirme Using stats is essential for filtering out noise. For instance, the entities ve Binlerce kez bir araya gelecektir, ama bu bağlantı and particularly insightful. Statistics help us prove that a rarer connection, like a specific tech company and a government agency, is far more significant even if it only appears a few times. Also, thinking of the : kendi Çünkü bu a . 'Apple' 'iPhone' açıkça not Whitehouse not Önemli white building Past getting into some concepts I feel out of the scope of this overview, I'll leave it at that. Data: the backbone sırt çantası Peki, sıcak yeni teknoloji ürünleri hakkında tüm bu verilerle ne yapmalıyım? Hoard yapıyorum bunu. Çok sayıda veri tabanına sahip olacağız (PostgreSQL, ClickHouse, Neo4j, MinIO) All data operations will be fed through Birini yönetecek operations, one which will be used to store artifact data İki kişi olacak ( and ). Its a lot, but each DB has its own strength and I believe a simple would have significant drawbacks. data handlers Neo4J PostGreçli (basically a metadata registry) ClickHouse HistoricalSilo Korelasyon “Her şey için SQL Server” HistoricalSilo Korelasyon Data structures, Tablolar ve ana anahtarlar aynı miktarda olacak (Bölümler Diğerleri arasında; çok daha kolay olacak, ancak kesinlikle çok fazla dikkat gerektirir. Çok fazla düşünme, gözyaşları ve hayal kırıklığı kaynağı olacak. iyi bir tasarım çubuklarla ödeyecek. Daha sonra bu yaklaşacağım çünkü ihtiyacım olan şeyin çok daha iyi bir fikre sahip olacağımı hissediyorum. iyi Kilikon Depolanan prosedürler Sanatçılık Sanatçılık başka bir canavar. ben hissediyorum kadar benim İçinde olması gereken painless (famous last words). My feelings are that I essentially want to try and make it as dumb as possible. I want to be able to point to point to my correlation engine and understand the Karmaşıklık ve korelasyon mantığı katmanlarını eklemeye başladığımda veriler daha fazla birleştiriliyor ve korelasyon motorumun değerinden azalıyor. Çıktı4J correlator isn't phoning nispeten “Neden mi?” The olacak a DB, şunları içeren çok sayıda granüler veriye sahiptir: Tarihçi Kilikon HistoricalSilo Where we got good data Hangi arama sorguları en iyi verileri verdi What harvesting methods worked the best for which data source Where/when and potentially why we got dirty data Bu kirli verilerin analizi Muhtemelen çok daha fazlası var ve o noktaya geldiğimde onları bulacağım. ve Cluster diğerlerinden daha az acı verici bir şekilde uygulanır. hala her şey kemer ve asansör olduğundan emin olmak gerekir. Minik Bilgi tabanları yoğun bir deneyim olacak. Bir ton daha olacak. GUI: Webapp Zamanı! The olacak a Başlangıçta bunu bir masaüstü uygulamaya dönüştürmek istiyordum ama sonunda daha fazla insanın kullanmasını istediğimi fark ettim. Harika bir seçenek olmayacaktı. GUI webapp için Piyasalar6 Using a Böyle çok çeşitli kütüphanelere erişim sağlarım. GUI kullanırsam kullanılamayacak olan inanılmaz bilgilere inanılmaz bir erişim var. , hedeflerim çok farklıydı. dürüst olmak gerekirse sadece Python'da bir gui yazmak istemiyordum. neden yapmadığım için iyi bir nedenim yok. mükemmel bir yetenek. Sadece kişisel bir tercihti. webapp Piyasalar6 Benim karnımda o gürültü hissi var, başka bir gui seçeneği aradım. GUI projelerinden vazgeçildi. Buna ek olarak, GUI kütüphaneleriyle insanların yapmış olduklarının iyi örneklerini bulmak zor, eğer imkansız değilse. kesinlikle sadece ileri gitmiş olabilirdim, ancak bir şey kullanmak istemiyordum ve belirli bir GUI ile vizyonumun mümkün olmadığını fark ettim. LOT Ben de gittim bir Bunun bir çok faydası var, ama şimdi gerçekten güvenlik üstünde olmak zorunda kalacağım. Ancak, projemizi göstermeye hazır olduğuma inanana kadar bu karmaşıklıkla ilgili endişelenmem gerekmeyecek ve belki de o zamana kadar kodlayabileceğim bazı iyi adamlar bulabilirim. webapp Basically, the gui talks to the Konuşan kişi ile ve ve Belirli işleri yürütmek gibi olayları kontrol edin. işe nasıl girdiğine kararlılıkla ve kararlılıkla bakılmalıdır. . Gümüşhan Lojistik Artifakçı Tarihi Ticaret Kontroller Kafka Gümüşhan Lojistik Artifakçı Tarihi Ticaret Kontroller Her türlü zengin medyaya hizmet etmek zorunda kalacağız. Sadece bir web app yapmak daha dikkatli hissediyorum. Son sözler : last considerations Son düşünceler Her şeyi kaplamadım. eklemek istediğim bir şey var: Benim seçimim ve . Bu proje için şu anda gerçekten aşırı ölür. Bu benim ilk seçim değildi. Ancak, ilk seçimim sürdürülebilir hale geldiğinde geliştirme sırasında bir sıkıntıya girdim. Ulaştığım yer burası. Bu yazı artık 4.5k kelime üzerinde kapanıyor Kafka Kafka Kafka Ek bir bonus, bir CV'de iyi göründüğüdür. Her zaman geliştiricilik yapmaya karar verdim. Eğer . ben yapmayacağım But, it would look nice. Teknolojik trendlere olan sevgime hayat verebilmek için önümde bir sürü iş var. yap i Bunlardan herhangi birini yapmak mı? ihtiyacı No. Sadece inanılmaz eğlence olduğunu düşünüyorum. Tüm mimari ve akış seçenekleri değişikliklere tabidir. bu blogda kod sunmayacağım (gözlerinizi kurtaracağım). There are tradeoffs everywhere. Kafka’yı Ne Zaman Değerlendireceğiz? Kaynak orkestratörü uygulayabilir miyim, böylece cihazımı yakmıyorum? “Değerli” verilerin tanımlanması ile ne kadar granüler olurum? Gereksiz verileri temizlemek için sistem içinde ne yapmalıyım? Gecenin geç saatlerinde ateş yakmaya ihtiyacım var mı? Kompromis Olduğunda Ne Yapmalıyım? Bilgi Zehirlenmesi Nasıl Önlenir? Vexing. Vexing. Her ne kadar korkunç olsa da, bir Zaman ve hiçbir patron başarısızlık hakkında beni sürmek için. Gizli Silah Bu yıllar alacak. Ve bu iyi. Bu proje okuyucu için dışarıdan çılgın ve hırslı olabilir. Bunu itiraf etmek için yeterince bilinçliyim. Ben sistemin içindeki tüm bilgi alanlarına inanılmaz derecede ilgi duyduğumu söylemek istiyorum. , not a 100-meter sprint. . Uzun Maraton Küçük bir bit Küçük bir bit Öğrenilen bir dersten ayrılmak istiyorum Spruce, UPS merkezinin adresini kendi Chicago'daki bir daireye değiştiren bir adamdır.Bu, Mr. Spruce'un UPS'e özel olan hesabına ~65 bin dolar nakit para yatırabileceği aylar boyunca izin verildi. Sayın Spruce Bu nasıl uyumlu? Bu hikayeden öğrendiğim bir şey Mümkün olduğunca mantıksal bir tavan göz ardı etmek.Mr. Spruce, dünyanın en büyük lojistik şirketinin adresini kendi daireye değiştirebileceğine dair sorularla endişelenmemişti. . Dürüstlük Ve işe yaradı Dürüstlük Ve işe yaradı Mr. Spruce'un impuls kontrolü eksikliğinden ve önyargı eksikliğinden kesinlikle vazgeçebileceğimi hissediyorum, ama denemek için cesaretimi içine alabilirim. bir konsensüsün "yapılabilir" olarak nitelendirdiği şeyleri tamamen ve tamamen görmezden geldiğimde, "yapamazsınız" diyen mantığa dayanan bir geleneğe bağlı olmayan bir öğrenme yolculuğuna başlayabilirim. Belki de yapamıyorum. büyük başarısızlık yapmaktan ziyade denemeyi tercih ederim. Bunun için, Mr. Spruce'un tamamen lanet etmeme yaklaşımını temsil etmeliyim. Bu blogun içine girdiyseniz umarım bir şeyler öğrendiniz. Birçok sevgi, Bill “Wizard” Anderson Hakkında
