Systemdesign in einem Nutshell

Lassen Sie uns beginnen. Ich hatte diesen Artikel in meinem Kopf für 2 Jahre und nie geschrieben, befürchtet, dass es nicht perfekt sein würde. Die Technologie-Landschaft ändert sich ständig und entwickelt sich, und die Werkzeuge, die Sie heute verwenden, können 5 Jahre später veraltet sein. Deshalb schreibe ich die Kernkonzepte des Systemdesigns hier. Wir können es immer auf der Grundlage unserer Infrastruktur und Anforderungen finanzieren. Wenn ich auf einen anderen Rahmen stoße, werde ich es als Fortsetzung dieser Korrespondenz schreiben. Systemdesign ist ein wesentlicher Teil der Softwareentwicklung. Sie müssen eine 30.000 Fuß Ansicht haben, bevor Sie in die Spezifikationen graben. Allgemeine Programmiersprachen können überall verwendet werden, aber Sie müssen zuerst wissen, wo es zu verwenden und wie es zu verwenden. Im Folgenden sind die wichtigen Schritte, die ich während meiner Forschung getroffen habe (einige Themen werden nicht im Detail erklärt, da sie ihren eigenen Artikel verdienen): UX Design & Komponenten Da Sie höchstwahrscheinlich keine CLI entwickeln werden, ist eine gute UX-UI wichtig. Sie müssen die wichtigen Komponenten kennen und sie dann verbessern, wenn Sie voranschreiten. Ein Twitter-Klon wird eine Komponente haben, in der Tweets erstellt werden. Es wird Benutzerprofile, Follower, Datenschutzeinstellungen usw. haben. Ein Klon von Uber wird Kartenintegration haben. Chat-Botschafter wie WhatsApp haben Person-zu-Person-Nachrichten und Gruppennachrichten, Weiterleitung und Freigabeoptionen usw. Versuchen Sie, die Apps, die Sie entwerfen, zu kategorisieren und ihr Design zu beobachten.Alle Social-Media-Apps fallen unter einen Regenschirm, alle Video-Streaming-Plattformen / OTTs in einer anderen und alle Filmbuchungs- / Buchungs-Apps fallen unter einen anderen. ╔═════════════════════════════════════╗ ║ TWITTER CLONE UI COMPONENTS ║ ╠═════════════════════════════════════╣ │ APPLICATION UI │ ├─────────────────────────────────────┤ │ ┌──────────┐ ┌──────────┐ │ │ │ Profile │ │ Tweet │ │ │ │Component │ │Component │ │ │ └──────────┘ └──────────┘ │ │ ┌──────────┐ ┌──────────┐ │ │ │ Settings │ │ Messages │ │ │ │Component │ │Component │ │ │ └──────────┘ └──────────┘ │ └─────────────────────────────────────┘ Unterklassen / Unterklassen Wenn Sie über ein objektorientiertes Design nachdenken, ist es einfacher, wenn Sie alle verschiedenen Klassen auflisten, die Sie in Ihrem Systemdesign benötigen. Dies hilft, alle Objekte auszuschalten, und Sie können dann Methoden definieren, die zu diesen Klassen gehören. Zum Beispiel wird ein Twitter-Klon eine Klasse "Benutzerprofile" mit Attributen wie "Name", "Location" usw. haben. ╔═════════════════════════════════════╗ ║ OBJECT-ORIENTED CLASS DESIGN ║ ╚═════════════════════════════════════╝ ┌─────────────────┐ │ User │ ├─────────────────┤ │ - name │ │ - location │ │ - email │ ├─────────────────┤ │ + post() │ │ + follow() │ └────────┬────────┘ │ ┌────────┴────────┐ │ │ ┌───▼────┐ ┌─────▼───┐ │Premium │ │ Basic │ │ User │ │ User │ └────────┘ └─────────┘ Design Patterns Sobald Sie das Klassendesign haben, können Sie dann ein angemessenes Designmuster auswählen, das Ihren Bedürfnissen entspricht. Wenn Ihre Anwendung beispielsweise einen Newsfeed enthält, können Sie das Publisher-Abonnenten-Designmuster in Betracht ziehen. ╔═════════════════════════════════════╗ ║ PUBLISHER-SUBSCRIBER PATTERN ║ ╚═════════════════════════════════════╝ ┌──────────────┐ │ Publisher │ │ (News Feed) │ └──────┬───────┘ │ │ publish() │ ┌───▼────────────────┐ │ Message Broker │ └───┬────────────────┘ │ │ notify() │ ┌───┴───┬───────┬────────┐ │ │ │ │ ┌──▼──┐ ┌──▼──┐ ┌──▼──┐ ┌───▼─┐ │Sub1 │ │Sub2 │ │Sub3 │ │Sub4 │ └─────┘ └─────┘ └─────┘ └─────┘ CDN / Serverlos / API / Cache CDN is used to host static HTML content with lower latency. You can incorporate it in your infrastructure to reduce response time. You can reduce costs by using serverless architecture for simple grunt work, automation, or cron jobs. APIs help a lot in connecting disconnected systems and enabling segregation of concerns. Cache helps store temporary data, but the catch is that cache memory is the most expensive type of memory. So, you must have an optimized cache strategy. ╔═════════════════════════════════════╗ ║ CDN/SERVERLESS/API/CACHE STACK ║ ╚═════════════════════════════════════╝ ┌─────────┐ │ Client │ └────┬────┘ │ ▼ ┌─────────────┐ ┌──────────┐ │ CDN │◄───│ Static │ │ (Static) │ │ Content │ └────┬────────┘ └──────────┘ │ ▼ ┌─────────────┐ ┌──────────┐ │ Cache │◄───│ Hot │ │ │ │ Data │ └────┬────────┘ └──────────┘ │ ▼ ┌─────────────┐ ┌──────────┐ │ API │◄───│Serverless│ │ Gateway │ │Functions │ └────┬────────┘ └──────────┘ │ ▼ ┌─────────────┐ │ Backend │ │ Server │ └─────────────┘ Eventuelle Konsistenz vs. Transaktionskonsistenz In eventual consistency, you can expect some delay in the transaction being considered "written." This is used in applications where a little delay may not affect the overall application. For example, a WhatsApp message may be delivered with a delay of 2-3 seconds, and that should not impact the overall user experience. You can use a NoSQL database to achieve this. In transactional consistency, you want the transaction to be committed instantly. For example, in a money transfer application, you want the money transferred immediately to reduce the risks of double spending. You can use a relational database to achieve this. ╔═════════════════════════════════════════════════════════════╗ ║ EVENTUAL vs TRANSACTIONAL CONSISTENCY ║ ╚═════════════════════════════════════════════════════════════╝ EVENTUAL CONSISTENCY TRANSACTIONAL CONSISTENCY ┌──────────────────┐ ┌──────────────────┐ │ Write Request │ │ Write Request │ └────────┬─────────┘ └────────┬─────────┘ │ │ ▼ ▼ ┌─────────┐ ┌─────────┐ │ NoSQL │ │ SQL │ │ DB │ │ DB │ └────┬────┘ └────┬────┘ │ │ ┌────▼────┐ ┌────▼────┐ │ Delay │ │Immediate│ │ 2-3 sec │ │ Commit │ └────┬────┘ └────┬────┘ │ │ ▼ ▼ [Eventually [Immediately Consistent] Consistent] Event Handlung Die Bearbeitung von Ereignissen ist unerlässlich, wenn Sie verschiedene Komponenten haben, die versuchen, miteinander zu sprechen.Von der Einleitung der Anfrage bis zur Erfüllung der Antwort müssen Sie klar wissen, welche Routen Datenpakete einnehmen werden. ╔═════════════════════════════════════╗ ║ EVENT HANDLING FLOW ║ ╚═════════════════════════════════════╝ ┌──────────┐ Event ┌──────────┐ │Component │─────────────►│ Event │ │ A │ Fired │ Queue │ └──────────┘ └─────┬────┘ │ ┌─────▼─────┐ │ Handler │ └─────┬─────┘ │ ┌───────────┼───────────┐ │ │ │ ┌───▼───┐ ┌───▼───┐ ┌───▼───┐ │Comp B │ │Comp C │ │Comp D │ └───────┘ └───────┘ └───────┘ SQL / NoSQL / Polyglot Persistenz SQL-Datenbanken werden verwendet, um strukturierte Daten zu speichern.In verteilten SQL-Systemen priorisieren Sie bei Netzwerkpartitionen in der Regel Konsistenz gegenüber Verfügbarkeit. NoSQL-Datenbanken können verwendet werden, um halbstrukturierte Daten, Schlüsselwertepaare, Bilder und Videos zu speichern. Graph-Datenbanken und Suchmaschinen-Datenbanken gehören auch unter NoSQL-Datenbanken. Nach dem CAP-Theorem muss man in einem verteilten System, das Netzwerkpartitionen erlebt, zwischen Konsistenz und Verfügbarkeit wählen. Wenn Sie eine Kombination aus SQL- und NoSQL-Datenbanken benötigen, nennen wir dies Polyglot-Persistenz. ╔═════════════════════════════════════╗ ║ SQL/NoSQL/POLYGLOT PERSISTENCE ║ ╚═════════════════════════════════════╝ ┌─────────────────────────────────────┐ │ Application Layer │ └──────────────┬──────────────────────┘ │ ┌───────┴────────┐ │ │ ┌──────▼──────┐ ┌─────▼────────────┐ │ SQL │ │ NoSQL │ │ Database │ │ Database │ ├─────────────┤ ├──────────────────┤ │ - ACID │ │ - Key-Value │ │ - Structured│ │ - Document │ │ - CA (CP) │ │ - Graph │ │ │ │ - AP │ └─────────────┘ └──────────────────┘ └────────┬────────┘ │ POLYGLOT PERSISTENCE Client-Side vs. Server-Side Datenspeicherung Manchmal verwendet die App den Speicher des mobilen Geräts, auf dem sie installiert ist. Zum Beispiel werden WhatsApp-Nachrichten auf dem lokalen Speicher Ihres Smartphones gespeichert, mit optionaler Cloud-Backup. Manchmal werden alle Daten auf den Servern gespeichert. Zum Beispiel werden alle Nachrichten in Facebook Messenger auf den Servern von Facebook gespeichert. Bevor Sie den Entwicklungszyklus starten, müssen Sie klar definieren, welche Komponenten die Ressourcen des Servers verwenden und welche die lokalen Ressourcen des Geräts verwenden. ╔═══════════════════════════════════════════════════╗ ║ CLIENT-SIDE vs SERVER-SIDE STORAGE ║ ╚═══════════════════════════════════════════════════╝ CLIENT-SIDE SERVER-SIDE ┌──────────────┐ ┌──────────────┐ │ Mobile │ │ Server │ │ Device │ │ Cluster │ ├──────────────┤ ├──────────────┤ │ ┌──────────┐ │ │ ┌──────────┐ │ │ │ WhatsApp │ │ │ │ Facebook │ │ │ │ Messages │ │ │ │Messenger │ │ │ │ (Local) │ │ │ │ Messages │ │ │ └──────────┘ │ │ └──────────┘ │ │ │ │ │ │ + Optional │ │ + Backup │ │ Cloud │ │ + Sync │ │ Backup │ │ + Access │ └──────────────┘ └──────────────┘ Optimierte Datenstrukturen Jede Zeile des Codes, den Sie schreiben, belastet den Server. Je mehr die Steuer, desto mehr müssen Sie bezahlen, um sie zu pflegen. Deshalb ist es eine gute Praxis, optimierte Software-Code zu schreiben und Datenstrukturen zu verwenden, die geringere Zeit- und Raumkomplexitäten haben. ╔═════════════════════════════════════╗ ║ OPTIMIZED DATA STRUCTURES ║ ╚═════════════════════════════════════╝ Data Structure Complexity O(1) ───────── Best (Hash Table) O(log n) ────── Good (Binary Tree) O(n) ───────── Acceptable (Array) O(n²) ───────── Poor (Nested Loops) O(2ⁿ) ───────── Worst (Exponential) ┌─────────────────────────────┐ │ Choose Lower Complexity │ │ = Less Server Tax │ │ = Lower Costs │ └─────────────────────────────┘ Datenschutz Einstellungen Benutzer Ihrer Anwendung müssen Optionen haben, um sich im Internet zu schützen. Sie müssen gute Datenschutzoptionen haben. Zum Beispiel in WhatsApp können Sie Ihr Profilfoto verbergen, Quittungen lesen und zuletzt gesehen haben. Sie können sogar jemanden blockieren, den Sie für Spam halten. +-----------------------------------------+ | PRIVACY SETTINGS | +-----------------------------------------+ +-----------------------------------------+ | User Privacy Panel | +-----------------------------------------+ | [ ] Show Profile Photo | | [X] Hide Last Seen | | [X] Hide Read Receipts | | [ ] Show Online Status | | [X] Block User | | | | [Save Settings] | +-----------------------------------------+ Compliance Ihre App muss den erforderlichen Vorschriften entsprechen. Zum Beispiel: If your application handles Protected Health Information (PHI) for covered entities, it should be HIPAA compliant. If your application is being launched in the EU, it should be GDPR compliant. ╔═════════════════════════════════════╗ ║ COMPLIANCE REQUIREMENTS ║ ╚═════════════════════════════════════╝ ┌──────────────────────────────────┐ │ Your Application │ └────────────┬─────────────────────┘ │ ┌──────┴──────┐ │ │ ┌─────▼─────┐ ┌────▼──────┐ │ HIPAA │ │ GDPR │ │Compliance │ │Compliance │ ├───────────┤ ├───────────┤ │ Medical │ │ EU │ │ PHI │ │ Privacy │ │ Protected │ │ Rules │ └───────────┘ └───────────┘ Sicherheitsaspekte Während Sicherheit ein sehr breites Thema ist, müssen Sie in Ihrer ersten Analyse den Schutz vor Spam und DDoS in Betracht ziehen. Sie müssen über die richtige IAM-Struktur und starke Passwortrichtlinien verfügen. ╔═════════════════════════════════════╗ ║ SECURITY LAYERS ║ ╚═════════════════════════════════════╝ ┌───────────────────────────────────┐ │ Security Layers │ ├───────────────────────────────────┤ │ Layer 5: 2FA Authentication │ ├───────────────────────────────────┤ │ Layer 4: IAM & Access Control │ ├───────────────────────────────────┤ │ Layer 3: DDoS Protection │ ├───────────────────────────────────┤ │ Layer 2: Spam Filtering │ ├───────────────────────────────────┤ │ Layer 1: Password Policy │ └───────────────────────────────────┘ Verfügbare Dienstleistungen im Einsatzgebiet Wie der Titel andeutet, müssen alle Dienste, die Sie in Betracht ziehen, in der geografischen Region verfügbar sein, in der Sie Ihre Anwendung starten möchten.Zum Beispiel, wenn Sie planen, eine App in China zu starten, sollten Sie in Ihrem Anwendungsdesign keine Facebook-API in Betracht ziehen, da sie nicht funktionieren würde. +---------------------------------------+ | GEOGRAPHICAL SERVICE AVAILABILITY | +---------------------------------------+ GLOBAL SERVICE MAP +--------------+ +--------------+ | USA | | China | +--------------+ +--------------+ | [+] Facebook | | [-] Facebook | | [+] Google | | [-] Google | | [+] AWS | | [+] Alibaba | | [+] WhatsApp | | [+] WeChat | +--------------+ +--------------+ Check Service Availability Before Launch! Kostenanalyse Wenn Sie Optionen in Betracht ziehen, versuchen Sie, Open-Source-Frameworks mit guter Unterstützung für die Entwickler-Community auszuwählen. ╔═════════════════════════════════════╗ ║ COST OPTIMIZATION ║ ╚═════════════════════════════════════╝ ┌────────────────────────────────────┐ │ Cost Optimization │ ├────────────────────────────────────┤ │ │ │ Open Source >>> Proprietary │ │ (Lower Cost) (Higher Cost) │ │ │ │ Serverless >>> Always-On │ │ (Pay per use) (Fixed Cost) │ │ │ │ Cache >>> DB Query │ │ (Expensive) (Cheaper) │ │ │ └────────────────────────────────────┘ Balance Cost vs Performance On-Prem / Cloud und Hybrid Entscheiden Sie, ob Ihre Daten on-prem, vollständig in der Cloud oder teilweise in der Cloud und teilweise on-prem (Hybrid) sein werden. ╔═════════════════════════════════════╗ ║ DEPLOYMENT OPTIONS ║ ╚═════════════════════════════════════╝ ┌──────────────────────────────────────┐ │ Deployment Options │ └───────────┬──────────────────────────┘ │ ┌───────┼───────┐ │ │ │ ┌───▼───┐ ┌─▼────┐ ┌▼──────┐ │On-Prem│ │Cloud │ │Hybrid │ ├───────┤ ├──────┤ ├───────┤ │Local │ │ AWS │ │On-Prem│ │Servers│ │Azure │ │ + │ │ Data │ │ GCP │ │ Cloud │ │Center │ │ │ │ Mix │ └───────┘ └──────┘ └───────┘ │ ┌───▼────┐ │ VPC │ └────────┘ Horizontal Skalierung / Vertical Scaling & Load Balancers Bei der horizontalen Skalierung platzieren Sie Replikationen des aktuellen DB-Server/App-Servers und verwenden einen Lastenausgleich, um den Traffic zwischen diesen Instanzen auszugleichen. In der vertikalen Skalierung verbessern Sie die Systemkonfiguration der Instanz. Es gibt einige Grenzen für das, was Sie verbessern können. Es gibt auch andere Überlegungen - zum Beispiel, wenn Sie die Berechnung erhöhen, müssen Sie den RAM entsprechend erhöhen. Eine kluge Wette wäre, eine faire Mischung aus horizontalem und vertikalem Skalieren zu haben. Load balancers werden verwendet, um den Verkehr zwischen verschiedenen Instanzen auszugleichen. Load balancers helfen, Systemunterbrechungen zu reduzieren. +-------------------------------------------------------------+ | HORIZONTAL & VERTICAL SCALING WITH LOAD BALANCERS | +-------------------------------------------------------------+ HORIZONTAL SCALING VERTICAL SCALING +---------------+ +---------------+ | Load Balancer | | Upgrade | +-------+-------+ | CPU + RAM | | +-------+-------+ | | +-------------+-------------+ | | | | | v v v (and v) v +---+ +---+ +---+ +---------------+ |DB1| |DB2| |DB3|... | Powerful | +---+ +---+ +---+ | Server | +---------------+ Add more servers Improve single server Kundenerwerb und Kundenretention Integrieren Sie Analysen wie Funnel Analytics und A/B-Tests, um Ihre Kundenbasis zu verbessern. ╔═════════════════════════════════════╗ ║ CUSTOMER ACQUISITION & RETENTION ║ ╚═════════════════════════════════════╝ ┌─────────────────────────────────────┐ │ Analytics Funnel │ ├─────────────────────────────────────┤ │ │ │ 1000 Users ▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓ │ │ │ │ │ 500 Signups ▓▓▓▓▓▓▓▓▓ │ │ │ │ │ 200 Active ▓▓▓▓ │ │ │ │ │ 100 Paid ▓▓ │ │ │ ├─────────────────────────────────────┤ │ A/B Testing │ │ ┌─────────┐ ┌─────────┐ │ │ │Version A│ │Version B│ │ │ │ 50% │ │ 50% │ │ │ └────┬────┘ └─────┬───┘ │ │ └──────┬────────┘ │ │ Compare │ └─────────────────────────────────────┘ Die Zusammenfassung: ================================ SYSTEM DESIGN IN A NUTSHELL 17 Core Concepts ================================ START HERE | ↓ 1. UX DESIGN & COMPONENTS → Design UI elements → Profile, messages, feeds | ↓ 2. CLASSES & SUBCLASSES → Define objects → User profiles with attributes | ↓ 3. DESIGN PATTERNS → Publisher-Subscriber → For news feeds | ↓ 4. INFRASTRUCTURE STACK → CDN for static content → Serverless functions → API Gateway → Cache strategy | ↓ 5. CONSISTENCY MODELS → Eventual (NoSQL) → Transactional (SQL) | ↓ 6. EVENT HANDLING → Request to response → Data packet routes | ↓ 7. DATABASE STRATEGY → SQL: Structured data → NoSQL: Key-value, docs → CAP Theorem considerations → Polyglot Persistence | ↓ 8. DATA STORAGE → Client-side (local) → Server-side (cloud) → Hybrid approach | ↓ 9. OPTIMIZED DATA STRUCTURES → Lower time complexity → Lower space complexity → Reduce server tax | ↓ 10. PRIVACY SETTINGS → Hide profile info → Block users → Read receipts control | ↓ 11. COMPLIANCE → HIPAA for medical PHI → GDPR for EU users | ↓ 12. SECURITY LAYERS → DDoS protection → IAM structure → 2FA authentication → Password policies → Spam filtering | ↓ 13. GEOGRAPHICAL SERVICES → Check availability → Regional restrictions → Example: Facebook in China | ↓ 14. COST OPTIMIZATION → Open source frameworks → Serverless options → Balance cost vs performance | ↓ 15. DEPLOYMENT OPTIONS → On-Premises → Cloud (AWS/Azure/GCP) → Hybrid approach → VPC considerations | ↓ 16. SCALING STRATEGIES → Horizontal: Add replicas → Vertical: Upgrade config → Load balancers → Mix both approaches | ↓ 17. CUSTOMER ANALYTICS → Funnel analytics → A/B testing → Acquisition & retention ================================ KEY TAKEAWAYS ================================ ★ 30,000 ft view first ★ Design before coding ★ Consider all 17 aspects ★ Balance trade-offs ★ Optimize for scale ★ Security & compliance ★ Cost-effective choices ================================ Dieser Rahmen wird Ihnen auch helfen, Einstiegs-System-Design-Interviews bei jedem Top-MNC zu klären.Als ich anfing, diesen Artikel zu schreiben, hatte ich viel mehr in meinem Kopf.Ich musste den Inhalt schneiden, da viele der hier genannten Konzepte in separaten Artikeln erklärt werden können. Vielen Dank fürs Lesen.Bleiben Sie still! Wenn Sie irgendwelche Fragen haben, fühlen Sie sich bitte frei, mir eine E-Mail zu senden. Sie können mich auch über Linkedin kontaktieren. Sie können mich auch auf X folgen E-Mail E-Mail Linkedin Linkedin X X