La conception du système dans une nuchette

Commençons. J'ai eu cet article dans ma tête pendant 2 ans et je ne l'ai jamais écrit, craignant qu'il ne soit pas parfait. Le paysage technologique est en constante évolution et évolue, et les outils que vous utilisez aujourd'hui peuvent être obsolètes 5 ans plus tard. C'est pourquoi j'écris les concepts de base de la conception du système ici. Nous pouvons toujours le finaliser en fonction de notre infrastructure et de nos exigences. Si je rencontre un autre cadre, je l'écrirai comme une suite à cette correspondance. La conception du système est une partie essentielle du développement du logiciel. Vous devez avoir une vue de 30 000 pieds avant de creuser dans les spécificités. Les langages de programmation à usage général peuvent être utilisés partout, mais vous devez d'abord savoir où l'utiliser et comment l'utiliser. Voici les étapes importantes que j'ai rencontrées pendant ma recherche (certains sujets ne seront pas expliqués en détail car ils méritent leur propre article): UX Design & Composants Puisque vous ne développerez probablement pas de CLI, avoir une bonne UX-UI est important. Vous devez connaître les composants importants, puis les améliorer au fur et à mesure que vous progressez. Un clone Twitter aura un composant où les tweets sont rédigés. Il aura des profils d'utilisateur, des abonnés, des paramètres de confidentialité, etc. Un clone Uber aura l’intégration des cartes. Les messagers de chat comme WhatsApp auront des messages de personne à personne et des messages de groupe, des options de transmission et de partage, etc. Essayez de catégoriser les applications que vous concevez et d'observer leur conception.Toutes les applications de médias sociaux tomberont sous un parapluie, toutes les plateformes de streaming vidéo / OTT dans un autre, et toutes les applications de réservation de films tomberont sous un autre. ╔═════════════════════════════════════╗ ║ TWITTER CLONE UI COMPONENTS ║ ╠═════════════════════════════════════╣ │ APPLICATION UI │ ├─────────────────────────────────────┤ │ ┌──────────┐ ┌──────────┐ │ │ │ Profile │ │ Tweet │ │ │ │Component │ │Component │ │ │ └──────────┘ └──────────┘ │ │ ┌──────────┐ ┌──────────┐ │ │ │ Settings │ │ Messages │ │ │ │Component │ │Component │ │ │ └──────────┘ └──────────┘ │ └─────────────────────────────────────┘ Classes / sous-classes Si vous pensez à une conception orientée objet, il est plus facile si vous énumérez toutes les différentes classes dont vous pourriez avoir besoin dans votre conception du système. Cela aide à éliminer tous les objets, puis vous pouvez procéder à la définition des méthodes appartenant à ces classes. Par exemple, un clone Twitter aura une classe "Profils d'utilisateur" avec des attributs tels que "Nom", "Location", etc. ╔═════════════════════════════════════╗ ║ OBJECT-ORIENTED CLASS DESIGN ║ ╚═════════════════════════════════════╝ ┌─────────────────┐ │ User │ ├─────────────────┤ │ - name │ │ - location │ │ - email │ ├─────────────────┤ │ + post() │ │ + follow() │ └────────┬────────┘ │ ┌────────┴────────┐ │ │ ┌───▼────┐ ┌─────▼───┐ │Premium │ │ Basic │ │ User │ │ User │ └────────┘ └─────────┘ Des modèles Une fois que vous avez la conception de la classe, vous pouvez ensuite sélectionner un modèle de conception adéquat qui répond à vos besoins. Par exemple, si votre application a un flux d'actualités, vous pouvez envisager le modèle de conception Publisher-Subscriber. ╔═════════════════════════════════════╗ ║ PUBLISHER-SUBSCRIBER PATTERN ║ ╚═════════════════════════════════════╝ ┌──────────────┐ │ Publisher │ │ (News Feed) │ └──────┬───────┘ │ │ publish() │ ┌───▼────────────────┐ │ Message Broker │ └───┬────────────────┘ │ │ notify() │ ┌───┴───┬───────┬────────┐ │ │ │ │ ┌──▼──┐ ┌──▼──┐ ┌──▼──┐ ┌───▼─┐ │Sub1 │ │Sub2 │ │Sub3 │ │Sub4 │ └─────┘ └─────┘ └─────┘ └─────┘ CDN / sans serveur / API / Cache CDN is used to host static HTML content with lower latency. You can incorporate it in your infrastructure to reduce response time. You can reduce costs by using serverless architecture for simple grunt work, automation, or cron jobs. APIs help a lot in connecting disconnected systems and enabling segregation of concerns. Cache helps store temporary data, but the catch is that cache memory is the most expensive type of memory. So, you must have an optimized cache strategy. ╔═════════════════════════════════════╗ ║ CDN/SERVERLESS/API/CACHE STACK ║ ╚═════════════════════════════════════╝ ┌─────────┐ │ Client │ └────┬────┘ │ ▼ ┌─────────────┐ ┌──────────┐ │ CDN │◄───│ Static │ │ (Static) │ │ Content │ └────┬────────┘ └──────────┘ │ ▼ ┌─────────────┐ ┌──────────┐ │ Cache │◄───│ Hot │ │ │ │ Data │ └────┬────────┘ └──────────┘ │ ▼ ┌─────────────┐ ┌──────────┐ │ API │◄───│Serverless│ │ Gateway │ │Functions │ └────┬────────┘ └──────────┘ │ ▼ ┌─────────────┐ │ Backend │ │ Server │ └─────────────┘ Cohérence éventuelle vs. cohérence transactionnelle In eventual consistency, you can expect some delay in the transaction being considered "written." This is used in applications where a little delay may not affect the overall application. For example, a WhatsApp message may be delivered with a delay of 2-3 seconds, and that should not impact the overall user experience. You can use a NoSQL database to achieve this. In transactional consistency, you want the transaction to be committed instantly. For example, in a money transfer application, you want the money transferred immediately to reduce the risks of double spending. You can use a relational database to achieve this. ╔═════════════════════════════════════════════════════════════╗ ║ EVENTUAL vs TRANSACTIONAL CONSISTENCY ║ ╚═════════════════════════════════════════════════════════════╝ EVENTUAL CONSISTENCY TRANSACTIONAL CONSISTENCY ┌──────────────────┐ ┌──────────────────┐ │ Write Request │ │ Write Request │ └────────┬─────────┘ └────────┬─────────┘ │ │ ▼ ▼ ┌─────────┐ ┌─────────┐ │ NoSQL │ │ SQL │ │ DB │ │ DB │ └────┬────┘ └────┬────┘ │ │ ┌────▼────┐ ┌────▼────┐ │ Delay │ │Immediate│ │ 2-3 sec │ │ Commit │ └────┬────┘ └────┬────┘ │ │ ▼ ▼ [Eventually [Immediately Consistent] Consistent] Action événement La gestion des événements est essentielle lorsque vous avez des composants différents qui essaient de parler les uns aux autres.Depuis l'initiation de la demande jusqu'à l'accomplissement de la réponse, vous devez savoir clairement les itinéraires que prendront les paquets de données. ╔═════════════════════════════════════╗ ║ EVENT HANDLING FLOW ║ ╚═════════════════════════════════════╝ ┌──────────┐ Event ┌──────────┐ │Component │─────────────►│ Event │ │ A │ Fired │ Queue │ └──────────┘ └─────┬────┘ │ ┌─────▼─────┐ │ Handler │ └─────┬─────┘ │ ┌───────────┼───────────┐ │ │ │ ┌───▼───┐ ┌───▼───┐ ┌───▼───┐ │Comp B │ │Comp C │ │Comp D │ └───────┘ └───────┘ └───────┘ SQL / NoSQL / Persistance en polyglot Les bases de données SQL sont utilisées pour stocker des données structurées. Dans les systèmes SQL distribués, pendant les partitions réseau, vous privilégiez généralement la cohérence par rapport à la disponibilité. Les bases de données NoSQL peuvent être utilisées pour stocker des données semi-structurées, des paires de valeurs clés, des images et des vidéos. Les bases de données graphiques et les bases de données de moteurs de recherche font également partie des bases de données NoSQL. Dans les systèmes NoSQL distribués, vous priorisez généralement la disponibilité et la tolérance de partition, en acceptant la cohérence éventuelle. Selon le théorème CAP, dans un système distribué qui connaît des partitions réseau, vous devez choisir entre la cohérence et la disponibilité. Si vous avez besoin d’une combinaison de bases de données SQL et NoSQL, nous appelons cela la persistance polyglot. ╔═════════════════════════════════════╗ ║ SQL/NoSQL/POLYGLOT PERSISTENCE ║ ╚═════════════════════════════════════╝ ┌─────────────────────────────────────┐ │ Application Layer │ └──────────────┬──────────────────────┘ │ ┌───────┴────────┐ │ │ ┌──────▼──────┐ ┌─────▼────────────┐ │ SQL │ │ NoSQL │ │ Database │ │ Database │ ├─────────────┤ ├──────────────────┤ │ - ACID │ │ - Key-Value │ │ - Structured│ │ - Document │ │ - CA (CP) │ │ - Graph │ │ │ │ - AP │ └─────────────┘ └──────────────────┘ └────────┬────────┘ │ POLYGLOT PERSISTENCE Client-Side vs. Stockage de données sur le serveur Parfois, l’application utilise le stockage de l’appareil mobile sur lequel elle est installée. par exemple, les messages WhatsApp sont enregistrés sur le stockage local de votre smartphone, avec une sauvegarde en nuage facultative. Parfois, toutes les données sont stockées sur les serveurs. par exemple, tous les messages dans Facebook Messenger sont enregistrés sur les serveurs de Facebook. Avant de commencer le cycle de développement, vous devez définir clairement quels composants utilisent les ressources du serveur et quels utilisent les ressources locales du périphérique. ╔═══════════════════════════════════════════════════╗ ║ CLIENT-SIDE vs SERVER-SIDE STORAGE ║ ╚═══════════════════════════════════════════════════╝ CLIENT-SIDE SERVER-SIDE ┌──────────────┐ ┌──────────────┐ │ Mobile │ │ Server │ │ Device │ │ Cluster │ ├──────────────┤ ├──────────────┤ │ ┌──────────┐ │ │ ┌──────────┐ │ │ │ WhatsApp │ │ │ │ Facebook │ │ │ │ Messages │ │ │ │Messenger │ │ │ │ (Local) │ │ │ │ Messages │ │ │ └──────────┘ │ │ └──────────┘ │ │ │ │ │ │ + Optional │ │ + Backup │ │ Cloud │ │ + Sync │ │ Backup │ │ + Access │ └──────────────┘ └──────────────┘ Structures de données optimisées Chaque ligne de code que vous écrivez impose le serveur. Plus la taxe, plus vous devez payer pour la maintenir.C'est pourquoi il est bon d'écrire un code logiciel optimisé et d'utiliser des structures de données qui ont des complexités de temps et d'espace plus faibles. ╔═════════════════════════════════════╗ ║ OPTIMIZED DATA STRUCTURES ║ ╚═════════════════════════════════════╝ Data Structure Complexity O(1) ───────── Best (Hash Table) O(log n) ────── Good (Binary Tree) O(n) ───────── Acceptable (Array) O(n²) ───────── Poor (Nested Loops) O(2ⁿ) ───────── Worst (Exponential) ┌─────────────────────────────┐ │ Choose Lower Complexity │ │ = Less Server Tax │ │ = Lower Costs │ └─────────────────────────────┘ Paramètres de confidentialité Les utilisateurs de votre application doivent avoir des options pour se protéger sur Internet. Vous devez avoir de bonnes options de confidentialité. Par exemple, dans WhatsApp, vous pouvez cacher votre photo de profil, lire les reçus et la dernière vue. Vous pouvez même bloquer quelqu'un que vous pensez être un spam. +-----------------------------------------+ | PRIVACY SETTINGS | +-----------------------------------------+ +-----------------------------------------+ | User Privacy Panel | +-----------------------------------------+ | [ ] Show Profile Photo | | [X] Hide Last Seen | | [X] Hide Read Receipts | | [ ] Show Online Status | | [X] Block User | | | | [Save Settings] | +-----------------------------------------+ Compliance Votre application doit être conforme aux réglementations requises. Par exemple: If your application handles Protected Health Information (PHI) for covered entities, it should be HIPAA compliant. If your application is being launched in the EU, it should be GDPR compliant. ╔═════════════════════════════════════╗ ║ COMPLIANCE REQUIREMENTS ║ ╚═════════════════════════════════════╝ ┌──────────────────────────────────┐ │ Your Application │ └────────────┬─────────────────────┘ │ ┌──────┴──────┐ │ │ ┌─────▼─────┐ ┌────▼──────┐ │ HIPAA │ │ GDPR │ │Compliance │ │Compliance │ ├───────────┤ ├───────────┤ │ Medical │ │ EU │ │ PHI │ │ Privacy │ │ Protected │ │ Rules │ └───────────┘ └───────────┘ Aspects de sécurité Bien que la sécurité soit un sujet très large, dans votre analyse initiale, vous devez considérer la protection contre le spam et le DDoS. Vous devez avoir une structure IAM appropriée et des politiques de mot de passe solides. ╔═════════════════════════════════════╗ ║ SECURITY LAYERS ║ ╚═════════════════════════════════════╝ ┌───────────────────────────────────┐ │ Security Layers │ ├───────────────────────────────────┤ │ Layer 5: 2FA Authentication │ ├───────────────────────────────────┤ │ Layer 4: IAM & Access Control │ ├───────────────────────────────────┤ │ Layer 3: DDoS Protection │ ├───────────────────────────────────┤ │ Layer 2: Spam Filtering │ ├───────────────────────────────────┤ │ Layer 1: Password Policy │ └───────────────────────────────────┘ Services disponibles dans la zone de déploiement Comme le suggère le titre, tous les services que vous envisagez doivent être disponibles dans la région géographique où vous prévoyez de lancer votre application. Par exemple, si vous prévoyez de lancer une application en Chine, vous ne devriez pas considérer une API Facebook dans votre conception d'application car elle ne fonctionnerait pas. +---------------------------------------+ | GEOGRAPHICAL SERVICE AVAILABILITY | +---------------------------------------+ GLOBAL SERVICE MAP +--------------+ +--------------+ | USA | | China | +--------------+ +--------------+ | [+] Facebook | | [-] Facebook | | [+] Google | | [-] Google | | [+] AWS | | [+] Alibaba | | [+] WhatsApp | | [+] WeChat | +--------------+ +--------------+ Check Service Availability Before Launch! Analyse des coûts Sans compromettre l'efficacité et les performances, vous devriez réduire les coûts autant que possible.Lorsque vous envisagez des options, essayez de sélectionner des frameworks open source avec un bon soutien de la communauté des développeurs. ╔═════════════════════════════════════╗ ║ COST OPTIMIZATION ║ ╚═════════════════════════════════════╝ ┌────────────────────────────────────┐ │ Cost Optimization │ ├────────────────────────────────────┤ │ │ │ Open Source >>> Proprietary │ │ (Lower Cost) (Higher Cost) │ │ │ │ Serverless >>> Always-On │ │ (Pay per use) (Fixed Cost) │ │ │ │ Cache >>> DB Query │ │ (Expensive) (Cheaper) │ │ │ └────────────────────────────────────┘ Balance Cost vs Performance On-Prem / Cloud et hybride Déterminez si vos données résideront sur place, entièrement dans le cloud, ou partiellement dans le cloud et partiellement sur place (hybride). ╔═════════════════════════════════════╗ ║ DEPLOYMENT OPTIONS ║ ╚═════════════════════════════════════╝ ┌──────────────────────────────────────┐ │ Deployment Options │ └───────────┬──────────────────────────┘ │ ┌───────┼───────┐ │ │ │ ┌───▼───┐ ┌─▼────┐ ┌▼──────┐ │On-Prem│ │Cloud │ │Hybrid │ ├───────┤ ├──────┤ ├───────┤ │Local │ │ AWS │ │On-Prem│ │Servers│ │Azure │ │ + │ │ Data │ │ GCP │ │ Cloud │ │Center │ │ │ │ Mix │ └───────┘ └──────┘ └───────┘ │ ┌───▼────┐ │ VPC │ └────────┘ Scalage horizontal / Scalage vertical et équilibreurs de charge Dans l'échelle horizontale, vous placez des répliques du serveur DB actuel / serveur d'application et utilisez un équilibreur de charge pour équilibrer le trafic entre ces instances. En vertical scaling, vous améliorez la configuration du système de l'instance. Il y a une certaine limite à ce que vous pouvez améliorer. Il y a d'autres considérations aussi - par exemple, si vous augmentez le calcul, vous devez augmenter la RAM en conséquence. Un pari sage serait d'avoir un mélange juste d'échelle horizontale et verticale. Les équilibreurs de charge sont utilisés pour équilibrer le trafic entre différentes instances. +-------------------------------------------------------------+ | HORIZONTAL & VERTICAL SCALING WITH LOAD BALANCERS | +-------------------------------------------------------------+ HORIZONTAL SCALING VERTICAL SCALING +---------------+ +---------------+ | Load Balancer | | Upgrade | +-------+-------+ | CPU + RAM | | +-------+-------+ | | +-------------+-------------+ | | | | | v v v (and v) v +---+ +---+ +---+ +---------------+ |DB1| |DB2| |DB3|... | Powerful | +---+ +---+ +---+ | Server | +---------------+ Add more servers Improve single server Acquisition et rétention de clients Incorporer des analyses telles que l'analyse de funnel et les tests A/B pour améliorer votre base de clients. ╔═════════════════════════════════════╗ ║ CUSTOMER ACQUISITION & RETENTION ║ ╚═════════════════════════════════════╝ ┌─────────────────────────────────────┐ │ Analytics Funnel │ ├─────────────────────────────────────┤ │ │ │ 1000 Users ▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓ │ │ │ │ │ 500 Signups ▓▓▓▓▓▓▓▓▓ │ │ │ │ │ 200 Active ▓▓▓▓ │ │ │ │ │ 100 Paid ▓▓ │ │ │ ├─────────────────────────────────────┤ │ A/B Testing │ │ ┌─────────┐ ┌─────────┐ │ │ │Version A│ │Version B│ │ │ │ 50% │ │ 50% │ │ │ └────┬────┘ └─────┬───┘ │ │ └──────┬────────┘ │ │ Compare │ └─────────────────────────────────────┘ Résumé : ================================ SYSTEM DESIGN IN A NUTSHELL 17 Core Concepts ================================ START HERE | ↓ 1. UX DESIGN & COMPONENTS → Design UI elements → Profile, messages, feeds | ↓ 2. CLASSES & SUBCLASSES → Define objects → User profiles with attributes | ↓ 3. DESIGN PATTERNS → Publisher-Subscriber → For news feeds | ↓ 4. INFRASTRUCTURE STACK → CDN for static content → Serverless functions → API Gateway → Cache strategy | ↓ 5. CONSISTENCY MODELS → Eventual (NoSQL) → Transactional (SQL) | ↓ 6. EVENT HANDLING → Request to response → Data packet routes | ↓ 7. DATABASE STRATEGY → SQL: Structured data → NoSQL: Key-value, docs → CAP Theorem considerations → Polyglot Persistence | ↓ 8. DATA STORAGE → Client-side (local) → Server-side (cloud) → Hybrid approach | ↓ 9. OPTIMIZED DATA STRUCTURES → Lower time complexity → Lower space complexity → Reduce server tax | ↓ 10. PRIVACY SETTINGS → Hide profile info → Block users → Read receipts control | ↓ 11. COMPLIANCE → HIPAA for medical PHI → GDPR for EU users | ↓ 12. SECURITY LAYERS → DDoS protection → IAM structure → 2FA authentication → Password policies → Spam filtering | ↓ 13. GEOGRAPHICAL SERVICES → Check availability → Regional restrictions → Example: Facebook in China | ↓ 14. COST OPTIMIZATION → Open source frameworks → Serverless options → Balance cost vs performance | ↓ 15. DEPLOYMENT OPTIONS → On-Premises → Cloud (AWS/Azure/GCP) → Hybrid approach → VPC considerations | ↓ 16. SCALING STRATEGIES → Horizontal: Add replicas → Vertical: Upgrade config → Load balancers → Mix both approaches | ↓ 17. CUSTOMER ANALYTICS → Funnel analytics → A/B testing → Acquisition & retention ================================ KEY TAKEAWAYS ================================ ★ 30,000 ft view first ★ Design before coding ★ Consider all 17 aspects ★ Balance trade-offs ★ Optimize for scale ★ Security & compliance ★ Cost-effective choices ================================ Ce cadre vous aidera également à clarifier les questions d'entrevue de conception de système de niveau d'entrée à n'importe quel haut MNC. Quand j'ai commencé à écrire cet article, j'avais beaucoup plus en tête. j'ai dû trancher le contenu car beaucoup des concepts mentionnés ici peuvent être expliqués dans des articles séparés. Merci pour la lecture, restez à l’écoute. Si vous avez des questions, s'il vous plaît n'hésitez pas à m'envoyer un e-mail. Vous pouvez également me contacter via Linkedin. Vous pouvez aussi me suivre sur X par email par email par Linkedin par Linkedin X X