Diseño de sistemas en un nutshell

Comencemos.Tuve este artículo en mi cabeza durante 2 años y nunca lo escribí, preocupado de que no fuera perfecto.El paisaje tecnológico está cambiando y evolucionando, y las herramientas que usas hoy pueden ser obsoletas 5 años más tarde.Es por eso que estoy escribiendo los conceptos básicos de diseño del sistema aquí.Siempre podemos ajustarlo en función de nuestra infraestructura y requisitos.Si me encuentro con otro marco, lo escribiré como una continuación de esta correspondencia. El diseño del sistema es una parte esencial del desarrollo de software.Tienes que tener una vista de 30.000 pies antes de cavar en las especificaciones.Los idiomas de programación de propósito general se pueden usar en cualquier lugar, pero primero debes saber dónde usarlo y cómo usarlo. Los siguientes son los pasos importantes que encontré durante mi investigación (algunos temas no serán explicados en detalle ya que merecen su propio artículo): UX Diseño y Componentes Puesto que es más probable que no esté desarrollando CLI, tener una buena UX-UI es importante. Necesita conocer los componentes importantes y luego mejorarlos a medida que avanza. Un clon de Twitter tendrá un componente donde se redactan los tweets.Tendrá perfiles de usuario, seguidores, configuraciones de privacidad, etc. Un clon de Uber tendrá integración de mapas. Los mensajeros de chat como WhatsApp tendrán mensajes de persona a persona y mensajes de grupo, opciones de reenvío y compartir, etc. Trate de categorizar las aplicaciones que está diseñando y observar su diseño.Todas las aplicaciones de redes sociales caerán bajo un paraguas, todas las plataformas de video streaming / OTT en otro, y todas las aplicaciones de reserva / reserva de películas caerán bajo otro. ╔═════════════════════════════════════╗ ║ TWITTER CLONE UI COMPONENTS ║ ╠═════════════════════════════════════╣ │ APPLICATION UI │ ├─────────────────────────────────────┤ │ ┌──────────┐ ┌──────────┐ │ │ │ Profile │ │ Tweet │ │ │ │Component │ │Component │ │ │ └──────────┘ └──────────┘ │ │ ┌──────────┐ ┌──────────┐ │ │ │ Settings │ │ Messages │ │ │ │Component │ │Component │ │ │ └──────────┘ └──────────┘ │ └─────────────────────────────────────┘ Clases / Subclases Si está pensando en un diseño orientado a objetos, es más fácil si enumera todas las diferentes clases que puede necesitar en su diseño del sistema. Esto ayuda a calcular todos los objetos, y luego puede proceder a definir métodos pertenecientes a estas clases. Por ejemplo, un clon de Twitter tendrá una clase "Perfiles de usuario" con atributos como "Nombre", "Localización", etc. ╔═════════════════════════════════════╗ ║ OBJECT-ORIENTED CLASS DESIGN ║ ╚═════════════════════════════════════╝ ┌─────────────────┐ │ User │ ├─────────────────┤ │ - name │ │ - location │ │ - email │ ├─────────────────┤ │ + post() │ │ + follow() │ └────────┬────────┘ │ ┌────────┴────────┐ │ │ ┌───▼────┐ ┌─────▼───┐ │Premium │ │ Basic │ │ User │ │ User │ └────────┘ └─────────┘ Diseño de patrones Una vez que tenga el diseño de clase, puede seleccionar un patrón de diseño adecuado que satisfaga sus necesidades. Por ejemplo, si su aplicación tiene un feed de noticias, puede considerar el patrón de diseño de Publisher-Subscriber. ╔═════════════════════════════════════╗ ║ PUBLISHER-SUBSCRIBER PATTERN ║ ╚═════════════════════════════════════╝ ┌──────────────┐ │ Publisher │ │ (News Feed) │ └──────┬───────┘ │ │ publish() │ ┌───▼────────────────┐ │ Message Broker │ └───┬────────────────┘ │ │ notify() │ ┌───┴───┬───────┬────────┐ │ │ │ │ ┌──▼──┐ ┌──▼──┐ ┌──▼──┐ ┌───▼─┐ │Sub1 │ │Sub2 │ │Sub3 │ │Sub4 │ └─────┘ └─────┘ └─────┘ └─────┘ CDN / sin servidor / API / Cache CDN is used to host static HTML content with lower latency. You can incorporate it in your infrastructure to reduce response time. You can reduce costs by using serverless architecture for simple grunt work, automation, or cron jobs. APIs help a lot in connecting disconnected systems and enabling segregation of concerns. Cache helps store temporary data, but the catch is that cache memory is the most expensive type of memory. So, you must have an optimized cache strategy. ╔═════════════════════════════════════╗ ║ CDN/SERVERLESS/API/CACHE STACK ║ ╚═════════════════════════════════════╝ ┌─────────┐ │ Client │ └────┬────┘ │ ▼ ┌─────────────┐ ┌──────────┐ │ CDN │◄───│ Static │ │ (Static) │ │ Content │ └────┬────────┘ └──────────┘ │ ▼ ┌─────────────┐ ┌──────────┐ │ Cache │◄───│ Hot │ │ │ │ Data │ └────┬────────┘ └──────────┘ │ ▼ ┌─────────────┐ ┌──────────┐ │ API │◄───│Serverless│ │ Gateway │ │Functions │ └────┬────────┘ └──────────┘ │ ▼ ┌─────────────┐ │ Backend │ │ Server │ └─────────────┘ Consistencia transaccional vs. consistencia transaccional In eventual consistency, you can expect some delay in the transaction being considered "written." This is used in applications where a little delay may not affect the overall application. For example, a WhatsApp message may be delivered with a delay of 2-3 seconds, and that should not impact the overall user experience. You can use a NoSQL database to achieve this. In transactional consistency, you want the transaction to be committed instantly. For example, in a money transfer application, you want the money transferred immediately to reduce the risks of double spending. You can use a relational database to achieve this. ╔═════════════════════════════════════════════════════════════╗ ║ EVENTUAL vs TRANSACTIONAL CONSISTENCY ║ ╚═════════════════════════════════════════════════════════════╝ EVENTUAL CONSISTENCY TRANSACTIONAL CONSISTENCY ┌──────────────────┐ ┌──────────────────┐ │ Write Request │ │ Write Request │ └────────┬─────────┘ └────────┬─────────┘ │ │ ▼ ▼ ┌─────────┐ ┌─────────┐ │ NoSQL │ │ SQL │ │ DB │ │ DB │ └────┬────┘ └────┬────┘ │ │ ┌────▼────┐ ┌────▼────┐ │ Delay │ │Immediate│ │ 2-3 sec │ │ Commit │ └────┬────┘ └────┬────┘ │ │ ▼ ▼ [Eventually [Immediately Consistent] Consistent] Acción Evento El manejo de eventos es esencial cuando hay diferentes componentes que intentan hablar entre sí.Desde la iniciación de la solicitud hasta el cumplimiento de la respuesta, debe saber claramente las rutas que tomarán los paquetes de datos. ╔═════════════════════════════════════╗ ║ EVENT HANDLING FLOW ║ ╚═════════════════════════════════════╝ ┌──────────┐ Event ┌──────────┐ │Component │─────────────►│ Event │ │ A │ Fired │ Queue │ └──────────┘ └─────┬────┘ │ ┌─────▼─────┐ │ Handler │ └─────┬─────┘ │ ┌───────────┼───────────┐ │ │ │ ┌───▼───┐ ┌───▼───┐ ┌───▼───┐ │Comp B │ │Comp C │ │Comp D │ └───────┘ └───────┘ └───────┘ SQL / NoSQL / Persistencia de políglota En los sistemas SQL distribuidos, durante las particiones de red, suele priorizar la coherencia sobre la disponibilidad. Las bases de datos NoSQL se pueden usar para almacenar datos semi-estructurados, pares de valores clave, imágenes y videos. Las bases de datos de gráficos y las bases de datos de motores de búsqueda también se encuentran bajo las bases de datos NoSQL. En los sistemas NoSQL distribuidos, normalmente se prioriza la disponibilidad y la tolerancia de partición, aceptando la eventual consistencia. Según el teorema CAP, en un sistema distribuido que experimenta particiones de red, debe elegir entre consistencia y disponibilidad. Si necesita una combinación de bases de datos SQL y NoSQL, lo llamamos persistencia poliglota. ╔═════════════════════════════════════╗ ║ SQL/NoSQL/POLYGLOT PERSISTENCE ║ ╚═════════════════════════════════════╝ ┌─────────────────────────────────────┐ │ Application Layer │ └──────────────┬──────────────────────┘ │ ┌───────┴────────┐ │ │ ┌──────▼──────┐ ┌─────▼────────────┐ │ SQL │ │ NoSQL │ │ Database │ │ Database │ ├─────────────┤ ├──────────────────┤ │ - ACID │ │ - Key-Value │ │ - Structured│ │ - Document │ │ - CA (CP) │ │ - Graph │ │ │ │ - AP │ └─────────────┘ └──────────────────┘ └────────┬────────┘ │ POLYGLOT PERSISTENCE Servicio de almacenamiento de datos cliente vs. servidor A veces la aplicación utiliza el almacenamiento del dispositivo móvil en el que está instalado. por ejemplo, los mensajes de WhatsApp se guardan en el almacenamiento local de su teléfono inteligente, con copia de seguridad en la nube opcional. A veces, todos los datos se almacenan en los servidores. Por ejemplo, todos los mensajes en Facebook Messenger se almacenan en los servidores de Facebook. Antes de iniciar el ciclo de desarrollo, debe definir claramente qué componentes utilizarán los recursos del servidor y cuáles utilizarán los recursos locales del dispositivo. ╔═══════════════════════════════════════════════════╗ ║ CLIENT-SIDE vs SERVER-SIDE STORAGE ║ ╚═══════════════════════════════════════════════════╝ CLIENT-SIDE SERVER-SIDE ┌──────────────┐ ┌──────────────┐ │ Mobile │ │ Server │ │ Device │ │ Cluster │ ├──────────────┤ ├──────────────┤ │ ┌──────────┐ │ │ ┌──────────┐ │ │ │ WhatsApp │ │ │ │ Facebook │ │ │ │ Messages │ │ │ │Messenger │ │ │ │ (Local) │ │ │ │ Messages │ │ │ └──────────┘ │ │ └──────────┘ │ │ │ │ │ │ + Optional │ │ + Backup │ │ Cloud │ │ + Sync │ │ Backup │ │ + Access │ └──────────────┘ └──────────────┘ Estructuras de datos optimizadas Cada línea de código que escribe impuesta al servidor.Cuanto más impuesto, más tiene que pagar para mantenerlo.Por eso es buena práctica escribir código de software optimizado y utilizar estructuras de datos que tengan menor complejidad en tiempo y espacio. ╔═════════════════════════════════════╗ ║ OPTIMIZED DATA STRUCTURES ║ ╚═════════════════════════════════════╝ Data Structure Complexity O(1) ───────── Best (Hash Table) O(log n) ────── Good (Binary Tree) O(n) ───────── Acceptable (Array) O(n²) ───────── Poor (Nested Loops) O(2ⁿ) ───────── Worst (Exponential) ┌─────────────────────────────┐ │ Choose Lower Complexity │ │ = Less Server Tax │ │ = Lower Costs │ └─────────────────────────────┘ Configuración de privacidad Los usuarios de tu aplicación deben tener opciones para protegerse en Internet.Tienes que tener buenas opciones de privacidad.Por ejemplo, en WhatsApp, puedes ocultar tu foto de perfil, leer recibos, y última vista.También puedes bloquear a alguien que piensas que es un spam. +-----------------------------------------+ | PRIVACY SETTINGS | +-----------------------------------------+ +-----------------------------------------+ | User Privacy Panel | +-----------------------------------------+ | [ ] Show Profile Photo | | [X] Hide Last Seen | | [X] Hide Read Receipts | | [ ] Show Online Status | | [X] Block User | | | | [Save Settings] | +-----------------------------------------+ Cumplimiento Su aplicación debe cumplir con las regulaciones requeridas. Por ejemplo: If your application handles Protected Health Information (PHI) for covered entities, it should be HIPAA compliant. If your application is being launched in the EU, it should be GDPR compliant. ╔═════════════════════════════════════╗ ║ COMPLIANCE REQUIREMENTS ║ ╚═════════════════════════════════════╝ ┌──────────────────────────────────┐ │ Your Application │ └────────────┬─────────────────────┘ │ ┌──────┴──────┐ │ │ ┌─────▼─────┐ ┌────▼──────┐ │ HIPAA │ │ GDPR │ │Compliance │ │Compliance │ ├───────────┤ ├───────────┤ │ Medical │ │ EU │ │ PHI │ │ Privacy │ │ Protected │ │ Rules │ └───────────┘ └───────────┘ Aspectos de seguridad Mientras que la seguridad es un tema muy amplio, en su análisis inicial debe considerar la protección contra el spam y DDoS. Debe tener una estructura IAM adecuada y políticas de contraseña fuertes. También debe considerar tener 2FA habilitado para una seguridad adicional. ╔═════════════════════════════════════╗ ║ SECURITY LAYERS ║ ╚═════════════════════════════════════╝ ┌───────────────────────────────────┐ │ Security Layers │ ├───────────────────────────────────┤ │ Layer 5: 2FA Authentication │ ├───────────────────────────────────┤ │ Layer 4: IAM & Access Control │ ├───────────────────────────────────┤ │ Layer 3: DDoS Protection │ ├───────────────────────────────────┤ │ Layer 2: Spam Filtering │ ├───────────────────────────────────┤ │ Layer 1: Password Policy │ └───────────────────────────────────┘ Servicios disponibles en el área de despliegue Como el título sugiere, todos los servicios que está considerando deben estar disponibles en la región geográfica en la que pretende lanzar su aplicación.Por ejemplo, si está planeando lanzar una aplicación en China, no debe considerar una API de Facebook en su diseño de aplicación ya que no funcionaría. +---------------------------------------+ | GEOGRAPHICAL SERVICE AVAILABILITY | +---------------------------------------+ GLOBAL SERVICE MAP +--------------+ +--------------+ | USA | | China | +--------------+ +--------------+ | [+] Facebook | | [-] Facebook | | [+] Google | | [-] Google | | [+] AWS | | [+] Alibaba | | [+] WhatsApp | | [+] WeChat | +--------------+ +--------------+ Check Service Availability Before Launch! Análisis de costos Sin comprometer la eficiencia y el rendimiento, debe reducir los costos lo más posible.Al considerar opciones, intente seleccionar marcos de código abierto con un buen apoyo de la comunidad de desarrolladores. ╔═════════════════════════════════════╗ ║ COST OPTIMIZATION ║ ╚═════════════════════════════════════╝ ┌────────────────────────────────────┐ │ Cost Optimization │ ├────────────────────────────────────┤ │ │ │ Open Source >>> Proprietary │ │ (Lower Cost) (Higher Cost) │ │ │ │ Serverless >>> Always-On │ │ (Pay per use) (Fixed Cost) │ │ │ │ Cache >>> DB Query │ │ (Expensive) (Cheaper) │ │ │ └────────────────────────────────────┘ Balance Cost vs Performance Inicio / Cloud / Hybrid Decide si sus datos residirán on-prem, totalmente en la nube, o parte en la nube y parte en la nube (híbrido). ╔═════════════════════════════════════╗ ║ DEPLOYMENT OPTIONS ║ ╚═════════════════════════════════════╝ ┌──────────────────────────────────────┐ │ Deployment Options │ └───────────┬──────────────────────────┘ │ ┌───────┼───────┐ │ │ │ ┌───▼───┐ ┌─▼────┐ ┌▼──────┐ │On-Prem│ │Cloud │ │Hybrid │ ├───────┤ ├──────┤ ├───────┤ │Local │ │ AWS │ │On-Prem│ │Servers│ │Azure │ │ + │ │ Data │ │ GCP │ │ Cloud │ │Center │ │ │ │ Mix │ └───────┘ └──────┘ └───────┘ │ ┌───▼────┐ │ VPC │ └────────┘ Escaladores horizontales / Escaladores verticales y balanceadores de carga En la escalación horizontal, coloca replicas del servidor actual de DB/aplicación y utiliza un balanceador de carga para equilibrar el tráfico entre estas instancias. En la escalación vertical, mejora la configuración del sistema de la instancia. Hay algún límite a lo que puede mejorar. También hay otras consideraciones - por ejemplo, si aumenta la computadora, tiene que aumentar la RAM en consecuencia. Una apuesta sensata sería tener una mezcla justa de escalación horizontal y vertical. Los balanceadores de carga se utilizan para equilibrar el tráfico entre varias instancias. los balanceadores de carga ayudan a reducir el tiempo de inactividad del sistema. +-------------------------------------------------------------+ | HORIZONTAL & VERTICAL SCALING WITH LOAD BALANCERS | +-------------------------------------------------------------+ HORIZONTAL SCALING VERTICAL SCALING +---------------+ +---------------+ | Load Balancer | | Upgrade | +-------+-------+ | CPU + RAM | | +-------+-------+ | | +-------------+-------------+ | | | | | v v v (and v) v +---+ +---+ +---+ +---------------+ |DB1| |DB2| |DB3|... | Powerful | +---+ +---+ +---+ | Server | +---------------+ Add more servers Improve single server Adquisición y retención de clientes Incorporar análisis como análisis de funnel y pruebas A/B para mejorar su base de clientes. ╔═════════════════════════════════════╗ ║ CUSTOMER ACQUISITION & RETENTION ║ ╚═════════════════════════════════════╝ ┌─────────────────────────────────────┐ │ Analytics Funnel │ ├─────────────────────────────────────┤ │ │ │ 1000 Users ▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓ │ │ │ │ │ 500 Signups ▓▓▓▓▓▓▓▓▓ │ │ │ │ │ 200 Active ▓▓▓▓ │ │ │ │ │ 100 Paid ▓▓ │ │ │ ├─────────────────────────────────────┤ │ A/B Testing │ │ ┌─────────┐ ┌─────────┐ │ │ │Version A│ │Version B│ │ │ │ 50% │ │ 50% │ │ │ └────┬────┘ └─────┬───┘ │ │ └──────┬────────┘ │ │ Compare │ └─────────────────────────────────────┘ El resumen: ================================ SYSTEM DESIGN IN A NUTSHELL 17 Core Concepts ================================ START HERE | ↓ 1. UX DESIGN & COMPONENTS → Design UI elements → Profile, messages, feeds | ↓ 2. CLASSES & SUBCLASSES → Define objects → User profiles with attributes | ↓ 3. DESIGN PATTERNS → Publisher-Subscriber → For news feeds | ↓ 4. INFRASTRUCTURE STACK → CDN for static content → Serverless functions → API Gateway → Cache strategy | ↓ 5. CONSISTENCY MODELS → Eventual (NoSQL) → Transactional (SQL) | ↓ 6. EVENT HANDLING → Request to response → Data packet routes | ↓ 7. DATABASE STRATEGY → SQL: Structured data → NoSQL: Key-value, docs → CAP Theorem considerations → Polyglot Persistence | ↓ 8. DATA STORAGE → Client-side (local) → Server-side (cloud) → Hybrid approach | ↓ 9. OPTIMIZED DATA STRUCTURES → Lower time complexity → Lower space complexity → Reduce server tax | ↓ 10. PRIVACY SETTINGS → Hide profile info → Block users → Read receipts control | ↓ 11. COMPLIANCE → HIPAA for medical PHI → GDPR for EU users | ↓ 12. SECURITY LAYERS → DDoS protection → IAM structure → 2FA authentication → Password policies → Spam filtering | ↓ 13. GEOGRAPHICAL SERVICES → Check availability → Regional restrictions → Example: Facebook in China | ↓ 14. COST OPTIMIZATION → Open source frameworks → Serverless options → Balance cost vs performance | ↓ 15. DEPLOYMENT OPTIONS → On-Premises → Cloud (AWS/Azure/GCP) → Hybrid approach → VPC considerations | ↓ 16. SCALING STRATEGIES → Horizontal: Add replicas → Vertical: Upgrade config → Load balancers → Mix both approaches | ↓ 17. CUSTOMER ANALYTICS → Funnel analytics → A/B testing → Acquisition & retention ================================ KEY TAKEAWAYS ================================ ★ 30,000 ft view first ★ Design before coding ★ Consider all 17 aspects ★ Balance trade-offs ★ Optimize for scale ★ Security & compliance ★ Cost-effective choices ================================ Este marco también te ayudará a aclarar las preguntas de entrevista de diseño de sistema de nivel de entrada en cualquier MNC superior. Cuando empecé a escribir este artículo, tuve mucho más en mi mente. tuve que cortar el contenido ya que muchos de los conceptos mencionados aquí se pueden explicar en artículos separados. Gracias por leer.Sé atento. Si tiene alguna pregunta, por favor, siéntese libre de enviarme un correo electrónico. También puede contactarme a través de Linkedin. También puede seguirme en X El email El email Linkedin Linkedin X X