Descomplicando System Design

• Descomplicando System Design
• Conteúdo
• Materiais
• Book de Cases e Exercícios Livres
  • Cases Resolvidos

Conteúdo

DAY-01 - Protocolos de Rede

• System Design - Protocolos e Comunicação de Rede
• Modelo OSI
  • Camada 1: Física
  • Camada 2: Enlace
  • Camada 3: Rede
  • Camada 4: Transporte
  • Camada 5: Sessão
  • Camada 6: Apresentação
  • Camada 7: Aplicação
• Os Protocolos de Comunicação
  • Definindo um Protocolo
  • Protocolos Base
  • Protocolo IP, IPv4 e IPv6
  • IPv4
  • IPv6
  • Dual Stack
• UDP - User Datagram Protocol
• TCP - Transmission Control Protocol
  • Escolhendo Entre TCP e UDP para Construção e Uso de Protocolos
• SSL/TLS - Transport Layer Security
• Demais Protocolos e Aplicações de Rede
• DNS - Domain Name Service
  • Funcionamento Lógico do DNS
  • Resolução do DNS na Prática
• DHCP - Dynamic Host Configuration Protocol
• NTP - Network Time Protocol
• SSH - Secure Shell
• Telnet
• Protocolos HTTP/1, HTTP/2 e HTTP/3
  • Estruturas de Requisições e Respostas HTTP
    • Body
    • Headers
    • Cookies
    • Status Codes
• HTTP/1.x
• HTTP/2
• HTTP/3 (QUIC)

DAY-02 - Storage, RAID e Sistemas de Arquivos

• System Design - Storage, RAID e Sistemas de Arquivos
• Definindo Storage e Armazenamento
• Dimensões em Storage
  • Throughput em Storage
  • Bandwidth em Storage
  • I/O e IOPS em Storage
• Tipos e Modelos de Storage
  • DAS - Direct-Attached Storage
  • NAS - Network Attached Storage
  • Block Storage
  • File Storage
  • Object Storage
• RAID - Redundant Array of Independent Disks
  • RAID 0 (Striping)
  • RAID 1 (Mirroring)
  • RAID 5 (Striping com Paridade Distribuída)
  • RAID 6 (Striping com Dupla Paridade)
  • RAID 10 (Combinação de RAID 1 com RAID 0)

DAY-03 - Teorema CAP, ACID, BASE e Bancos de Dados Distribuídos

• System Design - Teorema CAP, ACID, BASE e Bancos de Dados Distribuídos
• O Teorema CAP
• ACID e BASE, os trade-offs entre SQL e NoSQL
• Modelo ACID - Atomicity, Consistency, Isolation, Durability
  • Atomicidade
  • Consistência
  • Isolamento
  • Durabilidade
• Modelo BASE - Basically Available, Soft State, Eventual Consistency
  • Basicamente Disponível
  • Soft State
  • Eventualmente Consistente
• Explicação dos Componentes do CAP
  • Consistency / Consistência (C)
  • Availability / Disponibilidade (A)
  • Partition Tolerance / Tolerância a Partições (P)
  • O que é uma Partição de Rede?
• As combinações do Teorema: “Escolha 2”
  • CP (Consistência e Tolerância a Partições)
  • AP (Disponibilidade e Tolerância a Partições)
  • CA (Consistência e Disponibilidade)
• Tabela de Flavors (CAP)
• O que mudou depois da concepção do CAP?
• Teorema PACELC
• O Teorema PACELC
  • Teorema PACELC vs Teorema CAP
• Aplicações do PACELC
  • PA/EL (On Partition, Availability; Else, Latency)
  • PC/EL (On Partition, Consistency; Else, Latency)
  • PA/EC (On Partition, Availability; Else, Consistency)
  • PC/EC (On Partition, Consistency; Else, Consistency)
  • Comparações do PACELC
• Referências

DAY-04 - Databases, Modelos de Dados e Indexação

• Databases, Modelos de Dados e Indexação
• Definindo um Banco de Dados
• Tipos de Bancos de Dados
  • Bancos de Dados Relacionais SQL
  • Banco de Dados Não-Relacionais NoSQL
  • Bancos de Dados NewSQL
  • Bancos de Dados em Memória
  • Time-Series Databases
• Níveis de Consistência
  • Consistência Forte
  • Consistência Eventual
• Modelos de Dados
  • Modelos de Tuplas (Row‑Oriented)
  • Modelos de Documentos
  • Modelos Colunares (Column-Oriented)
  • Modelos de Coluna Larga (Wide-Column)
  • Modelos Key‑Value (Chave‑Valor)
  • Modelos Baseados em Grafos
• Armazenamento e Indexação
  • Page Size (Tamanho da Página)
  • Indexação Colunar
  • LSM-Trees (Log-Structured Merge-Tree)
  • Indexação B‑Tree (Árvores B)
  • Indexação por Hashing
  • Índices Invertidos
• Arquitetura
  • Cenários Transacionais
  • Cenários de Write‑Intensive
  • Cenários de Read‑Intensive
• Referências

DAY-05 - Estratégias de Cache

• Estratégias de Cache
• Definindo Cache
• Princípios Básicos de Cache
  • Consistência de Dados
  • Time to Live (TTL)
  • Políticas de Evicção e Substituição
  • Invalidação de Itens em Cache
  • Eventos de Hit Rate, Cache Hit e Cache Miss
    • Cache Hit
    • Cache Miss
    • Hit Rate - Taxa de Acertos
• Implementações de Cache
  • Cache em Memória (Hashmap)
  • Caching em Sistemas Distribuídos
  • Cache em Bancos de Dados e Camadas de Dados
  • Cache-Aside (Lazy Loading)
  • Write-Through (Escrita Dupla)
  • Write-Behind (Lazy Writing)
  • Cache de Conteúdo Distribuído (CDN Cache)
    • Primeiro Acesso
    • Segundo Acesso
• Referencias

DAY-06 - Monolitos, Microserviços e Domínios

• System Design - Microsserviços, Monolitos e Domínios
• Arquitetura Monolítica
  • Vantagens de uma Arquitetura Monolítica
  • Desvantagens de uma Arquitetura Monolítica
• Arquitetura de Microsserviços
  • Vantagens de uma Arquitetura de Microsserviços
  • Desvantagens de uma Arquitetura de Microsserviços
• Domínios e Design
• Lei de Conway na arquitetura de sistemas
• Referências

DAY-07 - Load Balancers e Proxies Reversos

• System Design - Load Balancers e Proxies Reversos
  • O Problema da Falta de Balanceamento de Carga
  • Resolvendo problemas com balanceamento de carga
• Fundamentos de Balanceadores de Carga
  • Proxy Reverso vs Load Balancer
  • O Papel do Load Balancer
• Algoritmos de Balanceamento de Carga
  • Round Robin
    • Limitações do Round Robin
    • Exemplo de um Algoritmo de Round Robin
  • Least Request
    • Limitações do Least Request
    • Exemplo de Implementação
  • Least Connection
    • Limitações do Least Connection
  • Least Outstanding Requests (LOR)
    • Limitações do Least Outstanding Requests
  • IP Hash Balancing
    • Limitações ao Implementar a Técnica de IP Hashing
    • Exemplo de Implementação
  • Maglev
    • Limitações do Maglev
  • Random Load Balancing
    • Limitações do Random
• Load Balancing e Camada OSI
  • Load Balancers em Layer 4 (Transporte)
  • Load Balancers em Layer 7 (Aplicação)
• Implementações e Tecnologias
  • Envoy Proxy
  • Nginx
  • HAProxy
  • Traefik
  • Kubernetes Ingress Controllers
    • Cloud Load Balancers
• Referencias

DAY-08 - API Gateways

• System Design - API Gateways
• Definindo API Gateways
  • O problema que os API Gateways resolvem?
• API Gateways em Arquiteturas de Microserviços
• API Gateways e Load Balancers
• Componentes e Arquitetura de um API Gateway
  • Roteamento de Requisições
  • Autenticação e Autorização
  • Limitação de Taxa (Rate Limiting) e Throttling
    • Rate Limit
    • Throttling
    • Token Bucket
    • Leaky Buckets
  • Gerenciamento de APIs e Versionamento
    • Referências

DAY-09 - Backend for Frontend (BFF)

• System Design - Backend for Frontend (BFF)
• Definindo Backend for Frontends
• Responsabilidades Arquiteturais
  • API Composition Pattern nos BFF’s
  • Segregação de Canais com BFF’s
  • Segregação de Microfrontends e BFF’s
  • Versionamento de Interfaces e BFF’s
  • Resiliência e Blast Radius em BFF’s
  • Desacoplamento de Métricas e Experiência de Uso
    • Referências

DAY-10 - Service Mesh

• System Design - Service Mesh
• Definindo Service Mesh
• Componentes de um Service Mesh
  • Control Plane (Camada de Controle)
  • Data Plane (Camada de Execução)
• Modelos de Service Mesh
  • Modelo Client e Server
  • Sidecars
  • Sidecarless / Proxyless
• Funcionalidades Comuns dos Service Meshes
  • Roteamento de Tráfego Inteligente
  • Balanceamento de Carga Dinâmico
  • Observabilidade e Telemetria Transparente
  • Segurança, Autenticação e Autorização
  • Criptografia de Tráfego e mTLS
  • Resiliência na Camada de Comunicação
• Referências

DAY-11 - Conceitos de Concorrência e Paralelismo

• System Design - Paralelismo, Concorrência e Multithreading
  • O que é um Processo?
  • O que é uma Thread?
  • O que é Multithreading?
• Concorrência
  • Exemplo de Implementação
• Paralelismo
  • Implementando um algoritmo de paralelismo
  • Paralelismo Externo vs Paralelismo Interno
    • Paralelismo Interno
    • Paralelismo Externo
• Paralelismo vs Concorrência
• Lidando com Paralelismo e Concorrência
  • Deadlocks e Starvation
  • Race Conditions - Condições de Corrida
    • Race Conditions e Last-Write-Wins
  • Mutex
  • Mutex Distribuído
    • Exemplo de Implementação
  • Mutex Distribuído - Zookeeper
    • Exemplo de Implementação
  • Spinlock
    • Exemplo de Implementação
  • Semáforos e Worker Pools
    • Exemplo de Implementação:
• Referências

DAY-12 - Padrões de Comunicação Síncronos

• System Design - Padrões de Comunicação Síncronos
• Definindo Comunicações Sincronas
• API’s REST - Representational State Transfer
  • Componentes de uma requisição REST
    • URI’s e URL’s
      • URI - Uniform Resource Identifier
      • URL - Uniform Resource Locator
    • Recursos e Paths
    • Headers
    • Query Strings
    • Body e Formatos
    • Utilização de Métodos HTTP para Representar Ações nos Paths
      • Idempotência nas Requisições REST
    • Métodos HTTP nas URI’s e Recursos
      • Status Codes de Resposta e Padrões do REST
  • Principios do REST
    • Interface Uniforme
    • Comunicação Stateless
    • Camadas
    • Cache
• Webhooks
  • Pooling e a Diferença entre Webhooks e API’s
• RPC - Remote Procedure Call
  • Exemplo de um Servidor RPC
  • Exemplo de um Client RPC
• gRPC - Google Remote Procedure Call
  • ProtoBufs
    • Exemplo de Protobuf
    • Exemplo de Server gRPC
    • Exemplo de Client gRPC
• Websockets
• GraphQL
  • Componentes do GraphQL
    • Schema
    • Query
    • Mutations
    • Resolvers e Data Sources
  • Convergência de Arquiteturas gRPC & REST & GraphQL
• Referências

DAY-13 - Protocolos de Comunicação Assincronos

• System Design - Mensageria, Eventos, Streaming e Arquitetura Assincrona
  • Mensagens e Eventos
    • Definindo Mensageria
    • Definindo Eventos
  • Eventos vs Mensagens
    • Eventos São Mensagens
  • Conceitos e Padrões
    • FIFO e Queues - First In First Out
      • Output:
    • LIFO e Stacks - Last In First Out
      • Output:
    • Fanout
    • DLQ - Dead Letter Queues
    • Processamento em Batch
  • Protocolos e Arquiteturas Event-Driven
    • Streaming e Reatividade
    • Reatividade e Arquiteturas Event-Driven
  • Kafka e Event Streaming
    • Clusters e Brokers
    • Tópicos
    • Partições
    • Fatores de Replicação
    • Producers
      • Exemplo de Produtor
    • Consumers e Consumer Groups
      • Exemplo de um consumidor
      • Output
  • Protocolos e Arquiteturas de Message-Driven
    • MQTT (Message Queuing Telemetry Transport)
    • MQTT Default Subscription
    • MQTT Shared Subscription
  • AMQP (Advanced Message Queuing Protocol)
    • Brokers
    • Channels
    • Queues
    • Producers
    • Consumers
    • Exchanges e Binding Keys
    • Tipos de Exchanges
      • Direct Exchange
        • Setup e Binding no Modo Direct
        • Producer no Modo Direct
        • Output
        • Consumer no Modo Direct
        • Output
      • Topic Exchange
        • Setup e Binding no Topic
        • Producer no Modo Topic
        • Output - Produtor
        • Output - Consumidor Default
        • Output - Consumidor Prioritario
        • Output - Consumidor Lake
      • Fanout Exchange
        • Setup no Fanout
        • Producer no Fanout
        • Output - Produtor
        • Output - Consumidor Cobranca
        • Output - Consumidor Logistica
        • Output - Consumidor Estoque
• Referências

DAY-14 -Performance, Capacidade e Escalabilidade

• System Design - Performance, Capacidade e Escalabilidade
• Definindo Performance
  • Métricas de Performance
    • Utilização e Saturação de Recursos
    • Throughput, ou Tráfego
    • Tempo de Resposta
    • Taxa de Erros
    • Utilizando Percentis em Métricas de Performance
• Definindo Capacidade
  • Gargalos de Capacidade
  • Backpressure de Capacidade
  • Custo de Transação por Capacidade
• Definindo Escalabilidade
  • Importância da Escalabilidade em Sistemas Modernos
  • Escalabilidade Vertical e Escalabilidade Horizontal
    • Escalabilidade Vertical
      • Scale Up e Scale Down
    • Escalabilidade Horizontal
      • Scale Out e Scale In
• Planejamento de Capacidade e Escalabilidade
  • Fórmula Básica para Capacidade
  • Utilização de Recursos Computacionais
  • Requisições e Transações por Períodos de Tempo (Throughput)
  • Escalabilidade de Software
• Referências

Materiais

Aula	Slides
Protocolos de Rede	Slides
Raid e Storage	Slides
Teorema CAP, Database ACID, BASE e Teorema PACELC	Slides
Databases, Modelos de Dados e Indexação	Slides
Estratégias de Cache	Slides
Monolitos, Microserviços e Domínios	Slides
Load Balancers e Proxies Reversos	Slides
API Gateways	Slides
Backend for Frontend (BFF)	Slides
Service Mesh	Slides
Conceitos de Concorrência e Paralelismo	Slides
Padrões de Comunicação Síncronos	Slides
Protocolos de Comunicação Assincronos	Slides
Performance, Capacidade e Escalabilidade	Slides

Book de Cases e Exercícios Livres

Case	Nível	Link
DDD - Core Banking	Basico	Link
DDD - Banco da Federação Galática	Avançado	Link
DDD - FoodTech	Basico / Intermediário	Link
Case e Catálogo de Marketplace	Basico	Link
Checkout de Livraria	Basico	Link
Encurtador de Links	Basico	Link
FoodTech	Intermediário	Link
Orquestrador de Notificações Omnichannel para E-commerce	Intermediário	Link
Case de Consistência com SAGA Pattern	Intermediário	Link
Case de Ledger REST	Avançado	Link
Gestão de Pacotes e Beneficios	Avançado	Link
Adaptação de Apostilas	Avançado	Link
Sistema de Contestação de Compras	Intermediário	Link
Sistema de Gestão de Pontos	Intermediário	Link
Sistema de Votação de Reality Shows	Intermediário	Link
Sistema Distribuído de Gestão de Estoque para Varejo	Intermediário	Link
Ingestão e Telemetria	Avançado	Link
Gestão de Vagas	Avançado	Link
Controle de Ponto	Intermediário	Link

Cases Resolvidos

Case	Link
Encurtador de Links	Draw.io
Busca e Catalogo	Draw.io
Notificação Omnichannel	Draw.io
Sistema de Votação	Draw.io
Sistema de Votação	Draw.io
Orquestrador de Notificações Omnichannel para E-commerce	Draw.io