Respostas para a pergunta que você buscou, com os números junto.
-
Deep dive
Quão eventual é a consistência eventual? A dedup do ReplacingMergeTree, medida
O ReplacingMergeTree só remove duplicata quando as partes fazem merge, numa hora que ninguém controla. Medi quanto tempo isso leva em produção: 1,998 depois de 2 minutos, 1,11 depois de uma hora, 1,0004 depois de 30 dias. E as cinco camadas que fazem a dedup de verdade.
medido ▸ fator de duplicação 1,998 aos 2 min · 1,11 em 1 h · 1,010 em 24 h · 1,0004 em 30 dias
-
Deep dive
Três duplicatas, três causas, um sintoma
Numa semana achei processamento duplicado em três sistemas: consumers do Kafka fora do próprio grupo, um sumarizado que lia o ClickHouse antes do merge e dois webhooks de pagamento para o mesmo pedido. Três bugs diferentes e a mesma peça faltando em todos: uma chave de idempotência respeitada por todas as camadas.
medido ▸ fator de duplicação exatamente 2,0 no insert · ainda 1,78 dez minutos depois · ambiente de controle com um worker: 1,0000
-
Deep dive
Telemetria com padrão de faturamento, vinda de 15 mil telas
Cada exibição de anúncio é prova de cobrança, e as telas perdem a rede por horas. Como funciona o pipeline de prova de exibição: cache no aparelho, envio em lote, ordenar antes de inserir, um MySQL particionado por semana com 2 bilhões de linhas, depois Kafka e ClickHouse.
medido ▸ ~200 milhões de linhas de exibição por dia · rodadas do importador de 155 mil a 643 mil linhas em 7 a 20 s · era MySQL: 2 bi+ de linhas, partição semanal