Lentidão no processamento de mensagens

Incident Report for Huggy

Postmortem

Sumário

No dia 5 de março, às 12:50 (GMT-3), identificamos uma inconsistência decorrente do processamento de mensagens de um canal do WhatsApp que já não estava mais configurado na nossa plataforma. O incidente gerou uma inconsistência na fila de processamento, provocando lentidão, às 12:00 (GMT-3), no envio e recebimento de mensagens pelo canal do WhatsApp. Liberamos uma correção às 14:00 (GMT-3), solucionando essa lentidão efetivamente às 14:15 (GMT-3).

Linha do tempo

  • 📆 05/03/2022 12:00 (GMT-3): Lentidão na troca de mensagens pelo canal do WhatsApp
  • 📆 05/03/2022 12:50 (GMT-3): Identificação da causa raiz do incidente
  • 📆 05/03/2022 14:00 (GMT-3): Liberação da correção para o incidente
  • 📆 05/03/2022 14:15 (GMT-3): Normalização do processamento de mensagens do WhatsApp

Causa raiz do incidente

A integração da Huggy com o WhatsApp envolve a intermediação de provedores de soluções de negócios do WhatsApp Business (BSPs).

Dentre as etapas de configuração da integração, é necessário conectar manualmente o Webhook do provedor com a nossa plataforma. Caso o usuário queira posteriormente remover o canal do WhatsApp na Huggy, ele precisa desativar também o Webhook do provedor.

No dia 5 de março, às 12:50 (GMT-3), identificamos uma inconsistência decorrente das notificações de um Webhook do provedor. A Huggy, ao receber as notificações, tentou processar as mensagens, mas o canal do WhatsApp configurado para esse Webhook já não existia mais.

Impacto

O incidente gerou uma inconsistência na fila de processamento, provocando lentidão, às 12:00 (GMT-3), no envio e recebimento de mensagens pelo canal do WhatsApp.

Plano de ação

Identificada a causa raiz do incidente, liberamos uma correção, às 14:00 (GMT-3), para desconsiderar as notificações do Webhook relacionado ao canal do WhatsApp já removido da nossa plataforma. Essa ação normalizou, às 14:15 (GMT-3), o trabalho da fila de processamento, solucionando a lentidão no envio e recebimento de mensagens pelo canal do WhatsApp.

Próximos passos

Estamos trabalhando em melhorias para automatizar a exclusão do Webhook dos provedores sempre que o usuário remover o canal do WhatsApp na nossa plataforma.

Para os casos particulares de provedores que não permitem esse tipo de automação, adicionaremos algumas mensagens de alerta orientando os nossos usuários a removerem manualmente o Webhook.

Posted Mar 29, 2022 - 10:22 GMT-03:00

Resolved

No dia 5 de março, às 12:50 (GMT-3), identificamos uma inconsistência decorrente do processamento de mensagens de um canal do WhatsApp que já não estava mais configurado na nossa plataforma. O incidente gerou uma inconsistência na fila de processamento, provocando lentidão, às 12:00 (GMT-3), no envio e recebimento de mensagens pelo canal do WhatsApp. Liberamos uma correção às 14:00 (GMT-3), solucionando essa lentidão efetivamente às 14:15 (GMT-3).
Posted Mar 05, 2022 - 00:30 GMT-03:00