Chaque alerte qui s’avère ne rien demander apprend à son destinataire que les alertes peuvent attendre. Avec le temps, les réactions ralentissent, les canaux sont mis en sourdine et les vrais incidents sont découverts tard. Le terme vient du milieu hospitalier, où le personnel exposé à des alarmes permanentes finit par ne plus y réagir.
Les causes sont connues : des alertes sur une seule vérification échouée, des seuils trop serrés, de nombreuses alertes pour une même cause, des alertes qui n’appellent aucune action, et tout envoyé à tout le monde. Chaque faux positif s’y ajoute.
Les solutions : confirmer avant d’alerter, alerter sur ce que ressentent les utilisateurs plutôt que sur chaque métrique, router selon l’urgence, faire taire les travaux planifiés, et revoir régulièrement les alertes en supprimant ou en rétrogradant celles sur lesquelles personne n’a agi.