Slack supera las preocupaciones de publicación al monitorear el puntaje Z

Ingeniero en la plataforma de comunicaciones del equipo. flojo Escribió sobre cómo enfrentar su miedo a los despliegues e implementar con éxito un robot para monitorearlos.

Sean McIlroy, ingeniero de software senior en Slack, documenta cómo pasaron de tener un grupo de desarrolladores supervisando las implementaciones de sus aplicaciones web a usar un bot para implementar esos 150 cambios por día. Al describir la aparentemente intimidante delegación de responsabilidad, que en última instancia se reduce a revelar matemáticamente un pico en un gráfico, McIlroy explica el razonamiento y el razonamiento detrás de darle un papel fundamental a su ReleaseBot en una publicación de blog detallada.

Implementar cambios en una plataforma a gran escala como Slack presenta un conjunto único de desafíos, ya que la mayor parte del servicio se ejecuta desde un monolito llamado «La Webapp» y sufre cientos de cambios semanalmente. La filosofía de implementación de Slack se centra en la entrega continua, con el objetivo de entregar rápidamente el trabajo de los desarrolladores a los clientes a través de una iteración rápida basada en comentarios. Sin embargo, gestionar el flujo constante de cambios, con un promedio de unos 150 cambios por día, requiere un equilibrio cuidadoso para evitar sobrecargar el sistema y reducir el riesgo de errores.

Tradicionalmente, Slack ha dependido de los líderes de implementación (DC), personas encargadas de ejecutar los pasos de implementación durante los turnos programados. Sin embargo, la naturaleza rotatoria de los países en desarrollo y la creciente complejidad del sistema plantean desafíos para generar confianza y experiencia. Por lo tanto, el equipo de ingeniería de lanzamiento buscó resolver este problema, enfocándose en proporcionar pautas más claras para la toma de decisiones en los países en desarrollo.

Esto llevó al desarrollo de ReleaseBot, un sistema de implementación automatizado equipado con capacidades de detección y monitoreo de anomalías. La transición de la implementación manual a la automatizada fue gradual: ReleaseBot trabajó junto con los controladores de dominio al principio, demostrando gradualmente su confiabilidad y eficiencia en la detección de problemas de manera más rápida y consistente que sus contrapartes humanas. Si bien la perspectiva de implementaciones automatizadas inicialmente generó preocupaciones debido a los riesgos percibidos, el desempeño de ReleaseBot superó las expectativas, infundiendo confianza en su capacidad para manejar implementaciones de forma autónoma.

La eficacia de ReleaseBot radica en sus mecanismos de detección de anomalías, especialmente mediante el uso de puntuaciones z. puntuaciones Z Mida la desviación de los puntos de datos de la media, lo que permite identificar valores atípicos estadísticos que indican problemas potenciales. Esto se implementa utilizando el principio de que si una aplicación se comporta de manera diferente después de la implementación que antes, esto genera una señal de «alta confianza» de que hay un problema y permite a los ingenieros saber que puede haber un problema que necesita intervención. Efectivamente, se trata de una técnica matemática para detectar picos en un gráfico. Las señales de alta confianza, causadas por grandes desviaciones de los datos históricos, merecen atención inmediata, mientras que las señales de baja confianza, generalmente regidas por umbrales fijos, actúan como alertas complementarias.

La frecuencia y el alcance de estas señales de alta confianza se utilizan para controlar la gravedad de las notificaciones de Slack enviadas al equipo, con una escala de colores de blanco, azul y rojo que se utiliza para mostrar la urgencia de la consideración de una señal. Slack también utiliza notificaciones de umbrales estáticos como alarmas de baja confianza, pero las utiliza como entrada para ReleaseBot para calcular umbrales dinámicos que tienen en cuenta la carga normal y el rendimiento de los componentes en el momento de la implementación. Utiliza datos históricos para distinguir entre picos anormales y fluctuaciones esperadas durante las implementaciones. Este enfoque permite a Slack filtrar variaciones de rutina mientras identifica verdaderas anomalías que requieren intervención.

McIlroy concluye destacando en qué se diferencia el monitoreo de implementación del monitoreo regular, que Slack ha aprovechado este conocimiento para crear una herramienta que haga que las implementaciones sean menos intimidantes y que ahora tienen más confianza en una herramienta de administración de implementación que los desarrolladores en los paneles. Leer el Publicación completa aquí.