Aller au contenu principal

Vue d'Ensemble des Alertes

Restez informé avec des alertes en temps réel pour toutes vos ressources.

Que sont les Alertes ?​

SailOps surveille votre infrastructure 24h/24 et 7j/7 et vous notifie lorsque des problèmes surviennent :

  • Problèmes de conteneurs - Crashs, redémarrages, arrêts OOM, erreurs de pull d'image
  • Utilisation des ressources - CPU ou mémoire dépassant les seuils
  • Problèmes de déploiement - Échecs de déploiement, erreurs de configuration
  • Vulnérabilités de sécurité - CVE critiques et élevées détectées par les scans Trivy
  • Résolution automatique - Notifications quand les problèmes sont résolus

Centre d'Alertes​

Le Centre d'Alertes est le hub d'investigation unifié pour toutes vos alertes à travers chaque projet d'une organisation. Il se trouve sous Monitoring > Alerts et organise les alertes en incidents — des enregistrements persistants qui suivent un problème de sa détection à sa résolution en passant par l'acquittement.

Modèle d'Incident​

Chaque problème détecté crée un incident. Un incident suit :

  • La condition observée (active, en récupération, inconnue, suspendue, résolue)
  • L'acquittement — une action partagée d'équipe enregistrée avec l'identité de la personne
  • L'état de lecture personnel — chaque membre suit son propre état lu/non lu de manière indépendante
  • Les preuves — échantillons de métriques, seuils et instances affectées capturés au moment de la détection
  • La chronologie — événements chronologiques incluant observations, actions d'équipe et résultats de notification
  • Les livraisons — le résultat de chaque notification envoyée aux destinations configurées

Vues des Incidents​

La liste des incidents sépare les alertes en vues ciblées :

VueDescription
AttentionIncidents actifs que personne n'a encore acquittés
AcknowledgedIncidents actifs pris en charge par un membre de l'équipe
UnknownIncidents dont la condition observée est incertaine
HistoryIncidents résolus ou fermés
ExecutionsEnregistrements terminaux d'exécution de jobs et cronjobs
AllTous les incidents quel que soit leur état

Inspecteur d'Incident​

Cliquez sur un incident pour ouvrir l'inspecteur, qui affiche :

  • La condition observée, la sévérité et le message déclencheur
  • Le statut d'acquittement et qui l'a acquitté
  • Le graphique de preuves métriques avec les valeurs observées et les séries de seuils
  • La chronologie des observations, actions d'équipe et notifications
  • Les résultats de livraison pour chaque destination de notification
  • Les liens d'investigation vers les métriques et logs autour du moment de la détection

L'inspecteur passe en pleine largeur sur les viewports inférieurs à 1280px.

Types d'Alertes​

Alertes Conteneurs​

AlerteDescriptionSévérité
Crash LoopConteneur qui crashe de façon répétéeCritique
OOM KilledArrêt pour dépassement mémoireCritique
Container ErrorÉchec général du conteneurCritique
Image Pull ErrorImpossible de récupérer l'imageCritique
Config ErrorProblème de configurationCritique
Volume Mount ErrorÉchec de montage du stockageCritique
Deployment FailedÉchec du déploiementCritique

Alertes Ressources​

AlerteDescriptionSévérité
CPU HighUtilisation CPU au-dessus du seuilAvertissement/Critique
Memory HighUtilisation mémoire au-dessus du seuilAvertissement/Critique

Les seuils CPU et mémoire mesurent l'utilisation de chaque instance en pourcentage de sa limite configurée, moyennée sur une minute, chaque instance étant évaluée séparément.

Alertes Instances​

AlerteDescriptionSévérité
Instance RestartL'instance a redémarréAvertissement
Instance CrashL'instance a crashéCritique

Alertes Capacité​

AlerteDescriptionSévérité
Spot Capacity ExhaustedPod spot impossible à ordonnancer — capacité saturéeAvertissement
Out Of StockWorkload bloqué en attente — aucun nœud adapté disponible depuis 10+ minutesCritique
GPU Stock ExhaustedAucun GPU du type demandé disponible chez le fournisseurAvertissement

Ces alertes permettent de détecter les problèmes de disponibilité des ressources au niveau du fournisseur cloud :

  • Les alertes de capacité spot apparaissent rapidement (30 secondes) car les pods spot ne déclenchent pas l'auto-scaling, ce qui en fait le signal principal de capacité saturée
  • Les alertes Out of Stock se déclenchent après 10 minutes, laissant le temps au cluster auto-scaler de provisionner des nœuds avant de déterminer que la capacité est vraiment épuisée
  • Les alertes de stock GPU détectent quand la capacité GPU est épuisée au niveau du fournisseur cloud, indiquant que votre workload attend un slot GPU libre

Alertes Sécurité​

AlerteDescriptionSévérité
Vulnerability ScanCVE critiques ou élevées trouvées dans les images de conteneurs déployéesAvertissement/Critique

Les incidents de sécurité incluent des preuves structurées listant les images affectées, les découvertes individuelles (ID CVE, paquet, versions installée et corrigée) et les liens vers les avis de sécurité.

Règles d'Alerte (Seuils)​

Les règles d'alerte définissent quand les incidents basés sur les métriques sont créés. Les règles suivent une chaîne d'héritage : Valeurs par défaut SailOps → Organisation → Projet → Ressource. Chaque niveau peut surcharger ou hériter les seuils de son parent.

Configuration des Seuils​

Chaque règle de métrique inclut :

ParamètreDescription
Seuil d'avertissementValeur qui déclenche un incident d'avertissement
Seuil critiqueValeur qui déclenche un incident critique (doit dépasser l'avertissement)
Durée de déclenchementCombien de temps la condition doit persister (30s–24h)
Seuil de récupérationValeur en dessous de laquelle l'incident récupère
Durée de récupérationCombien de temps la récupération doit tenir avant résolution
ActivéSi l'évaluation est active (désactiver préserve la surcharge)

Gérer les Règles​

  1. Allez dans Monitoring > Alerts > Thresholds
  2. Sélectionnez la portée : valeurs par défaut de l'organisation, du projet ou d'une ressource spécifique
  3. Cliquez sur une règle pour ouvrir le panneau d'édition
  4. Ajustez les seuils et les durées
  5. Vérifiez le résumé des changements et cliquez sur Save thresholds

Supprimer une surcharge restaure les paramètres du parent. Désactiver une règle arrête l'évaluation sans supprimer la surcharge.

Activation des Notifications​

Les notifications pour les règles de métriques nécessitent une activation explicite après sept jours d'observation avec des mesures complètes et au moins une destination activée. Cette période d'observation prévient les faux positifs sur les seuils nouvellement configurés.

Cycle de Vie des Incidents​

Conditions​

ConditionDescription
ActiveLe problème est actuellement observé
RecoveringLa condition s'est améliorée mais n'est pas stabilisée
UnknownLa plateforme ne peut pas déterminer l'état actuel
SuspendedL'observation est en pause (ex : pendant la maintenance)
ResolvedLe problème est confirmé résolu

Voir les Alertes​

Barre Latérale Monitoring​

La barre latérale globale affiche une entrée Monitoring avec un badge de non lus comptant les incidents à travers tous les projets autorisés de l'organisation.

  1. Cliquez sur Monitoring dans la barre latérale gauche
  2. Sélectionnez Alerts pour ouvrir le Centre d'Alertes
  3. Filtrez par projet, ressource, sévérité ou recherche
  4. Cliquez sur un incident pour l'investiguer

Alertes par Ressource​

Voir les alertes d'une ressource spécifique :

  1. Allez sur la ressource (Conteneur, Base de données, etc.)
  2. Cliquez sur l'onglet Alerts
  3. Voir les incidents liés à cette ressource
  4. Basculez vers Thresholds pour gérer les règles d'alerte de cette ressource

Détails d'un Incident​

Chaque incident inclut :

ChampDescription
TypeType de problème détecté
RessourceConteneur/base de données/etc. affecté et s'il existe toujours
ProjetÀ quel projet la ressource appartient
SévéritéCritique, Avertissement, Erreur ou Info
ConditionActive, En récupération, Inconnue, Suspendue ou Résolue
Survenu leQuand le problème a été détecté pour la première fois
Dernière observationObservation la plus récente
Résolu leQuand le problème a été corrigé (le cas échéant)
AcquittéQui a acquitté et quand
LuVotre horodatage de lecture personnel
PreuvesÉchantillons de métriques, seuils et instances affectées
DiagnosticLorsqu'il est disponible, une analyse structurée de la cause racine avec un résumé, des suggestions d'actions et des détails techniques nettoyés
ChronologieObservations, actions et événements de notification chronologiques (500 derniers)
LivraisonsRésultats de notification par destination (100 derniers)

Niveaux de Sévérité​

SailOps utilise quatre niveaux de sévérité :

Critique​

Attention immédiate requise :

  • Service indisponible
  • Données en danger
  • Panne complète

Exemples :

  • Crash loop du conteneur
  • Arrêt OOM
  • Échecs de pull d'image
  • Échecs de déploiement

Avertissement​

Problème nécessitant attention prochaine :

  • Dégradation des performances
  • Contraintes de ressources approchant les limites
  • Configuration pouvant nécessiter un ajustement

Exemples :

  • Utilisation CPU ou mémoire élevée
  • Redémarrages d'instances
  • Vulnérabilités de sécurité détectées

Erreur​

Une condition d'erreur observée par la plateforme.

Info​

Notifications informatives :

  • Mises à jour de statut
  • Résolutions réussies

Détection Intelligente​

SailOps utilise une détection intelligente pour réduire le bruit :

Détection de Crash Loop​

Les crashs de conteneur sont détectés par :

  • Nombre de redémarrages - 3+ redémarrages en peu de temps
  • Fréquence de redémarrage - Plus de 3 redémarrages en 5 minutes

Vérification de Stabilité​

Les incidents se résolvent automatiquement seulement après stabilisation de la condition :

  • Durée de récupération configurable (30s–24h)
  • Prévient les fausses résolutions positives

Déduplication​

Évite le spam d'alertes :

  • Le même problème met à jour l'incident existant au lieu d'en créer un nouveau
  • Les alertes de diagnostic en doublon sont enregistrées mais ne déclenchent pas de notifications supplémentaires

Mises à Jour Temps Réel​

Notifications In-App​

  • Mises à jour d'incidents temps réel via SSE (à l'échelle de l'organisation)
  • Badge de non lus sur l'entrée Monitoring de la barre latérale
  • Notifications toast in-app pour les nouveaux incidents (Critique : 8 secondes, autres : 5 secondes)
  • Les toasts sont indépendants des destinations de notification externes

Notifications Externes​

Configurez des destinations nommées pour recevoir les alertes :

  • Slack - Channels d'équipe
  • Discord - Intégration webhook
  • Microsoft Teams - Webhooks entrants
  • Mattermost - Webhooks entrants
  • Webhooks - Intégrations personnalisées
  • Email - Abonnement personnel par membre

Voir Canaux d'Alerte pour la configuration.

Actions sur les Incidents​

Marquer comme Lu​

L'état de lecture est personnel. Utilisez l'inspecteur d'incident ou l'API pour marquer les incidents comme lus ou non lus pour vous-même. Lire un incident ne l'acquitte ni ne le résout jamais.

Acquitter​

Enregistre que vous prenez la responsabilité d'un incident actif :

  1. Ouvrez l'incident
  2. Cliquez sur Acknowledge

L'acquittement est partagé au sein de l'équipe — tout le monde voit qui a acquitté et quand.

Créer un Ticket​

Pour les incidents nécessitant une escalade :

  1. Ouvrez l'incident
  2. Cliquez sur Créer un Ticket
  3. Vous serez redirigé vers la page Support
Résolution Automatique

La plupart des incidents se résolvent automatiquement quand le problème est corrigé. Les observations inconnues n'impliquent jamais la récupération.

Paramètres d'Alerte​

Seuils​

Configurez au niveau organisation, projet ou ressource :

  1. Allez dans Monitoring > Alerts > Thresholds
  2. Sélectionnez la portée
  3. Éditez les règles avec leurs seuils d'avertissement/critique et durées

Notifications​

Configurez où les alertes sont livrées :

  1. Allez dans Monitoring > Alerts > Notifications
  2. Gérez les destinations nommées (Slack, Discord, Teams, etc.)
  3. Gérez votre abonnement email personnel

Fenêtres de Maintenance​

Mettez en pause les notifications pendant les travaux planifiés :

  1. Allez dans Monitoring > Alerts > Maintenance
  2. Planifiez une pause avec une raison, une heure de début et de fin
  3. Optionnellement, limitez à une ressource spécifique

L'observation continue pendant la maintenance — seules les notifications sont supprimées.

Bonnes Pratiques​

1. Configurer des Destinations​

Ne vous fiez pas uniquement aux alertes in-app :

  • Configurez Slack ou Discord comme destination principale
  • Ajoutez une destination de secours pour les alertes critiques
  • Testez vos destinations

2. Configurer des Seuils Appropriés​

Évitez la fatigue d'alerte :

  • Définissez des seuils CPU/mémoire réalistes
  • Considérez les patterns d'usage normaux
  • Utilisez la période d'observation avant d'activer les notifications

3. Utiliser l'Acquittement​

Coordonnez la réponse aux incidents :

  • Acquittez les incidents que vous investiguer
  • Les autres membres de l'équipe peuvent voir qui gère quoi
  • Les incidents acquittés quittent la vue Attention

4. Planifier la Maintenance​

Évitez le bruit pendant les travaux planifiés :

  • Créez des fenêtres de maintenance avant les déploiements
  • Limitez à la ressource affectée quand c'est possible
  • Incluez une raison pour l'audit

5. Revoir l'Historique des Alertes​

Apprenez des problèmes passés :

  • Recherchez des patterns dans les incidents résolus
  • Vérifiez les résultats de livraison pour vous assurer que les notifications atteignent votre équipe
  • Ajustez les seuils selon l'expérience

Dépannage​

Notifications Non Reçues​

  1. Vérifiez que les destinations sont configurées et activées
  2. Vérifiez que les notifications sont activées sur les règles concernées (sept jours d'observation requis)
  3. Testez les destinations depuis Monitoring > Alerts > Notifications
  4. Vérifiez qu'aucune fenêtre de maintenance ne supprime la livraison

Trop d'Alertes​

  1. Revoyez et ajustez les seuils au niveau approprié
  2. Augmentez les durées de déclenchement pour filtrer les pics transitoires
  3. Désactivez les règles non pertinentes pour des ressources spécifiques

Incident Non Résolu​

  1. Vérifiez que le problème est vraiment résolu
  2. Attendez que la durée de récupération passe
  3. Vérifiez les problèmes liés

Sujets Connexes​