Vue d'Ensemble des Alertes
Restez informé avec des alertes en temps réel pour toutes vos ressources.
Que sont les Alertes ?
SailOps surveille votre infrastructure 24h/24 et 7j/7 et vous notifie lorsque des problèmes surviennent :
- Problèmes de conteneurs - Crashs, redémarrages, arrêts OOM, erreurs de pull d'image
- Utilisation des ressources - CPU ou mémoire dépassant les seuils
- Problèmes de déploiement - Échecs de déploiement, erreurs de configuration
- Vulnérabilités de sécurité - CVE critiques et élevées détectées par les scans Trivy
- Résolution automatique - Notifications quand les problèmes sont résolus
Centre d'Alertes
Le Centre d'Alertes est le hub d'investigation unifié pour toutes vos alertes à travers chaque projet d'une organisation. Il se trouve sous Monitoring > Alerts et organise les alertes en incidents — des enregistrements persistants qui suivent un problème de sa détection à sa résolution en passant par l'acquittement.
Modèle d'Incident
Chaque problème détecté crée un incident. Un incident suit :
- La condition observée (active, en récupération, inconnue, suspendue, résolue)
- L'acquittement — une action partagée d'équipe enregistrée avec l'identité de la personne
- L'état de lecture personnel — chaque membre suit son propre état lu/non lu de manière indépendante
- Les preuves — échantillons de métriques, seuils et instances affectées capturés au moment de la détection
- La chronologie — événements chronologiques incluant observations, actions d'équipe et résultats de notification
- Les livraisons — le résultat de chaque notification envoyée aux destinations configurées
Vues des Incidents
La liste des incidents sépare les alertes en vues ciblées :
| Vue | Description |
|---|---|
| Attention | Incidents actifs que personne n'a encore acquittés |
| Acknowledged | Incidents actifs pris en charge par un membre de l'équipe |
| Unknown | Incidents dont la condition observée est incertaine |
| History | Incidents résolus ou fermés |
| Executions | Enregistrements terminaux d'exécution de jobs et cronjobs |
| All | Tous les incidents quel que soit leur état |
Inspecteur d'Incident
Cliquez sur un incident pour ouvrir l'inspecteur, qui affiche :
- La condition observée, la sévérité et le message déclencheur
- Le statut d'acquittement et qui l'a acquitté
- Le graphique de preuves métriques avec les valeurs observées et les séries de seuils
- La chronologie des observations, actions d'équipe et notifications
- Les résultats de livraison pour chaque destination de notification
- Les liens d'investigation vers les métriques et logs autour du moment de la détection
L'inspecteur passe en pleine largeur sur les viewports inférieurs à 1280px.
Types d'Alertes
Alertes Conteneurs
| Alerte | Description | Sévérité |
|---|---|---|
| Crash Loop | Conteneur qui crashe de façon répétée | Critique |
| OOM Killed | Arrêt pour dépassement mémoire | Critique |
| Container Error | Échec général du conteneur | Critique |
| Image Pull Error | Impossible de récupérer l'image | Critique |
| Config Error | Problème de configuration | Critique |
| Volume Mount Error | Échec de montage du stockage | Critique |
| Deployment Failed | Échec du déploiement | Critique |
Alertes Ressources
| Alerte | Description | Sévérité |
|---|---|---|
| CPU High | Utilisation CPU au-dessus du seuil | Avertissement/Critique |
| Memory High | Utilisation mémoire au-dessus du seuil | Avertissement/Critique |
Les seuils CPU et mémoire mesurent l'utilisation de chaque instance en pourcentage de sa limite configurée, moyennée sur une minute, chaque instance étant évaluée séparément.
Alertes Instances
| Alerte | Description | Sévérité |
|---|---|---|
| Instance Restart | L'instance a redémarré | Avertissement |
| Instance Crash | L'instance a crashé | Critique |
Alertes Capacité
| Alerte | Description | Sévérité |
|---|---|---|
| Spot Capacity Exhausted | Pod spot impossible à ordonnancer — capacité saturée | Avertissement |
| Out Of Stock | Workload bloqué en attente — aucun nœud adapté disponible depuis 10+ minutes | Critique |
| GPU Stock Exhausted | Aucun GPU du type demandé disponible chez le fournisseur | Avertissement |
Ces alertes permettent de détecter les problèmes de disponibilité des ressources au niveau du fournisseur cloud :
- Les alertes de capacité spot apparaissent rapidement (30 secondes) car les pods spot ne déclenchent pas l'auto-scaling, ce qui en fait le signal principal de capacité saturée
- Les alertes Out of Stock se déclenchent après 10 minutes, laissant le temps au cluster auto-scaler de provisionner des nœuds avant de déterminer que la capacité est vraiment épuisée
- Les alertes de stock GPU détectent quand la capacité GPU est épuisée au niveau du fournisseur cloud, indiquant que votre workload attend un slot GPU libre
Alertes Sécurité
| Alerte | Description | Sévérité |
|---|---|---|
| Vulnerability Scan | CVE critiques ou élevées trouvées dans les images de conteneurs déployées | Avertissement/Critique |
Les incidents de sécurité incluent des preuves structurées listant les images affectées, les découvertes individuelles (ID CVE, paquet, versions installée et corrigée) et les liens vers les avis de sécurité.
Règles d'Alerte (Seuils)
Les règles d'alerte définissent quand les incidents basés sur les métriques sont créés. Les règles suivent une chaîne d'héritage : Valeurs par défaut SailOps → Organisation → Projet → Ressource. Chaque niveau peut surcharger ou hériter les seuils de son parent.
Configuration des Seuils
Chaque règle de métrique inclut :
| Paramètre | Description |
|---|---|
| Seuil d'avertissement | Valeur qui déclenche un incident d'avertissement |
| Seuil critique | Valeur qui déclenche un incident critique (doit dépasser l'avertissement) |
| Durée de déclenchement | Combien de temps la condition doit persister (30s–24h) |
| Seuil de récupération | Valeur en dessous de laquelle l'incident récupère |
| Durée de récupération | Combien de temps la récupération doit tenir avant résolution |
| Activé | Si l'évaluation est active (désactiver préserve la surcharge) |
Gérer les Règles
- Allez dans Monitoring > Alerts > Thresholds
- Sélectionnez la portée : valeurs par défaut de l'organisation, du projet ou d'une ressource spécifique
- Cliquez sur une règle pour ouvrir le panneau d'édition
- Ajustez les seuils et les durées
- Vérifiez le résumé des changements et cliquez sur Save thresholds
Supprimer une surcharge restaure les paramètres du parent. Désactiver une règle arrête l'évaluation sans supprimer la surcharge.
Activation des Notifications
Les notifications pour les règles de métriques nécessitent une activation explicite après sept jours d'observation avec des mesures complètes et au moins une destination activée. Cette période d'observation prévient les faux positifs sur les seuils nouvellement configurés.
Cycle de Vie des Incidents
Conditions
| Condition | Description |
|---|---|
| Active | Le problème est actuellement observé |
| Recovering | La condition s'est améliorée mais n'est pas stabilisée |
| Unknown | La plateforme ne peut pas déterminer l'état actuel |
| Suspended | L'observation est en pause (ex : pendant la maintenance) |
| Resolved | Le problème est confirmé résolu |
Voir les Alertes
Barre Latérale Monitoring
La barre latérale globale affiche une entrée Monitoring avec un badge de non lus comptant les incidents à travers tous les projets autorisés de l'organisation.
- Cliquez sur Monitoring dans la barre latérale gauche
- Sélectionnez Alerts pour ouvrir le Centre d'Alertes
- Filtrez par projet, ressource, sévérité ou recherche
- Cliquez sur un incident pour l'investiguer
Alertes par Ressource
Voir les alertes d'une ressource spécifique :
- Allez sur la ressource (Conteneur, Base de données, etc.)
- Cliquez sur l'onglet Alerts
- Voir les incidents liés à cette ressource
- Basculez vers Thresholds pour gérer les règles d'alerte de cette ressource
Détails d'un Incident
Chaque incident inclut :
| Champ | Description |
|---|---|
| Type | Type de problème détecté |
| Ressource | Conteneur/base de données/etc. affecté et s'il existe toujours |
| Projet | À quel projet la ressource appartient |
| Sévérité | Critique, Avertissement, Erreur ou Info |
| Condition | Active, En récupération, Inconnue, Suspendue ou Résolue |
| Survenu le | Quand le problème a été détecté pour la première fois |
| Dernière observation | Observation la plus récente |
| Résolu le | Quand le problème a été corrigé (le cas échéant) |
| Acquitté | Qui a acquitté et quand |
| Lu | Votre horodatage de lecture personnel |
| Preuves | Échantillons de métriques, seuils et instances affectées |
| Diagnostic | Lorsqu'il est disponible, une analyse structurée de la cause racine avec un résumé, des suggestions d'actions et des détails techniques nettoyés |
| Chronologie | Observations, actions et événements de notification chronologiques (500 derniers) |
| Livraisons | Résultats de notification par destination (100 derniers) |
Niveaux de Sévérité
SailOps utilise quatre niveaux de sévérité :
Critique
Attention immédiate requise :
- Service indisponible
- Données en danger
- Panne complète
Exemples :
- Crash loop du conteneur
- Arrêt OOM
- Échecs de pull d'image
- Échecs de déploiement
Avertissement
Problème nécessitant attention prochaine :
- Dégradation des performances
- Contraintes de ressources approchant les limites
- Configuration pouvant nécessiter un ajustement
Exemples :
- Utilisation CPU ou mémoire élevée
- Redémarrages d'instances
- Vulnérabilités de sécurité détectées
Erreur
Une condition d'erreur observée par la plateforme.
Info
Notifications informatives :
- Mises à jour de statut
- Résolutions réussies
Détection Intelligente
SailOps utilise une détection intelligente pour réduire le bruit :
Détection de Crash Loop
Les crashs de conteneur sont détectés par :
- Nombre de redémarrages - 3+ redémarrages en peu de temps
- Fréquence de redémarrage - Plus de 3 redémarrages en 5 minutes
Vérification de Stabilité
Les incidents se résolvent automatiquement seulement après stabilisation de la condition :
- Durée de récupération configurable (30s–24h)
- Prévient les fausses résolutions positives
Déduplication
Évite le spam d'alertes :
- Le même problème met à jour l'incident existant au lieu d'en créer un nouveau
- Les alertes de diagnostic en doublon sont enregistrées mais ne déclenchent pas de notifications supplémentaires
Mises à Jour Temps Réel
Notifications In-App
- Mises à jour d'incidents temps réel via SSE (à l'échelle de l'organisation)
- Badge de non lus sur l'entrée Monitoring de la barre latérale
- Notifications toast in-app pour les nouveaux incidents (Critique : 8 secondes, autres : 5 secondes)
- Les toasts sont indépendants des destinations de notification externes
Notifications Externes
Configurez des destinations nommées pour recevoir les alertes :
- Slack - Channels d'équipe
- Discord - Intégration webhook
- Microsoft Teams - Webhooks entrants
- Mattermost - Webhooks entrants
- Webhooks - Intégrations personnalisées
- Email - Abonnement personnel par membre
Voir Canaux d'Alerte pour la configuration.
Actions sur les Incidents
Marquer comme Lu
L'état de lecture est personnel. Utilisez l'inspecteur d'incident ou l'API pour marquer les incidents comme lus ou non lus pour vous-même. Lire un incident ne l'acquitte ni ne le résout jamais.
Acquitter
Enregistre que vous prenez la responsabilité d'un incident actif :
- Ouvrez l'incident
- Cliquez sur Acknowledge
L'acquittement est partagé au sein de l'équipe — tout le monde voit qui a acquitté et quand.
Créer un Ticket
Pour les incidents nécessitant une escalade :
- Ouvrez l'incident
- Cliquez sur Créer un Ticket
- Vous serez redirigé vers la page Support
La plupart des incidents se résolvent automatiquement quand le problème est corrigé. Les observations inconnues n'impliquent jamais la récupération.
Paramètres d'Alerte
Seuils
Configurez au niveau organisation, projet ou ressource :
- Allez dans Monitoring > Alerts > Thresholds
- Sélectionnez la portée
- Éditez les règles avec leurs seuils d'avertissement/critique et durées
Notifications
Configurez où les alertes sont livrées :
- Allez dans Monitoring > Alerts > Notifications
- Gérez les destinations nommées (Slack, Discord, Teams, etc.)
- Gérez votre abonnement email personnel
Fenêtres de Maintenance
Mettez en pause les notifications pendant les travaux planifiés :
- Allez dans Monitoring > Alerts > Maintenance
- Planifiez une pause avec une raison, une heure de début et de fin
- Optionnellement, limitez à une ressource spécifique
L'observation continue pendant la maintenance — seules les notifications sont supprimées.
Bonnes Pratiques
1. Configurer des Destinations
Ne vous fiez pas uniquement aux alertes in-app :
- Configurez Slack ou Discord comme destination principale
- Ajoutez une destination de secours pour les alertes critiques
- Testez vos destinations
2. Configurer des Seuils Appropriés
Évitez la fatigue d'alerte :
- Définissez des seuils CPU/mémoire réalistes
- Considérez les patterns d'usage normaux
- Utilisez la période d'observation avant d'activer les notifications
3. Utiliser l'Acquittement
Coordonnez la réponse aux incidents :
- Acquittez les incidents que vous investiguer
- Les autres membres de l'équipe peuvent voir qui gère quoi
- Les incidents acquittés quittent la vue Attention
4. Planifier la Maintenance
Évitez le bruit pendant les travaux planifiés :
- Créez des fenêtres de maintenance avant les déploiements
- Limitez à la ressource affectée quand c'est possible
- Incluez une raison pour l'audit
5. Revoir l'Historique des Alertes
Apprenez des problèmes passés :
- Recherchez des patterns dans les incidents résolus
- Vérifiez les résultats de livraison pour vous assurer que les notifications atteignent votre équipe
- Ajustez les seuils selon l'expérience
Dépannage
Notifications Non Reçues
- Vérifiez que les destinations sont configurées et activées
- Vérifiez que les notifications sont activées sur les règles concernées (sept jours d'observation requis)
- Testez les destinations depuis Monitoring > Alerts > Notifications
- Vérifiez qu'aucune fenêtre de maintenance ne supprime la livraison
Trop d'Alertes
- Revoyez et ajustez les seuils au niveau approprié
- Augmentez les durées de déclenchement pour filtrer les pics transitoires
- Désactivez les règles non pertinentes pour des ressources spécifiques
Incident Non Résolu
- Vérifiez que le problème est vraiment résolu
- Attendez que la durée de récupération passe
- Vérifiez les problèmes liés