Aller au contenu principal

Apache Kafka

Apache Kafka est disponible comme service de projet pour le streaming d'événements durable. SailOps exécute Kafka 4 en mode KRaft — sans ZooKeeper — avec un ou trois nœuds, chacun à la fois broker et contrôleur. Les organisations en période d'essai ne peuvent pas le provisionner.

Créer un cluster​

Ouvrez Services → Create Service → Apache Kafka. Le formulaire comporte deux sections :

  1. Basic Configuration — nom du cluster, version de Kafka et nombre de nœuds.

    • 1 nœud est destiné au développement : chaque topic n'a qu'un réplica, donc le redémarrage du nœud interrompt le trafic.
    • 3 nœuds sont placés sur trois workers différents. Les topics ont trois réplicas par défaut et les écritures exigent deux réplicas synchronisés : le cluster continue de servir pendant le redémarrage d'un nœud.

    Le nombre de nœuds est fixé à la création.

  2. Resources — classe de calcul (eco, standard ou production), flavor (vCPU et mémoire par nœud, au moins 2 Gio), taille du stockage par nœud (au moins 10 Gio) et classe de stockage (standard ou performance). La classe de stockage est fixée à la création. La classe de calcul peut être modifiée ensuite ; le flavor et la taille du stockage ne peuvent qu'augmenter. Les changements sont appliqués en redémarrant les nœuds un par un.

Connecter une application​

Le cluster est privé à son projet. Les clients s'amorcent sur <nom-du-cluster>-kafka:9092 et s'authentifient en SASL/SCRAM :

bootstrap.servers=<nom-du-cluster>-kafka:9092
security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-512
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="<utilisateur>" password="<mot-de-passe>";

Les clients anonymes sont refusés. Le trafic reste dans le réseau du projet, isolé des autres projets ; l'accès public n'est pas disponible.

Le plus simple pour connecter un conteneur ou un job est une connexion : choisissez Apache Kafka comme cible et un niveau d'accès. SailOps crée un utilisateur dédié à la connexion et injecte KAFKA_BOOTSTRAP_SERVERS, KAFKA_SECURITY_PROTOCOL, KAFKA_SASL_MECHANISM, KAFKA_USERNAME et KAFKA_PASSWORD. Supprimer la connexion supprime son utilisateur.

Bibliothèques clientes

Utilisez un client qui prend en charge SCRAM-SHA-512 : le client Java, franz-go, KafkaJS ou librdkafka (confluent-kafka, kcat). Un nouvel utilisateur ou mot de passe peut mettre quelques secondes à être accepté par tous les brokers.

Utilisateurs​

L'onglet Users gère les utilisateurs SCRAM des clients qui n'utilisent pas de connexion. Chaque utilisateur a un niveau d'accès qui s'applique à tous les topics et groupes de consommateurs du cluster :

Niveau d'accèsTopicsGroupes de consommateurs
readonlylecture, descriptionlecture, description
readwritelecture, écriture, création, description, description de la configurationlecture, description
fulltoutes les opérationstoutes les opérations

Les clients s'authentifient avec le nom d'utilisateur SASL, affiché dans l'onglet à côté du nom que vous avez choisi : il est dérivé de ce nom et du cluster (kf-…), ce n'est pas le nom lui-même. Le mot de passe n'est affiché qu'une fois, à la création de l'utilisateur ou à la régénération de son mot de passe. Conservez-le immédiatement.

Topics​

L'onglet Topics déclare les topics : nom, partitions, facteur de réplication, rétention et politique de nettoyage (delete ou compact). La rétention est de sept jours par défaut et la politique de nettoyage delete. Le nombre de partitions ne peut qu'augmenter ; le facteur de réplication ne peut pas dépasser le nombre de nœuds et est fixé à la création. Les noms commençant par __ sont réservés à Kafka, et un nom qui ne diffère d'un topic existant que par . au lieu de _ est refusé, comme le fait Kafka.

Un topic de moins de trois réplicas continue d'accepter les écritures en acks=all quand un broker est indisponible : SailOps fixe son nombre minimal de réplicas synchronisés à un de moins que son facteur de réplication.

La création automatique d'un topic au premier message est désactivée. Un utilisateur de niveau full peut toujours créer des topics via l'API d'administration Kafka — par exemple les topics internes de Kafka Streams — mais ces topics n'apparaissent pas dans l'onglet.

Kafka UI​

Kafka UI est une interface web optionnelle pour le cluster, fondée sur le projet open source kafbat/kafka-ui. Elle permet de parcourir les brokers, les topics, les messages et les groupes de consommateurs, et se connecte seule au cluster : il n'y a rien à configurer à l'intérieur.

Pour l'activer, modifiez le cluster (ou poursuivez sa création), activez Kafka UI et enregistrez. Deux réglages s'appliquent :

  • Read-only, activé par défaut. Kafka UI peut alors parcourir les topics, les messages et les groupes de consommateurs, mais pas produire de messages ni modifier les topics et les offsets — l'utilisateur Kafka avec lequel elle se connecte se voit lui aussi refuser ces opérations. Désactivez-le pour les actions d'écriture autorisées par les ACL Kafka de cet utilisateur.
  • Allowed CIDR Blocks restreint les adresses clientes qui peuvent atteindre l'interface. Laissé vide, n'importe quelle adresse atteint la page de connexion.

Une fois prête, la vue d'ensemble du cluster affiche une carte Kafka UI avec le lien HTTPS, servi sur la gateway partagée de la plateforme avec un suffixe aléatoire (par exemple events-kafka-ui-k3x9q2ab.gw.sailops.dev). Ouvrir le lien demande un nom d'utilisateur et un mot de passe, que les comptes de rôle Developer ou supérieur peuvent afficher, copier et régénérer depuis la carte. Les régénérer déconnecte les sessions ouvertes ; les utilisateurs Kafka et leurs mots de passe ne sont pas affectés.

Kafka UI s'exécute comme un pod de plus du cluster et est facturée pour son CPU et sa mémoire à la classe de calcul du cluster. Elle s'arrête pendant la suspension du projet et est supprimée avec le cluster ; la désactiver la supprime.

Nécessite une gateway partagée

Kafka UI n'est pas disponible sur les installations sans gateway partagée. Si votre installation n'en a pas, l'interrupteur est désactivé.

Supervision et coûts​

La vue d'ensemble affiche l'état du cluster, son point d'amorçage et son utilisation CPU, mémoire et stockage. Les états sont Running, Updating (un changement progressif est en cours), Pending (provisionnement), Warning, Stopped (projet suspendu) et Deleting (le cluster est en cours de suppression). L'onglet Observability trace l'historique d'utilisation, l'onglet Logs affiche les journaux des brokers et l'onglet Alerts liste les alertes du cluster.

Un cluster est facturé pour chaque nœud selon son flavor, plus son stockage provisionné et, lorsqu'elle est activée, Kafka UI. Le stockage reste facturable pendant la suspension d'un projet.

La réplication n'est pas une sauvegarde

Les clusters Kafka n'ont pas de snapshots. Trois réplicas protègent contre la perte d'un nœud, pas contre un topic supprimé ou un producteur défaillant. Conservez une copie externe des données que vous ne pouvez pas rejouer.