Apache Kafka transporte des flux d’événements en temps réel entre applications : commandes, capteurs, clics, changements en base. Ces huit notions expliquent comment les messages sont écrits, stockés, répartis et lus.
TopicUn flux d’événements nommé
Catégorie dans laquelle les producteurs écrivent et les consommateurs lisent. Les messages y sont ajoutés à la suite, jamais modifiés.
kafka-topics.sh --bootstrap-server localhost:9092 \
--create --topic commandes \
--partitions 6 --replication-factor 3PartitionUnité de parallélisme et d’ordre
Un topic est découpé en partitions. L’ordre n’est garanti qu’au sein d’une partition ; les messages de même clé vont dans la même partition.
Clé = id_client : tous les événements d’un client restent dans l’ordreProducerApplication qui publie des messages
Envoie des messages (clé, valeur) dans un topic. acks=all attend la confirmation de toutes les répliques synchronisées.
from confluent_kafka import Producer
p = Producer({"bootstrap.servers": "localhost:9092", "acks": "all"})
p.produce("commandes", key="C042", value=json.dumps(evt))
p.flush()ConsumerApplication qui lit les messages
Lit un ou plusieurs topics à son rythme. Les messages ne sont pas supprimés à la lecture : plusieurs applications peuvent lire le même flux.
kafka-console-consumer.sh --bootstrap-server localhost:9092 \
--topic commandes --from-beginningConsumer groupSe partager la lecture d’un topic
Les consommateurs d’un même groupe se répartissent les partitions : chaque message est traité une fois par groupe. Chaque groupe lit tout le flux.
kafka-consumer-groups.sh --bootstrap-server localhost:9092 \
--describe --group facturationOffsetPosition de lecture dans une partition
Numéro séquentiel de chaque message. Le consommateur enregistre (commit) son offset pour reprendre au bon endroit après un arrêt.
auto.offset.reset=earliest # point de départ sans offset enregistré
enable.auto.commit=false # commit après traitementBrokerServeur du cluster Kafka
Stocke les partitions et sert producteurs et consommateurs. Les partitions sont répliquées sur plusieurs brokers ; les versions récentes se passent de ZooKeeper (mode KRaft).
Cluster de 3 brokers, facteur de réplication 3 : la perte d’un broker ne perd aucun messageRétentionDurée de conservation des messages
Les messages sont gardés selon une durée ou une taille, qu’ils aient été lus ou non. Le compactage ne garde que la dernière valeur par clé.
kafka-configs.sh --bootstrap-server localhost:9092 --alter \
--entity-type topics --entity-name commandes \
--add-config retention.ms=604800000 # 7 joursÀ garder sous la main : agrandissez-la, puis gardez ces points en tête.
Lisez la définition, cherchez la réponse, puis retournez la carte.
pwdAffiche le répertoire courantlsListe le contenu d’un répertoirecdChange de répertoirecatAffiche le contenu d’un fichiercpCopie un fichier ou un dossiermvDéplace ou renommemkdirCrée un répertoiresudoExécute avec les droits administrateurImporterSe connecter aux sources de donnéesNettoyerPréparer les données avec Power QueryModéliserRelier les tables et écrire les mesures DAXVisualiserChoisir les bons visuelsPublierPartager et planifier l’actualisationgit cloneCopie un dépôt distant en localgit statusMontre l’état des fichiersgit addPrépare les fichiers pour le commitgit commitEnregistre un instantanégit pushEnvoie les commits vers le dépôt distantgit pullRécupère et intègre les changementsgit switch -cCrée une branche et s’y placegit mergeFusionne une branche dans la couranteNos experts vous accompagnent, et nos formations rendent vos équipes autonomes.