Qualiopi
Apache Kafka : Architecture et Streaming de Données
Maîtrisez l'architecture distribuée de Kafka, le développement de Producers/Consumers et le traitement de flux avec Kafka Streams.
3 jours
2 100 € HT
Apache Kafka
Java 17
Kafka Connect & Streams
Intéressé par cette formation ?
Contactez-nous pour planifier une session.
Objectifs pédagogiques
- Comprendre et installer un cluster Kafka résilient.
- Développer des applications Java pour produire et consommer des messages.
- Gérer la scalabilité des consommateurs.
- Connecter Kafka à des bases de données externes via Kafka Connect.
- Transformer des données à la volée avec Kafka Streams.
Programme
Jour 1 : Architecture et Concepts
- Introduction : Le paradigme "Log-centric" et le Pub/Sub. Différence avec les Message Queues classiques (RabbitMQ).
- Architecture Core : Brokers, Topics, Partitions, Replication Factor et ISR (In-Sync Replicas). Le rôle de Zookeeper (et la transition vers KRaft).
- Administration : Installation, configuration et opérations courantes (CLI) : création de topics, gestion des groupes de consommateurs.
Jour 2 : Développement Java
- Producers API : Envoyer des messages de manière fiable (Acks, Retries, Batching).
- Consumers API : Lire les données, gérer les Offsets (Commit auto vs manuel) et les Consumer Groups (Scalabilité).
- Sémantique de livraison : At-most-once, At-least-once, Exactly-once.
Jour 3 : Écosystème Data
- Kafka Connect : Connecter des sources (S3, JDBC, Elastic) sans coder. Mode Standalone vs Distribué.
- Kafka Streams : Introduction au traitement de flux en temps réel (Stateless vs Stateful, Windowing, KTable vs KStream).
- Schéma Registry : Gérer l'évolution des schémas de données (Avro/Protobuf).
Prérequis
Bonne connaissance de Java et de l'environnement Linux.
Public cible
Data Engineers, Développeurs Backend, Architectes Big Data.
Prochaines sessions
Aucune session planifiée.
Contactez-nous pour organiser une session.
Contactez-nous pour organiser une session.
Prêt à vous former ?
Contactez-nous pour obtenir un devis personnalisé.