ÉTUDE DE PROJET 03
Suivre un événement de bout en bout.
Relier ingestion, stockage brut, traitement en flux et restitution, avec Kafka, HDFS, Flink, Elasticsearch et Kibana.
Schéma de lecture du projet, construit à partir de sa documentation.
Le problème de départ.
Une donnée doit traverser plusieurs composants avant de devenir visible. Comprendre cette circulation oblige à préciser les formats, les interfaces et le rôle de chaque service.
Ce que j’ai travaillé.
- Envoyer des événements de test dans Kafka et conserver les messages bruts dans HDFS.
- Traiter le flux avec Flink et indexer les résultats dans Elasticsearch.
- Préparer des vues Kibana et une procédure de démonstration locale.
ÉvénementsKafka / HDFSFlinkElasticsearch / Kibana
Une chaîne locale reproductible5 composants reliés
Ce que j’en retiens.
Ce projet m’a aidé à passer d’un traitement isolé à une chaîne de services. La reproductibilité d’un essai devient une partie du travail d’ingénierie.
Jusqu’où va le résultat ?
Les essais présentés utilisent une pile locale et des événements simulés. Aucun débit de production ni déploiement à grande échelle n’est revendiqué.
PROJET SUIVANT