Repository files navigation

Ce repository s'inscrit dans le cadre d'un projet conjoint OPT-NC et l'UNC.

• Le sujet est fourni par l'OPT-NC
• La réalisation est assurée par les étudiants avec en support l'OPT

L'OPT utilise Kafka pour partager et transformer un volume toujours plus important entre ses métiers. Nous souhaitons maintenant nous attaquer à diverses manières de consommer ces données à moindre effort... puis de les valoriser via des solutions dédiées à la chose.

Les résultats de cette expérimentation seront recyclés de manière opérationelle, tant sur les méthodes utilisées que sur les analyses de données produites.

• Data Engineering
• Data Scientist

• 🧑‍🤝‍🧑Antoine GINDRE (aka.@AntoineArthurG): développeur
• 🧑‍🤝‍🧑Kenneth WINCHESTER (aka.@Kenneth-OPT) : développeur
• 👨‍🎨Adrien SALES : Product Owner, Architecte
• 👩Michèle Barré : Senior DEVOPS & Full Stack Dev

Via des outils existants et industriels, configurer une intégration idéalement basée sur de la configuration de données qui :

1. ViaApache Camel Consomme les donées de l'API des temps d'attente en agence
2. Via une route Camel, pousser les données du Poll dans uncsv
3. Via unPoll régulier depuis Camel, pousser les données dans un topic dédié Kafka
4. Via Camel, consommer les messages et les pousser dans une instance OpenSearch
5. Construire un ou des tableaux de bord, utiliser les fonctionnalités de géolocalisation, et explorer les fonctionnalités IA et ML d'OpenSearch
6. BONUS* : Via Camel, consommer les messages Kafka et les pousser dans une instanceApache Spark
7. Investiguer lescapacités de Open Search Data Prepper 2.0

Undraft macro de l'architecture cible envisagée :

• Les interactions avec Camel passeront idéalement parJBang!
• Une démoKillerCoda sera livrée et intégrée aux cours de l'OPT-NC... et pourra servir de support lors des démos, voire lors de la soutenance
• Les images Docker ou docker-compose seront utilisées pour dépoyer Kafka, OpenSearch, Spark, ...

• ⌨️ Pipe xlsx files into/from Kafka... From cli with (k)cat 🙀
• Atelier spring-Kafka
• 📖 Waiting time at OPT-NC Series' Articles
• 🛒 API sur marketplace