Automatiser des pipelines de données

Vous travaillez pour une agence de voyages en ligne et vous devez créer une interface de programmation applicative (API) qui échangera des informations en temps réel avec une compagnie d’assurance pour vérifier si les voyageurs disposent de la bonne police d’assurance. Cette API sera reliée à un microservice appelé insurance_checker.

À présent, vous souhaitez :

1. mettre en place des pipelines de données qui enregistreront les résultats de l’API insurance_checker
2. transformer et enregistrer automatiquement les données chaque nuit dans une autre base de données

Quel outil et quelle méthode de pipeline pouvez-vous utiliser pour ces étapes ?