Un datalake pour les données de tracking publicitaire

Le contexte

Le tracking publicitaire produit deux choses qu’une base de données classique gère mal : du volume, en continu, et un schéma qui bouge — les informations remontées par les supports changent au fil des campagnes. Charger ces données dans un schéma figé, c’est passer son temps à le modifier.

Ce qui a été fait

• Ingestion des données de tracking, sur un socle conteneurisé (Docker, Amazon ECS).
• Traitement à l’événement avec Lambda, là où il n’y a pas de serveur à maintenir entre deux lots.
• Datalake interrogeable directement avec Athena, sans étape de chargement préalable dans une base.

Ce que ça change

On stocke d’abord, on interroge ensuite. Le schéma n’est plus un prérequis au stockage : il devient une question que l’on pose à la donnée au moment de la lire. Pour des données dont la forme change à chaque campagne, c’est la différence entre un entrepôt qui suit et un entrepôt qui bloque.

Services AWS mobilisés

Amazon VPC, Amazon EC2, Amazon ECS, Docker, AWS Lambda, Amazon Athena.