La mission
Chez Displayce, le Lead Data Engineer est un rôle clé qui consiste à concevoir, construire et maintenir les architectures de données pour soutenir la plateforme publicitaire digitale Out-Of-Home (DOOH). Dans ce rôle tu seras responsable de la qualité, la fiabilité et la performance de l’ensemble de l’écosystème data.
En tant que Lead Data Engineer tu seras le garant de l'infrastructure data chez Displayce, essentielle à l'analyse, à l'enrichissement et à l'exploitation des données pour des campagnes DOOH plus précises et percutantes.
Où et comment travailler?
Le poste offre une certaine flexibilité quant au lieu de travail, avec la possibilité d'être basé à Bordeaux, notre siège social ou dans nos bureaux à Paris.
De plus, nous soutenons un modèle de travail hybride, permettant jusqu'à deux jours de télétravail par semaine
Quel sera ton impact?
En tant que Lead Data Engineer tes responsabilités seront les suivantes:
Superviser et encadrer l'équipe de Data Engineers dans la conception et l'implémentation de pipelines de données robustes.
Piloter l’architecture des workflows de données, en utilisant Kestra pour orchestrer les processus complexes de transformation et d'intégration de données.
Exploiter DuckDB pour les analyses de données rapides et intégrer cette technologie dans les pipelines.
Optimiser la gestion des flux de données en temps réel et le caching avec Redis et Redis Streams, pour garantir des performances élevées et une faible latence.
Concevoir des workflows efficaces pour la transformation et le stockage des fichiers sur AWS S3, en utilisant des formats comme Parquet pour optimiser le stockage et la vitesse de traitement.
Collaborer avec les équipes techniques, produit, et Data Science pour garantir l'alignement des solutions de données avec les objectifs métiers et les besoins stratégiques.
Mettre en place et maintenir des outils d'analyse et de reporting via Metabase, en créant des tableaux de bord pour les différents départements.
Innover et proposer des solutions techniques pour améliorer la scalabilité, la performance et la fiabilité de l'infrastructure data.
Assurer une veille technologique constante pour identifier les nouvelles tendances et technologies dans le domaine des données.
Quelques exemples de projet
Mise en place d’une architecture de pipelines de données complexes avec Kestra, intégrant des traitements analytiques rapides via DuckDB.
Optimisation des flux de données en temps réel avec Redis Streams et implémentation de solutions de caching performantes avec Redis.
Conception de workflows avancés pour la gestion des données avec AWS S3 et transformation en Parquet pour maximiser les performances et réduire les coûts de stockage.
Supervision de la création de tableaux de bord analytiques avec Metabase pour fournir des insights aux équipes produit, technique et Data Science.
Quelle sera ton environnement technique?
Stockage : AWS S3, PostgreSQL, Redis(caching), Redis Streams,
Orchestration de Workflows : Kestra
Langages : Python
Analyse de données : DuckDB, Metabase
Cloud : AWS (S3 pour le stockage de fichiers)
CI/CD : GitLab CI