🧩 Lead Data Engineer – Hadoop / Spark / Python (Contexte Big Data) - Freelance

Description de l'offre

Taux journalier (TJM): 💶 Budget : 500 € HT/j max / 50-60 Keuros annuel (selon profil)

🧩 Lead Data Engineer – Hadoop / Spark / Python (Contexte Big Data)

🗂️ Informations pratiques
📍 Département : Lyon (69)
🗓️ Démarrage : 20/04/2026
⏳ Durée : 36 mois, reconductible
🧾 Contrat : CDI ou freelance
💶 Budget : 500 € HT/j max / 50-60 Keuros annuel (selon profil)
🧑‍💻 Télétravail : 2 jours/semaine
🧠 Séniorité : senior (+7 ans)
👤 Poste ouvert : 1
🌍 Secteur : Protection sociale / Data

🧩 Contexte

Dans un environnement Big Data critique, vous intervenez sur une plateforme Hadoop Cloudera dédiée à la gestion et à l’exploitation de volumes importants de données.

La mission s’inscrit dans un contexte de renforcement des capacités data avec des enjeux forts autour de la performance, de la maintenabilité et de l’industrialisation des traitements.

Vous rejoignez une équipe data avec un rôle clé à la fois technique et transverse, incluant du lead technique et de l’accompagnement.

🎯 Missions principales

• Prendre en charge les évolutions et la maintenance des pipelines d’alimentation du Data Lake

• Développer et optimiser les traitements Big Data (Spark / Hive / SQL)

• Mettre en place des extractions de données complexes

• Assurer un rôle de lead technique (revue de code, cadrage technique, accompagnement)

• Participer au support niveau 2 et à la résolution d’incidents

• Optimiser les performances des traitements et de la plateforme

• Structurer l’activité (JIRA, documentation, bonnes pratiques)

• Réaliser du reverse engineering sur un SI data existant

• Accompagner les utilisateurs et diffuser les bonnes pratiques

🛠️ Environnement technique

Big Data

• Hadoop (Cloudera)

• Hive / Impala

• Spark / PySpark

• YARN

Langages & scripting

• Python (data processing / scripting)

• Shell avancé (bash)

• SQL (niveau intermédiaire à avancé)

Data Engineering

• Pipeline data (jointures, optimisation, partitionnement…)

• Optimisation Hive / Spark

• Gestion de fichiers HDFS

Outils

• Linux

• JIRA

• VBA / Jupyter (ponctuel)

Bonus

• Kafka

• Zeppelin

Profil recherché

👤 Profil recherché

Expérience

• +7 ans d’expérience en Data Engineering / Big Data

• Expérience significative sur environnement Hadoop / Cloudera

Compétences clés

• Très bonne maîtrise de Spark / PySpark

• Solide expérience en Hive (optimisation impérative)

• Maîtrise du Shell scripting avancé

• Bonne compréhension de YARN et des logs Hadoop

• Capacité à développer et optimiser des pipelines data complexes

• Bonne maîtrise de SQL (CTE, compréhension fonctionnelle des requêtes)

Compétences attendues

• Gestion de fichiers et traitements sur HDFS

• Lancement et tuning de spark-submit

• Capacité à lire, comprendre et maintenir du code existant

• Forte capacité d’analyse et de reverse engineering

Soft skills

• Leadership technique et accompagnement

• Communication claire et pédagogie

• Rigueur et sens de l’organisation

• Capacité à évoluer dans un environnement exigeant et en production

À propos de Collective.work

Collective.work est la plateforme de recrutement nouvelle génération pour trouver votre prochain emploi.

Fort d'une grande expertise dans l'IA, Collective.work permet de mieux cibler les offres et leurs candidats correspondants, créant ainsi un système beaucoup plus fluide que les acteurs traditionnels.

Plus de 10,000 recruteurs utilisent Collective, permettant à des dizaines de milliers de candidats de trouver leur futur emploi chaque jours