Développeur Data / IA - Freelance

Description de l'offre

Pour une mission longue pour un grand groupe, nous recherchons plusieurs développeur Data

• Gestion JSON - traitement des json complexes avec multiples imbrications variables

• Gestion de format Delta (similaire JSON) sous Databricks

• Python / SQL / Databricks / Spark

- Développement et déploiement de Jobs Spark (PySpark et Scala) en CI/CD sur Azure Databricks

- Optimisation des chaines de traitements Big Data en termes de temps d'exécution et de couts des machines virtuelles (Cloud Azure)

- Migration de l’architecture des données vers une architecture médaillon (Bronze, Silver, Gold)

- Création de jobs de mise en qualité de la donnée (couche silver) : nettoyage, dédoublonnage, masquage de la donnée

- Migration code contenu dans JARs (Spark Scala) vers code en PySpark sur notebooks, compatible avec Unity Catalog

- Automatisation des déploiements et des livrables (Gitlab-Ci, Ansible, Jenkins)

- Migration de l’écosystème Databricks existant vers Unity Catalog

- Migration de parquet et orc à delta

- Passage progressivement à une lecture de table au lieu d’une lecture directe des fichiers du datalake

- Création d’une couche « silver » servant de couche de mise en qualité des données « bronze » avant

consommation dans des tables gold à valeur métier

- Orchestration de jobs Spark sur Databricks Workflows

- Modélisation et conception de nouvelles chaines de traitement, en collaboration avec les équipes métier (architecture

data)

- Refactoring global de l’application et augmentation de la couverture de test du code (de 30% à 90%)

- Revues de code et mise en place de contrôles techniques et automatisés de la qualité de la donnée (via Notebooks

Databricks)

Profil recherché

3 - 10 ans d'experience

Technologies : Azure Databricks, Spark (Scala et PySpark), Jenkins, Airflow, Ecosysteme Databricks (Databricks Workflows, DeltaLake), Azure (Azure Data Factory, AKV, Adls, BlobStorage), GitLab CI, SQL, Terraform

À propos de Collective.work

Collective.work est la plateforme de recrutement nouvelle génération pour trouver votre prochain emploi.

Fort d'une grande expertise dans l'IA, Collective.work permet de mieux cibler les offres et leurs candidats correspondants, créant ainsi un système beaucoup plus fluide que les acteurs traditionnels.

Plus de 10,000 recruteurs utilisent Collective, permettant à des dizaines de milliers de candidats de trouver leur futur emploi chaque jours