Ingénieur Big Data<p><strong>Mission</strong></p><p><br></p><p>En tant que Développeur sénior – Big Data, vous serez responsable de la conception, du développement et de la maintenance des flux de données qui alimentent et sortent du lac de données "lake house" de notre client. Vous jouerez un rôle crucial dans la mise en œuvre de solutions de données robustes et performantes qui répondent aux besoins commerciaux complexes.</p><p><br></p><p><strong>Responsabilités</strong></p><p><br></p><ul><li>Conception, développement et maintenance de pipelines de données complexes</li><li>Exploitation de la librairie Apache Spark (Databricks) pour traiter et analyser des volumes massifs de données</li><li>Mise en œuvre de technologies Big Data modernes, telles que Hadoop, Kafka et NoSQL</li><li>Intégration de données provenant de sources diverses et disparates</li><li>Modélisation et transformation de données pour une utilisation ultérieure dans des analyses et des visualisations</li><li>Collaboration avec les analystes d'affaires et les data scientists pour comprendre les exigences et traduire les besoins en solutions de données</li><li>Respect des pratiques d'assurance qualité et des méthodologies de développement Agile</li><li>Déploiement des solutions de données dans des environnements infonuagiques sécurisés et évolutifs</li><li>Partage des connaissances et mentorat des développeurs juniors</li></ul>Ingénieur données<p><strong>Responsabilités:</strong></p><p><br></p><ul><li>Conception et architecture de pipelines ETL/ELT: Travaillez en étroite collaboration avec les analystes et architectes de données pour comprendre les besoins métiers et concevoir des pipelines de données ETL/ELT efficaces et robustes. Choisissez les technologies appropriées (par exemple, Azure Data Factory, Spark) pour extraire, transformer et charger les données provenant de sources variées (bases de données relationnelles et non relationnelles, applications métiers, API) vers le Data Lake et l'entrepôt de données.</li><li>Développement et implémentation: Développez le code nécessaire pour extraire, transformer et charger les données. Cela peut inclure l'écriture de scripts SQL, Python, Scala ou des configurations pour les outils ETL/ELT. Assurez-vous que les pipelines sont documentés, testés et maintenables.</li><li>Optimisation et monitoring: Surveillez les performances des pipelines de données et identifiez les goulots d'étranglement. Mettez en œuvre des techniques d'optimisation pour améliorer l'efficacité et la rapidité des pipelines. Configurez des alertes pour être informé de tout problème potentiel.</li><li>Intégration des données front-end et back-end: Participez à la construction de la couche d'accès aux données pour les outils de Business Intelligence (BI) tels que Power BI. Développez des vues de données et des modèles dimensionnels pour faciliter l'analyse et la visualisation des données. Assurez-vous que les utilisateurs métiers disposent des données dont ils ont besoin pour prendre des décisions éclairées.</li><li>Exploration des nouvelles technologies: Restez à jour sur les dernières technologies et tendances en matière d'ingénierie des données. Identifiez et proposez des solutions innovantes pour améliorer l'efficacité et la qualité des données. Participez à des projets pilotes pour tester de nouvelles technologies et concepts.</li></ul>
