Principal Software Developer- MLOps Platform

Job Requisition ID #

25WD87574

25WD87574, Principal Software Developer- MLOps Platform

French translation to follow!/Traduction française à suivre!

Position Overview

We are looking for an experienced Principal Software Engineer to join our platform team focusing on AI/ML Platform (AMP). This team builds and maintains central components to fast track the development new ML/AI models such as model development studio, feature store, model serving, model observability. Ideal candidate would have background in MLOps, Data engineering, DevOps with the experience of building high scale deployment architectures, observability. As an important contributor to our engineering team, you will help shape the future of our AI/ML capabilities, delivering solutions that inspire value for our organization. You will report to a manager.

• System design: You will design, implement and manage software systems for the AI/ML Platform, orchestrating the full ML development lifecycle for the partner teams
• Mentoring: Spreading your knowledge, sharing best practices, doing design reviews to step up the expertise at the team level
• Multi-cloud architecture: Define components which leverages strengths from multiple cloud platforms (e.g., AWS, Azure) to optimize performance, cost, and scalability
• AI/ML observability: You will build systems for monitoring performance of AI/ML models and finding insights on the underlying data such as drift detection, data fairness/bias, anomalies ML Solution Deployment: You will develop tools for building and deploying ML artifacts in production environments, facilitating a smooth transition from development to deployment
• Big Data Management: Automate and orchestrate tasks related to managing big data transformation and processing, building large-scale data stores for ML artifacts
• Scalable Services: Design and implement low-latency, scalable prediction, and inference services to support the diverse needs of our users
• Cross-Functional Collaboration: Collaborate across diverse teams, including machine learning researchers, developers, product managers, software architects, and operations, fostering a collaborative and cohesive work environment
• End-to-end ownership: You will take the end-to-end ownership of the components and work with other engineers in the team including design, architecture, implementation, rollout, onboarding support to partner teams, production on-call support, testing/verification, investigations etc.

• Educational Background: Bachelors degree in Computer Science or equivalent practical experience
• Experience: Over 8 years of experience in software development and engineering, delivering production systems and services
• Prior experience of working with MLOps team at the intersection of the expertise across ML model deployments, DevOps, data engineering
• Hands-on skills: Ability to fluently translate the design into high quality code in golang, python, Java
• Knowledge of DevOps practices, containerization, orchestration tools such as CI/CD, Terraform, Docker, Kubernetes, Gitops
• Demonstrated knowledge of distributed data processing frameworks, orchestrators, and data lake architectures using technologies such as Spark, Airflow, iceberg/ parquet formats
• Prior collaborations with Data science teams to deploy their models, setting up ML observability for inference level monitoring
• Exposure for building RAG based applications by collaborating with other product teams, Data scientists/AI engineers
• Demonstrated creative problem-solving skills with the ability to break down problems into manageable components
• Knowledge of Amazon AWS and/or Azure cloud for solutioning large scale application deployments
• Excellent communication and collaboration skills, fostering teamwork and effective information exchange

• Experience of integrating with third party vendors
• Experience in latency optimization with the ability to diagnose, tune, and enhance the efficiency of serving systems
• Familiarity with tools and frameworks for monitoring and managing the performance of AI/ML models in production (e.g., MLflow, Kubeflow, TensorBoard)
• Familiarity with distributed model training/inference pipelines using (KubeRay or equivalent)
• Exposure to leveraging GPU computing for AI/ML workloads, including experience with CUDA, OpenCL, or other GPU programming tools, to significantly enhance model training and inference performance
• Exposure to ML libraries such as PyTorch, TensorFlow, XGBoost, Pandas, and ScikitLearn

• Conception de systèmes: vous concevrez, mettrez en œuvre et gérerez des systèmes logiciels pour la plateforme IA/ML, en orchestrant l'ensemble du cycle de développement de l'apprentissage automatique pour les équipes partenaires
• Mentorat : vous diffuserez vos connaissances, partagerez les meilleures pratiques et effectuerez des revues de conception pour renforcer l'expertise au niveau de l'équipe
• Architecture multi-cloud: vous définirez des composants qui tirent parti des atouts de plusieurs plateformes cloud (par exemple, AWS, Azure) pour optimiser les performances, les coûts et l'évolutivité
• Observabilité de l'IA/ML: Vous construirez des systèmes pour surveiller les performances des modèles d'IA/ML et trouver des informations sur les données sous-jacentes telles que la détection de dérive, l'équité/biais des données, les anomalies Déploiement de solutions ML: Vous développerez des outils pour construire et déployer des artefacts ML dans des environnements de production, facilitant une transition en douceur du développement au déploiement
• Gestion des Big Data: Automatiser et orchestrer les tâches liées à la gestion de la transformation et du traitement des Big Data, en construisant des magasins de données à grande échelle pour les artefacts ML
• Services évolutifs: Concevoir et mettre en œuvre des services de prédiction et d'inférence évolutifs à faible latence pour répondre aux divers besoins de nos utilisateurs
• Collaboration interfonctionnelle: Collaborer entre différentes équipes, y compris des chercheurs en apprentissage automatique, des développeurs, des chefs de produit, des architectes logiciels et des opérations, en favorisant un environnement de travail collaboratif et cohésif
• Propriété de bout en bout: Vous serez responsable de bout en bout des composants et travaillerez avec d'autres ingénieurs de l'équipe, notamment pour la conception, l'architecture, la mise en œuvre, le déploiement, l'intégration des équipes partenaires, le support de production sur appel, les tests/vérifications, les investigations, etc.

• Formation: Licence en informatique ou expérience pratique équivalente
• Expérience: Plus de 8 ans d'expérience dans le développement et l'ingénierie de logiciels, la fourniture de systèmes et de services de production
• Expérience préalable de travail avec l'équipe MLOps à l'intersection de l'expertise dans les déploiements de modèles ML, DevOps, ingénierie des données
• Compétences pratiques: Capacité à traduire couramment la conception en code de haute qualité en golang, python, Java
• Connaissance des pratiques DevOps, de la conteneurisation, des outils d'orchestration tels que CI/CD, Terraform, Docker, Kubernetes, Gitops
• Connaissance avérée des cadres de traitement des données distribuées, des orchestrateurs et des architectures de lacs de données utilisant des technologies telles que Spark, Airflow, les formats iceberg/parquet
• Collaborations antérieures avec des équipes de science des données pour déployer leurs modèles, en mettant en place l'observabilité ML pour la surveillance au niveau de l'inférence
• Expérience dans la création d'applications basées sur RAG en collaborant avec d'autres équipes de produits, des scientifiques des données/ingénieurs en IA
• Compétences démontrées en matière de résolution créative de problèmes, avec la capacité de décomposer les problèmes en composants gérables
• Connaissance d'Amazon AWS et/ou du cloud Azure pour la résolution de problèmes de déploiement d'applications à grande échelle
• Excellentes compétences en communication et en collaboration, favorisant le travail d'équipe et l'échange efficace d'informations

• Expérience de l'intégration avec des fournisseurs tiers
• Expérience de l'optimisation de la latence avec la capacité de diagnostiquer, d'ajuster et d'améliorer l'efficacité des systèmes de service
• Connaissance des outils et des cadres de travail pour la surveillance et la gestion des performances des modèles d'IA/AA en production (par exemple, MLflow, Kubeflow, TensorBoard)
• Connaissance des pipelines distribués d'entraînement/inférence de modèles utilisant (KubeRay ou équivalent)
• Expérience de l'utilisation du calcul GPU pour les charges de travail d'IA/AA, y compris l'expérience de CUDA, OpenCL ou d'autres outils de programmation GPU, pour améliorer considérablement les performances d'entraînement et d'inférence des modèles
• Expérience avec des bibliothèques d'apprentissage automatique telles que PyTorch, TensorFlow, XGBoost, Pandas et ScikitLearn