Principal Machine Learning Engineer, Evaluation

Job Requisition ID #

26WD96327

26WD96327, Principal Machine Learning Engineer, Evaluation

French translation to follow!/Traduction française à suivre!

Position Overview

The work we do at Autodesk touches nearly every person on the planet. By creating software tools for making buildings, machines, and even the latest movies, we influence and empower some of the most creative people in the world.

As a Principal Machine Learning Engineer focused on evaluating ML models for CAD and BIM, you will ensure ML-powered experiences meet high standards for quality, reliability, and customer impact across Autodesk products. You will work hands-on with ML-enabled Autodesk software to design evaluation datasets, metrics, and protocols that reflect real user workflows. You will use those signals to guide release readiness and continuous improvement in production. You will communicate results through clear evaluation summaries and recommendations, partnering with researchers, engineers, and product teams to close the gap between offline performance and real customer outcomes.

You will report to a manager in the Model Delivery team within Autodesk Research. This role is based in proximity to our North American Autodesk offices, with a preference for Toronto or Vancouver. We support both in-person, hybrid, and remote work.

Responsibilities

• Design and run evaluation protocols (datasets, metrics, statistical analysis) that reflect real CAD/BIM user workflows and production conditions
• Build repeatable evaluation tooling and automation to support model development, regression testing, and release readiness decisions
• Curate, process, and analyze data from multiple sources (including production derived samples) to assess model behavior and customer outcomes
• Validate end-to-end ML powered product experiences and translate product requirements into measurable evaluation criteria
• Communicate findings and recommendations clearly to researchers, engineers, product teams, and leadership
• Document model quality issues discovered in production or during validation (accuracy, robustness, latency, failure modes) and help prioritize follow-up investigations

Minimum Qualifications

• BS or MS in Mechanical Engineering, Architecture, Computer Engineering, Computer Science, Applied Math, Statistics, or equivalent industry experience
• 4+ years of professional experience in ML model evaluation, ML enabled QA, or applied ML engineering, including designing evaluation datasets, metrics, and protocols
• Strong software engineering skills for building repeatable evaluation systems, including Python, data pipelines and analysis, testable and maintainable code, version control, and cloud based workflows (for example AWS or Azure)
• Strong written communication skills for documenting evaluation methods, results, and recommendations

Preferred Qualifications

• Familiarity with design, manufacturing, or AEC workflows, including hands-on experience with CAD/BIM tools such as Fusion, AutoCAD, or Revit
• Experience with geometry or design data representations, including 2D and 3D
• Familiarity with ML frameworks and tooling (for example PyTorch, Ray, or similar)

______________________________________________________________________________________________________________

26WD96327, Ingénieur principal en apprentissage automatique, Évaluation

Présentation du poste

Le travail que nous accomplissons chez Autodesk touche pratiquement chaque personne sur la planète. En créant des outils logiciels destinés à la conception de bâtiments, de machines et même des films les plus récents, nous influençons et donnons les moyens d’agir à certaines des personnes les plus créatives au monde.

En tant qu'ingénieur principal en apprentissage automatique spécialisé dans l'évaluation des modèles d'apprentissage automatique pour la CAO et le BIM, vous veillerez à ce que les expériences basées sur l'apprentissage automatique répondent à des normes élevées en matière de qualité, de fiabilité et d'impact sur les clients pour l'ensemble des produits Autodesk. Vous travaillerez de manière pratique avec les logiciels Autodesk basés sur l'apprentissage automatique afin de concevoir des ensembles de données d'évaluation, des indicateurs et des protocoles qui reflètent les flux de travail réels des utilisateurs. Vous utiliserez ces signaux pour orienter la préparation des versions et l'amélioration continue en production. Vous communiquerez les résultats à travers des résumés d'évaluation clairs et des recommandations, en partenariat avec des chercheurs, des ingénieurs et des équipes produit afin de combler l'écart entre les performances hors ligne et les résultats réels pour les clients.

Vous rendrez compte à un responsable de l'équipe Model Delivery au sein d'Autodesk Research. Ce poste est basé à proximité de nos bureaux Autodesk en Amérique du Nord, de préférence à Toronto ou à Vancouver. Nous prenons en charge le travail en présentiel, hybride et à distance.

Responsabilités

• Concevoir et exécuter des protocoles d'évaluation (ensembles de données, métriques, analyse statistique) qui reflètent les flux de travail réels des utilisateurs de CAO/BIM et les conditions de production
• Développer des outils d'évaluation reproductibles et des automatisations pour soutenir le développement de modèles, les tests de régression et les décisions relatives à la préparation des versions
• Collecter, traiter et analyser des données provenant de multiples sources (y compris des échantillons issus de la production) pour évaluer le comportement des modèles et les résultats pour les clients
• Valider les expériences produit de bout en bout basées sur le ML et traduire les exigences produit en critères d'évaluation mesurables
• Communiquer clairement les conclusions et les recommandations aux chercheurs, ingénieurs, équipes produit et dirigeants
• Documenter les problèmes de qualité des modèles découverts en production ou lors de la validation (précision, robustesse, latence, modes de défaillance) et aider à hiérarchiser les investigations de suivi

Qualifications Minimales

• Licence ou master en génie mécanique, architecture, génie informatique, informatique, mathématiques appliquées, statistiques, ou expérience professionnelle équivalente
• Au moins 4 ans d'expérience professionnelle dans l'évaluation de modèles ML, l'assurance qualité basée sur le ML ou l'ingénierie ML appliquée, y compris la conception d'ensembles de données d'évaluation, de métriques et de protocoles
• Solides compétences en génie logiciel pour la création de systèmes d'évaluation reproductibles, notamment en Python, dans les pipelines et l'analyse de données, le code testable et maintenable, le contrôle de version et les workflows basés sur le cloud (par exemple AWS ou Azure)
• Solides compétences en communication écrite pour documenter les méthodes d'évaluation, les résultats et les recommandations

Qualifications Souhaitées

• Connaissance des flux de travail en conception, fabrication ou AEC, y compris une expérience pratique des outils CAO/BIM tels que Fusion, AutoCAD ou Revit
• Expérience en représentation de données géométriques ou de conception, y compris en 2D et 3D
• Connaissance des frameworks et outils d'apprentissage automatique (par exemple PyTorch, Ray ou similaires)

Learn More / Plus d'information

About Autodesk / À Propos D’Autodesk

Welcome to Autodesk! Amazing things are created every day with our software – from the greenest buildings and cleanest cars to the smartest factories and biggest hit movies. We help innovators turn their ideas into reality, transforming not only how things are made, but what can be made.

We take great pride in our culture here at Autodesk – it’s at the core of everything we do. Our culture guides the way we work and treat each other, informs how we connect with customers and partners, and defines how we show up in the world.

When you’re an Autodesker, you can do meaningful work that helps build a better world designed and made for all. Ready to shape the world and your future? Join us!

Bienvenue chez Autodesk ! Nos logiciels créent chaque jour des choses extraordinaires : des bâtiments les plus écologiques aux voitures les plus propres, en passant par les usines les plus intelligentes et les films à succès. Nous aidons les innovateurs à concrétiser leurs idées, transformant non seulement la façon dont les choses sont fabriquées, mais aussi ce qui peut l’être. Nous sommes très fiers de notre culture chez Autodesk ; elle est au cœur de tout ce que nous faisons. Notre culture guide notre façon de travailler et de nous comporter les uns envers les autres, influence nos interactions avec nos clients et nos partenaires, et définit notre image au monde. En tant qu’Autodeskien, vous pouvez accomplir un travail significatif qui contribue à bâtir un monde meilleur, conçu et réalisé pour tous. Prêt à façonner le monde et votre avenir ? Rejoignez-nous !

Salary transparency / Transparence salariale

Salary is one part of Autodesk’s competitive compensation package. Offers are based on the candidate’s experience and geographic location. In addition to base salaries, our compensation package may include annual cash bonuses, commissions for sales roles, stock grants, and a comprehensive benefits package.

Le salaire est l'un des éléments du programme de rémunération concurrentiel d'Autodesk. Pour les postes basés au Canada (Colombie-Britannique), nous proposons un salaire de base compris entre X et X dollars. Les offres sont basées sur l'expérience et la situation géographique du candidat et peuvent dépasser cette fourchette. En plus du salaire de base, notre programme de rémunération peut inclure des primes annuelles en espèces, des commissions pour les postes commerciaux, des attributions d'actions et un ensemble complet d'avantages sociaux.

Diversity & Belonging / Diversité et appurtenance

We take pride in cultivating a culture of belonging where everyone can thrive. L