Senior Applied Machine Learning Scientist - Generative AI Model Validation

Work Location:

Montréal, Quebec, Canada

Hours:

37.5

Line of Business:

Analytics, Insights, & Artificial Intelligence

Pay Details:

$156,500 - $190,000 CADThe pay details posted reflect a temporary market premium specific to this role that is reassessed annually.

TD is committed to providing fair and equitable compensation opportunities to all colleagues. Growth opportunities and skill development are defining features of the colleague experience at TD. Our compensation policies and practices have been designed to allow colleagues to progress through the salary range over time as they progress in their role. The base pay actually offered may vary based upon the candidate's skills and experience, job-related knowledge, geographic location, and other specific business and organizational needs.

As a candidate, you are encouraged to ask compensation related questions and have an open dialogue with your recruiter who can provide you more specific details for this role.

Job Description:

*Department Overview

The Model Validation (MV) group is a centralized Model Risk Management function within the Bank. It has seen fast growth in the past few years reflecting global regulators’ increasing attention on model risk. The Artificial Intelligence (AI) Model Validation (MV) group is responsible for the review/vetting and approval of AI models developed and used across the enterprise (e.g., Fraud, Retail Credit Risk, Marketing, NLP, TD Wealth, TD Asset Management, Treasury Balance Sheet Management, TD Insurance, TD Securities), including Generative AI and other contemporary Deep Learning models.

*Job Description

The position reports to the AVP, AI Model Validation group and is primarily focused on leading the team responsible for the review/vetting of Generative AI, NLP and other Deep Learning models.

Detailed accountabilities include:

• Lead R&D in the GenAI/Agentic/LLM evaluation and testing areas.
• Lead a team of Machine Learning Scientists to perform validation/review of complex AI models, particularly Generative AI, LLMs / NLP and Deep Learning models.
• Validate (review, test/evaluate, and provide effective challenge to the model developers) AI models, particularly Generative AI and Agentic models.
• Recommend the approval of models or other corrective actions based on an independent validation.
  • Lead and support a team of model validators.
  • Ensure performance objectives are set for all staff and that performance feedback is provided on a regular basis.
  • Communicate group objectives and strategies and align group activities in support of business objectives.
• Support employee development activities, coach and support direct reports in meeting their personal development objectives.
• Assume a leadership role in developing standards and procedures for vetting and validation of Generative AI, Agentic AI and diverse Deep Learning models that are compliant with the Bank’s internal Model Risk Policy, adhere with industry and academic best practices, and meet regulatory requirements.
• Respond to requests from both Canadian and U.S. regulators, internal and external audit in their review/audit of models and vetting/validation process and procedures. Provide information and assistance as required.
• Work effectively with internal Model Development groups, Audit, and other internal partners to ensure models meet required Bank standards for use.
• Play a key role in ensuring the appropriate use of AI models. Identify the need to implement new models/techniques as industry standards evolve and regulatory requirements change.
• Maintain full professional knowledge of techniques and developments in the field of AI and Machine Learning, and share knowledge with business partners and senior management. Provide subject matter expertise to business units on Generative AI, Agentic AI, LLMs / NLP and other Deep Learning modeling and validation.
• Stay up to date with advancements in the field of Generative AI including major publications, important Large Language Models (LLMs), evaluation metrics, technology stacks, and datasets.
• Communicate findings and recommendations to both technical and non-technical stakeholders.

The position involves working effectively with internal partners from different model development groups and other relevant 2nd line risk control functions.

*Job Requirements

• Advanced quantitative and AI skills with post-secondary degree in one or more of the following areas: computer science, machine learning / AI, engineering, statistics, mathematics, etc.
• 4+ years of experience in either developing or validating Generative AI, LLMs, NLP and other Deep Learning models; and 2+ years of experience in leading a small team of machine learning scientists.
• In-depth knowledge of AI methodologies, concepts and theory including Generative AI, Agentic AI, Deep Learning, modern Natural Language Processing (NLP), Retrieval-Augmented Generation (RAG), Transformers, and etc.
• Experience with Deep Learning and Generative AI / Agentic AI technology stacks and libraries such as PyTorch, LangChain, LangGraph, HuggingFace, etc.
• Motivated to stay up to date with the latest advancements in Generative AI, Agentic AI, machine learning, and cloud technologies.
• Proficient in one or more scripting/programming languages such as Python.
• Familiarity with cloud platforms (e.g., Azure, AWS) and big data technologies (e.g., PySpark, Hadoop).
• Familiarity with Data Structures, Algorithm design, and principles of Object-Oriented Programming (OOP).
• Knowledge of machine learning explain-ability/interpretability algorithms.
• Excellent verbal and written communication skills. and stakeholder management abilities (position requires writing and reviewing reports of technical nature).
• Strong critical and analytic thinking skills.
• Excellent time / project management and multitasking skills with minimal supervision.
• Ability to work independently and collaboratively in a fast-paced, dynamic environment. Great time management and multitasking skills with minimal supervision.

* Preferred Qualifications

• Publications in the relevant conference and journals and research in GenAI/LLM field is a plus.
• Ability to implement AI algorithms from academic research papers is a plus.

*Aperçu du service

Le groupe Validation des modèles est une fonction centralisée de Gestion des risques de modèle au sein de la Banque. Il a connu une croissance rapide au cours des dernières années, grâce à l’attention croissante des organismes de réglementation mondiaux à l’égard du risque de modèle. Le groupe Validation des modèles, Intelligence artificielle (IA) est responsable de l’examen, de la vérification et de l’approbation des modèles d’IA élaborés et utilisés à l’échelle de l’entreprise (p. ex., Fraude, Risque de crédit de détail, Marketing, Traitement du langage naturel, Gestion de patrimoine TD, Gestion de Placements TD, Gestion de la trésorerie et du bilan, TD Assurance, Valeurs mobilières TD) y compris l’IA générative et d’autres modèles modernes d’apprentissage profond.

*Description de poste

Le ou la titulaire du poste relèvera du vice-président associé, groupe Validation des modèles, IA et AA et se concentrera principalement sur la validation des modèles d’IA générative et d’apprentissage profond.

Voici les responsabilités détaillées du poste :

• Diriger la recherche et le développement dans les domaines de l’évaluation et des tests de GenAI, Agentic et LLM.
• Diriger l’équipe de scientifiques spécialisés dans l’AA afin d’effectuer la validation de tous les modèles d’IA, particulièrement les modèles d’IA générative/agentic, grands modèles de langage/traitement du langage naturel et d’apprentissage profond.
• Valider (examiner, tester et effectuer un examen critique efficace aux développeurs de modèles) les modèles d’intelligence artificielle et d’apprentissage automatique, en particulier les modèles d’intelligence artificielle générative et d’apprentissage profond.
• Recommander l’approbation des modèles ou d’autres mesures correctives en fonction de la validation indépendante.
  • Diriger et soutenir une équipe de valideurs de modèle.
  • S’assurer que les objectifs de rendement sont établis pour tous les employés et que la rétroaction sur le rendement est fournie régulièrement.
  • Communiquer les objectifs et les stratégies du groupe et harmoniser les activités du groupe pour appuyer les objectifs d’affaires.
• Soutenir les activités de perfectionnement des employés, coacher et soutenir les subordonnés directs dans l’atteinte de leurs objectifs de perfectionnement personnel.
• Assumer un rôle de chef de file dans l’élaboration de normes et de procédures pour la vérification et la validation de l’IA générative/agentic, du traitement du langage naturel et des modèles diversifiés d’apprentissage profond qui sont conformes à la Politique en matière de risque de modèle de la Banque, qui respectent les pratiques gagnantes du secteur et du milieu universitaire, et qui respectent les exigences réglementaires.
• Répondre aux demandes des organismes de réglementation canadiens et américains et aux vérificateurs internes et externes dans le cadre de leur examen/audit des modèles et du processus et des procédures de vérification/validation. Fournir des renseignements et de l’aide, au besoin.
• Collaborer efficacement avec les groupes internes de développement de modèles, l’équipe Audit et les autres partenaires internes pour s’assurer que les modèles respectent les normes d’utilisation de la Banque.
• Jouer un rôle clé dans l’utilisation appropriée des modèles d’intelligence artificielle ou d’apprentissage automatique. Déterminer le besoin de mettre en œuvre de nouveaux modèles/techniques à mesure que les normes du secteur évoluent et que les exigences réglementaires changent.
• Maintenir une connaissance professionnelle complète des techniques et des développements relatifs aux secteurs de l’apprentissage automatique et de l’intelligence artificielle et partager ses connaissances avec les partenaires d’affaires et la direction. Fournir une expertise aux unités fonctionnelles en matière de modélisation et de validation d’IA générative de grands modèles de langage/traitement du langage naturel et d’autres modèles d’apprentissage profond.
• Rester au fait des progrès réalisés dans le domaine de l’intelligence artificielle générative, y compris les principales publications, les grands modèles de langage importants, les mesures d’évaluation, les piles technologiques et les ensembles de données.
• Communiquer les constatations et les recommandations aux intervenants techniques et non techniques.

Le titulaire du poste doit travailler efficacement avec des partenaires internes de différents groupes d’élaboration de modèles et d’autres fonctions de contrôle des risques de la 2e ligne de défense.

*Exigences du poste

• Compétences avancées en analyse quantitative et en intelligence artificielle ou en apprentissage automatique avec un diplôme d’études postsecondaires dans un ou plusieurs des domaines suivants : informatique, IA, ingénierie, statistiques, mathématiques, etc.
• Au moins quatre ans d’expérience dans l’élaboration ou la validation de modèles d’IA générative, de grands modèles de langage, de Traitement du langage naturel et d’autres modèles d’apprentissage profond, et au moins deux ans d’expérience dans la direction d’une petite équipe de scientifiques spécialisés dans l’AA.
• Connaissance approfondie des méthodologies, des concepts et des théories d’IA, y compris l’intelligence artificielle générative, l’apprentissage profond, le traitement du langage naturel moderne, la génération augmentée de récupération, les transformateurs, les modèles de diffusion, etc.
• Expérience des piles technologiques liées à l’apprentissage profond et à l’intelligence artificielle générative comme PyTorch, LangChain, LangGraph, HuggingFace, etc.
• Motivation à rester au fait des dernières avancées dans les domaines de l’intelligence artificielle générative, de l’apprentissage automatique et des technologies infonuagiques.
• Maîtrise d’un ou de plusieurs langages de script/programmation, comme Python.
• Connaissance des plateformes infonuagiques (p. ex., Azure, AWS) et des technologies liées aux mégadonnées (p. ex., PySpark, Hadoop).
• Connaissance des structures de données, de la conception d’algorithmes et des principes de la programmation orientée objet.
• Connaissance des algorithmes d’interprétation/d’explicabilité de la capacité d’apprentissage automatique.
• Excellentes aptitudes en communication orale et écrite et en gestion des intervenants (le poste nécessite la rédaction et l’examen de rapports de nature technique).
• Solides compétences en matière de pensée critique et analytique.
• Excellentes compétences en gestion du temps ou de projets et capacités à gérer plusieurs tâches en même temps avec un minimum de supervision.
• Capacité à travailler de façon autonome et collaborative dans un environnement dynamique au rythme trépidant. Excellentes compétences en gestion du temps et capacités à gérer plusieurs tâches en même temps avec un minimum de supervision.

*Compétences recherchées

• Actes de colloque et publications scientifiques pertinents, un atout.
• Capacité à mettre en œuvre des algorithmes d’intelligence artificielle à partir d’articles de recherches universitaires, un atout.

Who We Are:

TD is one of the world's leading global financial institutions and is the fifth largest bank in North America by branches/stores. Every day, we strive to make every interaction, product, and experience remarkably human and refreshingly simple for over 27 million households and businesses in Canada, the United States and around the world. More than 95,000 TD colleagues bring their skills, talent, and creativity to foster deeper relationships, ensure disciplined execution, and build a simpler, faster banking experience. TD is deeply committed to being a leader in client experience, that is why we believe that all colleagues, no matter where they work, are client facing. Together, we are reimagining what banking can be for our clients, colleagues and communities.

Our Total Rewards Package
Our Total Rewards package reflects the investments we make in our colleagues to help them and their families achieve their financial, physical, and mental well-being goals. Total Rewards at TD includes a base salary, variable compensation, and several other key plans such as health and well-being benefits, savings and retirement programs, paid time off, banking benefits and discounts, career development, and reward and recognition programs. Learn more

Additional Information:
We’re delighted that you’re considering building a career with TD. Through regular development conversations, training programs, and a competitive benefits plan, we’re committed to providing the support our colleagues need to thrive both at work and at home.

Please be advised that this job opportunity is subject to provincial regulation for employment purposes. It is imperative to acknowledge that each province or territory within the jurisdiction of Canada may have its own set of regulations, requirements.

Colleague Development

If you’re interested in a specific career path or are looking to build certain skills, we want to help you succeed. You’ll have regular career, development, and performance conversations with your manager, as well as access to an online learning platform and a variety of mentoring programs to help you unlock future opportunities.

If you’re passionate about helping clients and building deep, lasting relationships, TD offers diverse career paths where you can grow your expertise and make a meaningful impact.  

We're committed to your success and foster a respectful workplace where diverse perspectives are valued, everyone has fair opportunities to grow, and you can unlock your full potential to achieve your career goals. Here at TD, we hire and develop the best.

Training & Onboarding
We will provide training and onboarding sessions to ensure that you’ve got everything you need to succeed in your new role.

Interview Process 
We’ll reach out to candidates of interest to schedule an interview. We do our best to communicate outcomes to all applicants by email or phone call.

Accommodation
Your accessibility is important to us. Please let us know if you’d like accommodations (including accessible meeting rooms, captioning for virtual interviews, etc.) to help us remove barriers so that you can participate throughout the interview process.

We look forward to hearing from you!

Language Requirement (Quebec only):

Maîtrise d’une langue autre que le français pour offrir du soutien ou traiter avec des employés ou des collègues qui ont besoin de services et de soutien dans une langue autre que le français.