Auditeur en Intelligence Artificielle et Risques liés aux Modèles

Auditeur en Intelligence Artificielle et Risques liés aux Modèles

Dans un monde qui change, des défis sans précédent exigent des talents inégalés. Rejoignez l’un des Meilleurs Employeurs de Montréal 2024. Nous sommes une organisation dynamique et en pleine croissance dont l’établissement principal est situé au centre-ville de Montréal et faisant partie d’un groupe financier international pleinement engagé dans la construction d’un futur durable. À noter que le poste peut être au sein de la Succursale canadienne de BNP Paribas ou de l’une de ses filiales basées à Montréal.

Le poste en un coup d’œil

Conformément à la section 165 du Dodd-Frank Act, BNP Paribas a établi une société holding (IHC) pour supporter ses filiales américaines. De plus, BNP Paribas a mis en place une cadre de gouvernance pour les opérations américaines combinées (CUSO) et de l’IHC afin de soutenir la gestion du capital, la gestion des risques de liquidité, la production de rapports réglementaires et la gestion des risques de conformité.

Le Hub Amérique du Nord (IGNA) fait partie de la fonction intégrée d'Audit Interne de BNP Paribas (Inspection Générale ou « IG »), et est composé d'individus hautement qualifiés effectuant des missions de haute qualité pour identifier les risques de l'entreprise, fournissant une assurance raisonnable et, lorsque nécessaire, conseillant la direction afin d'anticiper et de comprendre les risques et de mettre en place les contrôles appropriés.

Au sein d’IGNA, une équipe spécialisée dans l’audit de la gestion des risques d’entreprise couvre plusieurs lignes de métier et fonctions centrales, notamment la gestion des risques liés aux modèles et à l’intelligence artificielle.

Les atouts et compétences qui vous feront réussir

Les candidats seront évalués en fonction des quatre principaux facteurs de performance suivants qui détermineront comment l'impact individuel sera pris en compte :

• Résultats et Impact

• A un impact sur le département et une influence positive sur ses paires et l’équipe ;

• Fait preuve d'un excellent jugement dans la prise de décisions complexes et importantes.

• Fait preuve d’autonomie et nécessite peu de support pour prendre des décisions sur des cas complexes.

• Est responsable de communiquer des résultats qui ont un impact significatif sur l'équipe ou le département.

• Leadership et Collaboration

• Développe une relation de confiance avec les responsables du département.

• Contribue au succès de l’équipe en participant activement aux différents projets et programmes, pour atteindre les résultats attendus.

• Auditées, Clients et Collègue

• Développe et entretient des relations de confiance avec ses auditées, clients et collègues.

• Interagit et communique régulièrement avec la direction et les responsables du département.

• Capacité à convaincre et à motiver les différents membres d’équipe.

• Culture de la Conformité et de la Conduite

• Assume l’entière responsabilité de ses actions personnelles et fait preuve de professionnalisme pour affronter les problèmes et les conflits.

• Est perçu comme une personne avec de fortes valeurs morales qui défend les valeurs de l'entreprise et qui affiche des normes éthiques solides.

Responsabilités :

L’Auditeur en Intelligence Artificielle et Risques liés aux Modèles jouera un rôle clé dans le soutien de l'équipe d'audit interne pour évaluer de manière indépendante l’efficacité des dispositifs de gouvernance et de gestion des risques.

Une solide expérience des cadres méthodologiques d’audit des modèles est une exigence essentielle pour ce poste.

Responsabilités spécifiques en audit de l’Intelligence Artificielle et des Risques liés aux Modèles

• L’Auditeur devra maîtriser les cadres méthodologiques d’évaluation des modèles, incluant des critères tels que la robustesse, l’équité, l’interprétabilité, l’alignement, la conformité et les évaluations impliquant une supervision humaine.
• Réaliser des audits sur l’ensemble du cycle de vie des modèles, de l’entraînement au déploiement et à la surveillance, en veillant au respect des normes de qualité, de performance, d’équité et de gestion des risques.
• Identifier les vulnérabilités des modèles, telles que les biais, les violations d’équité, les hallucinations nuisibles, les risques de sécurité, et proposer des stratégies de correction.
• Évaluer les métriques de performance des modèles (précision, rappel, score F1, calibration, robustesse, métriques d’équité), mesurer les taux d’hallucination dans les grands modèles de langage (LLM), quantifier les biais, analyser les scores de confiance et la stabilité des modèles.

Responsabilités générales en audit :

• Réaliser plusieurs audits complexes de manière simultanée, en assurant la définition du périmètre, la planification, l’évaluation et la rédaction des rapports associés.
• Rédiger des rapports d’audit incluant des recommandations à forte valeur ajoutée.
• Comprendre et évaluer les risques inhérents aux domaines audités par le biais d’activités de surveillance continue.
• Gérer son temps et ses priorités lors de la réalisation des audits.
• Rédiger et revoir les évaluations des risques des unités auditées.
• Développer et entretenir des relations avec les responsables et gestionnaires des lignes métiers et des fonctions supports dans le cadre des activités de surveillance continue des risques.
• Valider l’adéquation et la pertinence des plans de remédiation ou de résolution pour répondre aux recommandations réglementaires et de l’audit interne.
• Enquêter sur les incidents ou les cas de fraude si nécessaire.
• Présenter clairement les résultats aux membres de la Direction Générale et de l’Inspection Générale.
• Se tenir informé de l’évolution des normes d’audit et des réglementations clés en matière de gestion des risques de conformité et des risques opérationnels.
• Adopter et promouvoir des valeurs éthiques fortes.
• Participer à divers comités, selon les affectations, pour fournir des rapports et des informations sur les enjeux actuels ou émergents du métier à la direction.

Qualifications minimales requises :

• Baccalauréat ou maîtrise en Mathématiques, Statistiques, Science Informatique, Ingénierie Financière ou dans un autre domaine quantitatif.
• Minimum de trois ans d’expérience professionnelle en science des données appliquée, en ingénierie de Machines Learning (ML) ou en recherche en Intelligence Artificielle, spécifiquement avec les LLM et les modèles de ML traditionnels, ainsi qu’une expérience pratique de 5 ans en science des données ou en analyse des données, couplée à 5 ans d’expérience en audit interne ou externe.
• Expérience de programmation dans des langages statistiques ou mathématiques tels que Python ou R, ainsi qu’une expérience pratique de plateformes de gestion de versions telles que GitHub.
• Expérience des plateformes Machines Learning (ML) et de traitement automatique du langage naturel telles que TensorFlow, PyTorch et scikit-learn, ainsi que des bibliothèques pertinentes telles que pandas, Polars et NumPy.
• Excellentes compétences en communication (orale, écrite, présentation), en relations interpersonnelles, ainsi qu’en facilitation et en conduite d’entretiens.
• Capacité à maintenir des relations efficaces entre auditeurs et audités et à interagir avec différentes parties prenantes.
• Compte tenu de la localisation de la majorité de nos clients, internes et externes, des exigences linguistiques spécifiques pourraient s’appliquer. La connaissance de l’anglais* est requise. Le français est un atout.

*Notant que la grande majorité de notre clientèle, tant interne qu’externe, est située à l’extérieur du Québec et du Canada, des exigences linguistiques particulières s’appliquent.

Qualifications souhaitées :

• Certifications telles que le CIA (Certified Internal Auditor).
• Bonne connaissance des principales réglementations bancaires américaines et canadiennes applicables aux domaines couverts.
• Maîtrise des outils d’analyse de données (Python, Tableau, Power BI).
• Capacité à analyser la conception des modèles, les méthodes d’entraînement et les pipelines de données.

En plus d’une rémunération compétitive, nous vous offrons de nombreux avantages y compris un programme d’assurance famille et conjoint flexible, un régime de retraite à cotisations définies et des jours payés pour le bénévolat. Des arrangements de travail hybrides, tel que le télétravail jusqu'à 40% et des horaires flexibles sont disponibles pour la plupart des postes. BNP Paribas offre d'excellent