Research Fellowship, Cryptographic Verification Mechanisms for Training AI Models

Research Fellowship au GPAI Policy Lab

Résidence de recherche au GPAI Policy Lab

Projet : Mécanismes de vérification cryptographique de l'entraînement de modèles d'IA

Contexte : L’équipe recherche du General-Purpose AI Policy Lab accueille des cohortes de Research Fellows pour contribuer sur des projets identifiés comme prometteurs, mais que nous ne pouvons pas couvrir, par manque de temps ou de compétences spécifiques. Ce programme permet aux fellows de bénéficier d’une expérience à l’interface entre recherche et policy, tout en produisant un travail de recherche directement utile pour l’organisation. La résidence se déroule dans les bureaux du GPAI Policy Lab au Campus Cyber près de Paris.

Résumé :

• Objectif : La vérification de l'entraînement des modèles d'IA est un prérequis à toute coordination internationale sur la sécurité de l'IA. Cette résidence de recherche vise à faire avancer la roadmap de mécanisme de vérification du GPAI Policy Lab. Trois axes peuvent être explorés selon le profil retenu : (1) implémentation du cœur cryptographique dans une zkVM en Rust ; (2) développement d'un wrapper NCCL pour la capture des communications d'entraînement distribué ; (3) problèmes de recherche ouverts (threat models, propriétés prouvables, position paper).
• Logistique : durée de 3+ mois, à partir de juin 2026, dans les bureaux du GPAI Policy Lab. Stage conventionné rémunéré ou bourse de recherche (1000€/mois).
• Contact : Dr. Jérémy Andréoletti, chercheur en sécurité de l’IA au GPAI Policy Lab

Description

Le développement de systèmes d'IA de plus en plus performants, généraux et agentiques pose des enjeux de sécurité à l’échelle globale. En l'absence de garanties de contrôle de ces systèmes, seule une coordination internationale permettrait de conditionner la poursuite du développement de l’IA de frontière à l'existence de telles garanties. Or, cette coordination repose sur des engagements communs, eux-mêmes conditionnés à la mise en place de mécanismes de vérification crédibles. Ces dispositifs doivent être capables d'empêcher les défections secrètes, de protéger les informations industrielles et étatiques confidentielles, et d'être librement auditables pour garantir l'absence de vulnérabilités exploitables.

Le GPAI Policy Lab développe une approche de vérification fondée sur des preuves cryptographiques à divulgation nulle de connaissance (zero-knowledge proofs), ancrées à des mesures physiques du réseau. L'idée centrale est de permettre aux développeurs de prouver que leurs entraînements respectent les engagements déclarés (procédure, données, contraintes de calcul), sans révéler d'informations propriétaires sur leurs modèles. Une présentation des problèmes ouverts de ce programme de recherche est disponible sur gpaipolicylab.org/verification. L'équipe finalise une roadmap de recherche visant à cadrer les travaux futurs du domaine.

Ce projet de recherche, à la frontière entre cryptographie appliquée, ingénierie logicielle bas niveau et sécurité, vise à faire avancer concrètement le prototype de vérification du Lab. Selon le profil de la ou du candidat, la résidence pourra porter sur l'un des axes suivants.

Axe 1 - Implémentation zkVM (profil ingénieur systèmes / Rust)

Contribuer à l'implémentation du cœur cryptographique du système de vérification : encoder les opérations d'entraînement dans une machine virtuelle à preuve de connaissance nulle (zkVM). Le travail implique de programmer en Rust des circuits arithmétiques reproduisant fidèlement les calculs GPU (arithmétique en virgule flottante, non-linéarités, réductions déterministes), et de les tester sur des exemples simples avant de passer à l’échelle.

Axe 2 - Wrapper NCCL pour la vérification des communications (profil Python / ML engineering)

Développer une couche d'interception et de journalisation des communications inter-nœuds lors d'un entraînement distribué. Concrètement, il s'agit de créer un wrapper autour de la bibliothèque NCCL (NVIDIA Collective Communications Library) capable de capturer, hacher et enregistrer les messages échangés (gradients, activations) entre GPU lors des opérations collectives, afin de produire les traces nécessaires à la vérification. Le travail se fait principalement en Python, avec une bonne compréhension de PyTorch distribué et des mécanismes de communication GPU.

Axe 3 - Problèmes ouverts de recherche (profil chercheur)

Travailler sur l'un des problèmes ouverts du programme de recherche du Lab en vérification (détaillés sur gpaipolicylab.org/verification) : modèles de menace (threat models), propriétés prouvables et leurs limites, robustesse face aux tentatives de contournement, architecture du système de preuves, ou encore rédaction d'un position paper cadrant les travaux futurs du domaine. Cet axe suppose une expérience de recherche suffisante (master recherche avancé ou doctorat) et une familiarité avec la cryptographie ou la sécurité informatique.

Compétences utiles

Compétences transverses :

• Rigueur technique et capacité à travailler sur des problèmes ouverts
• Intérêt pour les questions de gouvernance et de sécurité de l'IA
• Familiarité (même introductive) avec les preuves à divulgation nulle de connaissance (zero-knowledge proofs)

Compétences spécifiques selon l'axe :

1. Axe 1 : Rust, programmation système, circuits arithmétiques, familiarité avec les zkVM (SP1, Risc Zero) ou les systèmes de preuve (SNARKs, STARKs)
2. Axe 2 : Python, PyTorch, entraînement distribué (NCCL, MPI), réseau et communications GPU
3. Axe 3 : cryptographie, preuves formelles ou zero-knowledge proofs, modélisation de menaces, rédaction scientifique en anglais

Comment candidater ?

Vous pouvez remplir le formulaire de candidature.

À propos du GPAI Policy Lab

Le General-Purpose AI Policy Lab est une organisation à but non lucratif qui œuvre aux côtés des institutions françaises (et européennes) pour répondre aux impératifs de sécurité et de coordination internationale que pose le développement de l'IA à usage général (GPAI). Né à Sciences Po, le GPAI Policy Lab a vocation à produire des travaux de recherche à même d'appuyer les acteurs institutionnels français dans leur mission d'appréhension, d'anticipation, et d'élaboration de solutions concrètes face aux enjeux majeurs posés par cette technologie.

Le travail du General-Purpose AI Policy Lab se décline en trois axes :

• Recherche - Le General-Purpose AI Policy Lab produit des travaux de recherche, d'analyse et de prospective à destination des acteurs publics français.
• International - Sur la base des constats des travaux de recherche que nous menons, et en concertation avec les acteurs institutionnels français compétents, le Lab organise et facilite des discussions de haut niveau sur les enjeux de sécurité pour créer les conditions favorables à la coordination internationale.
• Formation - Le General-Purpose AI Policy Lab développe des programmes de formation, consacrés aux fondements techniques de l'IA à usage général et aux enjeux de coordination internationale, destinés aux acteurs académiques et institutionnels.