Sujet de la thèse : Conformité et modèles de langage de grande taille : détection des violations de la vie privée et des droits d'auteur

Début de la thèse : 01/04/2025

Directeur de thèse : Nicolas ANCIAUX

Co-encadrant de thèse : Cédric EICHLER

Résumé :

Le projet s'appuie sur une collaboration entre le CERDI de l'Université Paris-Saclay spécialisé en droit de la propriété intellectuelle et en droit du numérique, et l'équipe-projet PETSCRAFT commune entre Inria Saclay et l'INSA CVL spécialisée en protection de la vie privée et en sécurité des données. D'autres collaborateurs incluent le COSEC de l'UC3M, spécialisée en cybersécurité de l'IA, dans le cadre de l'Equipe Associée PETsAI d'Inria.
Contexte.
Notre analyse des atteintes aux droits d'auteur et à la vie privée par les modèles de langage (LLMs) part de cas juridiques concrets, examinés sous un angle juridique, et repose sur des méthodologies techniques telles que les attaques par inférence d'appartenance (Membership Inference Attacks, MIAs). Les MIAs constituent une approche prometteuse pour détecter l'utilisation non autorisée de données dans les modèles d'apprentissage automatique. Introduites en 2017, ces attaques exploitent la tendance des modèles à mémoriser leurs données d'entraînement, ce qui permet de distinguer les données membres du jeu d'entraînement de celles qui ne le sont pas.
Etat de l'art.
Bien que les MIAs aient été adaptées aux LLMs dans des travaux antérieurs, des recherches récentes ont révélé d'importantes limites dans les méthodes actuelles. Dans le contexte des atteintes au droit d'auteur (où les LLMs ne révèlent généralement pas leurs sources d'entraînement), l'évaluation rigoureuse est rendue difficile par des biais structurels, notamment des décalages temporels, entre les ensembles de données supposées membres et non membres utilisés pour l'évaluation. Ces biais soulèvent des doutes quant à la validité des résultats, appelant à des améliorations méthodologiques.
Objectifs de la thèse.
L'objectif est d'améliorer la détection et la remédiation des atteintes aux droits individuels et aux droits de propriété intellectuelle dans les technologies d'IA, afin d'encourager leur intégration éthique dans la société. Plus précisément, il s'agit de développer un outil conforme au RGPD et à la directive DSM permettant aux citoyens de l'UE d'identifier d'éventuelles violations de leur vie privée ou de leurs droits d'auteur par des LLMs.
Feuille de route synthétique :
1. Amélioration des méthodologies MIA pour les LLMs et validation ex-post
2. Extension des MIA à la détection des atteintes à la vie privée
3. Développement d'un outil à destination des citoyens, leur permettant de vérifier si leurs données personnelles ont été utilisées par des services basés sur des LLMs.
La thèse est financée par le programme DATAIA de l'Université Paris-Saclay et par le PEPR Cybersécurité de l'ANR, dans le cadre du projet iPoP.