My research is driven by a long-standing curiosity about the structure of language and about how language and knowledge interact. After a PhD in logic programming, I turned to formalisms for representing the syntactic structure of natural languages, in particular Tree Adjoining Grammars (TAG) and, more generally, mildly context-sensitive formalisms. This led me to design tabular parsing algorithms for these formalisms, based on various classes of push-down automata. In parallel, I developed FRMG, a wide-coverage TAG for French built on my own take on meta-grammars. FRMG was gradually hybridised with machine learning and then neural components, which let me process large corpora in many domains (botany, news, encyclopedias, law, history, ecology) for information extraction and knowledge acquisition. Along the way, combining it with distributional approaches became essential, and the move towards large language models followed naturally. I now study how LLMs represent language and capture knowledge, especially in demanding domains such as medicine, patents and scientific publishing.

Mon travail de recherche est motivé par une curiosité ancienne pour la structure du langage et pour les interactions entre langage et connaissance. Après une thèse en programmation logique, je me suis intéressé aux formalismes permettant de représenter la structure syntaxique des langues, notamment les grammaires d’arbres adjoints (TAG) et, plus généralement, les formalismes faiblement sensibles au contexte. J’ai ainsi proposé des algorithmes d’analyse tabulaire pour ces formalismes, fondés sur diverses classes d’automates à pile. En parallèle, j’ai développé FRMG, une grammaire TAG à large couverture du français, en m’appuyant sur ma propre version de la notion de méta-grammaire. FRMG s’est progressivement hybridée avec des apports d’apprentissage automatique, puis neuronaux, ce qui m’a permis de traiter de grands corpus dans des domaines variés (botanique, presse, encyclopédie, droit, histoire, écologie) pour l’extraction d’information et l’acquisition de connaissances. Le couplage avec des approches distributionnelles s’est ainsi imposé, avec une évolution assez naturelle vers les grands modèles de langue. J’étudie aujourd’hui comment ces LLM représentent le langage et capturent la connaissance, en particulier dans des domaines complexes comme la médecine, les brevets ou les publications scientifiques.

I have been a researcher at Inria since 1994. I led the ATOLL team (2002–2007), then joined Alpage and now ALMAnaCH. My earlier work produced the DyALog system, the FRMG meta-grammar for French and several standards for linguistic annotation (ISO TC37 SC4). Since 2018 I have also worked with start-ups (Hyperlex, Bluenove). My current work, mostly through PhD supervision, covers French biomedical language models, the internal geometry of transformers, machine translation of scientific documents and patent retrieval.

Je suis chercheur à Inria depuis 1994. J’ai dirigé l’équipe ATOLL (2002–2007), puis rejoint Alpage et aujourd’hui ALMAnaCH. Mes premiers travaux ont donné le système DyALog, la méta-grammaire FRMG du français et plusieurs normes d’annotation linguistique (ISO TC37 SC4). Depuis 2018, j’ai aussi travaillé avec des start-ups (Hyperlex, Bluenove). Mes travaux actuels, menés surtout via l’encadrement de thèses, portent sur les modèles de langue biomédicaux pour le français, la géométrie interne des transformers, la traduction automatique de documents scientifiques et la recherche de brevets.

Publications per year, Publications par an, Parsing, grammars, knowledge acquisitionAnalyse syntaxique, grammaires, acquisition Neural language models & applicationsModèles neuronaux & applications

Select a year to filter the publication list.Cliquez sur une année pour filtrer la liste des publications.

01

NewsActualités

02

Current researchRecherche actuelle

Language models for medicineModèles de langue pour la médecine

French clinical text is scarce, confidential and far from everyday language. We build French biomedical models (CamemBERT-bio and its successors), curate training data, generate realistic synthetic clinical documents and extract medical variables from patient reports. Much of this work takes place in partnership with hospitals.

Les textes cliniques français sont rares, confidentiels et éloignés de la langue courante. Nous construisons des modèles biomédicaux du français (CamemBERT-bio et ses successeurs), sélectionnons les données d’entraînement, générons des documents cliniques synthétiques réalistes et extrayons des variables médicales des comptes rendus, en partenariat avec des établissements de santé.

ONCOLAB · FrenchGen4Health · AOC (AP-HP, HEKA)

What language models representCe que représentent les modèles de langue

This is the more fundamental strand. It covers the geometry of transformer representations (anisotropy, the softmax bottleneck), training objectives that do without a prediction head, tokenisation, and efficient inference. The long-term aim is models with better short- and long-term memory.

Axe plus fondamental : la géométrie des représentations des transformers (anisotropie, goulot du softmax), des objectifs d’entraînement sans tête de prédiction, la tokenisation et l’inférence efficace. L’objectif à terme : des modèles dotés de meilleures mémoires à court et long terme.

CamemBERT · Gaperon

Scientific and technical documentsDocuments scientifiques et techniques

We translate full scientific documents with consistent terminology (ANR MaTOS) and structure large PDF files. Syntax-based term extraction complements LLMs here: it is cheaper to audit and easier to trace. The tools include Concordancer and pdfstruct.

Traduction de documents scientifiques complets avec une terminologie cohérente (ANR MaTOS), structuration de gros documents PDF, et extraction de termes fondée sur la syntaxe, en complément des LLM car plus facile à auditer et à tracer. Outils : Concordancer et pdfstruct.

ANR MaTOS · LIRIAe

Patents, dialogue and interactionBrevets, dialogue et interaction

This strand covers self-supervised embeddings for patent retrieval and the evaluation of generated patents (CIFRE Qatent). It also studies how multimodal LLMs perceive rapport between people, a first step towards conversational agents that build rapport over time.

Plongements auto-supervisés pour la recherche de brevets et évaluation de brevets générés (CIFRE Qatent). Étude de la manière dont les LLM multimodaux perçoivent la connivence entre personnes, première étape vers des agents conversationnels capables de la construire dans la durée.

Qatent · with Justine Cassellavec Justine Cassell

03

PhD studentsDoctorants

StudentDoctorant·eTopicSujetCo-advisor · settingCo-encadrement · cadreDatesDates
Oussama SilemBuilding rapport in conversational agentsConstruire la connivence dans les agents conversationnelsJustine Cassell2025– ongoingen cours
You ZuoPatent representation learningApprentissage de représentations des brevetsBenoît Sagot, Kim Gerdes · CIFRE Qatent2023– defence Dec 2026soutenance déc. 2026
Rian TouchentInformation extraction from French electronic health recordsExtraction d’information dans les dossiers médicaux électroniquesLaurent Romary · ONCOLAB2022– defence 15 Oct 2026soutenance 15 oct. 2026
Simon MeoniAdapting neural models to the French clinical domainAdaptation de modèles neuronaux au domaine clinique françaisLaurent Romary, Théo Ryffel · CIFRE Arkhn2022–2026 defendedsoutenue
Nathan GodeyCheap and expressive neural representations for text (TALN 2025 PhD prize)Représentations neuronales économes et expressives (prix de thèse TALN 2025)Benoît Sagot2021–2024 defendedsoutenue
Lionel Tadonfouet TadjouUntangling email conversation threadsDémêlage de fils de discussion dans les emailsLaurent Romary, Fabrice Bourge · CIFRE Orange2020–2023 defendedsoutenue
Mathilde RegnaultA meta-grammar for Old FrenchUne méta-grammaire pour l’ancien françaisSophie Prévost · ANR Profiterole2017–2022 defendedsoutenue
Louis MartinText simplificationSimplification de textesBenoît Sagot, Antoine Bordes · CIFRE Facebook AI2018– defendedsoutenue
Loïc GrobolCoreference in spoken FrenchCoréférence en français oralFrédéric Landragin, Marco Dinarelli2016–2020 defendedsoutenue
Corentin RibeyreDeep syntax parsingAnalyse syntaxique profondeLaurence Danlos, Djamé Seddah2012–2016 defendedsoutenue
Milagros Fernández GavilanesKnowledge extractionExtraction de connaissancesManuel Vilares · Univ. A Coruña–2012 defendedsoutenue
Benoît SagotLinguistic processing of FrenchTraitement linguistique du françaisLaurence Danlos · Paris 7–2006 defendedsoutenue
Miguel A. Alonso PardoTabular parsing of TAGsAnalyse tabulaire des TAGManuel Vilares · Univ. A Coruña–2000 defendedsoutenue
04

ProjectsProjets

CurrentEn cours
ONCOLABBpifrance. Extracting medical variables from clinical reports to feed research databases on lymphoma and pancreatic cancer.Bpifrance. Extraction de variables médicales depuis des comptes rendus pour alimenter des bases de recherche sur les lymphomes et le cancer du pancréas. Responsable côté Inria.
FrenchGen4HealthBpifrance. A French medical LLM trained on public biomedical data and about 100 million clinical reports from 11 medical partners.Bpifrance. Un LLM médical du français entraîné sur des données biomédicales publiques et environ 100 millions de comptes rendus fournis par 11 partenaires médicaux. Responsable côté Inria.
AOCInria technological development action with the HEKA team and AP-HP, on assigning ICD-10 codes to medical reports.Action de développement technologique Inria avec l’équipe HEKA et l’AP-HP : codage CIM-10 des comptes rendus médicaux.
ANR MaTOS2023–2026Machine translation for open science: full-document translation with consistent terminology.Traduction automatique pour la science ouverte : traduction de documents complets avec une terminologie cohérente.
RecentRécents
LIRIAe2022–2023With the French Ministry of Ecological Transition (LabIA funding). Extracting environmental-risk information from impact studies of 100–700 pages, with a searchable web reader for auditors.Avec le ministère de la Transition écologique (financement LabIA). Extraction d’informations sur les risques environnementaux dans des études d’impact de 100 à 700 pages, avec une liseuse web interrogeable pour les auditeurs.
ANR TimeUs · LECTAUREP · Profiterole2017–2020Digital humanities: historical archives on the textile trades, National Archives registers, Old French.Humanités numériques : archives historiques du textile, registres des Archives nationales, ancien français.
IndustryIndustrie2018–2023Senior researcher at Hyperlex (contract analysis, 2018–2020). R&D director at Bluenove (analysis of large citizen consultations, 2021–2023).Chercheur senior chez Hyperlex (analyse de contrats, 2018–2020). Directeur R&D chez Bluenove (analyse de grandes consultations citoyennes, 2021–2023).
All earlier projects and collaborations (1999–2020)Tous les projets et collaborations antérieurs (1999–2020)
ProjectProjetPeriodPériodeTopicSujet
ANR Profiterole2017–2020Language processing tools for Old French (10th–16th c.); co-supervision of M. Regnault's PhDOutils de traitement pour l'ancien français (Xe–XVIe s.) ; co-encadrement de la thèse de M. Regnault
ANR TimeUs2017–2020Information extraction from historical archives on the French textile tradesExtraction d'information dans des archives historiques sur les métiers du textile
LECTAUREP—Processing tabular registers of the French National ArchivesTraitement des registres tabulaires des Archives nationales
ANR-NSF NCM-ML—Correlating computational language models with brain imaging (EEG, fMRI) recorded while listening to Le Petit PrinceCorrélations entre modèles de langue computationnels et imagerie cérébrale (EEG, IRMf) lors de l'écoute du Petit Prince
ANR SoSweet2015–2019Sociolinguistics of Twitter: social links and linguistic variationSociolinguistique de Twitter : liens sociaux et variation linguistique
ANR Orfeo2013–2015Building French corpora, continuing RhapsodieConstitution de corpus du français, suite de Rhapsodie
ANR Asfalda2012–2015A French FrameNetUn FrameNet du français
ANR Polymnie2012–2015Discourse grammars with abstract categorial grammarsGrammaires du discours en grammaires catégorielles abstraites
PACTE2012–2014Linguistically informed post-OCR correctionCorrection post-OCR fondée sur la linguistique
ANR Rhapsodie2008–2011Prosodic and syntactic annotation of spoken FrenchAnnotation prosodique et syntaxique du français parlé
SCRIBO2008–2010Semi-automatic and collaborative retrieval of information based on ontologiesExtraction semi-automatique et collaborative d'information fondée sur des ontologies
ANR Passage2007–2010Coordinator. Parsing corpora of more than 100M words with several parsers, for evaluation and knowledge acquisitionCoordinateur. Analyse de corpus de plus de 100 M de mots par plusieurs analyseurs, pour l'évaluation et l'acquisition de connaissances
ARC Mosaïque2006–2007High-level syntactic formalisms such as meta-grammarsFormalismes syntaxiques de haut niveau comme les méta-grammaires
LexSynt2005–2006Design of a French syntactic lexiconConception d'un lexique syntaxique du français
ACI Biotim2003–2006Text mining and ontology extraction from botanical corporaFouille de textes et extraction d'ontologies depuis des corpus botaniques
EASy (Technolangue)2003–2005French parsing evaluation campaign, with two ATOLL parsers including one built with DyALogCampagne d'évaluation des analyseurs du français, avec deux analyseurs d'ATOLL dont un construit avec DyALog
Normalangue (Technolangue)2003–2005Standardisation of linguistic resources with ISO TC37 SC4; project leader for MAF (ISO 24611)Normalisation des ressources linguistiques avec l'ISO TC37 SC4 ; chef de projet pour MAF (ISO 24611)
Action GENI2002–2003Generation and inferenceGénération et inférence
ARC RLT2001–2002Leader. Acquisition of linguistic resources for TAGsResponsable. Acquisition de ressources linguistiques pour les TAG
TermIT (EU)–1999Feasibility study on multilingual thesauri in the cultural domainÉtude de faisabilité sur les thésaurus multilingues dans le domaine culturel

CollaborationsCollaborations

  • Start-ups and companies: Lingua & Machina (terminology extraction, knowledge acquisition and visualisation), Proxem (consulting, 2014), Bluenove (citizen debates, from 2018), Hyperlex, Orange, Arkhn and Qatent (CIFRE theses)Start-ups et entreprises : Lingua & Machina (extraction de terminologie, acquisition de connaissances, visualisation), Proxem (conseil, 2014), Bluenove (débats citoyens, depuis 2018), Hyperlex, Orange, Arkhn et Qatent (thèses CIFRE)
  • Long-standing academic collaborations with the COLE group (Universidade da Coruña, Spain) and the GLINT group (Universidade Nova de Lisboa, Portugal) through bilateral integrated actionsCollaborations académiques de longue date avec le groupe COLE (université de La Corogne, Espagne) et le groupe GLINT (université nouvelle de Lisbonne, Portugal) via des actions intégrées bilatérales
  • GFII professional association: forums (2015, 2017) and co-animation of the knowledge technologies working groupAssociation professionnelle GFII : forums (2015, 2017) et co-animation du groupe de travail « technologies de la connaissance »
05

Software & modelsLogiciels & modèles

CamemBERT-bio

French biomedical encoder obtained by continued pretraining of CamemBERT. Freely available and widely used.

Encodeur biomédical français issu du pré-entraînement continu de CamemBERT. Librement disponible et très utilisé.

2023– · modelmodèle
CamemBERT

The first BERT-style language model for French, followed by CamemBERT 2.0.

Le premier modèle de langue de type BERT pour le français, suivi de CamemBERT 2.0.

2019– · modelmodèle
Gaperon

Open suite of English–French generative language models with documented training data.

Suite ouverte de modèles génératifs anglais–français, avec données d’entraînement documentées.

2025– · modelmodèle
Concordancer

Finds occurrences of terms and their variants in large collections, using syntactic patterns and parsing.

Repère les occurrences de termes et de leurs variantes dans de grandes collections, grâce à des patrons syntaxiques et à l’analyse.

2023– · Python · leadresponsable
pdfstruct

Recovers the logical structure of large, complex PDF files (sections, tables, figures) by unsupervised learning.

Reconstitue la structure logique de gros PDF complexes (sections, tableaux, figures) par apprentissage non supervisé.

2022– · Python · leadresponsable
Fodoca

Form-based document annotator for filling structured medical variables from clinical reports, built for ONCOLAB (branch sqlite).

Annotateur de documents par formulaires, pour renseigner des variables médicales structurées à partir de comptes rendus, développé pour ONCOLAB (branche sqlite).

OnlineEn ligneGitLabONCOLAB · leadresponsable
DyALog · FRMG

Tabular logic-programming environment for compiling parsers, and FRMG, a wide-coverage meta-grammar for French. Also DyALog-SR/SRNN dependency parsers.

Environnement de programmation logique tabulée pour compiler des analyseurs, et FRMG, méta-grammaire du français à large couverture. Aussi les analyseurs en dépendances DyALog-SR/SRNN.

FRMG wikiWiki FRMGGitLab1993– · C, Prolog, Perl
06

PublicationsPublications

07

Service to the communityActivités collectives

CurrentActuellement
Programme committees and reviewing: ACL, COLM, EMNLP, COLING, LREC, TALN; journals Computational Linguistics and Language Resources and Evaluation.Comités de programme et relectures : ACL, COLM, EMNLP, COLING, LREC, TALN ; revues Computational Linguistics et Language Resources and Evaluation.
Scientific board of the magazine ActuIA (since 2020).Conseil scientifique de la revue ActuIA (depuis 2020).
Expert for Bpifrance (i-Lab 2026, generative AI uses 2024) and ANR (AAPG 2026, MRSEI 2024).Expert pour Bpifrance (i-Lab 2026, Usages IA générative 2024) et l’ANR (AAPG 2026, MRSEI 2024).
Scientific council of the RECOLNAT infrastructure (2022–2026).Conseil scientifique de l’infrastructure RECOLNAT (2022–2026).
Public talks on generative AI and education (Learning Planet Institute and Réseau Canopé, 2024).Interventions grand public sur l’IA générative et l’éducation (Learning Planet Institute, Réseau Canopé, 2024).
EarlierAuparavant
Chair (2016–2019) and secretary (2013–2016) of ACL SIGPARSE.Président (2016–2019) et secrétaire (2013–2016) de l’ACL SIGPARSE.
Chief editor of the journal Traitement Automatique des Langues (until 2016).Rédacteur en chef de la revue Traitement Automatique des Langues (jusqu’en 2016).
Programme chair of IWPT 2009 (Paris) and organisation co-chair of TAG+11 (Paris, 2012). Co-organiser of TAPD’98 and TAPD 2000.Président du comité de programme d’IWPT 2009 (Paris), co-président de l’organisation de TAG+11 (Paris, 2012), co-organisateur de TAPD’98 et TAPD 2000.
Project leader of ISO 24611 (MAF, Morpho-syntactic Annotation Framework) and head of the French delegation to ISO TC37 SC4.Chef de projet de la norme ISO 24611 (MAF) et chef de la délégation française à l’ISO TC37 SC4.
Tutorials at ESSLLI’06, TAG+9 (2008), ICLP’01 and TALN’99. Invited speaker at SEPLN 2000 and AI Paris 2021.Tutoriels à ESSLLI’06, TAG+9 (2008), ICLP’01 et TALN’99. Orateur invité à SEPLN 2000 et AI Paris 2021.
08

Career & earlier workParcours & travaux antérieurs

  • 2020–Chargé de recherche hors classe, Inria (Alpage, then ALMAnaCH)Chargé de recherche hors classe, Inria (Alpage, puis ALMAnaCH)
  • 2021–2023R&D director, Bluenove (50% secondment)Directeur R&D, Bluenove (mise à disposition à 50 %)
  • 2018–2020Senior researcher, Hyperlex (part time)Chercheur senior, Hyperlex (temps partiel)
  • 2002–2007Scientific leader of the ATOLL project-team, InriaResponsable scientifique de l’équipe-projet ATOLL, Inria
  • 1994–Research scientist, Inria (CR2, then CR1)Chargé de recherche, Inria (CR2, puis CR1)
  • 1993–1994Postdoc at AT&T Bell Labs with Fernando PereiraPost-doctorat aux AT&T Bell Labs avec Fernando Pereira
  • 1989–1993PhD in computer science, Université Paris 7, at Inria (DyALog, tabulation in logic programming)Doctorat en informatique, Université Paris 7, à Inria (DyALog, tabulation en programmation logique)
  • 1985–1988École polytechniqueÉcole polytechnique
Research before 2018: tabulation, meta-grammars, parsingRecherche avant 2018 : tabulation, méta-grammaires, analyse syntaxique

My early work used tabulation (dynamic programming) for logic programming and natural-language parsing. It was built on push-down automata and their extensions, such as 2-stack automata, embedded push-down automata and thread automata, which cover mildly context-sensitive formalisms like Tree Adjoining Grammars. This led to DyALog, a bootstrapped Prolog-like system that compiles tabular parsers for unification-based formalisms.

Mes premiers travaux portaient sur la tabulation (programmation dynamique) pour la programmation logique et l’analyse syntaxique. Ils s’appuyaient sur les automates à pile et leurs extensions (automates à 2 piles, automates à pile embarqués, automates à threads), qui couvrent des formalismes faiblement contextuels comme les grammaires d’arbres adjoints. Ce travail a abouti à DyALog, un système de type Prolog auto-amorcé qui compile des analyseurs tabulaires pour des formalismes à unification.

From 2003, I worked on meta-grammars, hierarchies of classes of constraints compiled into grammars, with MGCOMP and FRMG, a compact, factorised TAG for French. FRMG took part in the EASy and Passage evaluation campaigns and was later hybridised with statistical models. It was followed by the transition-based parsers DyALog-SR (SPMRL 2013, SemEval 2014) and DyALog-SRNN (CoNLL UD 2017, EPE 2017).

À partir de 2003, j’ai travaillé sur les méta-grammaires, hiérarchies de classes de contraintes compilées en grammaires, avec MGCOMP et FRMG, une TAG factorisée et compacte du français. FRMG a participé aux campagnes EASy et Passage, puis a été hybridée avec des modèles statistiques. Elle a été suivie des analyseurs par transitions DyALog-SR (SPMRL 2013, SemEval 2014) et DyALog-SRNN (CoNLL UD 2017, EPE 2017).

I also applied parsing to knowledge acquisition: error mining, lexicon correction, terminology and lexical networks from Wikipedia, AFP news, botanical and legal corpora. I worked on standards as well (MAF, feature structures, SynAF).

J’ai aussi appliqué l’analyse syntaxique à l’acquisition de connaissances : fouille d’erreurs, correction de lexiques, terminologie et réseaux lexicaux depuis Wikipédia, les dépêches AFP, des corpus botaniques et juridiques. J’ai également contribué aux normes (MAF, structures de traits, SynAF).

The full list of earlier projects is in the Projects section.La liste complète des projets antérieurs figure dans la section Projets.