Mathematical Discovery through Re-combination and Compression of Reasoning

Je vise à exploiter les progrès récents des capacités de raisonnement des systèmes d’IA pour la découverte mathématique ouverte. Cette proposition est motivée par deux idées fondamentales. (1) Compression : les êtres humains ne retiennent pas chaque étape de chaque problème. Nous comprimons notre expérience en stratégies réutilisables qui rendent les problèmes futurs plus faciles. La découverte de telles stratégies réutilisables alimente la découverte mathématique. (2) Abstraction : des connaissances nouvelles et créatives naissent souvent de la recombinaison de pièces disparates de connaissances existantes.

Alors que les avancées récentes ont donné naissance à des grands modèles de langage (LLM) capables de raisonner correctement sur des problèmes mathématiques très difficiles, des études mettent en évidence un manque de diversité dans les traces de raisonnement générées. Je vise à atténuer ce manque de diversité en développant une procédure d’entraînement fondée sur l’apprentissage par renforcement (RL), où les traces de raisonnement sont explicitement conditionnées par des stratégies actuellement disponibles mais inconnues du LLM, ainsi que par des combinaisons de ces stratégies. Cela devrait conduire à des traces de raisonnement plus diverses, faisant intervenir des stratégies de plus en plus sophistiquées, nouvelles et abstraites.

Ensuite, ces stratégies sont identifiées à partir des nouvelles traces produites lors d’une étape de découverte de stratégies, ce qui permet de compresser les éléments de connaissance nouvellement découverts, récurrents et réutilisables. À un niveau suffisant de sophistication, ces nouvelles stratégies prennent la forme de conjectures (et, ultimement, de théorèmes) et de lemmes, ou y conduisent.