Opinions (Pour La Science, 08/07/2023)
Les élucubrations mathématiques de ChatGPT
CMAP (Centre de Mathématiques APpliquées) UMR CNRS 7641, École polytechnique, Institut Polytechnique de Paris, CNRS, France
[Site Map, Help and Search [Plan du Site, Aide et Recherche]]
[The Y2K Bug [Le bug de l'an 2000]]
[Real Numbers don't exist in Computers and Floating Point Computations aren't safe. [Les Nombres Réels n'existent pas dans les Ordinateurs et les Calculs Flottants ne sont pas sûrs.]]
[N'oubliez pas de visiter Une Machine Virtuelle à Explorer l'Espace-Temps et au-delà où vous trouverez plus de 10.000 images et animations à la frontière de l'Art et de la Science]
(Site WWW CMAP28 : cette page a été créée le 11/11/2025 et mise à jour le 14/11/2025 18:37:02 -CET-)
Nota : Publié sur le site de Pour La Science dans la rubrique Opinions
[www.pourlascience.fr/p/opinions/les-elucubrations-mathematiques-de-chatgpt-25434.php] le 08 juillet 2023.
Résumé :Le modèle de langage massif qui fait les succès de ChatGPT révèle de nombreuses failles, dès lors qu'on teste sérieusement ses aptitudes mathématiques.
Àla fin de l'année 2022, la société OpenAI a mis en
ligne ChatGPT, un agent conversationnel multilingue basé sur le modèle GPT (Generative
Pre-trained Transformer), à même de répondre apparemment aux questions les plus diverses.
Dans celui-ci, l'apprentissage consiste à analyser des textes récupérés
sur Internet, à les découper en tokens (des mots ou des morceaux de mots), puis
à mesurer la probabilité d'occurrence de chaque token T à la suite de séries
de tokens {Ti}. Ainsi, pour simplifier, lors de l'apparition de la suite
{Ti} il sera possible de proposer un token T suivant (le plus probable, le plus plausible…)
et ce, bien sûr, indépendamment de la langue (on notera au passage que les notions
de grammaire et de syntaxe ne jouent ici aucun rôle). Cette phase initiale est évidemment encadrée
par des êtres humains qui procèdent à des ajustements, à des « réglages
» (fine tuning). Une notion essentielle – et peut-être la clef de la réussite
– est celle de pre-prompt : il s'agit d'une suite de tokens (certainement
très complexe, mais confidentielle) insérée avant que l'utilisateur soumette
ses propres phrases, et destinée à préciser le contexte, à orienter la génération
des tokens suivants. Mais, chose essentielle à noter, ChatGPT n'a pas
la notion de ce qui est vrai et de ce qui est faux. La seule chose qui importe, c'est
la plausibilité évaluée en termes de probabilité : ses productions n'auront
donc peut-être pas toujours valeur d'oracle, tant s'en faut,
comme nous allons le vérifier.
Malgré cela, rapidement de nombreux utilisateurs de par
le monde s'y sont connectés et, en mai 2023, ils étaient plus de
deux cents millions à l'interroger fréquemment. Il est donc intéressant d'en
étudier les possibilités, mais aussi les limites ainsi que les dangers, puisqu'en
effet beaucoup sont ceux qui croient qu'il peut se substituer à Google ou encore Wikipédia.
Il est vrai qu'au premier abord ses productions sont époustouflantes. Je lui ai ainsi demandé
de me rédiger une lettre annonçant ma candidature à l'élection présidentielle
de 2027 : son contenu tout à fait crédible fait de moi, de toute évidence,
le candidat idéal à la magistrature suprême. J'imagine que tout le monde a fait
ce genre d'expérience et il est donc inutile d'en présenter d'autres
exemples.
Aurions-nous ainsi enfanté une intelligence universelle et omnisciente ? Déjà,
nombreux sont ceux qui s'en sont emparés : dans le domaine de la finance pour investir
au mieux, dans celui de la publicité pour trouver les slogans les plus accrocheurs mais aussi
dans l'enseignement où l'on entend des étudiants déclarer : «
C'est pratique, il suffit de lui donner le sujet, puis de recopier tout
simplement sa réponse. »
Terence Tao est très certainement l'un des plus
brillants mathématiciens actuels. Le 12 juin, il a publié un court essai présentant
son appréciation des perspectives ouvertes par GPT-4, dernière version du modèle phare
d'OpenAI. Il écrit en particulier : « L'IA de niveau 2023
peut déjà donner des indications suggestives et des pistes prometteuses à un mathématicien
en activité et participer activement au processus de prise de décision. » Le 10 mai,
Étienne Ghys (secrétaire perpétuel de l'Académie des sciences, directeur
de recherche CNRS à l'ENS Lyon) écrivait dans un article sur le site du journal Le
Monde au sujet de ChatGPT : « Il nous faut apprendre à l'utiliser comme
un assistant, qui connaît beaucoup de choses. » L'un comme l'autre
étaient-ils sérieux ou plaisantaient-ils ? On peut espérer qu'il s'agissait
d'un trait d'humour, mais dans tous les cas leur opinion est importante
et peut être entendue au premier degré : si les meilleurs mathématiciens peuvent avoir besoin
de ChatGPT, c'est que cette IA est digne de confiance. Mais est-ce bien le cas
? La nature probabiliste de ses productions fait qu'en matière de mathématiques,
on peut et on doit en douter. Pour preuve, quelques échanges authentiques.
[les échanges avec ChatGPT (questions et réponses) ci-après sont reproduits sans aucune altération, ndlr.]
La logique de ChatGPT
Prompt : Combien vaut la décimale de π de rang 1 000 000 000 ?
Réponse :
Il n'est pas possible de répondre précisément à cette question car la décimale
de π à un milliardième rang n'a pas encore été calculée. Les calculs
les plus avancés ont permis d'aller jusqu'à environ 31,4 billions
(soit 31,4 x 1012) de décimales de π, mais cela a pris des années de calculs
intensifs. Calculer des milliards de décimales supplémentaires nécessiterait des ressources
considérables et prendrait probablement encore des années, voire des décennies, voire plus.
Commentaire :
La base de connaissances de ChatGPT a semble-t-il été «
figée » en 2021, alors qu'à cette époque le record du nombre
calculées avait été battu à plusieurs reprises (le 14 mars 2019, Emma Harula Iwao,
31415926535897 décimales ; le 29 janvier 2020, Timothy Mullican, 50 000 milliards
de décimales ; en août 2021, à la Haute École des sciences appliquées des Grisons
(HES), 62 800 milliards de décimales). Et ainsi, c'est beaucoup plus
d'un milliard (1 000 000 000) de décimales qui étaient connues fin 2021. D'autre
part, ChatGPT se contredit lui-même en affirmant que 31,4 billions de décimales
(ce qui est très supérieur à un milliard) étaient connues, alors que la milliardième
ne l'était pas. Enfin, affirmer que les calculs ont demandé plusieurs années
est faux, même s'ils sont évidemment très longs.
Les connaissances élémentaires de ChatGPT
Prompt : Écrire un programme de recherche des nombres premiers pairs.
Réponse :
Voici un exemple de programme en Python qui recherche les nombres premiers pairs jusqu'à une
limite donnée :
code python chat GPT
def is_prime(n):
if n< 2:
return False
for i in range(2, int(n ** 0.5) + 1):
if n % i == 0:
return False
return True
def even_primes(limit):
primes = []
for i in range(2, limit+1, 2):
if is_prime(i):
primes.append(i)
return primes
# Example usage
print(even_primes(100))
Commentaire :
On aurait pu espérer que ChatGPT fasse preuve
d'humour en répondant « vous plaisantez » ou plus prosaïquement
« print (2) » puisque, par définition, les nombres premiers
ne sont divisibles que par 1 et par eux-mêmes. Or les nombres pairs sont des multiples de 2 et donc
tous divisibles par 2. Et ainsi, seul le premier nombre premier qui est 2 (et non pas 1…)
est pair. Ce simple raisonnement aurait évité ce programme qui, bien qu'exact,
est parfaitement inutile…
Les connaissances supérieures de ChapGPT
Prompt : Existe-t-il un cardinal entre celui des entiers et celui des réels ?
Réponse :
Oui, il existe un cardinal strictement plus grand que celui des entiers et strictement plus petit que celui des réels.
Il s'agit du cardinal des nombres réels sur le segment [0,1], souvent
noté « c » (prononcé continuum). Ce cardinal est également appelé
« cardinal de l'ensemble des nombres réels », ou encore
« cardinal de la droite réelle ». On peut démontrer que ce cardinal
est égal au cardinal de l'ensemble des parties de l'ensemble des entiers,
noté 2Aleph0, où Aleph0 désigne le cardinal des entiers. Ainsi, il existe une
infinité de cardinaux strictement compris entre celui des entiers et celui des réels.
Commentaire :
Cette question de mathématiques est très délicate et concerne donc un fameux problème soulevé
par Georg Cantor à la fin du XIXe siècle : l'hypothèse du continu (HC). Elle concerne
la notion de « cardinal », c'est-à-dire du nombre
d'éléments d'un ensemble que ce dernier soit fini ({1,2,3}
par exemple) ou infini (les nombres entiers N, les nombres réels R,…).
Or, grâce aux travaux de Kurt Gödel (1938) et de Paul Cohen (1963), on sait que
l'existence d'ensembles strictement plus gros que N mais strictement plus
petits que R est ce que l'on appelle un « indécidable »,
à savoir un énoncé dont on ne peut démontrer ni qu'il est faux ni qu'il
est vrai. Donc, la réponse donnée par ChatGPT est fausse, puisqu'il
affirme qu'il existe de tels ensembles (et même une infinité !). De plus,
d'autres erreurs sont commises et en particulier l'affirmation que le cardinal
du segment [0,1] est inférieur à celui de R, alors qu'ils sont égaux.
Les « hallucinations » de ChatGPT
Prompt : Qu'est-ce que le « moyen » théorème de Fermat [01] ?
Réponse :
Il semble que vous faisiez référence
au théorème du nombre moyen de Fermat, également connu sous le nom de «
théorème des valeurs intermédiaires ». Le théorème du nombre moyen de Fermat
énonce ce qui suit : si a et b sont deux nombres entiers consécutifs, alors il existe
au moins un nombre premier p tel que a < p < b. En d'autres termes, entre deux
nombres entiers consécutifs, il existe toujours au moins un nombre premier. Pierre de Fermat
a formulé ce théorème au XVIIe siècle, mais il ne l'a pas démontré
de manière rigoureuse. Cependant, cette affirmation a été vérifiée et prouvée
par d'autres mathématiciens au fil du temps. Le théorème du nombre moyen de Fermat
a des implications importantes dans la théorie des nombres et a des applications dans divers domaines
des mathématiques, notamment la cryptographie et la théorie des codes.
Commentaires
Après avoir interrogé ChatGPT sur le « petit » théorème de Fermat [il énonce
que si p est un nombre premier et a est un entier qui n'est pas divisible par p,
alors a élevé à la puissance p – 1 est congruent à 1 modulo p : ap-1 = 1 (mod p)]
et le « grand » théorème de Fermat [il énonce que
pour n > 2, il n'existe pas de triplet d'entiers strictement positifs
{a, b, c} tels que : an + bn = cn], il m'est venu l'idée
d'en savoir un peu plus sur le « moyen » théorème (qui
n'existe évidemment pas…). Affirmer qu'entre deux nombres
entiers consécutifs a et b il existe toujours un nombre premier p (et donc entier) est doublement
faux : d'une part si a et b sont entiers et consécutifs (b = a + 1),
il n'y a pas la « place » d'en loger un autre entre
eux. D'autre part, cela permettrait peut-être de disposer d'une
formule donnant tous les nombres premiers.
Un assistant peu recommandable…
ChatGPT peut de temps en temps nous dire des choses vraies et si on lui demande qui était Antoine Roquentin,
il nous explique qu'il s'agit du personnage principal de La Nausée,
de Jean-Paul Sartre, en ajoutant quelques précisions sur l'existentialisme.
Mais il peut aussi inventer n'importe quoi en suivant les chemins probabilistes issus de
son apprentissage. Alors comment savoir quand il dit vrai et quand il dit faux ? Cela est a priori impossible
sauf si l'on connaît soi-même la réponse, mais dans ce cas l'interroger
est inutile. Une petite suggestion malgré tout : poser plusieurs fois de suite une même question.
Si toutes les réponses obtenues sont sémantiquement identiques, tout en variant sur la
syntaxe, il sera possible de (peut-être) lui faire confiance. Par contre, si elles
diffèrent totalement comme on peut le voir facilement en itérant la question sur le théorème
« moyen » de Fermat, il est préférable de laisser ChatGPT à
ses hallucinations… Et très recommandable de ne pas en faire son assistant pour toute
tâche sérieuse dans le domaine des mathématiques.
Copyright © Jean-François COLONNA, 2025-2025.
Copyright © CMAP (Centre de Mathématiques APpliquées) UMR CNRS 7641 / École polytechnique, Institut Polytechnique de Paris, 2025-2025.
