La théorie naïve des ensembles ou « science des patates » est le fondement naturel (et compréhensible !) de la science mathématique

Introduction : les concepts primitifs

« Je sais ce qu’est le temps. Si tu me le demandes, je ne le sais plus. » Saint-Augustin

Cette citation pénétrante de Saint-Augustin souligne qu’il existe des notions que nous comprenons du point de vue de l’intuition, mais que nous ne saurions expliquer : ce sont des concepts « primitifs », dont l’appréhension intuitive précède tout ce qu’on peut en dire.

Dans la science mathématique, il existe trois (types de) concepts primitifs : les nombres (entiers naturels : \(0,1,2,3,\ldots\)), les ensembles (la notion d’ensemble), et les objets (concept qui n’est pas spécifiquement mathématique, mais aussi philosophique).

1. Quelqu’un a-t-il la science des patates ?

Lorsque j’étais étudiant en Master de mathématiques, j’ai suivi un cours de géométrie algébrique. Le professeur nous a demandé lors de la première séance : « Est-ce que quelqu’un peut dire ce qu’est un ensemble ? En ce qui me concerne, on ne me l’a jamais expliqué ».

Logicien en herbe, j’avais une réponse à la question : un ensemble est un point d’un univers de la théorie ZFC des ensembles (si le lecteur ne comprend pas, c’est normal !). Je n’ai pas osé le dire, incertain de la réaction de mes camarades.

Dans le silence assourdissant et gêné, le prof nous a alors dessiné deux ou trois ellipses grossières au tableau, représentant des ensembles (de connaissances : chacune représentait un domaine des mathématiques), et nous a donné la définition suivante : « Pour moi, un ensemble, c’est une patate ». Bien sûr, tout le monde a (un peu) ri (c’était quand même l’ENS).

Avec le recul, je crois avoir compris sa définition : comme le temps pour Augustin, les ensembles sont pour les mathématiciens une notion primitive, intuitive, et aucune forme de théorie à leur propos ne peut remplacer l’intuition que nous en avons. Ma propre réponse, dans un sens valable bien sûr, n’était qu’un raffinement mathématique de l’interprétation des ensembles en tant que pluralité, à travers une définition de ce qu’est un univers d’ensembles ; mais elle ne disait rien sur ce qu’est un ensemble. Finalement, je ne regrette pas complètement de m’être tu.

E. Zermelo

2. Pourquoi faudrait-il définir ce qu’est un ensemble ?

2.1. Le point commun aux objets mathématiques

Pourquoi faudrait-il pouvoir définir ce qu’est un ensemble ? Après tout, la mathématique s’occupe surtout des nombres, des figures et formes géométriques, des fonctions, de l’espace, etc… Le problème est que si on « sent » que tous ces objets font partie d’une même science, on ne voit pas directement ce qu’ils ont en commun. Même la notion de nombre, qui permet de compter des quantités finies, ou des mesurer des grandeurs, n’a pu intégrer ces deux dimensions, arithmétique et géométrique, qu’à travers la création des nombres réels , lesquels sont d’ailleurs conçus et compris comme un ensemble.

2.2. Le langage conceptuel universel de la mathématique

En fait, la théorie des ensembles, que nous devons essentiellement à Georg Cantor (19ème siècle), a permis d’unifier la science mathématique : celle-ci étudie certains ensembles ou certains objets qui se représentent comme des ensembles. Cette théorie a ainsi fourni un langage conceptuel universel pour la science mathématique, et une méthode rigoureuse. En mathématique, on décrit tout, désormais, à l’aide des ensembles. Cela ne signifie pas qu’ils sont les seuls objets mathématiques, mais qu’ils occupent une place à part dans la théorie, tout comme les nombres entiers naturels (voir Qu’est-ce qu’un entier naturel ?).

2.3. Arithmétique, géométrie, analyse

A ce propos, on étudie par exemple, en arithmétique, non seulement des nombres individuels, mais aussi et surtout des propriétés d’ensembles de nombres, et notamment de l’ensemble \(\mathbb N\) des nombres entiers naturels. En géométrie plane, le plan est conçu comme un ensemble de points et la méthode de Descartes, qui consiste à introduire des coordonnées de ces points, permet de représenter ceux-ci et tous les objets géométriques du plan (et de l’espace…) à partir de « copies » de l’ensemble \(\mathbb R\) des nombres réels. En analyse, les fonctions usuelles comme \(\exp, \ln, \cos, \sin\ldots\) sont en fait des relations entre des ensembles, soit elles-mêmes des ensembles (du moins on peut les représenter comme tels).

G. Cantor

3. En quoi la théorie des ensemble est-elle naïve ?

3.1. La théorie naïve, c’est-à-dire intuitive, des ensembles

Pour ces raisons, il est nécessaire de comprendre les ensembles, dont on fait désormais un usage ubiquitaire. Les ensembles se décrivent, se construisent, se combinent… mais il ne le font pas n’importe comment, et il faut préciser les règles qui permettent de les « manipuler ». C’est ce que fait la théorie naïve des ensembles , où « naïve » signifie « intuitive », et pas « candide ». C’est en effet grâce à l’intuition élémentaire des ensembles et de leurs propriétés, compréhensible par tout le monde – même non mathématicien – qu’on bâtit cette théorie.

3.2. Préciser l’intuition sans définir les ensembles

Cependant, et assez curieusement, s’il est possible de dire beaucoup de choses dans cette théorie (qui sert de trame pour toute théorie mathématique, même la logique mathématique et la théorie axiomatique des ensembles, celle où vit la réponse que je n’ai pas osé donner), elle ne nous donne jamais non plus une définition de ce qu’est un ensemble : nous sommes, comme le temps, censés le savoir. La théorie naïve des ensembles précise donc notre intuition, à travers des définitions, des postulats…

3.3. Pas d’ensemble de tous les ensembles

Cette façon de faire n’est d’ailleurs pas unique dans la science mathématique : on ne peut pas plus définir un nombre entier naturel (au moins sur le plan mathématique, il en existe des définitions philosophiques intéressantes) qu’un ensemble, et l’arithmétique admet que nous savons ce que c’est : on étudie alors leur ensemble, c’est-à-dire qu’on les étudie tous ensemble, globalement. De même, si l’on peut « construire » ou « définir » un ensemble des nombres réels (la droite géométrique), ceci ne nous dit rien sur ce qu’est un nombre réel (bien qu’on puisse représenter un tel nombre, encore une fois comme un ensemble !). C’est peut-être pourquoi Bertrand Russell, mathématicien et philosophe, disait que la mathématique est la science où l’on ne sait pas de quoi on parle…. Toutefois, contrairement aux entiers naturels, aux réels, aux points du plan… on ne peut pas parler d’un « ensemble de tous les ensembles » : ceci entraîne un paradoxe logique, du nom du fameux Russell.

B. Russell

4. Peut-on faire mieux que la science des patates ?

4.1. La logique formelle

Oui et non. La théorie naïve des ensembles est fondée dans l’intuition de la notion d’ensemble, et est inévitable dans la construction mathématique moderne ; l’utilisation du symbolisme, issu de la logique mathématique et très commode, n’y change rien. Cela n’empêche pas qu’il soit possible de la représenter, comme les autres théories mathématiques, par une théorie « formelle », dans laquelle des objets mathématiques représentent le langage : on est ici dans la logique mathématique formelle.

4.2. La théorie axiomatique des ensembles

Cette logique mathématique est fort utile, et d’abord en ce qu’elle permet d’adopter une approche mathématique sur la théorie des ensembles elle-même : c’est le sujet de la théorie « axiomatique » des ensembles (au premier ordre, disons), qui permet de définir certains objets et de démontrer certains faits inaccessibles à la théorie naïve des ensembles.

4.3. La mathématique reste fondée dans la théorie naïve des ensembles

Mais elle ne peut pas, pas plus que les autres théories logiques fondamentales, remplacer la théorie naïve des ensembles, car elle s’appuie sur la théorie logique élémentaire appelée « calcul des prédicats », qui repose elle-même sur la théorie naïve des ensembles. Il n’est donc pas possible de fonder dans un sens ultime la science mathématique sur la théorie axiomatique des ensembles, pas plus que sur la théorie des catégories, des types, etc… Les querelles mathématiciennes sur les fondements des mathématiques sont donc, à notre avis, vaines, à moins qu’elle ne portent principalement sur la théorie naïve des ensembles.

4.4. Les univers au second ordre et les topos

A quoi il faut ajouter un bémol : ce qu’on peut faire en logique mathématique formelle, on peut le faire plus simplement avec des hypothèses plus fortes qui ne nécessitent aucun formalisme logique. C’est le cas de la théorie des univers « au second ordre » du fameux mathématicien (français!) Alexandre Grothendieck, et de la théorie des ensembles dite « de MacLane », autre mathématicien illustre. On peut aussi travailler directement avec des « univers » qui se comportent comme l’univers des ensembles : c’est la théorie des topos, commencée par le même Grothendieck. Mais ceci est une autre histoire.

A. Grothendieck

En somme…

On ne peut pas, sans doute, définir ce qu’est un ensemble. Mais pourquoi le faudrait-il, puisque nous le savons déjà ? L’intuition suffit, et tout le monde peut donc comprendre sans être mathématicien la théorie naïve des ensembles, et toute la logique dont on a besoin pour aborder toute la science mathématique moderne. L’apport de la logique mathématique moderne permet même de rendre tout ceci assez clair, ce qui est une très bonne nouvelle pour qui veut entreprendre de comprendre la mathématique.

Retrouvez l’article en vidéo sur MATHESIS, la chaîne YouTube :

Pour aller plus loin

La théorie naïve des ensembles et la logique mathématique naturelle sont le fondement de l’approche scientifique moderne des mathématiques. Découvrez une introduction élémentaire dans le cours numéro 1 (du semestre I) de MATHESIS :

Mathesis 1.1 : Entrer dans l’Univers Mathématique (Ensembles naturels, logique mathématique et démonstrations)