Maurice Caveing, Le problème des objets dans la pensée mathématique, Paris, Vrin, coll. « Problèmes et controverses », 2004, 286 pages.

L’ouvrage de Maurice Caveing appartient à la tradition française de l’épistémologie historique, c’est-à-dire qu’il met l’accent davantage sur l’histoire des problèmes que sur leur solution contemporaine ou leur actualité fondationnelle. C’est donc un travail de facture traditionnelle qui s’inspire en bonne part de Desanti – l’ouvrage est dédié à sa mémoire – et dans une moindre mesure de Granger dont certains passages de l’ouvrage empruntent les idées, si ce n’est le style. Mais le Brunschvicg des Étapes de la philosophie mathématique est aussi présent chez un auteur qui s’est fait connaître pour ses importants travaux sur les mathématiques grecques. Du côté philosophique, Kant et Husserl sont mis à profit dans une thèse épistémologique qui conclut que « l’objectivité des mathématiques n’est pas fondée dans l’empirie, ni dans l’être d’« objets », quels qu’ils soient, mais dans les conditions a priori du rapport d’un sujet concret au monde » (p. 277).

On comprendra que cette thèse porte sur la phénoménologie des objets mathématiques dans sa reprise desantienne. Plutôt que de mettre l’accent sur la construction des structures mathématiques, l’auteur voudra réviser à la manière de Cavaillès et Desanti le style phénoménologique de Husserl en l’infléchissant vers une théorie des objets mathématiques pour mettre en suspens le pôle du sujet constituant dans l’égologie transcendantale. La bipolarité husserlienne de l’intentionnalité est ainsi amputée au profit d’une théorie des objets mathématiques dont le statut reste ambigu dans le rapport d’un a priori transcendant et d’un sujet immanent (concret).

Un premier chapitre porte sur la pensée opératoire, et l’on y apprend que Valéry a privilégié les actes sur les objets et, plus sérieusement, que l’arithmétique était la théorie de la logistique au sens grec du calcul logique (p. 27). Mieux que le Husserl de L’origine de la géométrie, c’est le Desargues de la géométrie projective et du point à l’infini qui peut ouvrir l’horizon du spectre d’idéalité des objets mathématiques, dans le langage de Desanti (chap. II sur l’historicité des mathématiques).

Le chapitre III est consacré à l’abstraction dans les mathématiques, et l’auteur y introduit le terme de M-objets et l’idée de domaine de connexion empruntée à Desanti pour marquer la spécificité des objets mathématiques. Les paliers de l’abstraction, idéalisation et thématisation, ne doivent pas entraîner d’engagement ontologique envers les M-objets, puisque l’objectivité de la connaissance mathématique (chap. IV) ne le requiert pas ; c’est davantage un principe d’intersubjectivité, que l’auteur appelle omnisubjectivité, faisant écho à l’omnicommunication de Lacan, qui gouverne le domaine des M-objets. On trouvera ici une brève discussion, peu concluante, des axiomes du sujet créateur, idée brouwerrienne reprise par G. Kreisel. Le domaine des M-objets, soutient l’auteur, n’est pas soumis au jeu ou au langage, mais ressortit d’un champ transcendantal propre aux mathématiques. L’auteur, s’autorisant d’une idée du mathématicien Alain Connes (analyse et géométrie non commutatives), nous dit que seules les théories mathématiques intéressantes ont un contenu informationnel infini et que ce n’est pas le cas des langues naturelles. Qui connaît Chomsky et sa théorie de la génération récursive du langage pourrait contredire Connes et l’auteur ici (chap. V). Mais c’est Wittgenstein qui prend la relève dans ce contexte pour invalider le concept de langage privé au profit d’un langage opérateur de transcendance (p.157 et ss.) qui assure l’omniobjectivité phénoménologique des objets mathématiques. Husserl avait dit : « La subjectivité transcendantale, c’est l’intersubjectivité transcendantale ».

L’auteur aborde ensuite timidement les questions de logique (chap. VI). Il nous avait prévenu dans son introduction que son livre ne portait pas sur la logique mathématique ou sur les fondements des mathématiques avec la méfiance caractéristique de la tradition épistémologique française face à la logique formelle, de Brunschvicg à Desanti et Châtelet. On pourra le mesurer aux imprécisions du texte portant sur les notions logiques : « la complétude de l’algèbre et de la géométrie élémentaire a été démontrée par Tarski (1930) » (p. 28). Il s’agit ici plutôt du théorème de décision. Plus loin, l’auteur s’engage dans une théorie des relations (chap. VII) où il discute du M-objet « ensemble » (p. 205) ; la discussion est de nouveau informelle, et l’auteur néglige de dire que le « singleton » {a} dans l’axiome de l’infini de la théorie axiomatique des ensembles est un successeur pour tout élément de l’ensemble infini dénombrable des nombres naturels (p. 210). Les notions de nombre entier, espace, figures de géométrie, subissent une « réduction » phénoménologique dans une théorie des relations intramathématiques qui se démarque de l’analyse logique (p. 234).

L’illusion transcendantale (chap. VIII) opère un retour à Kant pour tenter d’éliminer l’intuition spatiale dans la théorie relationnelle des structures mathématiques. La théorie (mathématique) des catégories fournit à l’auteur l’occasion (p. 251 et ss.) d’une autre discussion informelle de concepts élémentaires où il voit à l’oeuvre la mise entre parenthèses de l’intuition. Il ne dit pas si l’art diagrammatique – les diagrammes commutatifs dont il ne parle pas – propre à la théorie des catégories est un obstacle ou un outil privilégié dans la saisie intuitive des structures abstraites que sont les catégories, pourtant des « M-objets bien construits en tant que synthétiques a priori » (p. 185). Le chapitre final sur « L’impensé et l’illusoire » veut nous rappeler que l’illusion transcendantale porte sur des objets ou choses en soi – dont la source est dans la perception des objets physiques –, et que les neuro-sciences ne peuvent ramener les relations intramathématiques à des structures du comportement perceptif.

L’ouvrage est parsemé d’aperçus historiques pertinents, des Grecs à Descartes et Leibniz jusqu’à Poincaré. C’est là certes une des caractéristiques de l’épistémologie historique des mathématiques, et si l’auteur n’offre pas une posture fondationnelle ferme sur la question des objets dans la pensée mathématique, l’ouvrage a le mérite de ne pas outrepasser les limites d’une entreprise qui aborde le problème d’un point de vue informel ancré dans une tradition philosophique bien définie.