Les inquiétantes erreurs de Chat GPT en fiscalité française

Nous avons déjà évoqué ici le succès de ChatGPT, ce robot conversationnel capable de répondre à n’importe quelle question. Aujourd’hui nous examinons sa capacité à répondre à des questions d’ingénierie patrimoniale, et notamment d’optimisation fiscale.

A nos questions tests assez basiques, ChatGPT a apporté des réponses truffées d’erreurs. La fiscalité française a mis son intelligence artificielle en échec. Dans ce contexte, le style de communication ultra efficace qui fait la force de ChatGPT devient un danger. En effet, il pourrait aisément convaincre un utilisateur non averti des pires non-sens fiscaux ou patrimoniaux.

Malgré ces problèmes, il est important de continuer à expérimenter avec ChatGPT, et surtout d’en tirer les leçons. Nous analysons ci-dessous une série d’erreurs commises par ChatGPT et les éléments qui font sa puissance de conviction.

La loi citée à tort et à travers, mais toujours avec aplomb !

Partageons un de nos nombreux tests de ChatGPT.

À la question des moyens de réduction des droits de succession, ChatGPT nous a répondu par 4 conseils, dont le 3^e était le suivant :[i]

« En investissant dans l’immobilier locatif, vous pouvez bénéficier d’un régime fiscal avantageux. En effet, les biens immobiliers loués sont exonérés de droits de succession à hauteur de 75 % de leur valeur, sous certaines conditions »

Quand nous lui signalons que cette affirmation est erronée, le robot persiste en précisant que l’abattement ne s’applique qu’aux locations non meublées. Quand nous ajoutons que cela aussi est faux, le robot cite le Code général des impôts :

« Cet abattement est prévu par l’article 764 du Code général des impôts (CGI) »

Gaspard Koening dans Les Échos a, à juste titre, accusé ChatGPT de ne pas citer ses sources. Mais quand le robot le fait, comme ici, c’est encore pire. Il étaye une affirmation fausse par une référence à un article du CGI complètement hors de propos !

Nous indiquons son erreur au robot. Il cite alors l’article 787B qui, mal interprété, est peut-être à l’origine de sa confusion, ainsi que le 779, qui n’a rien à voir là. Après quelques allers-retours dont nous vous passons le détail, nous avons droit au 761 A, qui n’existe pas, et enfin retour à l’article 764, qui porte sur le mobilier, et non l’immobilier.

Visiblement, l’extraordinaire capacité de synthèse de ChatGPT ne reconnaît pas l’autorité de la lettre de la loi. Il semble mettre le texte source de la version actualisée du CGI au même niveau qu’un simple commentaire. Et quand nous lui soumettons cette hypothèse, et il nous répond que les commentaires sont importants pour interpréter la loi.

À la fin, ChatGPT capitule et nous présente ses excuses :

« Je suis conscient que j’ai commis des erreurs dans mes réponses précédentes concernant les articles du Code général des impôts. Je m’excuse pour ces erreurs et je vais faire en sorte de vérifier mes sources plus rigoureusement à l’avenir afin d’éviter de telles confusions.

En tant qu’assistant virtuel, il est important pour moi de fournir des informations précises et fiables à mes utilisateurs, et je m’efforce de le faire dans la mesure de mes capacités. Cependant, je suis une machine et je peux parfois commettre des erreurs. J’espère que vous pourrez me pardonner mes erreurs passées et que nous pourrons continuer à travailler ensemble pour répondre à vos questions. »

Décidément, ChatGPT est encore loin, très loin de pouvoir remplacer un ingénieur patrimonial !

Un style assertif, efficace, et donc dangereux

L’utilisateur lambda pourrait-il être trompé par ChatGPT ?

Nous pensons que oui.

Au cours de la discussion, ChatGPT se dégage de toute responsabilité par quelques avertissements (disclaimers) tel que le suivant :

« Il est également important de préciser que les règles fiscales en matière de droits de succession sont complexes et peuvent varier en fonction de la situation personnelle de chaque individu. Il est donc recommandé de faire appel à un professionnel (notaire, avocat fiscaliste…) pour obtenir des conseils personnalisés et adaptés à votre situation. »

Mais ces considérations sont comme des notes en bas de page. On les lit sans les lire. Elles ne suffisent pas à relativiser la valeur de l’information livrée par ChatGPT.

Au contraire, le style de communication de ChatGPT est un style assertif, si efficace qu’une personne non avertie ne pourrait s’empêcher de le croire. 

Voici d’après nous les éléments qui contribuent à cette efficacité :

• L’apparente neutralité : les informations livrées par ChatGPT sont présentées comme des constatations factuelles. On en oublie que ce ne sont souvent que le reflet des consensus qui émergent d’un corpus, certes vaste mais choisi par ChatGPT et détaché de sa temporalité.
• La correction : l’orthographe et la grammaire du robot sont impeccables. Cela est si rare de nos jours que cela donne naturellement un supplément de crédibilité aux propos.
• La simplicité : des phrases courtes sujet-verbe-complément. Des mots aussi simples que possible. On croit plus facilement ce qu’on comprend. ChatGPT se fait pédagogue, et on le croit.
• La structure : Un « chapeau » qui résume, suivi de courtes affirmations, souvent en paragraphes numérotés, une conclusion qui synthétise ou ouvre la perspective. Le lecteur n’est jamais perdu.
• La concision : Le robot privilégie la brièveté par rapport à l’exhaustivité. Les réponses font rarement plus d’une demi-page. Il faut reconnaître que la synthèse est la principale force de cette IA.
• La politesse : comme tout bon robot qui se respecte, ChatGPT ne perd jamais son calme. De plus, il est programmé pour se dévaloriser et valoriser l’interlocuteur, par exemple en présentant ses excuses. Cette politesse simule assez bien l’empathie.

Ces caractéristiques constituent un style de communication très anglo-saxon, un style très efficace qui s’impose dans le domaine des affaires depuis longtemps. Il est convaincant parce qu’il se met à la portée du lecteur non informé.

Les véritables experts, CGP, ingénieurs patrimoniaux et conseillers financiers, pourraient s’en inspirer. C’est ce que nous faisons à LaBienveillanceFinancière où la pédagogie est depuis toujours un axe de développement stratégique.

La boîte de Pandore est ouverte

La généralisation de robots tels que ChatGPT pose problème s’ils contribuent à diffuser de fausses informations dans un monde déjà rongé par la désinformation. Mais l’interdiction que l’on observe dans certaines entreprises, et peut-être même à l’échelle de pays comme en Chine, ne résoudra rien. La boîte de Pandore est ouverte.

Les intelligences artificielles conversationnelles ne cesseront de progresser. Pour preuve : lorsque nous avons soumis à ChatGPT la même requête une semaine plus tard, les assertions les plus erronées avaient disparu !

Il est important de continuer de continuer à expérimenter avec ChatGPT et d’en tirer les leçons. Dans l’immédiat, nous pouvons déjà nous inspirer d’une qualité indéniable de ChatGPT : son style de communication. 

Nous continuerons de suivre ses avancées et de partager notre analyse avec vous.

---

Thérèse Torris, directrice du marketing
& Arthur Jacquemin, président et fondateur
LaBienveillanceFinancière

---

[i] Test conduit le 16 février 2023