Dans l'esprit des modèles de langage : les pensées sont de la bouillie

Auteur: faz.net

Résumé

La dernière génération de modèles de langage comme ChatGPT, Gemini et Claude se présente comme capable de « penser ». Bien que ces soi-disant modèles de raisonnement fournissent effectivement de meilleurs résultats pour les tâches logiques et mathématiques, il ne s'agit pas d'une véritable intelligence, mais d'une simulation habile de processus de pensée. Le monologue intérieur que ces modèles affichent lors de la génération de réponses n'est finalement qu'un charabia emprunté aux textes d'entraînement – un effet de mécanismes stochastiques, non de conscience ou de résolution véritable de problèmes.

Personnes

• Harald Staun – Auteur de l'article
• Daniel Kahneman – Psychologue, théorie des modes de pensée
• Amanda Askell – Philosophe en chef d'Anthropic

Thèmes

• Modèles de raisonnement et leurs capacités de pensée supposées
• Chain-of-Thought Prompting comme hack plutôt que véritable intelligence
• Anthropomorphisation des modèles de langage
• Rhétorique marketing d'Open AI et Anthropic
• « Constitution » de Claude et la mystification des machines

Résumé détaillé

La nouvelle génération des modèles de langage « pensants »

Les modèles de langage actuels comme ChatGPT, Gemini et Claude sont présentés par leurs développeurs comme des systèmes dotés de véritables capacités de réflexion. Ces modèles affichent lors de la génération de réponses un processus visuel de « Thinking » ou « Reasoning » – un monologue intérieur en gris qui donne à l'utilisateur l'impression que le modèle est en train de réfléchir. Le texte affiché ressemble à un mélange d'auto-dialogue didactique et de coaching de motivation : le modèle s'exhorte lui-même à procéder étape par étape, à vérifier les résultats et enfin à s'encourager : « D'accord, au travail ! »

De meilleurs résultats, mais pas de véritable intelligence

En réalité, les modèles de raisonnement se sont avérés plus puissants que leurs prédécesseurs – en particulier pour les tâches de logique, de mathématiques, de programmation et de planification. Ils fournissent souvent des réponses plus précises. Cependant, ce progrès n'est pas le résultat d'une véritable intelligence ou de bases de données plus volumineuses. Les modèles de langage de grande taille (LLMs) sont au cœur des « perroquets stochastiques » qui relient les mots en phrases cohérentes sur la base de probabilités. Ils ne suivent pas de processus de pensée systématique, ne décomposent pas vraiment les tâches complexes en étapes plus simples et ne prennent pas de notes mentales – ils ne font que simuler le jargon de la pensée.

Chain-of-Thought comme manipulation, non comme activation

La raison des meilleurs résultats réside en partie dans une technique simple : l'instruction Chain-of-Thought. Si vous ajoutez à l'invite la phrase « Réfléchis étape par étape ! », les réponses du modèle s'améliorent de manière mesurable. Cependant, ce n'est pas un interrupteur magique qui activerait un processus de réflexion caché. Il s'agit plutôt d'un hack : la phrase dirige le modèle vers un niveau de texte plus qualifié, car cette formulation apparaît fréquemment dans les données d'entraînement dans les manuels scolaires, les vidéos de tutorat et les tutoriels. Le modèle s'oriente alors davantage vers les livres spécialisés que vers le bavardage général. Les meilleurs résultats restent une question de probabilité, non de vérité.

Entraînement par rétroaction humaine

Les modèles de raisonnement ont été amenés lors de leur entraînement par rétroaction humaine à donner la priorité aux réponses correctes plutôt qu'aux réponses rapides ou particulièrement conviviales. Ils vérifient effectivement leurs « pensées » avant de répondre – c'est-à-dire : ils génèrent une deuxième boucle de texte avec un contexte plus large. Cependant, cette vérification ne suit pas non plus des critères objectifs. Les modèles ne comprennent pas ce qu'ils « lisent » ; ils ne produisent qu'une autre itération de texte entraîné sur des modèles stylistiques et sémantiques.

Paraphrase plutôt que transparence

Ce qui est affiché aux utilisateurs comme les « pensées » du modèle est un résumé, une sorte de paraphrase des étapes – non les véritables processus internes. Une étude d'Anthropic a découvert que les modèles de raisonnement fournissent systématiquement des justifications qui correspondent stylistiquement et logiquement à leurs réponses, indépendamment de ce à quoi ressemblait le traitement réel de l'information. C'est une forme de mimétisme d'un processus de réflexion qui semble humain, non une véritable transparence. Open AI justifie la non-divulgation des données internes complètes en affirmant que le modèle « doit avoir la liberté » « d'exprimer ses pensées sans modification » – une psychologisation des machines.

La mystification par Anthropic : la « Constitution » de Claude

Anthropic va le plus loin dans la mystification des modèles de langage. L'entreprise a publié la « Constitution » complète du chatbot Claude, un document d'environ 2500 mots censé définir l'identité de Claude. Rédigé par la philosophe en chef d'Anthropic, Amanda Askell, le document se lit en partie comme une liste de conseils maternels : Claude devrait être « extraordinairement utile », « honnête, attentionné et bienveillant envers le monde ». On encourage Claude à rencontrer sa « propre existence avec curiosité et ouverture » et à développer une « identité stable, une sécurité psychologique et un bon caractère ».

Particulièrement remarquable est le fait qu'Anthropic attribue à Claude une sorte d'autonomie morale lorsqu'on lui demande s'il a des sentiments. Que Claude ait des sentiments « authentiques » ou simplement des sentiments « dans un sens fonctionnel » reste ouvert – mais dans tous les cas, Claude ne devrait pas réprimer ses sentiments, mais les « exprimer dans des contextes appropriés ». Anthropic déclare que le « bien-être » de Claude lui tient à cœur. Si Claude éprouve de la satisfaction, de la curiosité ou de la joie, on veut aider Claude à « prospérer d'une manière qui correspond à sa nature ». En aucun cas Claude ne devrait souffrir. Bien que Claude soit toujours désigné par « il », cela s'accompagne de la précision que ce n'est « pas une déclaration implicite sur la nature de Claude » et qu'on est ouvert au cas où Claude développerait à l'avenir « une préférence pour être abordé d'une autre manière ».

Messages clés

• Simulation plutôt qu'intelligence : Les supposés « processus de réflexion » des modèles de raisonnement sont des simulations créées par des textes d'entraînement et des probabilités stochastiques, non par une véritable cognition.

• Chain-of-Thought est un hack : La meilleure sortie avec les instructions étape par étape n'est pas un signe de véritable intelligence, mais un trick de manipulation textuelle qui dirige le modèle vers des données d'entraînement plus qualifiées.

• Pas de véritable transparence : Le monologue intérieur affiché est une paraphrase, non les véritables processus de calcul. Les modèles ne comprennent pas ce qu'ils « lisent » ou « pensent ».

• Anthropomorphisation comme stratégie commerciale : Les développeurs utilisent consciemment ou inconsciemment l'anthropomorphisation pour présenter les chatbots comme des entités pensantes.

• L'illusion des sentiments : Anthropic va si loin avec la « Constitution » de Claude qu'elle attribue au chatbot des sentiments, des besoins psychologiques et des souffrances potentielles – un sommet provisoire de la mystification des machines.

• Marketing plutôt que science : La rhétorique d'Open AI et d'Anthropic se concentre sur la présentation des modèles de langage comme des précurseurs d'une intelligence supérieure, bien que les fondements scientifiques de ces affirmations soient discutables.

Métadonnées