Pourquoi l’IA de Google n’arrive pas à épeler « Google » (ni grand-chose d’autre)

Résumé

L’IA Overview de Google enchaîne les fautes d’orthographe spectaculaires, jusqu’à mal épeler « Google » ou le nom du président américain. Ces erreurs révèlent une limite structurelle des grands modèles de langage, fondés sur des tokens plutôt que sur des lettres, et ravivent les critiques sur la fiabilité de la nouvelle recherche dopée à l’IA.

Les faits

L’IA Overview intégrée à la recherche Google multiplie les bévues, au point de se tromper sur le nombre de lettres dans des mots courants. L’article cite ainsi une réponse où le système affirme qu’il y a « deux P » dans « Google », alors que le nom de l’entreprise n’en contient aucun. Il indique aussi qu’il y a « exactement 1 “r” dans le mot “poop” » et prétend qu’il y a deux « d » dans « journalism », tout en l’épelant « j-o-u-r-n-a-d-i-s-m ». Pour le nom du président des États-Unis, l’IA signale bien une seule lettre P dans le patronyme, mais le restitue sous la forme aberrante « t-r-p-u-m ». Ces erreurs surviennent dans un contexte de refonte profonde de la recherche, Google ayant décidé de faire de l’IA générative « le centre » de son produit phare âgé de 29 ans. L’article rappelle que lors du premier déploiement des AI Overviews, la fonctionnalité s’était déjà illustrée en citant des posts satiriques de The Onion et Reddit, allant jusqu’à conseiller de manger des cailloux ou de mettre de la colle sur sa pizza. Un bug récent a également conduit la recherche du mot « disregard » à afficher une pseudo-défintion du type assistant conversationnel : « Compris. Dites-moi quand vous aurez une nouvelle consigne ou question ! ». Face aux critiques sur les fautes d’orthographe, Google a réagi par courriel en expliquant : « Compter les lettres à l’intérieur des mots est un défi connu pour les LLM, et nous travaillons à corriger ce problème particulier ». Les chercheurs interrogés soulignent que ces modèles, capables de coder une application en quelques secondes ou de résoudre des problèmes mathématiques complexes, restent au niveau d’un enfant de maternelle en orthographe. L’article rappelle que ces IA ne traitent pas les phrases comme une suite de mots et de lettres, mais comme des séquences de tokens. Elles convertissent le texte en représentations numériques, puis contextualisent ces vecteurs pour produire une réponse. Le chercheur Matthew Guzdial explique que les LLM « ne lisent » pas réellement le texte : pour le mot « the », le modèle dispose d’un encodage unique de son sens, sans connaissance explicite des lettres « T », « H », « E ». La doctorante Sheridan Feucht ajoute qu’il est « difficile d’échapper à la question de ce qu’est exactement un “mot” pour un modèle de langage » et estime qu’« il n’existe probablement pas de tokenizer parfait » en raison de cette indétermination.

Pourquoi c’est important

Ces ratés spectaculaires fragilisent l’ambition de Google de faire de l’IA générative le cœur de son moteur de recherche. Lorsque la page de résultats officielle se met à mal épeler le nom de l’entreprise ou à livrer des définitions absurdes, c’est la crédibilité même de l’expérience de recherche qui est en jeu, surtout après la polémique sur les conseils dangereux repérés dans les premiers AI Overviews. Au-delà de l’anecdote, ces fautes exposent un problème structurel des grands modèles de langage, construits sur une architecture de tokens qui ne manipule pas les lettres comme un humain le ferait. Les experts cités jugent peu probable qu’un « tokenizer parfait » vienne résoudre magiquement ces limites. Ces échecs rappelent aux utilisateurs que l’IA n’est pas infaillible et qu’il reste indispensable de vérifier les réponses, même lorsque celles-ci sont intégrées au produit de recherche le plus utilisé au monde.

Questions fréquentes

Quelles fautes d’orthographe commet l’IA Overview de Google ?

Elle affirme qu’il y a deux P dans « Google », un seul « r » dans « poop », deux « d » dans « journalism » qu’elle épèle « j-o-u-r-n-a-d-i-s-m », et écrit le nom du président américain « t-r-p-u-m ».

: Pourquoi Google parle d’un « défi connu » pour les LLM ?

Google explique que compter les lettres à l’intérieur des mots est un « défi connu » pour les grands modèles de langage, et assure travailler spécifiquement à corriger ce problème.

Pourquoi les LLM sont-ils mauvais en orthographe selon les chercheurs ?

Les chercheurs soulignent que les LLM ne « lisent » pas le texte lettre par lettre, mais le convertissent en tokens numériques. Ils ne manipulent donc pas explicitement les suites de lettres qui composent les mots.

Quelles erreurs antérieures ont été observées avec les AI Overviews ?

Lors du premier déploiement, les AI Overviews ont cité des posts satiriques de The Onion et Reddit, recommandant par exemple de manger des cailloux ou de mettre de la colle sur une pizza.

Existe-t-il un tokenizer parfait pour résoudre ces problèmes ?

La doctorante Sheridan Feucht estime qu’il n’existe probablement pas de tokenizer parfait, en raison de la difficulté à définir précisément ce qu’est un « mot » pour un modèle de langage.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.