Google AI Overview : les erreurs d’orthographe qui révèlent les limites des LLM

Temps de lecture : 4 min

Quand Google ne sait plus compter les lettres

Combien de ‘P’ dans le mot « Google » ? Selon Google lui-même, il y en a deux. Mais quand on demande « combien de ‘R’ dans ‘poop’ ? », l’IA Overview répond « exactement 1 ». Et pour « journalisme », elle trouve deux ‘D’ – avant d’épeler le mot j-o-u-r-n-a-d-i-s-m. Au moins, elle a reconnu un ‘P’ dans le nom du président américain, mais en l’écrivant t-r-p-u-m. Ces bourdes ne sont pas une surprise, mais elles exposent les faiblesses criantes des modèles de langage.

Un pas de plus dans la confusion numérique

Il n’était pas nécessaire d’être devin pour prévoir que la refonte « IA d’abord » de Google allait mal passer. On a déjà vécu ça : la première fois que Google a intégré les AI Overviews, la fonctionnalité citait des posts satiriques du Onion et de Reddit, conseillant de manger des pierres ou de mettre de la colle sur sa pizza. Aujourd’hui, Google redouble d’efforts pour faire de l’IA générative le cœur de son produit phare vieux de 29 ans, et les bugs persistent.

Google a reconnu le problème dans un communiqué : « Compter les lettres dans les mots est un défi connu pour les LLM, et nous travaillons à résoudre ce problème particulier. » Ce n’est pas nouveau : les grands modèles de langage, comme ceux qui alimentent les chatbots, ne sont pas conçus pour comprendre l’orthographe. C’est un running gag depuis des années : chaque fois qu’une entreprise dévoile un nouveau modèle d’IA, il faut lui demander combien de ‘R’ il y a dans « strawberry ». Ces IA, capables de coder une appli en quelques secondes ou de résoudre des problèmes mathématiques complexes, ont à peu près le niveau d’un enfant de maternelle pour l’orthographe.

Au-delà des fautes, des limites structurelles

Les déboires des AI Overviews ne se limitent pas aux erreurs de comptage. Google a déjà corrigé un bug où la recherche du mot « disregard » affichait une définition ressemblant à : « Compris. Faites-moi savoir quand vous aurez une nouvelle instruction ou question ! » Mais ces erreurs orthographiques persistent parce qu’elles sont profondément ancrées dans l’architecture des modèles.

Matthew Guzdial, chercheur en IA à l’Université de l’Alberta, explique : « Les LLM sont basés sur une architecture de transformeurs, qui ne lit pas vraiment le texte. Quand vous entrez une requête, elle est traduite en un encodage numérique. Quand le modèle voit le mot ‘the’, il a un seul encodage de ce que ‘the’ signifie, mais il ne connaît pas les lettres ‘T’, ‘H’, ‘E’. »

Cette architecture basée sur des jetons (tokens) est intrinsèquement limitée. Les chercheurs doutent qu’on puisse un jour résoudre le problème. Sheridan Feucht, doctorante à l’Université Northeastern : « Il est difficile de cerner ce qu’est exactement un ‘mot’ pour un modèle langagier. Même avec un vocabulaire parfait, les modèles auraient besoin de ‘morceler’ davantage. Je ne pense pas qu’il existe de tokenizer parfait. »

Un rappel salutaire des limites de l’IA

Ce n’est pas le problème le plus urgent pour les chercheurs, car l’utilité des LLM ne réside pas dans leur capacité à épeler. Mais ces échecs flagrants nous rappellent que l’IA n’est pas parfaite, même quand elle donne l’impression d’être omnisciente. On ne peut pas faire confiance aveuglément à ses résultats sans vérifier leur exactitude. Dans les faits, c’est une leçon précieuse pour les utilisateurs, les entreprises et les décideurs : l’IA générative est un outil puissant, mais pas une source infaillible.

Ce contenu a été relu et édité selon les standards journalistiques d’Arthur Dumas. Les liens mentionnés peuvent générer des commissions, cela n’affecte pas notre indépendance éditoriale.