Le mécanisme d'attention : comment l'IA saisit le contexte

« La souris a grignoté le câble. » Animal ou appareil ? Voici comment l'IA tranche — et l'invention qui a tout déclenché.

Dans l'épisode précédent, on a vu que l'IA transforme vos mots en nombres. Mais un mot seul ne veut rien dire : « souris » change de sens selon la phrase. Comment la machine sait-elle laquelle ? Grâce au mécanisme d'attention.

Chaque mot « regarde » les autres

L'idée est étonnamment simple. Pour interpréter un mot, l'IA lui fait regarder tous les autres mots de la phrase, et décider lesquels comptent le plus pour lui. « Souris » va donner beaucoup de poids à « grignoté » et « câble » — et comprendre qu'on parle de l'animal.

Ce calcul, l'IA le fait pour chaque mot, en parallèle, sur toute la phrase. Chaque mot se recolorie du sens des autres. C'est ça, « comprendre le contexte » — non pas une intuition, mais une pondération.

L'invention qui a tout déclenché

Ce mécanisme est le cœur des transformers — le « T » de GPT. Avant eux, les machines lisaient les phrases mot à mot, de gauche à droite, et « oubliaient » vite le début. L'attention leur a permis de tout regarder d'un coup, et de saisir des liens à longue distance (« Le contrat que Marie a signé hier est nul » — l'IA relie « contrat » et « est » malgré la distance).

L'attention, ce n'est pas de la compréhension. C'est un immense calcul de « qui compte pour qui » — mais fait si finement qu'il en donne l'illusion.

Pourquoi ça compte pour vous

• Ça explique pourquoi l'IA est si sensible à la formulation : changez un mot, vous changez les pondérations, donc la réponse.
• Ça explique pourquoi le contexte que vous donnez pèse : plus vos mots sont précis, mieux l'attention « cible » le bon sens.
• Et ça rappelle que l'IA ne « sait » rien du monde : elle ne fait que relier des mots entre eux. D'où l'épisode suivant…

Vulgarisation personnelle, à titre pédagogique. Contenu original ; ne reproduit aucun document tiers. © Sofiane Coly — sofianecoly.com