Comment fonctionnent les <i> transformers </i> ?

Dans cette partie, nous allons jeter un coup d’œil à l’architecture des transformers.

Court historique des <i> transformers </i>

Voici quelques dates clefs dans la courte histoire des transformers :

L’architecture Transformer a été présentée en juin 2017. Initialement, la recherche portait sur la tâche de traduction. Elle a été suivie par l’introduction de plusieurs modèles influents, notamment :

• Juin 2018 : GPT, le premier transformer pré-entraîné et finetuné sur différentes tâches de NLP et ayant obtenu des résultats à l’état de l’art,

• Octobre 2018 : BERT, autre grand modèle pré-entraîné ayant été construit pour produire de meilleurs résumés de texte (plus de détails dans le chapitre suivant !),

• Février 2019 : GPT-2, une version améliorée (et plus grande) de GPT qui n’a pas été directement rendu publique pour cause de raisons éthiques,

• Octobre 2019 : DistilBERT, une version distillée de BERT étant 60% plus rapide, 40% plus légère en mémoire et conservant tout de même 97% des performances initiales de BERT,

• Octobre 2019 : BART et T5, deux modèles pré-entraînés utilisant la même architecture que le transformer original (les premiers à faire cela),

• Mai 2020 : GPT-3, une version encore plus grande que GPT-2 ayant des performances très bonnes sur une variété de tâches ne nécessitant pas de finetuning (appelé zero-shot learning).

Cette liste est loin d’être exhaustive et met en lumière certains transformers. Plus largement, ces modèles peuvent être regroupés en trois catégories :

• ceux de type GPT (aussi appelés transformers autorégressifs)
• ceux de type BERT (aussi appelés transformers auto-encodeurs)
• ceux de type BART/T5 (aussi appelés transformers séquence-à-séquence)

Nous verrons plus en profondeur ces familles de modèles plus tard.

Les <i> transformers </i> sont des modèles de langage

Tous les transformers mentionnés ci-dessus (GPT, BERT, BART, T5, etc.) ont été entraînés comme des modèles de langage. Cela signifie qu’ils ont été entraînés sur une large quantité de textes bruts de manière autosupervisée. L’apprentissage autosupervisé est un type d’entraînement dans lequel l’objectif est automatiquement calculé à partir des entrées du modèle. Cela signifie que les humains ne sont pas nécessaires pour étiqueter les données !

Ce type de modèle développe une compréhension statistique de la langue sur laquelle il a été entraîné, mais il n’est pas très utile pour des tâches pratiques spécifiques. Pour cette raison, le modèle pré-entraîné passe ensuite par un processus appelé apprentissage par transfert. Au cours de ce processus, le modèle est finetuné de manière supervisée (c’est-à-dire en utilisant des étiquettes annotées par des humains) pour une tâche donnée.

Un exemple de tâche consiste à prédire le mot suivant dans une phrase après avoir lu les n mots précédents. Cette tâche est appelée modélisation causale du langage car la sortie dépend des entrées passées et présentes, mais pas des entrées futures.

Un autre exemple est la modélisation du langage masqué, dans laquelle le modèle prédit un mot masqué dans la phrase.

Les <i> transformers </i> sont énormes

En dehors de quelques exceptions (comme DistilBERT), la stratégie générale pour obtenir de meilleure performance consiste à augmenter la taille des modèles ainsi que la quantité de données utilisées pour l’entraînement de ces derniers.

Malheureusement, entraîner un modèle et particulièrement un très grand modèle, nécessite une importante quantité de données. Cela devient très coûteux en termes de temps et de ressources de calcul. Cela se traduit même par un impact environnemental comme le montre le graphique suivant.

L’image montre l’empreinte carbone pour un projet d’entraînement d’un (très grand) modèle mené par une équipe qui pourtant essaie consciemment de réduire l’impact environnemental du pré-entraînement. L’empreinte de l’exécution de nombreux essais pour obtenir les meilleurs hyperparamètres serait encore plus élevée.

Imaginez qu’à chaque fois qu’une équipe de recherche, une association d’étudiants ou une entreprise souhaite entraîner un modèle, elle le fasse en partant de zéro. Cela entraînerait des coûts globaux énormes et inutiles !

C’est pourquoi le partage des modèles du langage est primordial : partager les poids d’entraînement et construire à partir de ces poids permet de réduire les coûts de calcul globaux ainsi que l’empreinte carbone de toute la communauté.

A noter que vous pouvez d’ailleurs évaluer l’empreinte carbone de l’entraînement de vos modèles à travers plusieurs outils. Par exemple ML CO2 Impact ou bien Code Carbon qui est intégré dans 🤗 Transformers. Pour en savoir plus à ce sujet, vous pouvez lire cet article de blog qui vous montrera comment faire pour générer un fichier emissions.csv comportant une estimation de l’empreinte de votre entraînement, ainsi que la documentation de 🤗 Transformers abordant ce thème.

L’apprentissage par transfert

Le pré-entraînement consiste à entraîner un modèle à partir de zéro : les poids sont initialisés de manière aléatoire et l’entraînement commence sans aucune connaissance préalable.

Ce pré-entraînement est généralement effectué sur de très grandes quantités de données. Il nécessite donc un très grand corpus de données et l’entraînement peut prendre jusqu’à plusieurs semaines.

Le finetuning, quant à lui, est l’entrainement effectué après qu’un modèle ait été pré-entraîné. Pour effectuer un finetuning, vous devez d’abord acquérir un modèle de langue pré-entraîné, puis effectuer un entraînement supplémentaire avec un jeu de données spécifiques. Mais pourquoi ne pas entraîner directement pour la tâche finale ? Il y a plusieurs raisons à cela :

• Le modèle pré-entraîné a déjà été entraîné sur un jeu de données qui présente certaines similitudes avec le jeu de données de finetuning. Le processus de finetuning est donc en mesure de tirer parti des connaissances acquises par le modèle initial lors du pré-entraînement (par exemple, pour les problèmes de langage naturel, le modèle pré-entraîné aura une certaine compréhension statistique de la langue que vous utilisez pour votre tâche)
• Comme le modèle pré-entraîné a déjà été entraîné sur de nombreuses données, le finetuning nécessite beaucoup moins de données pour obtenir des résultats décents.
• Pour la même raison, le temps et les ressources nécessaires pour obtenir de bons résultats sont beaucoup moins importants.

Par exemple, il est possible d’exploiter un modèle pré-entraîné entraîné sur la langue anglaise, puis de le finetuner sur un corpus arXiv, pour obtenir un modèle basé sur la science et la recherche. Le finetuning ne nécessitera qu’une quantité limitée de données : les connaissances acquises par le modèle pré-entraîné sont « transférées », d’où le terme d’apprentissage par transfert.

Le finetuning d’un modèle a donc un coût moindre en termes de temps, de données, de finances et d’environnement. Il est aussi plus rapide et plus facile d’itérer sur différents schémas de finetuning car l’entraînement est moins contraignant qu’un pré-entraînement complet.

Ce processus permet également d’obtenir de meilleurs résultats que l’entraînement à partir de zéro (à moins que vous ne disposiez d’un grand nombre de données). C’est pourquoi vous devez toujours essayer de tirer parti d’un modèle pré-entraîné, c’est-à-dire un modèle aussi proche que possible de la tâche que vous avez à accomplir, et de le finetuner.

Architecture générale

Dans cette section, nous allons voir l’architecture générale des transformers. Pas d’inquiétudes si vous ne comprenez pas tous les concepts, des sections détaillées qui couvrent chaque composant seront abordées plus tard.

Introduction

Le modèle est principalement composé de deux blocs :

• Encodeur (à gauche) : l’encodeur reçoit une entrée et construit une représentation de celle-ci (ses caractéristiques). Cela signifie que le modèle est optimisé pour acquérir une compréhension venant de ces entrées.
• Décodeur (à droite) : le décodeur utilise la représentation de l’encodeur (les caractéristiques) en plus des autres entrées pour générer une séquence cible. Cela signifie que le modèle est optimisé pour générer des sorties.

Chacun de ces blocs peuvent être utilisés indépendamment en fonction de la tâche que l’on souhaite traiter :

• Modèles uniquement encodeurs : adaptés pour des tâches qui nécessitent une compréhension de l’entrée, comme la classification de phrases et la reconnaissance d’entités nommées.
• Modèles uniquement décodeurs : adaptés pour les tâches génératives telles que la génération de texte.
• Modèles encodeurs-décodeurs (ou modèles de séquence-à-séquence) : adaptés aux tâches génératives qui nécessitent une entrée, telles que la traduction ou le résumé de texte.

Nous verrons plus en détails chacune de ces architectures plus tard.

Les couches d’attention

Une caractéristique clé des transformers est qu’ils sont construits avec des couches spéciales appelées couches d’attention. En fait, le titre du papier introduisant l’architecture transformer se nomme Attention Is All You Need ! Nous explorerons les détails des couches d’attention plus tard dans le cours. Pour l’instant, tout ce que vous devez savoir est que cette couche indique au modèle de prêter une attention spécifique à certains mots de la phrase que vous lui avez passée (et d’ignorer plus ou moins les autres) lors du traitement de la représentation de chaque mot.

Pour mettre cela en contexte, considérons la tâche de traduire un texte de l’anglais au français. Étant donné l’entrée « You like this course », un modèle de traduction devra également s’intéresser au mot adjacent « You » pour obtenir la traduction correcte du mot « like », car en français le verbe « like » se conjugue différemment selon le sujet. Le reste de la phrase n’est en revanche pas utile pour la traduction de ce mot. Dans le même ordre d’idées, pour traduire « this », le modèle devra également faire attention au mot « course » car « this » se traduit différemment selon que le nom associé est masculin ou féminin. Là encore, les autres mots de la phrase n’auront aucune importance pour la traduction de « this ». Avec des phrases plus complexes (et des règles de grammaire plus complexes), le modèle devra prêter une attention particulière aux mots qui pourraient apparaître plus loin dans la phrase pour traduire correctement chaque mot.

Le même concept s’applique à toute tâche associée au langage naturel : un mot en lui-même a un sens, mais ce sens est profondément affecté par le contexte, qui peut être n’importe quel autre mot (ou mots) avant ou après le mot étudié.

Maintenant que vous avez une idée plus précise des couches d’attentions, nous allons regarder de plus près l’architecture des transformers.

L’architecture originale

L’architecture du transformer a initialement été construite pour la tâche de traduction. Pendant l’entraînement, l’encodeur reçoit des entrées (des phrases) dans une certaine langue, tandis que le décodeur reçoit la même phrase traduite dans la langue cible. Pour l’encodeur, les couches d’attention peuvent utiliser tous les mots d’une phrase (puisque comme nous venons de le voir, la traduction d’un mot donné peut dépendre de ce qui le suit ou le précède dans la phrase). Le décodeur, quant à lui, fonctionne de façon séquentielle et ne peut porter son attention qu’aux mots déjà traduits dans la phrase (donc uniquement les mots générés avant le mot en cours). Par exemple, lorsqu’on a prédit les trois premiers mots de la phrase cible, on les donne au décodeur qui utilise alors toutes les entrées de l’encodeur pour essayer de prédire le quatrième mot.

Pour accélérer les choses pendant l’apprentissage (lorsque le modèle a accès aux phrases cibles), le décodeur est alimenté avec la cible entière, mais il n’est pas autorisé à utiliser les mots futurs (s’il avait accès au mot en position 2 lorsqu’il essayait de prédire le mot en position 2, le problème ne serait pas très difficile !). Par exemple, en essayant de prédire le quatrième mot, la couche d’attention n’aura accès qu’aux mots des positions 1 à 3.

L’architecture originale du transformer ressemble à ceci, avec l’encodeur à gauche et le décodeur à droite :

Notez que la première couche d’attention dans un bloc décodeur prête attention à toutes les entrées (passées) du décodeur, mais que la deuxième couche d’attention utilise la sortie de l’encodeur. Elle peut donc accéder à l’ensemble de la phrase d’entrée pour prédire au mieux le mot actuel. C’est très utile, car différentes langues peuvent avoir des règles grammaticales qui placent les mots dans un ordre différent, ou un contexte fourni plus tard dans la phrase peut être utile pour déterminer la meilleure traduction d’un mot donné.

Le masque d’attention peut également être utilisé dans l’encodeur/décodeur pour empêcher le modèle de prêter attention à certains mots spéciaux. Par exemple, le mot de remplissage spécial (le padding) utilisé pour que toutes les entrées aient la même longueur lors du regroupement de phrases.

Architectures contre <i> checkpoints </i>

En approfondissant l’étude des transformers dans ce cours, vous verrez des mentions d’architectures et de checkpoints ainsi que de modèles. Ces termes ont tous des significations légèrement différentes :

• Architecture : c’est le squelette du modèle, la définition de chaque couche et chaque opération qui se produit au sein du modèle.
• Checkpoints : ce sont les poids qui seront chargés dans une architecture donnée.
• Modèle : c’est un mot valise n’étant pas aussi précis que les mots « architecture » ou « checkpoint ». Il peut désigner l’un comme l’autre. Dans ce cours, il sera spécifié architecture ou checkpoint lorsqu’il sera essentiel de réduire toute ambiguïté.

Par exemple, BERT est une architecture alors que bert-base-cased (un ensemble de poids entraîné par l’équipe de Google lors de la première sortie de BERT) est un checkpoint. Cependant, il est possible de dire « le modèle BERT » et « le modèle bert-base-cased ».