Résumé du chapitre

Au cours de ce chapitre, vous avez vu comment approcher différents problèmes de NLP en utilisant la fonction pipeline() de la bibliothèque 🤗 Transformers. Vous avez également vu comment rechercher et utiliser des modèles dans le Hub ainsi que comment utiliser l’API d’inférence pour tester les modèles directement dans votre navigateur.

Nous avons pu aborder le fonctionnement des transformers de façon générale et parler de l’importance de l’apprentissage par transfert et du finetuning. Un point important est que vous pouvez utiliser l’architecture complète ou seulement l’encodeur ou le décodeur, selon le type de tâche que vous souhaitez résoudre. Le tableau suivant résume ceci :

Modèle	Exemples	Tâches
Encodeur	ALBERT, BERT, DistilBERT, ELECTRA, RoBERTa	Classification de phrase, reconnaissance d’entités nommées, extraction de question-réponse
Décodeur	CTRL, GPT, GPT-2, Transformer XL	Génération de texte
Encodeur-décodeur	BART, T5, Marian, mBART	Résumé, traduction, génération de question-réponse