Resumo

Nesse capítulo, você viu como abordar diferentes tarefas de NLP usando a função de alto nível pipeline() da biblioteca 🤗 Transformers. Você também viu como pesquisar e usar modelos no Hub, bem como usar a API de inferência para testar os modelos diretamente em seu navegador.

Discutimos como os modelos Transformers funcionam em alto nível e falamos sobre a importância do aprendizado de transferência (transfer learning) e do ajuste fino. Um aspecto chave é que você pode usar a arquitetura completa ou apenas o codificador ou decodificador, dependendo do tipo de tarefa que você pretende resolver. A tabela a seguir resume isso:

Modelo	Exemplos	Tarefas
Encoder	ALBERT, BERT, DistilBERT, ELECTRA, RoBERTa	Classificação de sentenças, reconhecimento de entidades nomeadas, Q&A
Decoder	CTRL, GPT, GPT-2, Transformer XL	Geração de texto
Encoder-decoder	BART, T5, Marian, mBART	Sumarização, tradução, perguntas e respostas gerativas