NLP Course documentation

Modelli decoder

NLP Course

0. Installazione

1. Modelli Transformer

Introduzione Natural Language Processing Cosa fanno i Transformer? Come funzionano i Transformer? Modelli encoder Modelli decoder Modelli sequence-to-sequence Bias e limiti Riassunto Quiz di fine capitolo

2. Usare i 🤗 Transformers

3. Affinamento di un modello pre-addestrato

4. Condividere modelli e tokenizers

5. La libreria 🤗 Datasets

8. Come chiedere un aiuto

9. Creare e condividere demo new

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Modelli decoder

I modelli decoder utilizzano solo il decoder di un modello Transformer. Ad ogni passaggio e per una data parola, gli attention layer hanno accesso solo alle parole che la precedono nella frase. Questi modelli sono spesso detti auto-regressive models.

Il pre-addestramento dei modelli decoder ha spesso a che fare con la previsione della parola successiva in un contesto frasale.

Questi modelli sono particolarmente adatti a compiti di generazione testuale.

Alcuni rappresentanti di questa famiglia includono:

←Modelli encoder Modelli sequence-to-sequence→