NLP Course documentation
「解碼器」模型
and get access to the augmented documentation experience
to get started
「解碼器」模型通常指僅使用解碼器的 Transformer 模型。在每個階段，對於給定的單詞，注意力層只能獲取到句子中位於將要預測單詞前面的單詞。這些模型通常被稱爲自迴歸模型。
「解碼器」模型的預訓練通常圍繞預測句子中的下一個單詞進行。
這些模型最適合於涉及文本生成的任務。
該系列模型的典型代表有：
