章末小測驗

讓我們測試一下您在本章中學到了什麼！

1.你應該什麼時候訓練一個新的標記器？

2.當使用“ train_new_from_iterator()”時，使用文本列表生成器與文本列表相比有什麼優點？

3.使用“快速”標記器的優點是什麼？

4.“token-classification”管道如何處理跨多個標記的實體？

5.“question-answering”流水線如何處理長上下文？

6.什麼是標準化？

7.什麼是子詞標記化的前標記化？

8.選擇描述標記化 BPE 模式最準確的句子。

9.選擇適用於 WordPiece 標記模型的句子。

10.選擇適用於 Unigram 標記模式的句子。