{ | |
"cls_token": "[bos]", | |
"mask_token": "[mask]", | |
"model_max_length": 135, | |
"pad_token": "[nop]", | |
"padding_side": "right", | |
"sep_token": "[eos]", | |
"tokenizer_class": "PreTrainedTokenizerFast", | |
"truncation_side": "right", | |
"unk_token": "[unk]" | |
} | |
{ | |
"cls_token": "[bos]", | |
"mask_token": "[mask]", | |
"model_max_length": 135, | |
"pad_token": "[nop]", | |
"padding_side": "right", | |
"sep_token": "[eos]", | |
"tokenizer_class": "PreTrainedTokenizerFast", | |
"truncation_side": "right", | |
"unk_token": "[unk]" | |
} | |