Upload tokenizer_config.json with huggingface_hub
Browse files- tokenizer_config.json +0 -99
tokenizer_config.json
CHANGED
|
@@ -827,105 +827,6 @@
|
|
| 827 |
}
|
| 828 |
},
|
| 829 |
"additional_special_tokens": [
|
| 830 |
-
"<extra_id_0>",
|
| 831 |
-
"<extra_id_1>",
|
| 832 |
-
"<extra_id_2>",
|
| 833 |
-
"<extra_id_3>",
|
| 834 |
-
"<extra_id_4>",
|
| 835 |
-
"<extra_id_5>",
|
| 836 |
-
"<extra_id_6>",
|
| 837 |
-
"<extra_id_7>",
|
| 838 |
-
"<extra_id_8>",
|
| 839 |
-
"<extra_id_9>",
|
| 840 |
-
"<extra_id_10>",
|
| 841 |
-
"<extra_id_11>",
|
| 842 |
-
"<extra_id_12>",
|
| 843 |
-
"<extra_id_13>",
|
| 844 |
-
"<extra_id_14>",
|
| 845 |
-
"<extra_id_15>",
|
| 846 |
-
"<extra_id_16>",
|
| 847 |
-
"<extra_id_17>",
|
| 848 |
-
"<extra_id_18>",
|
| 849 |
-
"<extra_id_19>",
|
| 850 |
-
"<extra_id_20>",
|
| 851 |
-
"<extra_id_21>",
|
| 852 |
-
"<extra_id_22>",
|
| 853 |
-
"<extra_id_23>",
|
| 854 |
-
"<extra_id_24>",
|
| 855 |
-
"<extra_id_25>",
|
| 856 |
-
"<extra_id_26>",
|
| 857 |
-
"<extra_id_27>",
|
| 858 |
-
"<extra_id_28>",
|
| 859 |
-
"<extra_id_29>",
|
| 860 |
-
"<extra_id_30>",
|
| 861 |
-
"<extra_id_31>",
|
| 862 |
-
"<extra_id_32>",
|
| 863 |
-
"<extra_id_33>",
|
| 864 |
-
"<extra_id_34>",
|
| 865 |
-
"<extra_id_35>",
|
| 866 |
-
"<extra_id_36>",
|
| 867 |
-
"<extra_id_37>",
|
| 868 |
-
"<extra_id_38>",
|
| 869 |
-
"<extra_id_39>",
|
| 870 |
-
"<extra_id_40>",
|
| 871 |
-
"<extra_id_41>",
|
| 872 |
-
"<extra_id_42>",
|
| 873 |
-
"<extra_id_43>",
|
| 874 |
-
"<extra_id_44>",
|
| 875 |
-
"<extra_id_45>",
|
| 876 |
-
"<extra_id_46>",
|
| 877 |
-
"<extra_id_47>",
|
| 878 |
-
"<extra_id_48>",
|
| 879 |
-
"<extra_id_49>",
|
| 880 |
-
"<extra_id_50>",
|
| 881 |
-
"<extra_id_51>",
|
| 882 |
-
"<extra_id_52>",
|
| 883 |
-
"<extra_id_53>",
|
| 884 |
-
"<extra_id_54>",
|
| 885 |
-
"<extra_id_55>",
|
| 886 |
-
"<extra_id_56>",
|
| 887 |
-
"<extra_id_57>",
|
| 888 |
-
"<extra_id_58>",
|
| 889 |
-
"<extra_id_59>",
|
| 890 |
-
"<extra_id_60>",
|
| 891 |
-
"<extra_id_61>",
|
| 892 |
-
"<extra_id_62>",
|
| 893 |
-
"<extra_id_63>",
|
| 894 |
-
"<extra_id_64>",
|
| 895 |
-
"<extra_id_65>",
|
| 896 |
-
"<extra_id_66>",
|
| 897 |
-
"<extra_id_67>",
|
| 898 |
-
"<extra_id_68>",
|
| 899 |
-
"<extra_id_69>",
|
| 900 |
-
"<extra_id_70>",
|
| 901 |
-
"<extra_id_71>",
|
| 902 |
-
"<extra_id_72>",
|
| 903 |
-
"<extra_id_73>",
|
| 904 |
-
"<extra_id_74>",
|
| 905 |
-
"<extra_id_75>",
|
| 906 |
-
"<extra_id_76>",
|
| 907 |
-
"<extra_id_77>",
|
| 908 |
-
"<extra_id_78>",
|
| 909 |
-
"<extra_id_79>",
|
| 910 |
-
"<extra_id_80>",
|
| 911 |
-
"<extra_id_81>",
|
| 912 |
-
"<extra_id_82>",
|
| 913 |
-
"<extra_id_83>",
|
| 914 |
-
"<extra_id_84>",
|
| 915 |
-
"<extra_id_85>",
|
| 916 |
-
"<extra_id_86>",
|
| 917 |
-
"<extra_id_87>",
|
| 918 |
-
"<extra_id_88>",
|
| 919 |
-
"<extra_id_89>",
|
| 920 |
-
"<extra_id_90>",
|
| 921 |
-
"<extra_id_91>",
|
| 922 |
-
"<extra_id_92>",
|
| 923 |
-
"<extra_id_93>",
|
| 924 |
-
"<extra_id_94>",
|
| 925 |
-
"<extra_id_95>",
|
| 926 |
-
"<extra_id_96>",
|
| 927 |
-
"<extra_id_97>",
|
| 928 |
-
"<extra_id_98>",
|
| 929 |
"<extra_id_99>"
|
| 930 |
],
|
| 931 |
"clean_up_tokenization_spaces": true,
|
|
|
|
| 827 |
}
|
| 828 |
},
|
| 829 |
"additional_special_tokens": [
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 830 |
"<extra_id_99>"
|
| 831 |
],
|
| 832 |
"clean_up_tokenization_spaces": true,
|