tokens.txt

<PAD> 0
<EOS> 1
<BOS> 2
<BLNK> 3
a 4
A 4
b 5
B 5
c 6
C 6
d 7
D 7
e 8
E 8
f 9
F 9
g 10
G 10
h 11
H 11
i 12
j 13
J 13
k 14
K 14
l 15
L 15
m 16
M 16
n 17
N 17
o 18
O 18
p 19
P 19
q 20
Q 20
r 21
R 21
s 22
S 22
t 23
T 23
u 24
U 24
v 25
V 25
w 26
W 26
x 27
X 27
y 28
Y 28
z 29
Z 29
¯ 30
· 31
ß 32
à 33
À 33
á 34
Á 34
â 35
 35
ã 36
à 36
ä 37
Ä 37
æ 38
Æ 38
ç 39
Ç 39
è 40
È 40
é 41
É 41
ê 42
Ê 42
ë 43
Ë 43
ì 44
Ì 44
í 45
Í 45
î 46
Î 46
ï 47
Ï 47
ñ 48
Ñ 48
ò 49
Ò 49
ó 50
Ó 50
ô 51
Ô 51
õ 52
Õ 52
ö 53
Ö 53
ù 54
Ù 54
ú 55
Ú 55
û 56
Û 56
ü 57
Ü 57
ÿ 58
Ÿ 58
ā 59
Ā 59
ą 60
Ą 60
ć 61
Ć 61
č 62
Č 62
ē 63
Ē 63
ę 64
Ę 64
ě 65
Ě 65
ģ 66
Ģ 66
ī 67
Ī 67
ı 68
ķ 69
Ķ 69
ļ 70
Ļ 70
ł 71
Ł 71
ń 72
Ń 72
ņ 73
Ņ 73
ō 74
Ō 74
ő 75
Ő 75
œ 76
Π76
ś 77
Ś 77
š 78
Š 78
ū 79
Ū 79
ű 80
Ű 80
ź 81
Ź 81
ż 82
Ż 82
ž 83
Ž 83
ǎ 84
Ǎ 84
ǐ 85
Ǐ 85
ǒ 86
Ǒ 86
ǔ 87
Ǔ 87
а 88
А 88
б 89
Б 89
в 90
В 90
г 91
Г 91
д 92
Д 92
е 93
Е 93
ж 94
Ж 94
з 95
З 95
и 96
И 96
й 97
Й 97
к 98
К 98
л 99
Л 99
м 100
М 100
н 101
Н 101
о 102
О 102
п 103
П 103
р 104
Р 104
с 105
С 105
т 106
Т 106
у 107
У 107
ф 108
Ф 108
х 109
Х 109
ц 110
Ц 110
ч 111
Ч 111
ш 112
Ш 112
щ 113
Щ 113
ъ 114
Ъ 114
ы 115
Ы 115
ь 116
Ь 116
э 117
Э 117
ю 118
Ю 118
я 119
Я 119
ё 120
Ё 120
є 121
Є 121
і 122
І 122
ї 123
Ї 123
ґ 124
Ґ 124
! 125
' 126
( 127
) 128
, 129
- 130
. 131
: 132
; 133
? 134
  135