charipol
commited on
Commit
•
51ee40b
1
Parent(s):
e4ff767
change ▁ to ▁▁ token to avoid additional token problem with tokenized
Browse files- sentencepiece.bpe.vocab +1 -1
sentencepiece.bpe.vocab
CHANGED
|
@@ -4,7 +4,7 @@
|
|
| 4 |
<mask> 0
|
| 5 |
<_> 0
|
| 6 |
า -1.82049
|
| 7 |
-
|
| 8 |
. -4.13722
|
| 9 |
ที่ -4.63771
|
| 10 |
และ -4.76617
|
|
|
|
| 4 |
<mask> 0
|
| 5 |
<_> 0
|
| 6 |
า -1.82049
|
| 7 |
+
▁▁ -3.88454
|
| 8 |
. -4.13722
|
| 9 |
ที่ -4.63771
|
| 10 |
และ -4.76617
|