---
license: apache-2.0
language:
- ja
- en
---

# v4からの修正点
数字を全て一桁区切りに。

# 説明
wikipedia, mbpp, grade-school-mathで学習したトークナイザー。

## 学習に使ったデータ
- 英語：1.33GB (wiki40b)<br>
- 日本語：1.78GB (wiki40b)　※形態素単位で"||||"で事前分割してsentencepieceの学習時にpretokenization_delimiterを設定。<br>
- コード：172KB (mbpp) <br>
- 数学：2.1MB (grade-school-math)
- 
## 語彙の追加
以下を参考に日本語の語彙を追加。
- wikitinary 目次一覧（名詞・形容詞・形容動詞・副詞・接尾辞・助詞・動詞などから一般的に使われると思われるものを定性的に選別。）
- wikitionary 日本語の基本語彙1000
- 文化庁「常用漢字一覧表」の例から一部をサンプリング。
- 時間・季節・方角に関する語
- 都道府県・観光地・東京23区
- 頻出する日本の苗字
- 定型表現（「こんにちは」「よろしく」「ございます」など）
その他、以下の語彙を追加。
- 記号
- 数字（漢数字・半角数字0~9・全角数字０〜９・上付き数字0〜9）
- 数学に出るギリシャ文字


## 語彙の割合
概算ですが、アルファベットが約6割、日本語（ひらがな・カタカナ・漢字）が約4割となっています。（その他記号や数字は1~2%程度）

## 参照
- https://aclanthology.org/2020.lrec-1.297.pdf
- https://www.tensorflow.org/datasets/catalog/wiki40b
- https://github.com/openai/grade-school-math
- https://github.com/google-research/google-research/tree/master/mbpp
- https://www.bunka.go.jp/kokugo_nihongo/sisaku/joho/joho/kakuki/14/pdf/jyouyou_kanjihyou.pdf
- https://ja.m.wiktionary.org/wiki/%E3%82%AB%E3%83%86%E3%82%B4%E3%83%AA:%E6%97%A5%E6%9C%AC%E8%AA%9E
- 

## 設定
vocab_size=56,320（語彙サイズ）<br>
character_coverage=0.9995（文字のカバー率99.95%）<br>
model_type="unigram"（アルゴリズム）<br>
normalization="identity"（正規化なし）<br>
byte_fallback=True（バイト変換あり）<br>
split_digits=True（数字分割あり）<br>
allow_whitespace_only_pieces=True（空白のトークンを許可する）<br>
remove_extra_whitespaces=True（余分な空白の削除あり）<br>

## 形式
LlamaTokenizer<br>
※encode時に文頭にbos_tokenである"\<s\>"トークンが付きます。

# 使い方
```python
!pip install transformers>=4.34.0

from transformers import AutoTokenizer
test_tokenizer = AutoTokenizer.from_pretrained("geniacllm/ja-en-tokenizer-unigram-v5", use_fast=False)
```
```python
# text
text = "This is tokenizer test."

# tokenize
tokenized = test_tokenizer.tokenize(text)
print(tokenized)

# encode
encoded = test_tokenizer.encode(text)
print(encoded)

# decode
decoded = test_tokenizer.decode(encoded)
print(decoded)

# special_token
print(test_tokenizer.special_tokens_map)


# vocab size
print(len(test_tokenizer))

# all subwords in vocab
print(test_tokenizer.get_vocab())
```