|
--- |
|
license: mit |
|
datasets: |
|
- hpprc/emb |
|
- hotchpotch/hpprc_emb-scores |
|
- microsoft/ms_marco |
|
language: |
|
- ja |
|
base_model: |
|
- tohoku-nlp/bert-base-japanese-v3 |
|
new_version: hotchpotch/japanese-splade-v2 |
|
--- |
|
|
|
高性能な日本語 [SPLADE](https://github.com/naver/splade) (Sparse Lexical and Expansion Model) モデルです。[テキストからスパースベクトルへの変換デモ](https://huggingface.co/spaces/hotchpotch/japanese-splade-demo-streamlit)で、どのようなスパースベクトルに変換できるか、WebUI から気軽にお試しいただけます。 |
|
|
|
- [高性能な日本語SPLADE（スパース検索）モデルを公開しました](https://secon.dev/entry/2024/10/07/100000/) |
|
- [SPLADE モデルの作り方・日本語SPLADEテクニカルレポート](https://secon.dev/entry/2024/10/23/080000-japanese-splade-tech-report/) |
|
|
|
また、モデルの学習には[YAST - Yet Another SPLADE or Sparse Trainer](https://github.com/hotchpotch/yast)を使っています。 |
|
|
|
|
|
# 利用方法 |
|
|
|
## [YASEM (Yet Another Splade|Sparse Embedder)](https://github.com/hotchpotch/yasem) |
|
|
|
```bash |
|
pip install yasem |
|
``` |
|
|
|
```python |
|
from yasem import SpladeEmbedder |
|
|
|
model_name = "hotchpotch/japanese-splade-base-v1" |
|
embedder = SpladeEmbedder(model_name) |
|
|
|
sentences = [ |
|
"車の燃費を向上させる方法は？", |
|
"急発進や急ブレーキを避け、一定速度で走行することで燃費が向上します。", |
|
"車を長持ちさせるには、消耗品を適切なタイミングで交換することが重要です。", |
|
] |
|
|
|
embeddings = embedder.encode(sentences) |
|
similarity = embedder.similarity(embeddings, embeddings) |
|
|
|
print(similarity) |
|
# [[21.49299249 10.48868281 6.25582337] |
|
# [10.48868281 12.90587398 3.19429791] |
|
# [ 6.25582337 3.19429791 12.89678271]] |
|
``` |
|
|
|
```python |
|
token_values = embedder.get_token_values(embeddings[0]) |
|
|
|
print(token_values) |
|
|
|
#{ |
|
# '車': 2.1796875, |
|
# '燃費': 2.146484375, |
|
# '向上': 1.7353515625, |
|
# '方法': 1.55859375, |
|
# '燃料': 1.3291015625, |
|
# '効果': 1.1376953125, |
|
# '良い': 0.873046875, |
|
# '改善': 0.8466796875, |
|
# 'アップ': 0.833984375, |
|
# 'いう': 0.70849609375, |
|
# '理由': 0.64453125, |
|
# ... |
|
``` |
|
|
|
## transformers |
|
|
|
```python |
|
|
|
from transformers import AutoModelForMaskedLM, AutoTokenizer |
|
import torch |
|
|
|
model = AutoModelForMaskedLM.from_pretrained(model_name) |
|
tokenizer = AutoTokenizer.from_pretrained(model_name) |
|
|
|
def splade_max_pooling(logits, attention_mask): |
|
relu_log = torch.log(1 + torch.relu(logits)) |
|
weighted_log = relu_log * attention_mask.unsqueeze(-1) |
|
max_val, _ = torch.max(weighted_log, dim=1) |
|
return max_val |
|
|
|
tokens = tokenizer( |
|
sentences, return_tensors="pt", padding=True, truncation=True, max_length=512 |
|
) |
|
tokens = {k: v.to(model.device) for k, v in tokens.items()} |
|
|
|
with torch.no_grad(): |
|
outputs = model(**tokens) |
|
embeddings = splade_max_pooling(outputs.logits, tokens["attention_mask"]) |
|
|
|
similarity = torch.matmul(embeddings.unsqueeze(0), embeddings.T).squeeze(0) |
|
print(similarity) |
|
|
|
# tensor([[21.4943, 10.4816, 6.2540], |
|
# [10.4816, 12.9024, 3.1939], |
|
# [ 6.2540, 3.1939, 12.8919]]) |
|
``` |
|
|
|
# ベンチマークスコア |
|
|
|
## retrieval (JMTEB) |
|
|
|
[JMTEB](https://github.com/sbintuitions/JMTEB) の評価結果です。japanese-splade-base-v1 は [JMTEB をスパースベクトルで評価できるように変更したコード](https://github.com/hotchpotch/JMTEB/tree/add_splade)での評価となっています。 |
|
なお、japanese-splade-base-v1 は jaqket, mrtydi のドメインを学習(testのデータ以外)しています。 |
|
|
|
| model_name | Avg. | jagovfaqs_22k | jaqket | mrtydi | nlp_journal_abs_intro | nlp_journal_title_abs | nlp_journal_title_intro | |
|
| :------------------------------------------------------------------------- | ------: | ------------: | -----: | -----: | ---------------------: | ---------------------: | -----------------------: | |
|
| [japanese-splade-base-v1](https://huggingface.co/hotchpotch/japanese-splade-base-v1) | **0.7465** | 0.6499 | **0.6992** | **0.4365** | 0.8967 | **0.9766** | 0.8203 | |
|
| [text-embedding-3-large](https://huggingface.co/OpenAI/text-embedding-3-large) | 0.7448 | 0.7241 | 0.4821 | 0.3488 | **0.9933** | 0.9655 | **0.9547** | |
|
| [GLuCoSE-base-ja-v2](https://huggingface.co/pkshatech/GLuCoSE-base-ja-v2) | 0.7336 | 0.6979 | 0.6729 | 0.4186 | 0.9029 | 0.9511 | 0.7580 | |
|
| [multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large) | 0.7098 | 0.7030 | 0.5878 | 0.4363 | 0.8600 | 0.9470 | 0.7248 | |
|
| [multilingual-e5-small](https://huggingface.co/intfloat/multilingual-e5-small) | 0.6727 | 0.6411 | 0.4997 | 0.3605 | 0.8521 | 0.9526 | 0.7299 | |
|
| [ruri-large](https://huggingface.co/cl-nagoya/ruri-large) | 0.7302 | **0.7668** | 0.6174 | 0.3803 | 0.8712 | 0.9658 | 0.7797 | |
|
|
|
|
|
## reranking |
|
|
|
### [JaCWIR](https://huggingface.co/datasets/hotchpotch/JaCWIR) |
|
|
|
なお、japanese-splade-base-v1 は **JaCWIR のドメインを学習していません**。 |
|
|
|
| model_names | map@10 | hit_rate@10 | |
|
| :------------------------------------------------------------------------------ | -----: | ----------: | |
|
| [japanese-splade-base-v1](https://huggingface.co/hotchpotch/japanese-splade-base-v1) | **0.9122** | **0.9854** | |
|
| [text-embedding-3-small](https://platform.openai.com/docs/guides/embeddings) | 0.8168 | 0.9506 | |
|
| [GLuCoSE-base-ja-v2](https://huggingface.co/pkshatech/GLuCoSE-base-ja-v2) | 0.8567 | 0.9676 | |
|
| [bge-m3+dense](https://huggingface.co/BAAI/bge-m3) | 0.8642 | 0.9684 | |
|
| [multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large) | 0.8759 | 0.9726 | |
|
| [multilingual-e5-small](https://huggingface.co/intfloat/multilingual-e5-small) | 0.869 | 0.97 | |
|
| [ruri-large](https://huggingface.co/cl-nagoya/ruri-large) | 0.8291 | 0.9594 | |
|
|
|
### [JQaRA](https://github.com/hotchpotch/JQaRA) |
|
なお、japanese-splade-base-v1 は JQaRA のドメイン(test以外)を学習したものとなっています。 |
|
|
|
| model_names | ndcg@10 | mrr@10 | |
|
| :------------------------------------------------------------------------------ | ------: | -----: | |
|
| [japanese-splade-base-v1](https://huggingface.co/hotchpotch/japanese-splade-base-v1) | **0.6441** | **0.8616** | |
|
| [text-embedding-3-small](https://platform.openai.com/docs/guides/embeddings) | 0.3881 | 0.6107 | |
|
| [bge-m3+dense](https://huggingface.co/BAAI/bge-m3) | 0.539 | 0.7854 | |
|
| [multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large) | 0.554 | 0.7988 | |
|
| [multilingual-e5-small](https://huggingface.co/intfloat/multilingual-e5-small) | 0.4917 | 0.7291 | |
|
| [GLuCoSE-base-ja-v2](https://huggingface.co/pkshatech/GLuCoSE-base-ja-v2) | 0.606 | 0.8359 | |
|
| [ruri-large](https://huggingface.co/cl-nagoya/ruri-large) | 0.6287 | 0.8418 | |
|
|
|
## 学習元データセット |
|
|
|
[hpprc/emb](https://huggingface.co/datasets/hpprc/emb) から、auto-wiki-qa, mmarco, jsquad jaquad, auto-wiki-qa-nemotron, quiz-works quiz-no-mori, miracl, jqara mr-tydi, baobab-wiki-retrieval, mkqa データセットを利用しています。 |
|
また英語データセットとして、MS Marcoを利用しています。 |
|
|
|
## 注意事項 |
|
|
|
text-embeddings-inference で動かす場合、[hotchpotch/japanese-splade-base-v1-dummy-fast-tokenizer-for-tei](https://huggingface.co/hotchpotch/japanese-splade-base-v1-dummy-fast-tokenizer-for-tei)をご利用ください。 |
