grapevine-AI/RakutenAI-2.0-8x7B-instruct-GGUF

What is this?

楽天の開発したMoEアーキテクチャの言語モデルRakutenAI-2.0-8x7B-instructをGGUFフォーマットに変換したものです。

imatrix dataset

日本語能力を重視し、日本語が多量に含まれるTFMC/imatrix-dataset-for-japanese-llmデータセットを使用しました。
なお、計算リソースの関係上imatrixの算出においてはQ8_0量子化モデルを使用しました。

Chat template

ここにSystem Promptを書きます

USER: ここにMessageを書きます
ASSISTANT: 

Environment

Windows版llama.cpp-b4514およびllama.cpp-b4524同時リリースのconvert-hf-to-gguf.pyを使用して量子化作業を実施しました。

License

Apache 2.0

Developer

Rakuten Group