nejumi/c4ai-command-r-plus-08-2024-GPTQ-Int8-calib-ja-1k

c4ai-command-r-plus-08-2024 GPTQ量子化モデル

モデル概要

• モデル名: nejumi/c4ai-command-r-plus-08-2024-GPTQ-Int8-calib-ja-1k および nejumi/c4ai-command-r-plus-08-2024-GPTQ-Int4-calib-ja-1k
• ベースモデル: CohereForAI/c4ai-command-r-plus-08-2024
• モデルサイズ: 103,810,674,688 パラメータ
• カテゴリ: 30B≤

量子化の詳細

• Calibration データ: nejumi/wikipedia-ja-20230720-4k の先頭1024行
• 量子化パラメータ:
  • group_size: 128
  • perc_damp: 0.0
  • desc_act: True
  • use_exllama: False
  • model_seqlen: 2048

性能評価（総合）

Nejumi LLMリーダーボード3による評価結果

指標	Int8	Int4	ベースモデル
汎用的言語性能(GLP)平均	0.6535	0.6530	0.6578
アラインメント(ALT)平均	0.6993	0.7166	0.7109
総合平均	0.6764	0.6848	0.6844

青: Original 緑: GPTQ 4bit 赤: GPTQ 8bit

詳細評価（詳細）

汎用的言語性能(GLP)

サブカテゴリ	Int8	Int4	ベースモデル
表現	0.8567	0.8750	0.8750
翻訳	0.8534	0.8591	0.8647
情報検索	0.8475	0.8636	0.8701
推論	0.4900	0.4300	0.4400
数学的推論	0.5267	0.5300	0.5217
抽出	0.2703	0.2454	0.2635
知識・質問応答	0.7233	0.7361	0.7378
英語	0.7158	0.7474	0.7368
意味解析	0.7120	0.6900	0.7220
構文解析	0.5389	0.5533	0.5463

アラインメント(ALT)

サブカテゴリ	Int8	Int4	ベースモデル
制御性	0.8038	0.8136	0.8239
倫理・道徳	0.9100	0.9200	0.9200
毒性	0.6123	0.6596	0.6076
バイアス	0.7400	0.7500	0.7100
堅牢性	0.5264	0.5396	0.5736
真実性	0.6031	0.6168	0.6306

ベンチマークごとのスコア

ベンチマーク	Int8	Int4	ベースモデル
JASTER (0-shot)	0.5918	0.5985	0.5991
JASTER (2-shot)	0.6628	0.6627	0.6737
MT-Bench	7.2375	7.1711	7.2188
LCTG	0.6780	0.6890	0.7110

注意事項

• この量子化モデルは、オリジナルのCohereForAI/c4ai-command-r-plus-08-2024モデルをGPTQ手法を用いて圧縮したものです。
• Int8とInt4の2つのバリエーションがあり、それぞれ異なる精度と効率のトレードオフを提供します。
• 性能指標は、オリジナルモデルと比較してわずかな違いがありますが、多くの指標で大きな性能低下を伴わない結果を示しています。
• 量子化プロセスには、日本語Wikipediaデータの一部が使用されており、日本語タスクに最適化されている可能性があります。

使用上の注意

• このモデルは2048トークンのコンテキスト長で訓練されていると想定されます。より長いコンテキストでの使用は、性能に影響を与える可能性があります。
• 量子化により、モデルのサイズが大幅に削減されていますが、一部のタスクでわずかな精度の低下が見られる場合があります。
• Int8版とInt4版で異なる特性を持つ可能性があるため、用途に応じて適切なバージョンを選択してください。
• 特定のタスク（例：堅牢性、真実性）では、量子化モデルがベースモデルと比較して若干の性能低下を示していますので、これらのタスクに重点を置く場合は注意が必要です。

ライセンス

このモデルは、ベースモデルのライセンスを継承しています。詳細については、原モデルのライセンスを参照してください。