Hugging Face's logo

Seikaijyu
/
RWKV6-7B-v2.1-DCoT.state

Chinese
Model card Files Community
1
Seikaijyu commited on
Commit
4d968eb
·
verified ·
1 Parent(s): 1b65b1b

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +1 -1
README.md CHANGED
@@ -14,7 +14,7 @@ language:
14
 
15
  | <div style="text-align: left;">配置项</div> | <div style="text-align: left;">说明</div> |
16
  |---|---|
17
- |语料|使用5904条基于Gemini-1.5-Pro蒸馏下来的单轮DCoT语料，经过人工正则批量筛洗，每条语料的长度在2000-4820token之间，大部分回答集中在3000token以上。|
18
  |peft|state tuning|
19
  |quant|使用int8量化微调|
20
  |micro batch size|4|
 
14
 
15
  | <div style="text-align: left;">配置项</div> | <div style="text-align: left;">说明</div> |
16
  |---|---|
17
+ |语料|使用5904条基于Gemini-1.5-Pro蒸馏下来的单轮DCoT语料，经过人工正则批量筛洗，每条语料的长度在2000-4820token之间，大部分回答集中在3000token以上。此数据集只包含了一些chat提问，如：“Java是什么？”“老鼠喜欢吃奶酪嘛？”这样的问题，不包含数学，格式，角色扮演等prompt。|
18
  |peft|state tuning|
19
  |quant|使用int8量化微调|
20
  |micro batch size|4|