Update README.md
Browse files
README.md
CHANGED
@@ -15,7 +15,7 @@ PS: state tuning ≈ prompt tuning, prefex tuning
|
|
15 |
|
16 |
| <div style="text-align: left;">配置项</div> | <div style="text-align: left;">说明</div> |
|
17 |
|---|---|
|
18 |
-
|语料|使用5904条基于Gemini-1.5-Pro
|
19 |
|peft|state tuning|
|
20 |
|quant|使用int8量化微调|
|
21 |
|micro batch size|4|
|
|
|
15 |
|
16 |
| <div style="text-align: left;">配置项</div> | <div style="text-align: left;">说明</div> |
|
17 |
|---|---|
|
18 |
+
|语料|使用5904条基于Gemini-1.5-Pro蒸馏出的单轮DCoT语料,经过人工正则批量筛洗,每条语料的长度在2000-4820token之间,大部分回答集中在3000token以上。<br/>此数据集只包含了一些chat提问,如:<br/>“Java是什么?”<br/>“老鼠喜欢吃奶酪吗?”<br/>这样的问题,不包含数学,格式,角色扮演等prompt。|
|
19 |
|peft|state tuning|
|
20 |
|quant|使用int8量化微调|
|
21 |
|micro batch size|4|
|