Update README.md
Browse files
README.md
CHANGED
|
@@ -10,7 +10,16 @@ language:
|
|
| 10 |
此微调也用于测试这一改进，在进行state tuning微调之前我其实尝试过lora微调，但是指令遵循却不尽人意，语料和模型的契合度太高，初始loss就很低，导致可能模型学不到格式这一点，所以我最后state tuning这一方法进行微调，同时这也是保证RWKV模型对格式进行遵循的最好方法之一，并且它能保证模型不会因为微调而遗忘（因为不会微调模型本身权重）。
|
| 11 |
|
| 12 |
### 微调配置
|
| 13 |
-
微调使用autodl上租赁的单卡A40。
|
| 14 |
-
|
|
|
|
| 15 |
|---|---|
|
| 16 |
-
|语料|使用5904条基于Gemini-1.5-Pro
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 10 |
此微调也用于测试这一改进，在进行state tuning微调之前我其实尝试过lora微调，但是指令遵循却不尽人意，语料和模型的契合度太高，初始loss就很低，导致可能模型学不到格式这一点，所以我最后state tuning这一方法进行微调，同时这也是保证RWKV模型对格式进行遵循的最好方法之一，并且它能保证模型不会因为微调而遗忘（因为不会微调模型本身权重）。
|
| 11 |
|
| 12 |
### 微调配置
|
| 13 |
+
微调使用autodl上租赁的单卡A40 48G。
|
| 14 |
+
|
| 15 |
+
| <div style="text-align: left;">配置项</div> | <div style="text-align: left;">说明</div> |
|
| 16 |
|---|---|
|
| 17 |
+
|语料|使用5904条基于Gemini-1.5-Pro蒸馏下来的单轮DCoT语料，每条语料的长度在2000-4820token之间，大部分回答集中在3000token以上。|
|
| 18 |
+
|微调方法|state tuning|
|
| 19 |
+
|是否量化|使用int8量化微调|
|
| 20 |
+
|微批次大小|4|
|
| 21 |
+
|梯度累计|2，以保证微批次和梯度累计相乘最少达到8，增强模型微调效果|
|
| 22 |
+
|loss mask|启用|
|
| 23 |
+
|学习率|state tuning微调标准值：1-0.01|
|
| 24 |
+
|微调回合|2|
|
| 25 |
+
|最终loss||
|