Update README.md
Browse files
README.md
CHANGED
@@ -9,6 +9,7 @@ language:
|
|
9 |
|
10 |
此微调也用于测试这一改进,在进行state tuning微调之前我其实尝试过lora微调,但是指令遵循却不尽人意,语料和模型的契合度太高,初始loss就很低,导致可能模型学不到格式这一点,所以我最后决定使用state tuning这一peft方法进行微调,同时这也是保证RWKV模型对格式进行遵循的最好方法之一,并且它能保证模型不会因为微调而遗忘(因为不会微调模型本身权重)。
|
11 |
|
|
|
12 |
### 微调配置
|
13 |
微调使用autodl上租赁的单卡A40 48G。
|
14 |
|
|
|
9 |
|
10 |
此微调也用于测试这一改进,在进行state tuning微调之前我其实尝试过lora微调,但是指令遵循却不尽人意,语料和模型的契合度太高,初始loss就很低,导致可能模型学不到格式这一点,所以我最后决定使用state tuning这一peft方法进行微调,同时这也是保证RWKV模型对格式进行遵循的最好方法之一,并且它能保证模型不会因为微调而遗忘(因为不会微调模型本身权重)。
|
11 |
|
12 |
+
PS: state tuning ≈ prompt tuning, prefex tuning
|
13 |
### 微调配置
|
14 |
微调使用autodl上租赁的单卡A40 48G。
|
15 |
|