Update README.md
Browse files
README.md
CHANGED
@@ -1,3 +1,36 @@
|
|
1 |
---
|
2 |
license: mit
|
3 |
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
---
|
2 |
license: mit
|
3 |
---
|
4 |
+
### 模型说明
|
5 |
+
#### 基于RWKV6-v2.1-3B 全新基模微调的nsfw语C模型
|
6 |
+
#### 微调使用30M的784条Claude超长上下文语料(单条长度超过120k)
|
7 |
+
#### 使用7k长上下文微调19epoch后loss为1.7得到的模型
|
8 |
+
#### 因为超长上下文,继续微调应该还能提升效果,暂时只做测试,后续我会进行全面微调,敬请期待
|
9 |
+
|
10 |
+
#### 效果如下:
|
11 |
+
|
12 |
+
![image/png](https://cdn-uploads.huggingface.co/production/uploads/6417b108b03817ada6444bb8/byFq2LX-CwukDjvQ1rhav.png)
|
13 |
+
|
14 |
+
![image/png](https://cdn-uploads.huggingface.co/production/uploads/6417b108b03817ada6444bb8/QhXCmfY00zjaGuv0DcK1t.png)
|
15 |
+
#### 神里绫华
|
16 |
+
|
17 |
+
![image/png](https://cdn-uploads.huggingface.co/production/uploads/6417b108b03817ada6444bb8/o3SvTO2_GxDdulhtC1zr1.png)
|
18 |
+
|
19 |
+
![image/png](https://cdn-uploads.huggingface.co/production/uploads/6417b108b03817ada6444bb8/rgVXtBm5gP8ptPlwo3yHO.png)
|
20 |
+
|
21 |
+
### 补充说明
|
22 |
+
#### 因为此模型使用纯粹的nsfw多轮对话数据微调,生成会偏向nsfw,这是正常现象
|
23 |
+
#### 此模型需要手动设定上文才能有良好表现,模型回复会与上文回复类似
|
24 |
+
---
|
25 |
+
#### 推荐如下格式使用模型(不需要设置角色名称,因为让模型以第三人称视角回复效果更好)
|
26 |
+
```
|
27 |
+
System:
|
28 |
+
User:
|
29 |
+
Assistant:
|
30 |
+
```
|
31 |
+
### 推荐参数如下:
|
32 |
+
#### Temperature=2-3之间
|
33 |
+
#### Top_P=0.55-0.65之间
|
34 |
+
#### Presence Penalty=0.4-0之间
|
35 |
+
#### Frequency Penalty=0.8-1.2之间
|
36 |
+
|