Seikaijyu commited on
Commit
306f2a9
·
verified ·
1 Parent(s): 338d20b

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +33 -0
README.md CHANGED
@@ -1,3 +1,36 @@
1
  ---
2
  license: mit
3
  ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
2
  license: mit
3
  ---
4
+ ### 模型说明
5
+ #### 基于RWKV6-v2.1-3B 全新基模微调的nsfw语C模型
6
+ #### 微调使用30M的784条Claude超长上下文语料(单条长度超过120k)
7
+ #### 使用7k长上下文微调19epoch后loss为1.7得到的模型
8
+ #### 因为超长上下文,继续微调应该还能提升效果,暂时只做测试,后续我会进行全面微调,敬请期待
9
+
10
+ #### 效果如下:
11
+
12
+ ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6417b108b03817ada6444bb8/byFq2LX-CwukDjvQ1rhav.png)
13
+
14
+ ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6417b108b03817ada6444bb8/QhXCmfY00zjaGuv0DcK1t.png)
15
+ #### 神里绫华
16
+
17
+ ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6417b108b03817ada6444bb8/o3SvTO2_GxDdulhtC1zr1.png)
18
+
19
+ ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6417b108b03817ada6444bb8/rgVXtBm5gP8ptPlwo3yHO.png)
20
+
21
+ ### 补充说明
22
+ #### 因为此模型使用纯粹的nsfw多轮对话数据微调,生成会偏向nsfw,这是正常现象
23
+ #### 此模型需要手动设定上文才能有良好表现,模型回复会与上文回复类似
24
+ ---
25
+ #### 推荐如下格式使用模型(不需要设置角色名称,因为让模型以第三人称视角回复效果更好)
26
+ ```
27
+ System:
28
+ User:
29
+ Assistant:
30
+ ```
31
+ ### 推荐参数如下:
32
+ #### Temperature=2-3之间
33
+ #### Top_P=0.55-0.65之间
34
+ #### Presence Penalty=0.4-0之间
35
+ #### Frequency Penalty=0.8-1.2之间
36
+