Hugging Face's logo

Seikaijyu
/
RWKV6-7B-v2.1-DCoT.state

Chinese
Model card Files Community
1
Seikaijyu commited on
Commit
7d21d1a
·
verified ·
1 Parent(s): d44f021

Create readme.md

Browse files
Files changed (1) hide show
  1. readme.md +23 -0
readme.md ADDED
@@ -0,0 +1,23 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: mit
3
+ language:
4
+ - zh
5
+ ---
6
+
7
+ ### 模型说明
8
+ #### 基于RWKV6-v2.1-3B基底模型微调的进行pissa微调的chat模型，此模型开箱即用，无需过多准备
9
+ #### 使用ChatGLM4基于[优美的中国话](https://huggingface.co/datasets/Seikaijyu/Beautiful-Chinese)语料进行异构，使单轮语料成为多轮语料，并进行了大量清洗后得到了2632条多轮对话数据集后训练的模型
10
+ #### 此模型仅微调了Assistant对话，无任何额外数据微调，但是经过测试，语料对其它角色有一定的泛化作用
11
+ #### 效果如下：
12
+
13
+ ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6417b108b03817ada6444bb8/KyPxh5yjQszaEgDEc-DXO.png)
14
+
15
+ ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6417b108b03817ada6444bb8/eoLDGEX6xqyWzU2oswLkp.png)
16
+
17
+ ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6417b108b03817ada6444bb8/Q5FmKi3iLK5vZF7ykFZZF.png)
18
+
19
+ 推荐参数如下：
20
+ ##### Temperature=1-3之间
21
+ ##### Top_P=0.55-0.65之间
22
+ ##### Presence Penalty=0.4-0之间
23
+ ##### Frequency Penalty=0.4-1.2之间