AlexBefest commited on
Commit
b23a25e
·
verified ·
1 Parent(s): 0bcd79e

Upload README.md

Browse files
Files changed (1) hide show
  1. README.md +105 -0
README.md ADDED
@@ -0,0 +1,105 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ language:
4
+ - ru
5
+ base_model: anthracite-org/magnum-v2.5-12b-kto
6
+ ---
7
+ # This is an experimental release!
8
+ # Please use chatML format
9
+ # This is a monolingual Russian version! English is not yet supported
10
+
11
+ GGUF: https://huggingface.co/NikolayKozloff/NightyGurps-12b-v1-experimental-Q8_0-GGUF
12
+
13
+ ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6336c5b3e3ac69e6a90581da/nKpaEOBwAeLB28uiMI_RA.png)
14
+
15
+ ## ENG Version 🇬🇧
16
+
17
+ ### Model description
18
+
19
+ This model is intended for conducting role-playing games using the GURPS system, as well as for consulting and assisting. This model was trained on an augmented dataset using the GURPS Basic Set rulebook.
20
+ Her main goal was initially to become an assistant consultant, as well as an assistant to the Game Master in the GURPS role-playing system, but she can also be used as a GM to conduct solo games as a player.
21
+
22
+ ### Notes
23
+
24
+ To be honest, it was very difficult to get mistral-nemo to produce more or less stable results. I tried my best to ensure maximum quality, I found nemo much harder to train than gemma2.
25
+ This release is a pure experiment, then I plan to improve the NightyGurps models until I bring them to perfection.
26
+
27
+ ### Recomendations
28
+ I highly recommend using this model with a temperature of 0.3, as it gives the most accurate answers according to the GURPS rules. And the temperature is 0.5-0.7 if you use this model as a GM, and you yourself as a player.
29
+
30
+ ### Parameters
31
+
32
+ - Single rtx3090
33
+ - rank 128
34
+ - alpha 32
35
+ - batch size 2
36
+ - gradient accumulation steps 8
37
+ - lora dropout 0.1
38
+ - weight decay 0.2
39
+ - learning rate 0.0001
40
+ - max sequense lenght 4096
41
+
42
+ ### Prompting
43
+
44
+ This model uses the ChatML format! Don't forget to set it.
45
+
46
+ ```py
47
+ """<|im_start|>user
48
+ Hi there!<|im_end|>
49
+ <|im_start|>assistant
50
+ Nice to meet you!<|im_end|>
51
+ <|im_start|>user
52
+ Can I ask a question?<|im_end|>
53
+ <|im_start|>assistant
54
+ """
55
+ ```
56
+
57
+ ### Credits
58
+
59
+ Made by PegasusYaY(AlexBefest)
60
+
61
+ ## RU Version 🇷🇺
62
+
63
+ ### Model description
64
+
65
+ Данная модель предназначена для проведения ролевых игр по системе GURPS, а также для консультирования и ассистирования. Эта модель была обучена на аугментированном наборе данных по книге правил GURPS Basic Set.
66
+ Главной её целью изначально было становление ассистентом-консультантом, а также помощником Гейм-мастера по ролевой системе GURPS, но её также можно использовать в качестве ГМа для проведения соло-партий в качестве игрока.
67
+
68
+ ### Notes
69
+
70
+ Честно говоря, было очень тяжело заставить mistral-nemo выдавать более-менее стабильный результат. Я пытался изо всех сил обеспечить максимальное качество, мне показалось, что nemo куда тяжелее обучать, чем gemma2.
71
+ Данный релиз является чистым экспериментом, далее я планирую совершенствовать модели NightyGurps, пока не доведу их до идеала.
72
+
73
+ ### Recomendations
74
+ Очень рекомендую использовать данную модель с температурой 0.3, так она даёт наиболее точные ответы по правилам GURPS. И температуру 0.5-0.7 если вы используете данную модель как ГМа, а сами выступаете в роли игрока.
75
+
76
+ ### Parameters
77
+
78
+ - Single rtx3090
79
+ - rank 128
80
+ - alpha 32
81
+ - batch size 2
82
+ - gradient accumulation steps 8
83
+ - lora dropout 0.1
84
+ - weight decay 0.2
85
+ - learning rate 0.0001
86
+ - max sequense lenght 4096
87
+
88
+ ### Prompting
89
+
90
+ Данная модель использует формат ChatML! Не забудьте выставить его.
91
+
92
+ ```py
93
+ """<|im_start|>user
94
+ Hi there!<|im_end|>
95
+ <|im_start|>assistant
96
+ Nice to meet you!<|im_end|>
97
+ <|im_start|>user
98
+ Can I ask a question?<|im_end|>
99
+ <|im_start|>assistant
100
+ """
101
+ ```
102
+
103
+ ### Credits
104
+
105
+ Made by PegasusYaY(AlexBefest)