AlexBefest
commited on
Update README.md
Browse files
README.md
CHANGED
@@ -4,60 +4,12 @@ language:
|
|
4 |
- ru
|
5 |
base_model: anthracite-org/magnum-v2.5-12b-kto
|
6 |
---
|
7 |
-
# This is an experimental release!
|
8 |
-
# Please use chatML format
|
9 |
# This is a monolingual Russian version! English is not yet supported
|
10 |
|
11 |
-
GGUF:
|
12 |
|
13 |
![image/png](https://cdn-uploads.huggingface.co/production/uploads/6336c5b3e3ac69e6a90581da/nKpaEOBwAeLB28uiMI_RA.png)
|
14 |
|
15 |
-
## ENG Version 🇬🇧
|
16 |
-
|
17 |
-
### Model description
|
18 |
-
|
19 |
-
This model is intended for conducting role-playing games using the GURPS system, as well as for consulting and assisting. This model was trained on an augmented dataset using the GURPS Basic Set rulebook.
|
20 |
-
Her main goal was initially to become an assistant consultant, as well as an assistant to the Game Master in the GURPS role-playing system, but she can also be used as a GM to conduct solo games as a player.
|
21 |
-
|
22 |
-
### Notes
|
23 |
-
|
24 |
-
To be honest, it was very difficult to get mistral-nemo to produce more or less stable results. I tried my best to ensure maximum quality, I found nemo much harder to train than gemma2.
|
25 |
-
This release is a pure experiment, then I plan to improve the NightyGurps models until I bring them to perfection.
|
26 |
-
|
27 |
-
### Recomendations
|
28 |
-
I highly recommend using this model with a temperature of 0.3, as it gives the most accurate answers according to the GURPS rules. And the temperature is 0.5-0.7 if you use this model as a GM, and you yourself as a player.
|
29 |
-
|
30 |
-
### Parameters
|
31 |
-
|
32 |
-
- Single rtx3090
|
33 |
-
- rank 128
|
34 |
-
- alpha 32
|
35 |
-
- batch size 2
|
36 |
-
- gradient accumulation steps 8
|
37 |
-
- lora dropout 0.1
|
38 |
-
- weight decay 0.2
|
39 |
-
- learning rate 0.0001
|
40 |
-
- max sequense lenght 4096
|
41 |
-
|
42 |
-
### Prompting
|
43 |
-
|
44 |
-
This model uses the ChatML format! Don't forget to set it.
|
45 |
-
|
46 |
-
```py
|
47 |
-
"""<|im_start|>user
|
48 |
-
Hi there!<|im_end|>
|
49 |
-
<|im_start|>assistant
|
50 |
-
Nice to meet you!<|im_end|>
|
51 |
-
<|im_start|>user
|
52 |
-
Can I ask a question?<|im_end|>
|
53 |
-
<|im_start|>assistant
|
54 |
-
"""
|
55 |
-
```
|
56 |
-
|
57 |
-
### Credits
|
58 |
-
|
59 |
-
Made by PegasusYaY(AlexBefest)
|
60 |
-
|
61 |
## RU Version 🇷🇺
|
62 |
|
63 |
### Model description
|
@@ -67,22 +19,26 @@ Made by PegasusYaY(AlexBefest)
|
|
67 |
|
68 |
### Notes
|
69 |
|
70 |
-
|
71 |
-
|
|
|
72 |
|
73 |
### Recomendations
|
74 |
-
Очень рекомендую использовать данную модель с температурой 0.3
|
|
|
|
|
75 |
|
76 |
### Parameters
|
77 |
|
78 |
-
|
|
|
79 |
- rank 128
|
80 |
-
- alpha
|
81 |
-
- batch size
|
82 |
- gradient accumulation steps 8
|
83 |
-
- lora dropout 0
|
84 |
-
- weight decay 0.
|
85 |
-
- learning rate 0.
|
86 |
- max sequense lenght 4096
|
87 |
|
88 |
### Prompting
|
|
|
4 |
- ru
|
5 |
base_model: anthracite-org/magnum-v2.5-12b-kto
|
6 |
---
|
|
|
|
|
7 |
# This is a monolingual Russian version! English is not yet supported
|
8 |
|
9 |
+
GGUF: (Soon)
|
10 |
|
11 |
![image/png](https://cdn-uploads.huggingface.co/production/uploads/6336c5b3e3ac69e6a90581da/nKpaEOBwAeLB28uiMI_RA.png)
|
12 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
13 |
## RU Version 🇷🇺
|
14 |
|
15 |
### Model description
|
|
|
19 |
|
20 |
### Notes
|
21 |
|
22 |
+
Это точная настройка потрясающей модели Qwen 2.5 14b, которая по производительности обходит Gemma 2 27b. Я нашёл эту модель идеальной для дообучения на аугментированной книге правил Gurps Basic Set.
|
23 |
+
Пожалуй, именно эту модель я буду использовать в качестве основы для дальнейших улучшений. Сейчас у меня в планах расширить датасет как минимум в три раза, а также провести дестиляцию существующего.
|
24 |
+
Далее планируется выпустить NightyGurps-Nano (модель на основе qwen 2.5 3b) и NightyGurps-Large (на основе qwen 2.5 32b). На последнюю у меня особо большие планы и весьма высокие ожидания по производительности, учитывая невероятный уровень качества, который qwen смогли выжать всего из 32 миллиардов параметров.
|
25 |
|
26 |
### Recomendations
|
27 |
+
Очень рекомендую использовать данную модель с температурой 0.3-0.5 в режиме консультанта-ассистента по правилам GURPS.
|
28 |
+
И температуру 0.7-1.2 если вы используете данную модель как Гейм-мастера, а сами выступаете в роли игрока.
|
29 |
+
Если ваша цель - заставить данную модель вести партию, настоятельно рекомендую использовать подготовленную мной заранее карточку персонажа Гейм-мастера для SillyTavern (Это обеспечит максимальный экспериенс от партии):
|
30 |
|
31 |
### Parameters
|
32 |
|
33 |
+
Обучение проходило на протяжении трёх суток на одной rtx3090
|
34 |
+
|
35 |
- rank 128
|
36 |
+
- alpha 16
|
37 |
+
- batch size 4
|
38 |
- gradient accumulation steps 8
|
39 |
+
- lora dropout 0
|
40 |
+
- weight decay 0.1
|
41 |
+
- learning rate 0.0003
|
42 |
- max sequense lenght 4096
|
43 |
|
44 |
### Prompting
|