AlexBefest commited on
Commit
cf8ab34
·
verified ·
1 Parent(s): b23a25e

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +14 -58
README.md CHANGED
@@ -4,60 +4,12 @@ language:
4
  - ru
5
  base_model: anthracite-org/magnum-v2.5-12b-kto
6
  ---
7
- # This is an experimental release!
8
- # Please use chatML format
9
  # This is a monolingual Russian version! English is not yet supported
10
 
11
- GGUF: https://huggingface.co/NikolayKozloff/NightyGurps-12b-v1-experimental-Q8_0-GGUF
12
 
13
  ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6336c5b3e3ac69e6a90581da/nKpaEOBwAeLB28uiMI_RA.png)
14
 
15
- ## ENG Version 🇬🇧
16
-
17
- ### Model description
18
-
19
- This model is intended for conducting role-playing games using the GURPS system, as well as for consulting and assisting. This model was trained on an augmented dataset using the GURPS Basic Set rulebook.
20
- Her main goal was initially to become an assistant consultant, as well as an assistant to the Game Master in the GURPS role-playing system, but she can also be used as a GM to conduct solo games as a player.
21
-
22
- ### Notes
23
-
24
- To be honest, it was very difficult to get mistral-nemo to produce more or less stable results. I tried my best to ensure maximum quality, I found nemo much harder to train than gemma2.
25
- This release is a pure experiment, then I plan to improve the NightyGurps models until I bring them to perfection.
26
-
27
- ### Recomendations
28
- I highly recommend using this model with a temperature of 0.3, as it gives the most accurate answers according to the GURPS rules. And the temperature is 0.5-0.7 if you use this model as a GM, and you yourself as a player.
29
-
30
- ### Parameters
31
-
32
- - Single rtx3090
33
- - rank 128
34
- - alpha 32
35
- - batch size 2
36
- - gradient accumulation steps 8
37
- - lora dropout 0.1
38
- - weight decay 0.2
39
- - learning rate 0.0001
40
- - max sequense lenght 4096
41
-
42
- ### Prompting
43
-
44
- This model uses the ChatML format! Don't forget to set it.
45
-
46
- ```py
47
- """<|im_start|>user
48
- Hi there!<|im_end|>
49
- <|im_start|>assistant
50
- Nice to meet you!<|im_end|>
51
- <|im_start|>user
52
- Can I ask a question?<|im_end|>
53
- <|im_start|>assistant
54
- """
55
- ```
56
-
57
- ### Credits
58
-
59
- Made by PegasusYaY(AlexBefest)
60
-
61
  ## RU Version 🇷🇺
62
 
63
  ### Model description
@@ -67,22 +19,26 @@ Made by PegasusYaY(AlexBefest)
67
 
68
  ### Notes
69
 
70
- Честно говоря, было очень тяжело заставить mistral-nemo выдавать более-менее стабильный результат. Я пытался изо всех сил обеспечить максимальное качество, мне показалось, что nemo куда тяжелее обучать, чем gemma2.
71
- Данный релиз является чистым экспериментом, далее я планирую совершенствовать модели NightyGurps, пока не доведу их до идеала.
 
72
 
73
  ### Recomendations
74
- Очень рекомендую использовать данную модель с температурой 0.3, так она даёт наиболее точные ответы по правилам GURPS. И температуру 0.5-0.7 если вы используете данную модель как ГМа, а сами выступаете в роли игрока.
 
 
75
 
76
  ### Parameters
77
 
78
- - Single rtx3090
 
79
  - rank 128
80
- - alpha 32
81
- - batch size 2
82
  - gradient accumulation steps 8
83
- - lora dropout 0.1
84
- - weight decay 0.2
85
- - learning rate 0.0001
86
  - max sequense lenght 4096
87
 
88
  ### Prompting
 
4
  - ru
5
  base_model: anthracite-org/magnum-v2.5-12b-kto
6
  ---
 
 
7
  # This is a monolingual Russian version! English is not yet supported
8
 
9
+ GGUF: (Soon)
10
 
11
  ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6336c5b3e3ac69e6a90581da/nKpaEOBwAeLB28uiMI_RA.png)
12
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
13
  ## RU Version 🇷🇺
14
 
15
  ### Model description
 
19
 
20
  ### Notes
21
 
22
+ Это точная настройка потрясающей модели Qwen 2.5 14b, которая по производительности обходит Gemma 2 27b. Я нашёл эту модель идеальной для дообучения на аугментированной книге правил Gurps Basic Set.
23
+ Пожалуй, именно эту модель я буду использовать в качестве основы для дальнейших улучшений. Сейчас у меня в планах расширить датасет как минимум в три раза, а также провести дестиляцию существующего.
24
+ Далее планируется выпустить NightyGurps-Nano (модель на основе qwen 2.5 3b) и NightyGurps-Large (на основе qwen 2.5 32b). На последнюю у меня особо большие планы и весьма высокие ожидания по производительности, учитывая невероятный уровень качества, который qwen смогли выжать всего из 32 миллиардов параметров.
25
 
26
  ### Recomendations
27
+ Очень рекомендую использовать данную модель с температурой 0.3-0.5 в режиме консультанта-ассистента по правилам GURPS.
28
+ И температуру 0.7-1.2 если вы используете данную модель как Гейм-мастера, а сами выступаете в роли игрока.
29
+ Если ваша цель - заставить данную модель вести партию, настоятельно рекомендую использовать подготовленную мной заранее карточку персонажа Гейм-мастера для SillyTavern (Это обеспечит максимальный экспериенс от партии):
30
 
31
  ### Parameters
32
 
33
+ Обучение проходило на протяжении трёх суток на одной rtx3090
34
+
35
  - rank 128
36
+ - alpha 16
37
+ - batch size 4
38
  - gradient accumulation steps 8
39
+ - lora dropout 0
40
+ - weight decay 0.1
41
+ - learning rate 0.0003
42
  - max sequense lenght 4096
43
 
44
  ### Prompting