README.md

---
license: apache-2.0
language:
- ru
base_model: anthracite-org/magnum-v2.5-12b-kto
---
# This is a monolingual Russian version! English is not yet supported

GGUF: (Soon)

![image/png](https://cdn-uploads.huggingface.co/production/uploads/6336c5b3e3ac69e6a90581da/nKpaEOBwAeLB28uiMI_RA.png)

## RU Version 🇷🇺

### Model description

Данная модель предназначена для проведения ролевых игр по системе GURPS, а также для консультирования и ассистирования. Эта модель была обучена на аугментированном наборе данных по книге правил GURPS Basic Set.
Главной её целью изначально было становление ассистентом-консультантом, а также помощником Гейм-мастера по ролевой системе GURPS, но её также можно использовать в качестве ГМа для проведения соло-партий в качестве игрока. 

### Recomendations 
Очень рекомендую использовать данную модель с температурой 0.3-0.5 в режиме консультанта-ассистента по правилам GURPS. 
И температуру 0.7-1.2 если вы используете данную модель как Гейм-мастера, а сами выступаете в роли игрока.
Если ваша цель - заставить данную модель вести партию, настоятельно рекомендую использовать подготовленную мной заранее карточку персонажа Гейм-мастера для SillyTavern (Это обеспечит максимальный экспериенс от партии):

### Parameters 

Обучение проходило на протяжении трёх суток на одной rtx3090

- rank 128
- alpha 16
- batch size 4
- gradient accumulation steps 8
- lora dropout 0
- weight decay 0.1
- learning rate 0.0003
- max sequense lenght 4096

### Prompting 

Данная модель использует формат ChatML! Не забудьте выставить его.

```py
"""<|im_start|>user
Hi there!<|im_end|>
<|im_start|>assistant
Nice to meet you!<|im_end|>
<|im_start|>user
Can I ask a question?<|im_end|>
<|im_start|>assistant
"""
```

### Notes

Это точная настройка потрясающей модели Qwen 2.5 14b, которая по производительности обходит Gemma 2 27b. Я нашёл эту модель идеальной для дообучения на аугментированной книге правил Gurps Basic Set.
Пожалуй, именно эту модель я буду использовать в качестве основы для дальнейших улучшений. Сейчас у меня в планах расширить датасет как минимум в три раза, а также провести дестиляцию существующего. 
Далее планируется выпустить NightyGurps-Nano (модель на основе qwen 2.5 3b) и NightyGurps-Large (на основе qwen 2.5 32b). На последнюю у меня особо большие планы и весьма высокие ожидания по производительности, учитывая невероятный уровень качества, который qwen смогли выжать всего из 32 миллиардов параметров.


### Credits

Made by PegasusYaY(AlexBefest)