Update README.md
Browse files
README.md
CHANGED
@@ -14,8 +14,9 @@ license: apache-2.0
|
|
14 |
|
15 |
Инструктивная модель на основе Vikhr-Qwen-2.5-1.5B-Instruct, обученная на русскоязычном сгенерированном датасете. Создана для ответа на запросы в роли волшебного психолога из вселенной Гарри Поттера.
|
16 |
|
17 |
-
|
18 |
|
|
|
19 |
def generate_answer(model, tokenizer, prompt):
|
20 |
|
21 |
inputs = tokenizer.apply_chat_template([{"role": "system", "content": BASE_SYSTEM_PROMPT},{"role": "user", "content": prompt}],
|
@@ -36,4 +37,5 @@ def generate_answer(model, tokenizer, prompt):
|
|
36 |
with torch.no_grad():
|
37 |
outputs = model.generate(**inputs, **gen_kwargs)
|
38 |
outputs = outputs[:, inputs['input_ids'].shape[1]:]
|
39 |
-
return tokenizer.decode(outputs[0], skip_special_tokens=True)
|
|
|
|
14 |
|
15 |
Инструктивная модель на основе Vikhr-Qwen-2.5-1.5B-Instruct, обученная на русскоязычном сгенерированном датасете. Создана для ответа на запросы в роли волшебного психолога из вселенной Гарри Поттера.
|
16 |
|
17 |
+
**Пример использования:**
|
18 |
|
19 |
+
```py
|
20 |
def generate_answer(model, tokenizer, prompt):
|
21 |
|
22 |
inputs = tokenizer.apply_chat_template([{"role": "system", "content": BASE_SYSTEM_PROMPT},{"role": "user", "content": prompt}],
|
|
|
37 |
with torch.no_grad():
|
38 |
outputs = model.generate(**inputs, **gen_kwargs)
|
39 |
outputs = outputs[:, inputs['input_ids'].shape[1]:]
|
40 |
+
return tokenizer.decode(outputs[0], skip_special_tokens=True)
|
41 |
+
```
|