IrbisAI/Irbis-7b-Instruct_lora

Irbis-7B-Instruct LoRA

Irbis-7B-Instruct - это лора для модели Irbis-7b-v0.1, обученная на датасете с 200к примеров (вопрос, контекст, ответ) на казахском языке. Итоговая модель хорошо отвечает на простые вопросы и может работать с контекстом, хотя еще есть место для дальнейшего улучшения.

Подробнее можно почитать в статье.

Попробовать

from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
from peft import PeftModel, PeftConfig
import torch

model_name = "IrbisAI/Irbis-7b-Instruct_lora"
config = PeftConfig.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    config.base_model_name_or_path,
    return_dict=True,
    load_in_4bit=True,
    torch_dtype=torch.float16,
    device_map="auto")
model = PeftModel.from_pretrained(model, model_name)
tokenizer = AutoTokenizer.from_pretrained(config.base_model_name_or_path)

question = "Шөп неге жасыл?"
context  = ""


template = f"""Сен — қазақ тілінде сөйлейтін автоматты көмекші Ирбис. Төменде тапсырма және қосымша контекст беретін енгізу келтірілген. Дұрыс жауап жаз.

### Тапсырма:
{question}

### Енгізу:
{context}

### Жауап:
"""

input_ids = tokenizer([template], return_tensors = "pt")["input_ids"].to("cuda")

generation_config = GenerationConfig(
    temperature=0.6,
    repetition_penalty=1.15,
)
print("Generating...")
generation_output = model.generate(
    input_ids=input_ids,
    generation_config=generation_config,
    return_dict_in_generate=True,
    output_scores=True,
    max_new_tokens=2048,
    pad_token_id=tokenizer.eos_token_id,
)
for s in generation_output.sequences:
    print(tokenizer.decode(s)) # Жасыл шөптің түсі өсімдіктегі хлорофилл деп аталатын химиялық затқа байланысты. Хлорофилл күн сәулесін сіңіреді, содан кейін оны жасушаларға жібереді. Бұл жасушалар жарық энергиясын көмірқышқыл газын оттегімен тотықтырады, бұл процесс арқылы энергия өндіріледі.