Формат запросов
#1
by
guinmoon
- opened
Приветствую, я разработчик вот этой программы https://github.com/guinmoon/LLMFarm.
Сейчас 3B модели работают с очень приличной скоростью, даже на iPhone 12. К сожалению из русских моделей нашел только Saiga, которая минимум 7B.
Очень интересно погонять вашу модель. Подскажите пожалуйста как правильно формировать запрос этой модели? Я ее квантовал в ggml и она отвечает, но явно не то что нужно.
Привет, формат такой же как в Alpaca. Примерно такой:
Instruction:
{prompt}
Response:
В llama.cpp нужно установить флаг --instruct
О спасибо. Вроде работает)) Попробую на ее основе обучить свою ЛоРУ.
guinmoon
changed discussion status to
closed
Жду)
Не думал что эта модель была кому то полезна. Да она обучалась в формате альпаки. Датасет тоже досутпен