локальный запуск на ollama и т.п.
#7
by
Torino2
- opened
привет,
как запустить эту модель локально на каком-нибудь llm-клиенте типа ollama и т.п. на 24 Гб гпу озу ?
создать контейнер, если нет.
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
скачать образ gguf и забросить в образ
я брал q8 образ
и забрасывал в директорию my
А именно: зашел, создав bash сессию:
docker exec -it ollama bash
и создал директорию my
mkdir /root/.ollama/my/
извне скопировал образ:
docker cp t-lite-it-1.0-q8_0.gguf ollama:/root/.ollama/my/
и ещё забросил конфигурацию Modelfile
в текстовой конфигурации должно быть записано:
FROM /root/.ollama/my/t-lite-it-1.0-q8_0.gguf
Далее в ранее открытой сессии, в директории my:
ollama create t-lite-q8 -f Modelfile
и запускал
docker exec -it ollama ollama run t-lite-q8:latest
И если на ноутбуке запуск. Не забывал срезать частоту процессора
echo 1900000 | sudo tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_max_freq
проверка частоты процессора
cat /sys/devices/system/cpu/cpu*/cpufreq/scaling_max_freq
проверка температуры процессора, миллиградусах Цельсия:
while true; do cat /sys/class/thermal/thermal_zone*/temp ; sleep 1 ; done
Оптимальную частоту подберешь. у меня с ddr5 и 16 ядрах получалось 1.9 ГГц.
Это то, как запускал на Linux.