HirCoir/TinyLlama-1.1B-Chat-v1.0-GGUF

TinyLlama-1.1B-Chat-v1.0

Requisitos

Para usar este modelo, necesitas tener instalado llama.cpp en tu equipo. Puedes obtener llama.cpp desde el siguiente repositorio:

• Repositorio de llama.cpp

Para instalar llama.cpp, sigue estos pasos:

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make

Uso del modelo

La plantilla del modelo es la siguiente:

<|system|>\nAnswer user questions</s>\n<|user|>\n{prompt}</s>\n<|assistant|>

Puedes utilizar el modelo en llama.cpp con el siguiente comando:

./main -m ggml-model-Q8_0.gguf -p "<|system|>\nAnswer user questions</s>\n<|user|>\nHi</s>\n<|assistant|>" --log-disable

LM Studio config-presets

Filename:tinyllamachat.preset.json

{
  "name": "TinyLlama Chat",
  "inference_params": {
    "input_prefix": "<|user|>\n",
    "input_suffix": "</s>\n<|assistant|>\n",
    "antiprompt": [
      "<|user|>\n",
      "</s>\n<|assistant|>\n"
    ],
    "pre_prompt": "<|system|>\nAnswer user questions</s>",
    "pre_prompt_prefix": "",
    "pre_prompt_suffix": ""
  },
  "load_params": {
    "rope_freq_scale": 0,
    "rope_freq_base": 0
  }
}

Referencias

• Repositorio original
• Repositorio de llama.cpp