HirCoir/MiniChat-1.5-3B-Sorah-GGUF

MiniChat-1.5-3B-Sorah

Este es el repositorio del modelo de IA MiniChat-1.5-3B-Sorah. Está basado en el modelo MiniChat-1.5-3B, que puedes encontrar aquí.

El modelo MiniChat-1.5-3B-Sorah complementa el modelo de voz Sorah, que fue creado por el proyecto Piper. El modelo Sorah está en proceso de entrenamiento y mejoras, por lo que su acceso no es público, pero puedes encontrar más información en el repositorio de Sorah Neuronal.

Estos modelos en formato .gguf son la versión convertida del repositorio original.

Requisitos

Para usar este modelo, necesitas tener instalado llama.cpp en tu equipo. Puedes obtener llama.cpp desde el siguiente repositorio:

• Repositorio de llama.cpp

Para instalar llama.cpp, sigue estos pasos:

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make

Uso del modelo

La plantilla del modelo es la siguiente:

<s> [|User|] {prompt} </s>[|Assistant|]

Puedes utilizar el modelo en llama.cpp con el siguiente comando:

./main -m minichat-sorah-Q8_0.gguf -p "<s> [|User|] Hola, ¿cómo te llamas? </s>[|Assistant|]" --log-disable

LM Studio config-presets

Filename:MiniChat-Sorah.preset.json

{
  "name": "MiniChat-1.5-3B-Sorah",
  "inference_params": {
    "input_prefix": "<s> [|User|]",
    "input_suffix": "</s>[|Assistant|]",
    "antiprompt": [
      "<s> [|User|]",
      "</s>[|Assistant|]",
      "</s>"
    ],
    "pre_prompt": "",
    "pre_prompt_prefix": "",
    "pre_prompt_suffix": ""
  },
  "load_params": {
    "rope_freq_scale": 0,
    "rope_freq_base": 0
  }
}

Referencias

• Repositorio original
• Repositorio de la versión convertida
• Repositorio de llama.cpp