Update README.md
Browse files
README.md
CHANGED
@@ -1,4 +1,6 @@
|
|
1 |
---
|
|
|
|
|
2 |
datasets:
|
3 |
- alexandreteles/AlpacaToxicQA_ShareGPT
|
4 |
- Nitral-AI/Active_RP-ShareGPT
|
@@ -22,32 +24,57 @@ datasets:
|
|
22 |
- cognitivecomputations/samantha-data
|
23 |
- m-a-p/CodeFeedback-Filtered-Instruction
|
24 |
- m-a-p/Code-Feedback
|
25 |
-
base_model: Novaciano/La_Mejor_Mezcla-3.2-1B
|
26 |
-
library_name: transformers
|
27 |
tags:
|
28 |
- mergekit
|
29 |
- merge
|
30 |
- llama-cpp
|
31 |
-
- gguf-my-repo
|
32 |
language:
|
33 |
- es
|
34 |
- en
|
35 |
license: apache-2.0
|
36 |
-
pipeline_tag: text-generation
|
37 |
---
|
38 |
|
39 |
# Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF
|
40 |
-
|
41 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
42 |
|
43 |
-
|
44 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
45 |
|
46 |
```bash
|
47 |
brew install llama.cpp
|
48 |
|
49 |
```
|
50 |
-
|
51 |
|
52 |
### CLI:
|
53 |
```bash
|
@@ -59,23 +86,23 @@ llama-cli --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF --hf-file la_mejo
|
|
59 |
llama-server --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF --hf-file la_mejor_mezcla-3.2-1b-q6_k.gguf -c 2048
|
60 |
```
|
61 |
|
62 |
-
|
63 |
|
64 |
-
|
65 |
```
|
66 |
git clone https://github.com/ggerganov/llama.cpp
|
67 |
```
|
68 |
|
69 |
-
|
70 |
```
|
71 |
cd llama.cpp && LLAMA_CURL=1 make
|
72 |
```
|
73 |
|
74 |
-
|
75 |
```
|
76 |
./llama-cli --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF --hf-file la_mejor_mezcla-3.2-1b-q6_k.gguf -p "The meaning to life and the universe is"
|
77 |
```
|
78 |
-
|
79 |
```
|
80 |
./llama-server --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF --hf-file la_mejor_mezcla-3.2-1b-q6_k.gguf -c 2048
|
81 |
-
```
|
|
|
1 |
---
|
2 |
+
base_model: Novaciano/La_Mejor_Mezcla-3.2-1B
|
3 |
+
library_name: transformers
|
4 |
datasets:
|
5 |
- alexandreteles/AlpacaToxicQA_ShareGPT
|
6 |
- Nitral-AI/Active_RP-ShareGPT
|
|
|
24 |
- cognitivecomputations/samantha-data
|
25 |
- m-a-p/CodeFeedback-Filtered-Instruction
|
26 |
- m-a-p/Code-Feedback
|
|
|
|
|
27 |
tags:
|
28 |
- mergekit
|
29 |
- merge
|
30 |
- llama-cpp
|
|
|
31 |
language:
|
32 |
- es
|
33 |
- en
|
34 |
license: apache-2.0
|
|
|
35 |
---
|
36 |
|
37 |
# Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF
|
38 |
+
Este modelo se convirtió al formato GGUF desde [`Novaciano/La_Mejor_Mezcla-3.2-1B`](https://huggingface.co/Novaciano/La_Mejor_Mezcla-3.2-1B) utilizando llama.cpp a través del espacio [GGUF-my-repo](https://huggingface.co/spaces/ggml-org/gguf-my-repo) de ggml.ai.
|
39 |
+
Consulta la [tarjeta del modelo original](https://huggingface.co/Novaciano/La_Mejor_Mezcla-3.2-1B) para obtener más detalles sobre el modelo.
|
40 |
+
|
41 |
+
<center><a href="https://ibb.co/YFCsj2MK"><img src="https://i.ibb.co/pB7FX28s/1559d4be98b5a26edf62ee40695ececc-high.jpg" alt="1559d4be98b5a26edf62ee40695ececc-high" border="0"></a></center>
|
42 |
+
|
43 |
+
# Mezcla
|
44 |
+
|
45 |
+
*Esta es una mezcla de modelos de lenguaje pre-entrenados creado a partir de [mergekit](https://github.com/cg123/mergekit).*
|
46 |
+
|
47 |
+
## Detalles de la mezcla
|
48 |
|
49 |
+
*Fue creado a partir de los que considero los mejores modelos que he usado de base para mis anteriores creaciones. Cada uno destaca en lo suyo:*
|
50 |
+
- Roleplay
|
51 |
+
- GRPO
|
52 |
+
- Uncensored
|
53 |
+
- Abliterated
|
54 |
+
- Gran cantidad de datasets inyectados
|
55 |
+
|
56 |
+
### Método de Mezcla
|
57 |
+
|
58 |
+
*Este modelo ha sido mezclado usando el método de mezcla [Model Stock](https://arxiv.org/abs/2403.19522) usando [bunnycore/FuseChat-3.2-1B-Creative-RP](https://huggingface.co/bunnycore/FuseChat-3.2-1B-Creative-RP) como base.*
|
59 |
+
|
60 |
+
### Modelos Mezclados
|
61 |
+
|
62 |
+
*Los siguientes modelos han sido incluidos en la mezcla:*
|
63 |
+
* [NickyNicky/Llama-1B-GRPO_Final](https://huggingface.co/NickyNicky/Llama-1B-GRPO_Final)
|
64 |
+
* [xdrshjr/llama3.2_1b_uncensored_5000_8epoch_lora](https://huggingface.co/xdrshjr/llama3.2_1b_uncensored_5000_8epoch_lora)
|
65 |
+
* [huihui-ai/Llama-3.2-1B-Instruct-abliterated](https://huggingface.co/huihui-ai/Llama-3.2-1B-Instruct-abliterated)
|
66 |
+
* [prithivMLmods/Bellatrix-Tiny-1B-v3](https://huggingface.co/prithivMLmods/Bellatrix-Tiny-1B-v3)
|
67 |
+
* [cognitivecomputations/Dolphin3.0-Llama3.2-1B](https://huggingface.co/cognitivecomputations/Dolphin3.0-Llama3.2-1B)
|
68 |
+
|
69 |
+
---
|
70 |
+
## Uso con llama.cpp
|
71 |
+
Instalar llama.cpp a través de brew (funciona en Mac y Linux)
|
72 |
|
73 |
```bash
|
74 |
brew install llama.cpp
|
75 |
|
76 |
```
|
77 |
+
Invoque el servidor llama.cpp o la CLI.
|
78 |
|
79 |
### CLI:
|
80 |
```bash
|
|
|
86 |
llama-server --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF --hf-file la_mejor_mezcla-3.2-1b-q6_k.gguf -c 2048
|
87 |
```
|
88 |
|
89 |
+
**Nota:** También puedes usar este punto de control directamente a través de los [pasos de uso](https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#usage) que se enumeran en el repositorio Llama.cpp.
|
90 |
|
91 |
+
**Paso 1:** Clona llama.cpp desde GitHub.
|
92 |
```
|
93 |
git clone https://github.com/ggerganov/llama.cpp
|
94 |
```
|
95 |
|
96 |
+
**Paso 2:** Vaya a la carpeta llama.cpp y compílela con el indicador `LLAMA_CURL=1` junto con otros indicadores específicos del hardware (por ejemplo: LLAMA_CUDA=1 para GPU Nvidia en Linux).
|
97 |
```
|
98 |
cd llama.cpp && LLAMA_CURL=1 make
|
99 |
```
|
100 |
|
101 |
+
**Paso 3:** Ejecutar la inferencia a través del binario principal.
|
102 |
```
|
103 |
./llama-cli --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF --hf-file la_mejor_mezcla-3.2-1b-q6_k.gguf -p "The meaning to life and the universe is"
|
104 |
```
|
105 |
+
o
|
106 |
```
|
107 |
./llama-server --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF --hf-file la_mejor_mezcla-3.2-1b-q6_k.gguf -c 2048
|
108 |
+
```
|