Novaciano commited on
Commit
7d5f517
·
verified ·
1 Parent(s): aa9dceb

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +42 -15
README.md CHANGED
@@ -1,4 +1,6 @@
1
  ---
 
 
2
  datasets:
3
  - alexandreteles/AlpacaToxicQA_ShareGPT
4
  - Nitral-AI/Active_RP-ShareGPT
@@ -22,32 +24,57 @@ datasets:
22
  - cognitivecomputations/samantha-data
23
  - m-a-p/CodeFeedback-Filtered-Instruction
24
  - m-a-p/Code-Feedback
25
- base_model: Novaciano/La_Mejor_Mezcla-3.2-1B
26
- library_name: transformers
27
  tags:
28
  - mergekit
29
  - merge
30
  - llama-cpp
31
- - gguf-my-repo
32
  language:
33
  - es
34
  - en
35
  license: apache-2.0
36
- pipeline_tag: text-generation
37
  ---
38
 
39
  # Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF
40
- This model was converted to GGUF format from [`Novaciano/La_Mejor_Mezcla-3.2-1B`](https://huggingface.co/Novaciano/La_Mejor_Mezcla-3.2-1B) using llama.cpp via the ggml.ai's [GGUF-my-repo](https://huggingface.co/spaces/ggml-org/gguf-my-repo) space.
41
- Refer to the [original model card](https://huggingface.co/Novaciano/La_Mejor_Mezcla-3.2-1B) for more details on the model.
 
 
 
 
 
 
 
 
42
 
43
- ## Use with llama.cpp
44
- Install llama.cpp through brew (works on Mac and Linux)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
45
 
46
  ```bash
47
  brew install llama.cpp
48
 
49
  ```
50
- Invoke the llama.cpp server or the CLI.
51
 
52
  ### CLI:
53
  ```bash
@@ -59,23 +86,23 @@ llama-cli --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF --hf-file la_mejo
59
  llama-server --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF --hf-file la_mejor_mezcla-3.2-1b-q6_k.gguf -c 2048
60
  ```
61
 
62
- Note: You can also use this checkpoint directly through the [usage steps](https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#usage) listed in the Llama.cpp repo as well.
63
 
64
- Step 1: Clone llama.cpp from GitHub.
65
  ```
66
  git clone https://github.com/ggerganov/llama.cpp
67
  ```
68
 
69
- Step 2: Move into the llama.cpp folder and build it with `LLAMA_CURL=1` flag along with other hardware-specific flags (for ex: LLAMA_CUDA=1 for Nvidia GPUs on Linux).
70
  ```
71
  cd llama.cpp && LLAMA_CURL=1 make
72
  ```
73
 
74
- Step 3: Run inference through the main binary.
75
  ```
76
  ./llama-cli --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF --hf-file la_mejor_mezcla-3.2-1b-q6_k.gguf -p "The meaning to life and the universe is"
77
  ```
78
- or
79
  ```
80
  ./llama-server --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF --hf-file la_mejor_mezcla-3.2-1b-q6_k.gguf -c 2048
81
- ```
 
1
  ---
2
+ base_model: Novaciano/La_Mejor_Mezcla-3.2-1B
3
+ library_name: transformers
4
  datasets:
5
  - alexandreteles/AlpacaToxicQA_ShareGPT
6
  - Nitral-AI/Active_RP-ShareGPT
 
24
  - cognitivecomputations/samantha-data
25
  - m-a-p/CodeFeedback-Filtered-Instruction
26
  - m-a-p/Code-Feedback
 
 
27
  tags:
28
  - mergekit
29
  - merge
30
  - llama-cpp
 
31
  language:
32
  - es
33
  - en
34
  license: apache-2.0
 
35
  ---
36
 
37
  # Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF
38
+ Este modelo se convirtió al formato GGUF desde [`Novaciano/La_Mejor_Mezcla-3.2-1B`](https://huggingface.co/Novaciano/La_Mejor_Mezcla-3.2-1B) utilizando llama.cpp a través del espacio [GGUF-my-repo](https://huggingface.co/spaces/ggml-org/gguf-my-repo) de ggml.ai.
39
+ Consulta la [tarjeta del modelo original](https://huggingface.co/Novaciano/La_Mejor_Mezcla-3.2-1B) para obtener más detalles sobre el modelo.
40
+
41
+ <center><a href="https://ibb.co/YFCsj2MK"><img src="https://i.ibb.co/pB7FX28s/1559d4be98b5a26edf62ee40695ececc-high.jpg" alt="1559d4be98b5a26edf62ee40695ececc-high" border="0"></a></center>
42
+
43
+ # Mezcla
44
+
45
+ *Esta es una mezcla de modelos de lenguaje pre-entrenados creado a partir de [mergekit](https://github.com/cg123/mergekit).*
46
+
47
+ ## Detalles de la mezcla
48
 
49
+ *Fue creado a partir de los que considero los mejores modelos que he usado de base para mis anteriores creaciones. Cada uno destaca en lo suyo:*
50
+ - Roleplay
51
+ - GRPO
52
+ - Uncensored
53
+ - Abliterated
54
+ - Gran cantidad de datasets inyectados
55
+
56
+ ### Método de Mezcla
57
+
58
+ *Este modelo ha sido mezclado usando el método de mezcla [Model Stock](https://arxiv.org/abs/2403.19522) usando [bunnycore/FuseChat-3.2-1B-Creative-RP](https://huggingface.co/bunnycore/FuseChat-3.2-1B-Creative-RP) como base.*
59
+
60
+ ### Modelos Mezclados
61
+
62
+ *Los siguientes modelos han sido incluidos en la mezcla:*
63
+ * [NickyNicky/Llama-1B-GRPO_Final](https://huggingface.co/NickyNicky/Llama-1B-GRPO_Final)
64
+ * [xdrshjr/llama3.2_1b_uncensored_5000_8epoch_lora](https://huggingface.co/xdrshjr/llama3.2_1b_uncensored_5000_8epoch_lora)
65
+ * [huihui-ai/Llama-3.2-1B-Instruct-abliterated](https://huggingface.co/huihui-ai/Llama-3.2-1B-Instruct-abliterated)
66
+ * [prithivMLmods/Bellatrix-Tiny-1B-v3](https://huggingface.co/prithivMLmods/Bellatrix-Tiny-1B-v3)
67
+ * [cognitivecomputations/Dolphin3.0-Llama3.2-1B](https://huggingface.co/cognitivecomputations/Dolphin3.0-Llama3.2-1B)
68
+
69
+ ---
70
+ ## Uso con llama.cpp
71
+ Instalar llama.cpp a través de brew (funciona en Mac y Linux)
72
 
73
  ```bash
74
  brew install llama.cpp
75
 
76
  ```
77
+ Invoque el servidor llama.cpp o la CLI.
78
 
79
  ### CLI:
80
  ```bash
 
86
  llama-server --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF --hf-file la_mejor_mezcla-3.2-1b-q6_k.gguf -c 2048
87
  ```
88
 
89
+ **Nota:** También puedes usar este punto de control directamente a través de los [pasos de uso](https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#usage) que se enumeran en el repositorio Llama.cpp.
90
 
91
+ **Paso 1:** Clona llama.cpp desde GitHub.
92
  ```
93
  git clone https://github.com/ggerganov/llama.cpp
94
  ```
95
 
96
+ **Paso 2:** Vaya a la carpeta llama.cpp y compílela con el indicador `LLAMA_CURL=1` junto con otros indicadores específicos del hardware (por ejemplo: LLAMA_CUDA=1 para GPU Nvidia en Linux).
97
  ```
98
  cd llama.cpp && LLAMA_CURL=1 make
99
  ```
100
 
101
+ **Paso 3:** Ejecutar la inferencia a través del binario principal.
102
  ```
103
  ./llama-cli --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF --hf-file la_mejor_mezcla-3.2-1b-q6_k.gguf -p "The meaning to life and the universe is"
104
  ```
105
+ o
106
  ```
107
  ./llama-server --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF --hf-file la_mejor_mezcla-3.2-1b-q6_k.gguf -c 2048
108
+ ```