Update README.md

README.md

@@ -6,12 +6,13 @@ tags:
 - Paraguay
 - Culture
 - Custom Code
+- Guaraní
 datasets:
-- somosnlp/qa-cultura-paraguaya
+- somosnlp/dataset-cultura-guarani_corpus-it
 pipeline_tag: text-generation
 ---
 
-# Gua'a - Conoce la Cultura Paraguaya
+# Gua'a - Conoce la Cultura Guaraní
 
 <p align="center">
     <img src="https://cdn-uploads.huggingface.co/production/uploads/65f4605f4c2a1312c4d0a4b2/SfnV8yd8Zfp3dtFhX6HV1.png" style="width: 25%;">
@@ -27,7 +28,6 @@ pipeline_tag: text-generation
     + [Características 📘](#model-description-)
   * [Usos 🛠️](#uses-)
     + [Uso directo 🎯](#direct-use-)
-    + [Temas relacionados 🎯](#direct-use-)
   * [Sesgos, Riesgos, y Limitaciones ⚠️](#bias-risks-and-limitations-)
   * [Como puedo empezar a utilizar el modelo 🚀](#how-to-get-started-with-the-model-)
   * [Cómo Contribuir](#environmental-impact)
@@ -38,17 +38,40 @@ pipeline_tag: text-generation
 
 ### Descripción del modelo 📘
 
-**gua-a** es un modelo de Inteligencia Artificial innovador enfocado específicamente en responder preguntas relacionadas a la cultura paraguaya. 
-Diseñamos un arquitectura innovadora llamada **keeper**, que combina el poder de *ColBERT* para la recuperación eficiente de documentos y el modelo *Gemma* de 2B de parámetros
-para la generación de respuestas precisas y contextuales. Ademas almacena y recupera documentos de texto directamente en tensores, 
-lo que facilita una integración fluida y eficiente entre los componentes de recuperación y generación de texto.
+**gua-a** es un modelo de Inteligencia Artificial innovador enfocado específicamente en responder preguntas relacionadas a la cultura guaraní. 
+Se basa en el finetuning del modelo *Mistral* de 7B de parámetros para la generación de respuestas. 
 
 ### Características
 
-- **Retriever ColBERT**: Utiliza una versión especializada de ColBERT <ins>"AdrienB134/ColBERTv1.0-bert-based-spanish-mmarcoES"</ins> para recuperar de manera eficiente el contexto relevante de una amplia base de datos interna.
-- **Generador LLM Gemma**: Emplea <ins>"google/gemma-2b-it"</ins> quantizada a 4-bits para generar respuestas detalladas y contextualmente adecuadas basadas en la información recuperada.
-- **Dataset Especializado**: Creamos un dataset exclusivo, corregido y centrado en la cultura paraguaya, tomando como texto base el libro <ins>"Ñande Ypykuéra" de Narciso R. Colmán</ins>, asegurando respuestas precisas y culturalmente relevantes.
-- **Almacenamiento en Tensores**: Los documentos se almacenan internamente en tensores.
+- **Generador LLM Mistral**: Emplea <ins>"unsloth/mistral-7b-bnb-4bit"</ins> un modelo de Unsloth, quantizado a 4-bits para generar respuestas concisa y contextualmente adecuadas basadas en las preguntas del usuario.
+- **Dataset Especializado**: Creamos un dataset exclusivo, corregido y centrado en la cultura guaraní, tomando como texto base el libro <ins>"Ñande Ypykuéra" de Narciso R. Colmán</ins>, asegurando respuestas precisas y culturalmente relevantes.
+- **Finetuning**: Se detallan los siguientes parametros de entrenamiento:
+
+  LoRA
+    r = 64, 
+    target_modules = ["q_proj", "k_proj", "v_proj", "o_proj","gate_proj", "up_proj", "down_proj"],
+    lora_alpha = 128,
+    lora_dropout = 0, 
+    bias = "none",
+    use_gradient_checkpointing = True,
+    random_state = 42,
+    use_rslora = False, 
+    loftq_config = None,
+  Trainer
+      per_device_train_batch_size = 2,
+      gradient_accumulation_steps = 32,
+      warmup_steps = 10,
+      num_train_epochs = 5,
+      learning_rate = 2e-4,
+      fp16 = not torch.cuda.is_bf16_supported(),
+      bf16 = torch.cuda.is_bf16_supported(),
+      logging_steps = 1,
+      optim = "adamw_8bit",
+      weight_decay = 0.01,
+      lr_scheduler_type = "linear",
+      save_strategy="epoch",
+      seed = 42,
+      report_to="tensorboard", 
 
 ## Usos 🛠️
 
@@ -58,86 +81,84 @@ A continuación compartimos algunos fragmentos de código sobre cómo empezar r
 
 El modelo responde directamente a las preguntas que haga, basandose en datos del libro <ins>"Ñande Ypykuéra"</ins>.
 
-### Temas relacionados 🎯
-
-El modelo extrae directamente preguntas y respuestas precargados en el dataset, basandose en datos del libro <ins>"Ñande Ypykuéra"</ins>.
-
 ## Sesgos, Riesgos, y Limitaciones ⚠️
 
 El modelo **gua-a** es un modelo muy experimental, con poco tiempo de desarrollo. Las respuestas pueden ser imprecisas y de baja calidad. 
 El libro utilizado por el modelo solo refleja parte de la cultura guaraní, limitandose a la visión del autor del libro.
 
-
 ## Como puedo empezar a utilizar el modelo 🚀
 
-### Uso directo 🎯
+### Realizar Inferencias 🎯
 
-Obs: El modelo corre en GPUs simples como T4. ~11.6GB de GPU RAM.
+Obs: El modelo corre en GPUs simples como T4. ~5.7GB de GPU RAM.
 
 #### Running the model on a single / multi GPU
 
 ```python
-# pip install accelerate
-# pip install bitsandbytes
-# pip install einops
 
-from transformers import AutoTokenizer, AutoModelForCausalLM
+major_version, minor_version = torch.cuda.get_device_capability()
+# Must install separately since Colab has torch 2.2.1, which breaks packages
+!pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
+if major_version >= 8:
+    # Use this for new GPUs like Ampere, Hopper GPUs (RTX 30xx, RTX 40xx, A100, H100, L40)
+    !pip install --no-deps packaging ninja einops flash-attn xformers trl peft accelerate bitsandbytes
+else:
+    # Use this for older GPUs (V100, Tesla T4, RTX 20xx)
+    !pip install --no-deps xformers trl peft accelerate bitsandbytes
+pass
 
-tokenizer = AutoTokenizer.from_pretrained("somosnlp/gua-a", trust_remote_code=True)
-model = AutoModelForCausalLM.from_pretrained("somosnlp/gua-a", trust_remote_code=True).to('cuda')
+from unsloth import FastLanguageModel
+import torch
+max_seq_length = 512 
+dtype = None
+load_in_4bit = True 
 
-input_text = "Sobre que trata el libro?"
-input_ids = tokenizer.encode(input_text)
-
-outputs = model.generate(input_ids, k=3, max_new_tokens=512) # k: número de documentos recuperados
-print(tokenizer.decode(outputs[0], skip_special_tokens=True))
-```
+base_prompt = """Responde a preguntas de forma clara, amable, concisa y solamente en el lenguaje español, sobre el libro Ñande Ypykuéra.
 
+### Pregunta:
+{}
 
-### Temas relacionados 🎯
+### Respuesta:
+{}""
 
-Obs: El modelo corre en GPUs simples como T4. ~11.6GB de GPU RAM.
+model, tokenizer = FastLanguageModel.from_pretrained(
+    model_name = "somosnlp/gua-a",
+    max_seq_length = max_seq_length,
+    dtype = dtype,
+    load_in_4bit = load_in_4bit,
+)
 
-#### Running the model on a single / multi GPU
+FastLanguageModel.for_inference(model) # Enable native 2x faster inference
 
-```python
-# pip install accelerate
-# pip install bitsandbytes
-# pip install einops
+pregunta = "Quien es gua'a?"
 
-from transformers import AutoTokenizer, AutoModelForCausalLM
+inputs = tokenizer([ft_prompt.format(pregunta,"",)], return_tensors = "pt").to("cuda")
 
-tokenizer = AutoTokenizer.from_pretrained("somosnlp/gua-a", trust_remote_code=True)
-model = AutoModelForCausalLM.from_pretrained("somosnlp/gua-a", trust_remote_code=True).to('cuda')
+outputs = model.generate(**inputs, max_new_tokens = 128, temperature = 0.1, repetition_penalty=1.15)
 
-input_text = "Sobre que trata el libro?"
-input_ids = tokenizer.encode(input_text)
+tokenizer.batch_decode(outputs[0][inputs["input_ids"].shape[1]:].unsqueeze(0), skip_special_tokens=True)[0]
 
-top_texts = model.document_extractor(input_ids, k=5) # k: número de documentos recuperados
-print([tokenizer.decode(text, skip_special_tokens=True) for text in top_texts])
 ```
 
 ## Cómo Contribuir
 
-Estamos abiertos a contribuciones para mejorar aún más Keeper. Si estás interesado en:
+Estamos abiertos a contribuciones para mejorar aún más el modelo gua-a. =) Si estás interesado en:
 
-    Optimizar los algoritmos de recuperación y generación de texto.
-    Mejorar la precisión y la relevancia de las respuestas generadas.
-    Probar nuevos modelos de recuperación y generación.
+    Ampliar el dataset creado
+    Continuar el finetuning    
 
-Por favor, consulta nuestra guía de contribución o ponte en contacto directamente a través de los Issues en GitHub (https://github.com/EnPaiva93/keeper.git).
+Por favor, consulta nuestra guía de contribución o ponte en contacto directamente a través de los Issues en GitHub
 
 
 ## Licencia
 
-- keeper se distribuye bajo la licencia **apache 2.0**.
-- gua-a-2b se ditribuye bajo la licencia **cc-by-sa-4.0**.
+- gua-a-7b se ditribuye bajo la licencia **cc-by-sa-4.0**.
 
 ## Créditos
 
 - Desarrollado por **Enrique Paiva (https://huggingface.co/enpaiva)**.
 
-gua-a es el resultado de un esfuerzo para avanzar en el entendimiento y la apreciación de la cultura paraguaya mediante la tecnología de IA.
+gua-a es el resultado de un esfuerzo para avanzar en el entendimiento y la apreciación de la cultura guaraní mediante la tecnología de IA.
 Agradecemos a todos los que han contribuido a este proyecto.
   - Daniel Cabrera
   - Leticia Bogado