A

app.py

@@ -58,29 +58,41 @@ device = "cuda" if torch.cuda.is_available() else "cpu"
 # Carga del modelo y el tokenizador
 model_name = "mistralai/Mistral-Nemo-Instruct-2407"
 tokenizer = AutoTokenizer.from_pretrained(model_name)
+
+# Asegurar pad_token_id único
+if tokenizer.pad_token_id is None or tokenizer.pad_token_id == tokenizer.eos_token_id:
+    tokenizer.pad_token_id = tokenizer.eos_token_id + 1
+
 model = AutoModelForCausalLM.from_pretrained(
     model_name,
     torch_dtype=torch.bfloat16 if device == "cuda" else torch.float32,
     device_map="auto" if device == "cuda" else None
 )
 
-@spaces.GPU(duration=120)
 def mejorar_resolucion(input_text):
     # Construcción del prompt con instrucciones y entrada del usuario
-    prompt = f"Deberas adoptar el rol y las instrucciones que se encuentran en {instrucciones}\n\n Y luego mejorar la redaccion de la resolución judicial o responder a la consulta realizada aca: {input_text}"
-    inputs = tokenizer(prompt, return_tensors="pt").to(device)
-    outputs = model.generate(inputs.input_ids, max_new_tokens=500, temperature=0.3, do_sample=True)
+    prompt = f"{instrucciones}\n\n{input_text}"
+    inputs = tokenizer(prompt, return_tensors="pt", padding=True, truncation=True).to(device)
+    attention_mask = inputs['attention_mask']
+    outputs = model.generate(
+        inputs.input_ids,
+        attention_mask=attention_mask,
+        max_new_tokens=500,
+        temperature=0.3,
+        do_sample=True,
+        pad_token_id=tokenizer.pad_token_id
+    )
     response = tokenizer.decode(outputs[0], skip_special_tokens=True)
     return response
 
-# Definición de la interfaz de Gradio
-with gr.Blocks() as demo:
-    gr.Markdown("# Mejora de Resoluciones Judiciales con GPT Civil")
-    gr.Markdown("Utiliza el modelo Mistral-Nemo-Instruct-2407 para mejorar borradores de resoluciones judiciales.")
-    input_text = gr.Textbox(label="Introduce tu resolución judicial")
-    output_text = gr.Textbox(label="Resolución mejorada")
-    submit_button = gr.Button("Mejorar")
-    submit_button.click(fn=mejorar_resolucion, inputs=input_text, outputs=output_text)
+# Configuración de la interfaz de Gradio
+demo = gr.Interface(
+    fn=mejorar_resolucion,
+    inputs=gr.Textbox(label="Introduce tu resolución judicial"),
+    outputs=gr.Textbox(label="Resolución mejorada"),
+    title="Mejora de Resoluciones Judiciales con GPT Civil",
+    description="Utiliza el modelo Mistral-Nemo-Instruct-2407 para mejorar borradores de resoluciones judiciales."
+)
 
 # Lanzamiento de la aplicación
 demo.launch()