Update app.py

app.py

@@ -0,0 +1,94 @@
+from unsloth import FastLanguageModel
+
+# 4bit pre quantized models we support for 4x faster downloading + no OOMs.
+fourbit_models = [
+    "unsloth/mistral-7b-instruct-v0.2-bnb-4bit",
+    "unsloth/gemma-7b-it-bnb-4bit",
+] # More models at https://huggingface.co/unsloth
+
+model, tokenizer = FastLanguageModel.from_pretrained(
+    model_name = "unsloth/Meta-Llama-3.1-8B-Instruct",
+    max_seq_length = 8192,
+    load_in_4bit = True,
+    # token = "hf_...", # use one if using gated models like meta-llama/Llama-2-7b-hf
+)
+####
+from transformers import TextStreamer
+from unsloth.chat_templates import get_chat_template
+tokenizer = get_chat_template(
+    tokenizer,
+    chat_template = "llama-3.1",
+    mapping = {"role" : "from", "content" : "value", "user" : "human", "assistant" : "gpt"}, # ShareGPT style
+)
+FastLanguageModel.for_inference(model) # Enable native 2x faster inference
+####
+from datetime import datetime
+import pendulum
+from babel.dates import format_date
+
+def get_day_month():
+  # using São Paulo time zone
+  SP = pendulum.timezone('America/Sao_Paulo')
+  #
+  date = datetime.now(SP).strftime('%Y/%m/%d')
+  date = datetime.strptime(date, "%Y/%m/%d")
+  # Spanish locale
+  spanish_date = format_date(date, "dd 'de' MMMM", locale='es')
+
+  return (spanish_date)
+
+    #return f"""The {quantity} {animal}s from {" and ".join(countries)} went to the {place} where they {" and ".join(activity_list)} until the {"morning" if morning else "night"}"""
+def sentence_builder(signo, estilo,tema):
+  dia_texto = get_day_month()
+  texto_request = None
+  #if tema == "General":
+  #  texto_request = f"""Actua como un experto en astrología. Hoy es {dia_texto} Soy del {signo}, haz una predicción sucinta, resumida, y precisa con un estilo {estilo}. No agregues ningun comentario en relación a la astrología"""
+  #else:
+  match tema:
+    case "Salud":
+      texto_request = f"""Actua como un experto en astrología. Hoy es {dia_texto} Soy del {signo}, haz una predicción sucinta, resumida, y precisa sobre {tema}, con un estilo {estilo}. No agregues ningun comentario en relación a la astrología"""
+    case "Económico":
+      texto_request = f"""Actua como un experto en astrología. Hoy es {dia_texto} Soy del {signo}, haz una predicción sucinta, resumida, y precisa sobre lo {tema}, con un estilo {estilo}. No agregues ningun comentario en relación a la astrología"""
+    case "Emocional":
+      texto_request = f"""Actua como un experto en astrología. Hoy es {dia_texto} Soy del {signo}, haz una predicción sucinta, resumida, y precisa sobre mi vida {tema}, con un estilo {estilo}. No agregues ningun comentario en relación a la astrología"""
+    case "Amistades":
+      texto_request = f"""Actua como un experto en astrología. Hoy es {dia_texto} Soy del {signo}, haz una predicción sucinta, resumida, y precisa sobre mis {tema}, con un estilo {estilo}. No agregues ningun comentario en relación a la astrología"""
+    case "Familia":
+      texto_request = f"""Actua como un experto en astrología. Hoy es {dia_texto} Soy del {signo}, haz una predicción sucinta, resumida, y precisa sobre mi vida {tema}r, con un estilo {estilo}. No agregues ningun comentario en relación a la astrología"""
+    case _:
+      texto_request = f"""Actua como un experto en astrología. Hoy es {dia_texto} Soy del {signo}, haz una predicción sucinta, resumida, y precisa con un estilo {estilo}. No agregues ningun comentario en relación a la astrología"""
+  # "Emocional","Amistades","Familia"
+  messages = [
+    {"from": "human", "value": texto_request},
+  ]
+  inputs = tokenizer.apply_chat_template(messages, tokenize = True, add_generation_prompt = True, return_tensors = "pt").to("cuda")
+  #
+  model_output = model.generate(input_ids = inputs, streamer = text_streamer, max_new_tokens = 1024, use_cache = True)
+  #
+  model_output = tokenizer.decode(model_output[0].tolist(),skip_special_tokens=True)
+  #print("===============")
+  #print(model_output.split("assistant"))
+  return model_output.split("assistant")[1]
+
+###########
+import gradio as gr
+
+
+demo = gr.Interface(
+    sentence_builder,
+    [
+        gr.Dropdown(
+            ["Aries", "Tauro", "Géminis", "Cáncer", "Leo", "Virgo", "Libra", "Escorpio", "Sagitario", "Capricornio", "Acuario", "Piscis"], label="Signo", info="Escoge tu signo del Zodiaco"
+        ),
+        gr.Dropdown(
+            ["Alegre","Serio","Sarcástico","Depresivo","Coqueto","Sensual"], label="Estilo", info="Elige el estilo que más gustes!",value="Alegre"
+        ),
+        gr.Dropdown(
+            ["General","Salud","Económico","Emocional","Amistades","Familia"], label="Tema", info="Elige el aspecto de tu vida que te preocupa.",value="General"
+        ),
+    ],
+    "textbox"
+)
+
+if __name__ == "__main__":
+    demo.launch()