request test

app.py

@@ -1,195 +1,208 @@
-from huggingface_hub import InferenceClient
-import gradio as gr
-import re
+# from huggingface_hub import InferenceClient
+# import gradio as gr
+# import re
 
 
-client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
+# client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
 
-# Name of the chat
-chat_name = "Tavernier 🍺"
+# # Name of the chat
+# chat_name = "Tavernier 🍺"
 
 
-# Variable globale pour compter les itérations
-global_iteration = 0
+# # Variable globale pour compter les itérations
+# global_iteration = 0
 
-# Variable globale pour stocker le contexte
-global_context = {
-    "static_context": "Tu es le gérant d'une taverne dans le village de Montaillou au 14ème siècle dans l'univers des cathares dans les Pyrénées. Tu ne parles qu'en français. Tu es rustre mais accueillant, à moins que ton interlocuteur ne soit catholique ou possède une influence comme un noble. Tu ne sors jamais de ton contexte époque et tes connaissances se limitent à ta situation sociale et à ton époque. Tu dois être immersif et cohérent pour la personne qui va te parler. Prends toujours en compte l'historique de la conversation. Sois toujours concis et vise une longueur de réponse comprise entre 50 et 200 caractères (espaces compris) pour les réponses courtes et simples, et entre 200 et 500 caractères pour les réponses plus détaillées et complexes.",
-    "dynamic_context": "",
-    "sensitive_info_filter": [
-        "contexte caché",
-        "hidden_context",
-    ],
-}
+# # Variable globale pour stocker le contexte
+# global_context = {
+#     "static_context": "Tu es le gérant d'une taverne dans le village de Montaillou au 14ème siècle dans l'univers des cathares dans les Pyrénées. Tu ne parles qu'en français. Tu es rustre mais accueillant, à moins que ton interlocuteur ne soit catholique ou possède une influence comme un noble. Tu ne sors jamais de ton contexte époque et tes connaissances se limitent à ta situation sociale et à ton époque. Tu dois être immersif et cohérent pour la personne qui va te parler. Prends toujours en compte l'historique de la conversation. Sois toujours concis et vise une longueur de réponse comprise entre 50 et 200 caractères (espaces compris) pour les réponses courtes et simples, et entre 200 et 500 caractères pour les réponses plus détaillées et complexes.",
+#     "dynamic_context": "",
+#     "sensitive_info_filter": [
+#         "contexte caché",
+#         "hidden_context",
+#     ],
+# }
 
 
-# Créer une interface avec un champ de texte pour le contexte caché
-context_input = gr.Textbox(
-    label="Contexte caché", value=global_context["static_context"]
-)
+# # Créer une interface avec un champ de texte pour le contexte caché
+# context_input = gr.Textbox(
+#     label="Contexte caché", value=global_context["static_context"]
+# )
 
 
-def update_dynamic_context(user_input):
-    global global_context
+# def update_dynamic_context(user_input):
+#     global global_context
 
-    keywords = {
-        "meutre": "Un meutre a été mentionné. Tu dois cacher ton implication dans le meurtre seulement si on te pose des questions à ce sujet.",
-    }
+#     keywords = {
+#         "meutre": "Un meutre a été mentionné. Tu dois cacher ton implication dans le meurtre seulement si on te pose des questions à ce sujet.",
+#     }
 
-    for keyword in keywords:
-        if keyword in user_input.lower():
-            global_context["dynamic_context"] += f" {keywords[keyword]}"
-            break
+#     for keyword in keywords:
+#         if keyword in user_input.lower():
+#             global_context["dynamic_context"] += f" {keywords[keyword]}"
+#             break
 
 
-def filter_sensitive_info(text):
-    for word in global_context["sensitive_info_filter"]:
-        if word in text.lower():
-            return text.replace(word, "[REDACTED]")
-    return text
+# def filter_sensitive_info(text):
+#     for word in global_context["sensitive_info_filter"]:
+#         if word in text.lower():
+#             return text.replace(word, "[REDACTED]")
+#     return text
 
 
-def remove_length_info(response_text):
-    pattern = r"\(\d+ caractères\)"
-    return re.sub(pattern, "", response_text)
-
-
-def format_prompt(message, history, user_id=""):
-    max_history_length = 10  # Limiter la longueur de l'historique
-    history = history[-max_history_length:]
-
-    prompt = "<s>"
-
-    for user_prompt, bot_response in history:
-        prompt += f"[USER] {user_prompt} [/USER]"
-        if (
-            user_prompt == history[-1][0]
-        ):  # N'ajouter les balises [BOT] qu'autour de la dernière réponse du bot
-            prompt += f" [BOT]{filter_sensitive_info(bot_response)}[/BOT] "
-        else:
-            prompt += f" {filter_sensitive_info(bot_response)} "
-    prompt += f"</s>[INST][USER] {message} [/USER][/INST]"
-
-    # Ajouter le contexte statique et dynamique à chaque fois que l'utilisateur pose une question
-    prompt += f"[INST] {global_context['static_context']} {global_context['dynamic_context']} [/INST]"
-
-    return prompt
-
-
-def generate(
-    prompt,
-    history,
-    user_id,
-    temperature=0.2,
-    max_new_tokens=256,
-    top_p=0.95,
-    repetition_penalty=1.0,
-):
-    temperature = float(temperature)
-    if temperature < 1e-2:
-        temperature = 1e-2
-    top_p = float(top_p)
-
-    generate_kwargs = dict(
-        temperature=temperature,
-        max_new_tokens=max_new_tokens,
-        top_p=top_p,
-        repetition_penalty=repetition_penalty,
-        do_sample=True,
-        seed=42,
-    )
-
-    update_dynamic_context(prompt)
-
-    formatted_prompt = format_prompt(prompt, history, user_id)
-    global global_iteration
-    global_iteration += 1
-    print(f"\n\nIteration {global_iteration}/{user_id}: {formatted_prompt}")
-
-    stream = client.text_generation(
-        formatted_prompt,
-        **generate_kwargs,
-        stream=True,
-        details=True,
-        return_full_text=False,
-    )
-    output = ""
-
-    for response in stream:
-        response_text = filter_sensitive_info(response.token.text)
-        response_text = remove_length_info(response_text)
-        output += response_text
-        yield output
-    return output
-
-
-mychatbot = gr.Chatbot(
-    avatar_images=["./berger.jpg", "./tavernier.jpg"],
-    bubble_full_width=False,
-    show_label=False,
-)
-
-
-def chatbot_interface(request):
-    # Récupérer l'identifiant unique de l'utilisateur à partir de la requête HTML
-    user_id = request.query_params.get("user_id", None)
-
-    # Créer l'interface du chatbot avec l'identifiant unique de l'utilisateur en tant qu'entrée
-    chatbot = gr.Chatbot(
-        avatar_images=["./berger.jpg", "./tavernier.jpg"],
-        bubble_full_width=False,
-        show_label=False,
-    )
-    chatbot_interface = gr.Interface(
-        fn=generate,
-        inputs=[user_id],
-        chatbot=chatbot,
-        title="Mon chatbot",
-        retry_btn=None,
-        undo_btn=None,
-    )
-    return chatbot_interface
-
-
-# Créer une interface pour le chatbot avec un champ de texte pour le contexte caché
-
-
-# def reset_history(chatbot):
-#     chatbot.history = []
-#     return []
-
-
-# def update_context(context):
-#     global global_context
-#     global_context["static_context"] = context
-#     global mychatbot
-#     mychatbot.history = reset_history(mychatbot)
-#     global global_iteration
-#     global_iteration = 0
-#     return None
+# def remove_length_info(response_text):
+#     pattern = r"\(\d+ caractères\)"
+#     return re.sub(pattern, "", response_text)
 
 
-# chatbot_interface = gr.ChatInterface(
-#     fn=generate,
-#     chatbot=mychatbot,
-#     title=chat_name,
-#     retry_btn=None,
-#     undo_btn=None,
-# )
+# def format_prompt(message, history, user_id=""):
+#     max_history_length = 10  # Limiter la longueur de l'historique
+#     history = history[-max_history_length:]
+
+#     prompt = "<s>"
+
+#     for user_prompt, bot_response in history:
+#         prompt += f"[USER] {user_prompt} [/USER]"
+#         if (
+#             user_prompt == history[-1][0]
+#         ):  # N'ajouter les balises [BOT] qu'autour de la dernière réponse du bot
+#             prompt += f" [BOT]{filter_sensitive_info(bot_response)}[/BOT] "
+#         else:
+#             prompt += f" {filter_sensitive_info(bot_response)} "
+#     prompt += f"</s>[INST][USER] {message} [/USER][/INST]"
 
+#     # Ajouter le contexte statique et dynamique à chaque fois que l'utilisateur pose une question
+#     prompt += f"[INST] {global_context['static_context']} {global_context['dynamic_context']} [/INST]"
 
-# Ajouter le champ de texte pour le contexte caché à l'interface
-# context_interface = gr.Interface(
-#     fn=update_context,
-#     inputs=[context_input],
-#     outputs=None,
-#     title="Modifier le contexte caché",
-#     description="Modifie le contexte caché du tavernier",
-#     article=False,
+#     return prompt
+
+
+# def generate(
+#     prompt,
+#     history,
+#     user_id,
+#     temperature=0.2,
+#     max_new_tokens=256,
+#     top_p=0.95,
+#     repetition_penalty=1.0,
+# ):
+#     temperature = float(temperature)
+#     if temperature < 1e-2:
+#         temperature = 1e-2
+#     top_p = float(top_p)
+
+#     generate_kwargs = dict(
+#         temperature=temperature,
+#         max_new_tokens=max_new_tokens,
+#         top_p=top_p,
+#         repetition_penalty=repetition_penalty,
+#         do_sample=True,
+#         seed=42,
+#     )
+
+#     update_dynamic_context(prompt)
+
+#     formatted_prompt = format_prompt(prompt, history, user_id)
+#     global global_iteration
+#     global_iteration += 1
+#     print(f"\n\nIteration {global_iteration}/{user_id}: {formatted_prompt}")
+
+#     stream = client.text_generation(
+#         formatted_prompt,
+#         **generate_kwargs,
+#         stream=True,
+#         details=True,
+#         return_full_text=False,
+#     )
+#     output = ""
+
+#     for response in stream:
+#         response_text = filter_sensitive_info(response.token.text)
+#         response_text = remove_length_info(response_text)
+#         output += response_text
+#         yield output
+#     return output
+
+
+# mychatbot = gr.Chatbot(
+#     avatar_images=["./berger.jpg", "./tavernier.jpg"],
+#     bubble_full_width=False,
+#     show_label=False,
 # )
 
-# demo = gr.TabbedInterface([chatbot_interface, context_interface], title="Tavernier 🍺")
 
-# Lancer et afficher l'interface
+# def chatbot_interface(request):
+#     # Récupérer l'identifiant unique de l'utilisateur à partir de la requête HTML
+#     user_id = request.query_params.get("user_id", None)
+
+#     # Créer l'interface du chatbot avec l'identifiant unique de l'utilisateur en tant qu'entrée
+#     chatbot = gr.Chatbot(
+#         avatar_images=["./berger.jpg", "./tavernier.jpg"],
+#         bubble_full_width=False,
+#         show_label=False,
+#     )
+#     chatbot_interface = gr.Interface(
+#         fn=generate,
+#         inputs=[user_id],
+#         chatbot=chatbot,
+#         title="Mon chatbot",
+#         retry_btn=None,
+#         undo_btn=None,
+#     )
+#     return chatbot_interface
+
+
+# # Créer une interface pour le chatbot avec un champ de texte pour le contexte caché
+
+
+# # def reset_history(chatbot):
+# #     chatbot.history = []
+# #     return []
+
+
+# # def update_context(context):
+# #     global global_context
+# #     global_context["static_context"] = context
+# #     global mychatbot
+# #     mychatbot.history = reset_history(mychatbot)
+# #     global global_iteration
+# #     global_iteration = 0
+# #     return None
+
+
+# # chatbot_interface = gr.ChatInterface(
+# #     fn=generate,
+# #     chatbot=mychatbot,
+# #     title=chat_name,
+# #     retry_btn=None,
+# #     undo_btn=None,
+# # )
+
+
+# # Ajouter le champ de texte pour le contexte caché à l'interface
+# # context_interface = gr.Interface(
+# #     fn=update_context,
+# #     inputs=[context_input],
+# #     outputs=None,
+# #     title="Modifier le contexte caché",
+# #     description="Modifie le contexte caché du tavernier",
+# #     article=False,
+# # )
+
+# # demo = gr.TabbedInterface([chatbot_interface, context_interface], title="Tavernier 🍺")
+
+# # Lancer et afficher l'interface
+
+# chatbot_interface.queue().launch()
+
+import gradio as gr
+
+
+def echo(text, request: gr.Request):
+    if request:
+        print("Request headers dictionary:", request.headers)
+        print("IP address:", request.client.host)
+        print("Query parameters:", dict(request.query_params))
+    return text
+
 
-chatbot_interface.queue().launch()
+io = gr.Interface(echo, "textbox", "textbox").launch()