Update app.py

app.py

@@ -21,67 +21,27 @@ client = InferenceClient(endpoint_url, token=hf_token)
 
 
 ########################################################################
-#Chat KI nutzen, um Text zu generieren...
-def predict(text,
-            chatbotGr,
-            history,
-            top_p,
-            temperature,
-            max_length_tokens,
-            max_context_length_tokens,):
-    if text=="":
-        yield chatbotGr,history,"Empty context."
-        return 
-    try:
-        client
-    except:
-        yield [[text,"No Model Found"]],[],"No Endpoint Found"
-        return
-
-    # generation parameter
-    gen_kwargs = dict(
-        max_new_tokens=max_length_tokens,
-        top_k=30,
-        top_p=top_p,
-        temperature=temperature,
-        repetition_penalty=1.02,
-        stop_sequences=["\nUser:", "<|endoftext|>", "</s>"],
-    )
-    # prompt
-    prompt = generate_prompt_with_history(text,history,tokenizer,max_length=max_context_length_tokens)
-
-                   
-        
-        
-        
-        
-        
-        
-        
-        
+#Prompt mit History zusammensetzen
+#ohne Tokenizer - für huggingchat chatbot nutzen - nur um den aktuellen prompt mit historie zu erzeugen
+def generate_prompt_with_history(text, history):
+    prompt = "Das folgende ist eine Unterhaltung zwischen einem Menschen und einer KI. Wenn die Frage in der Unterhaltung in deutsch gestellt wird, soll der Ki-Assistent auch in deutsch antworten. Der Mensch und der KI Assistent chatten abwechselnd miteinander, wobei der KI Assistent in deutsch antwortet. Der KI Assistent liefert so genau wie möglich Antworten zu den Fragen des Menschen und das in einem Markdown Format. Der KI Assistent lehnt es ab, Themen, Fragen und Anweisungen zu unethischen, gegensätzlichen oder sensiblen Dingen und Themen zu beantworten. Wird der KI Assistewnt nach aktuellen Dingen gefragt, wie z.B. dem Wetter, dann antworte höflich, dass du nicht auf aktuellen Daten trainiert wurdest und daher keine zuverlässige Antwort geben kannst.  Vervollständige das Geschriebene mit genau diesen Vorgaben und antworte wenn möglich in deutsch."
+    #Englisch: The following is a conversation between a human and an AI assistant named Baize (named after a mythical creature in Chinese folklore). Baize is an open-source AI assistant developed by UCSD and Sun Yat-Sen University. The human and the AI assistant take turns chatting. The AI assistant always provides responses in as much detail as possible, and in Markdown format. The AI assistant always declines to engage with topics, questions and instructions related to unethical, controversial, or sensitive issues. Complete the transcript in exactly that format."   
+    history_text = ""
+
+    if not history:
+        history_text=""
+    else:
+        for x in history[::-1]:
+            history_text = history_text  + " " + x[0]
         
-        
-
-
-
-
-    
+    return True,  prompt + " " +  history_text + " " + text
 
-#######################################################################
-#Darstellung mit Gradio
 
-with open("custom.css", "r", encoding="utf-8") as f:
-    customCSS = f.read()
-
-with gr.Blocks() as demo:
-    chatbot = gr.Chatbot()
-    msg = gr.Textbox()
-    clear = gr.Button("Clear")
-
-    def user(user_message, history):
+def user(user_message, history):
         return "", history + [[user_message, None]]
 
-    def bot(history):
+#Chat KI nutzen, um Text zu generieren...
+def bot(history):
         # generation parameter
         gen_kwargs = dict(
             max_new_tokens=512,
@@ -91,7 +51,7 @@ with gr.Blocks() as demo:
             repetition_penalty=1.02,
             stop_sequences=["\nUser:", "<|endoftext|>", "</s>"],
         )
-        prompt = generate_prompt_with_history(text,history,max_length=max_context_length_tokens)
+        prompt = generate_prompt_with_history(text,history)
         stream = client.text_generation(prompt, stream=True, details=True, **gen_kwargs)
 
         history[-1][1] = ""
@@ -112,9 +72,22 @@ with gr.Blocks() as demo:
             # yield the generated token
             #print(r.token.text, end = "")
             yield r.token.text 
-        '''
+        '''    
+
+                  
+
+#######################################################################
+#Darstellung mit Gradio
+
+with open("custom.css", "r", encoding="utf-8") as f:
+    customCSS = f.read()
 
+with gr.Blocks() as demo:
+    chatbot = gr.Chatbot()
+    msg = gr.Textbox()
+    clear = gr.Button("Clear")
 
+    
     msg.submit(user, [msg, chatbot], [msg, chatbot], queue=False).then(
         bot, chatbot, chatbot
     )