bug fix db_input

Home.py

@@ -5,6 +5,7 @@ from datetime import datetime
 
 
 legislature_periods = [
+    "All",
     "20. Legislaturperiode",
     "19. Legislaturperiode",
     "18. Legislaturperiode",

src/chatbot.py

@@ -28,18 +28,27 @@ llm = HuggingFaceHub(
         #,huggingfacehub_api_token
 
 )
-# To Do: Experiment with different templates replying in german or english depending on the input language
-prompt1 = ChatPromptTemplate.from_template("""<s>[INST] 
+# To Do: Experiment with different templates
+prompt_test = ChatPromptTemplate.from_template("""<s>[INST] 
                     Instruction: Beantworte die folgende Frage auf deutsch und nur auf der Grundlage des angegebenen Kontexts:
 
                     Context: {context}
 
                     Question: {input}  
                     [/INST]"""
-                    # Returns the answer in English!?
+                    
 ) 
+prompt_de = ChatPromptTemplate.from_template("""Beantworte die folgende Frage auf deutsch und nur auf der Grundlage des angegebenen Kontexts:
 
-prompt2 = ChatPromptTemplate.from_template("""Beantworte die folgende Frage auf deutsch und nur auf der Grundlage des angegebenen Kontexts:
+        <context>
+        {context}
+        </context>
+
+        Frage: {input}
+        """
+        # Returns the answer in German
+)
+prompt_en = ChatPromptTemplate.from_template("""Beantworte die folgende Frage auf deutsch und nur auf der Grundlage des angegebenen Kontexts:
 
         <context>
         {context}
@@ -56,16 +65,14 @@ prompt2 = ChatPromptTemplate.from_template("""Beantworte die folgende Frage auf
 #index_name = "legislature20"
 #db = get
 
-
-
-    
-     
-
-def chatbot(message, history, db_inputs, llm=llm, prompt=prompt2):
+def chatbot(message, history, db_inputs, llm=llm, prompt=prompt_de):
     db = get_vectorstore(inputs = db_inputs, embeddings=embeddings)
     raw_response = RAG(llm=llm, prompt=prompt, db=db, question=message)
-    # Only necessary because mistral does not give beautiful outputs 
-    response = raw_response['answer'].split("Antwort: ")[1]
+    # Only necessary because mistral does include it´s json structure in the output
+    try:
+        response = raw_response['answer'].split("Antwort: ")[1]
+    except:  
+        response = raw_response['answer']
     return response  
 
 

src/vectordatabase.py

@@ -9,25 +9,20 @@ from langchain.chains import create_retrieval_chain
 from faiss import IndexFlatL2
 from langchain_community.docstore.in_memory import InMemoryDocstore
 from langchain.embeddings import SentenceTransformerEmbeddings
-import functools
-
-
-
+#import functools
 
 import pandas as pd
-
 import os
-#from dotenv import load_dotenv
 
-#Load environmental variables from .env-file
-#load_dotenv()
+# For local run load environmental variables from .env-file
+# from dotenv import load_dotenv
+# load_dotenv()
 
 
 # Load documents to create a vectorstore later
 def load_documents(df):
-    # To Do: Create one initial vectore store loading all the documents with this function
-    #loader = CSVLoader(index_name, source_column="speech_content") #unprocessed csv file
-    loader = DataFrameLoader(data_frame=df, page_content_column='speech_content') #df
+    
+    loader = DataFrameLoader(data_frame=df, page_content_column='speech_content') 
     data = loader.load()
     splitter = RecursiveCharacterTextSplitter(
             chunk_size=1024,