fitlemon commited on
Commit
86841b5
·
verified ·
1 Parent(s): 251f276

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +11 -3
app.py CHANGED
@@ -6,6 +6,14 @@ from langchain.vectorstores import FAISS
6
  from langchain_huggingface import HuggingFaceEmbeddings
7
  from tqdm import tqdm
8
 
 
 
 
 
 
 
 
 
9
  # Путь для сохранения FAISS-индекса
10
  INDEX_PATH = "./faiss_index"
11
 
@@ -19,8 +27,8 @@ def update_faiss_index():
19
  создаёт FAISS-индекс и сохраняет его локально.
20
  """
21
  # Загружаем датасет (например, сплит "train")
22
- train_dataset = load_dataset("fitlemon/rag-labor-codex-dataset")["train"]
23
- test_dataset = load_dataset("fitlemon/rag-labor-codex-dataset")["test"]
24
  # combine train and test datasets
25
  dataset = concatenate_datasets([train_dataset, test_dataset])
26
  # get rid off duplicate chunks
@@ -93,4 +101,4 @@ iface = gr.Interface(
93
  )
94
 
95
  if __name__ == "__main__":
96
- iface.launch()
 
6
  from langchain_huggingface import HuggingFaceEmbeddings
7
  from tqdm import tqdm
8
 
9
+
10
+ # load env
11
+ from dotenv import load_dotenv
12
+
13
+ load_dotenv()
14
+
15
+ key = os.getenv("HF_KEY")
16
+
17
  # Путь для сохранения FAISS-индекса
18
  INDEX_PATH = "./faiss_index"
19
 
 
27
  создаёт FAISS-индекс и сохраняет его локально.
28
  """
29
  # Загружаем датасет (например, сплит "train")
30
+ train_dataset = load_dataset("fitlemon/rag-labor-codex-dataset", token=key)["train"]
31
+ test_dataset = load_dataset("fitlemon/rag-labor-codex-dataset", token=key)["test"]
32
  # combine train and test datasets
33
  dataset = concatenate_datasets([train_dataset, test_dataset])
34
  # get rid off duplicate chunks
 
101
  )
102
 
103
  if __name__ == "__main__":
104
+ iface.launch()