Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
@@ -6,6 +6,14 @@ from langchain.vectorstores import FAISS
|
|
6 |
from langchain_huggingface import HuggingFaceEmbeddings
|
7 |
from tqdm import tqdm
|
8 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
9 |
# Путь для сохранения FAISS-индекса
|
10 |
INDEX_PATH = "./faiss_index"
|
11 |
|
@@ -19,8 +27,8 @@ def update_faiss_index():
|
|
19 |
создаёт FAISS-индекс и сохраняет его локально.
|
20 |
"""
|
21 |
# Загружаем датасет (например, сплит "train")
|
22 |
-
train_dataset = load_dataset("fitlemon/rag-labor-codex-dataset")["train"]
|
23 |
-
test_dataset = load_dataset("fitlemon/rag-labor-codex-dataset")["test"]
|
24 |
# combine train and test datasets
|
25 |
dataset = concatenate_datasets([train_dataset, test_dataset])
|
26 |
# get rid off duplicate chunks
|
@@ -93,4 +101,4 @@ iface = gr.Interface(
|
|
93 |
)
|
94 |
|
95 |
if __name__ == "__main__":
|
96 |
-
iface.launch()
|
|
|
6 |
from langchain_huggingface import HuggingFaceEmbeddings
|
7 |
from tqdm import tqdm
|
8 |
|
9 |
+
|
10 |
+
# load env
|
11 |
+
from dotenv import load_dotenv
|
12 |
+
|
13 |
+
load_dotenv()
|
14 |
+
|
15 |
+
key = os.getenv("HF_KEY")
|
16 |
+
|
17 |
# Путь для сохранения FAISS-индекса
|
18 |
INDEX_PATH = "./faiss_index"
|
19 |
|
|
|
27 |
создаёт FAISS-индекс и сохраняет его локально.
|
28 |
"""
|
29 |
# Загружаем датасет (например, сплит "train")
|
30 |
+
train_dataset = load_dataset("fitlemon/rag-labor-codex-dataset", token=key)["train"]
|
31 |
+
test_dataset = load_dataset("fitlemon/rag-labor-codex-dataset", token=key)["test"]
|
32 |
# combine train and test datasets
|
33 |
dataset = concatenate_datasets([train_dataset, test_dataset])
|
34 |
# get rid off duplicate chunks
|
|
|
101 |
)
|
102 |
|
103 |
if __name__ == "__main__":
|
104 |
+
iface.launch()
|