fitlemon commited on
Commit
184c970
·
verified ·
1 Parent(s): 25373e4

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +4 -2
app.py CHANGED
@@ -13,6 +13,8 @@ import pickle
13
  from langchain.chat_models import ChatOpenAI
14
  from langchain.prompts.chat import ChatPromptTemplate
15
 
 
 
16
  # Загружаем переменные окружения
17
  load_dotenv()
18
  hf_key = os.getenv("HF_KEY")
@@ -38,7 +40,7 @@ def update_faiss_index():
38
  ]
39
 
40
  dataset = concatenate_datasets([train_dataset, test_dataset])
41
- dataset = dataset.select(range(5)) # Для тестирования на небольшом количестве данных
42
  docs = []
43
  unique_chunks = set()
44
  for row in tqdm(dataset, desc="Загрузка документов..."):
@@ -107,7 +109,7 @@ def retrieve_articles(query, language):
107
  if language == "Russian":
108
  translated_query = translate_ru_uz(query)
109
  else:
110
- translated_query = query
111
 
112
  results = db.similarity_search(translated_query, k=3)
113
 
 
13
  from langchain.chat_models import ChatOpenAI
14
  from langchain.prompts.chat import ChatPromptTemplate
15
 
16
+ from uz_translit import to_latin
17
+
18
  # Загружаем переменные окружения
19
  load_dotenv()
20
  hf_key = os.getenv("HF_KEY")
 
40
  ]
41
 
42
  dataset = concatenate_datasets([train_dataset, test_dataset])
43
+ # dataset = dataset.select(range(5)) # Для тестирования на небольшом количестве данных
44
  docs = []
45
  unique_chunks = set()
46
  for row in tqdm(dataset, desc="Загрузка документов..."):
 
109
  if language == "Russian":
110
  translated_query = translate_ru_uz(query)
111
  else:
112
+ translated_query = to_lati(query)
113
 
114
  results = db.similarity_search(translated_query, k=3)
115