Spaces:
Restarting
Restarting
kz-transformers
commited on
Update src/display/about.py
Browse files- src/display/about.py +39 -13
src/display/about.py
CHANGED
@@ -18,11 +18,11 @@ LLM_BENCHMARKS_TEXT = """
|
|
18 |
|
19 |
Kaz LLM is a benchmark for LLM with multiple-choice tasks on the following topics:
|
20 |
- mmlu-translated-kk
|
21 |
-
- gsm8k-kk-translated
|
22 |
-
- kazakh-unified-national-testing-mc
|
23 |
- kazakh-constitution-mc
|
24 |
- kazakh-dastur-mc
|
25 |
-
|
|
|
|
|
26 |
## Instructions for Use
|
27 |
### Installation
|
28 |
To install the necessary library, run the following command:
|
@@ -47,18 +47,44 @@ After executing the above command, a JSON file will be created in the `output` d
|
|
47 |
If cheating or attempts to modify the output file are detected, we reserve the right to delete your submission.
|
48 |
Thank you for participating!
|
49 |
|
50 |
-
## KZ:
|
51 |
|
52 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
53 |
|
54 |
-
Cite: @misc{aleks2024vikhr,
|
55 |
-
title={Vikhr: The Family of Open-Source Instruction-Tuned Large Language Models for Russian},
|
56 |
-
author={Aleksandr Nikolich and Konstantin Korolev and Artem Shelmanov and Igor Kiselev},
|
57 |
-
year={2024},
|
58 |
-
eprint={2405.13929},
|
59 |
-
archivePrefix={arXiv},
|
60 |
-
primaryClass={cs.CL}
|
61 |
-
}
|
62 |
"""
|
63 |
|
64 |
FAQ_TEXT = """
|
|
|
18 |
|
19 |
Kaz LLM is a benchmark for LLM with multiple-choice tasks on the following topics:
|
20 |
- mmlu-translated-kk
|
|
|
|
|
21 |
- kazakh-constitution-mc
|
22 |
- kazakh-dastur-mc
|
23 |
+
- kazakh-unified-national-testing-mc
|
24 |
+
|
25 |
+
Each task contains from 4 to 8 answer choices.
|
26 |
## Instructions for Use
|
27 |
### Installation
|
28 |
To install the necessary library, run the following command:
|
|
|
47 |
If cheating or attempts to modify the output file are detected, we reserve the right to delete your submission.
|
48 |
Thank you for participating!
|
49 |
|
|
|
50 |
|
51 |
+
## Қаз:
|
52 |
+
|
53 |
+
Kaz LLM – бұл төмендегі тақырыптар бойынша көп нұсқалы тапсырмалармен жұмыс істейтін LLM үшін арналған бенчмарк:
|
54 |
+
- mmlu-translated-kk
|
55 |
+
- kazakh-constitution-mc
|
56 |
+
- kazakh-dastur-mc
|
57 |
+
- kazakh-unified-national-testing-mc
|
58 |
+
|
59 |
+
Әр тапсырмада 4-8 жауап нұсқасы бар.
|
60 |
+
|
61 |
+
## Қолдану бойынша нұсқаулық
|
62 |
+
### Орнату
|
63 |
+
Қажетті кітапхананы орнату үшін төмендегі команданы орындаңыз:
|
64 |
+
```bash
|
65 |
+
pip install git+https://github.com/horde-research/kaz-llm-eval-lb.git --upgrade --force-reinstall --no-deps
|
66 |
+
```
|
67 |
+
|
68 |
+
### Орындау
|
69 |
+
Бенчмаркті іске қосу үшін келесі команданы пайдаланыңыз:
|
70 |
+
```bash
|
71 |
+
!lm_eval \
|
72 |
+
--model hf \
|
73 |
+
--model_args pretrained={hf/model},dtype=float16 \
|
74 |
+
--batch_size 1 \
|
75 |
+
--apply_chat_template \
|
76 |
+
--num_fewshot 0 \
|
77 |
+
--tasks kazakh-dastur-mc \
|
78 |
+
--output output
|
79 |
+
```
|
80 |
+
|
81 |
+
### Нәтижелер
|
82 |
+
Жоғарыдағы команданы орындағаннан кейін `output` директориясында JSON файлы жасалады. Бұл файл тапсырмалар нәтижелерін және сессия сипаттамасын қамтиды, және **өзгертілмеуі тиіс**.
|
83 |
+
|
84 |
+
## Анти-алаяқтық саясаты
|
85 |
+
Егер файлды өзгертулер немесе алаяқтық әрекеттер анықталса, біз сіздің жұмысыңызды жою құқығын өзімізде қалдырамыз.
|
86 |
+
Қатысқаныңыз үшін рақмет!
|
87 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
88 |
"""
|
89 |
|
90 |
FAQ_TEXT = """
|