kz-transformers commited on
Commit
a727e34
·
verified ·
1 Parent(s): 1cf374d

Update src/display/about.py

Browse files
Files changed (1) hide show
  1. src/display/about.py +39 -13
src/display/about.py CHANGED
@@ -18,11 +18,11 @@ LLM_BENCHMARKS_TEXT = """
18
 
19
  Kaz LLM is a benchmark for LLM with multiple-choice tasks on the following topics:
20
  - mmlu-translated-kk
21
- - gsm8k-kk-translated
22
- - kazakh-unified-national-testing-mc
23
  - kazakh-constitution-mc
24
  - kazakh-dastur-mc
25
- Each task contains 4 answer choices, mmlu-translated-kk has ??.
 
 
26
  ## Instructions for Use
27
  ### Installation
28
  To install the necessary library, run the following command:
@@ -47,18 +47,44 @@ After executing the above command, a JSON file will be created in the `output` d
47
  If cheating or attempts to modify the output file are detected, we reserve the right to delete your submission.
48
  Thank you for participating!
49
 
50
- ## KZ:
51
 
52
- to be filled
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
53
 
54
- Cite: @misc{aleks2024vikhr,
55
- title={Vikhr: The Family of Open-Source Instruction-Tuned Large Language Models for Russian},
56
- author={Aleksandr Nikolich and Konstantin Korolev and Artem Shelmanov and Igor Kiselev},
57
- year={2024},
58
- eprint={2405.13929},
59
- archivePrefix={arXiv},
60
- primaryClass={cs.CL}
61
- }
62
  """
63
 
64
  FAQ_TEXT = """
 
18
 
19
  Kaz LLM is a benchmark for LLM with multiple-choice tasks on the following topics:
20
  - mmlu-translated-kk
 
 
21
  - kazakh-constitution-mc
22
  - kazakh-dastur-mc
23
+ - kazakh-unified-national-testing-mc
24
+
25
+ Each task contains from 4 to 8 answer choices.
26
  ## Instructions for Use
27
  ### Installation
28
  To install the necessary library, run the following command:
 
47
  If cheating or attempts to modify the output file are detected, we reserve the right to delete your submission.
48
  Thank you for participating!
49
 
 
50
 
51
+ ## Қаз:
52
+
53
+ Kaz LLM – бұл төмендегі тақырыптар бойынша көп нұсқалы тапсырмалармен жұмыс істейтін LLM үшін арналған бенчмарк:
54
+ - mmlu-translated-kk
55
+ - kazakh-constitution-mc
56
+ - kazakh-dastur-mc
57
+ - kazakh-unified-national-testing-mc
58
+
59
+ Әр тапсырмада 4-8 жауап нұсқасы бар.
60
+
61
+ ## Қолдану бойынша нұсқаулық
62
+ ### Орнату
63
+ Қажетті кітапхананы орнату үшін төмендегі команданы орындаңыз:
64
+ ```bash
65
+ pip install git+https://github.com/horde-research/kaz-llm-eval-lb.git --upgrade --force-reinstall --no-deps
66
+ ```
67
+
68
+ ### Орындау
69
+ Бенчмаркті іске қосу үшін келесі команданы пайдаланыңыз:
70
+ ```bash
71
+ !lm_eval \
72
+ --model hf \
73
+ --model_args pretrained={hf/model},dtype=float16 \
74
+ --batch_size 1 \
75
+ --apply_chat_template \
76
+ --num_fewshot 0 \
77
+ --tasks kazakh-dastur-mc \
78
+ --output output
79
+ ```
80
+
81
+ ### Нәтижелер
82
+ Жоғарыдағы команданы орындағаннан кейін `output` директориясында JSON файлы жасалады. Бұл файл тапсырмалар нәтижелерін және сессия сипаттамасын қамтиды, және **өзгертілмеуі тиіс**.
83
+
84
+ ## Анти-алаяқтық саясаты
85
+ Егер файлды өзгертулер немесе алаяқтық әрекеттер анықталса, біз сіздің жұмысыңызды жою құқығын өзімізде қалдырамыз.
86
+ Қатысқаныңыз үшін рақмет!
87
 
 
 
 
 
 
 
 
 
88
  """
89
 
90
  FAQ_TEXT = """