Spaces:
Running
on
CPU Upgrade
Running
on
CPU Upgrade
fix explanation
Browse files- src/about.py +14 -14
src/about.py
CHANGED
@@ -109,10 +109,10 @@ TITLE = """<h1 align="center" id="space-title">🇯🇵 Open Japanese LLM Leader
|
|
109 |
|
110 |
# What does your leaderboard evaluate?
|
111 |
INTRODUCTION_TEXT = """
|
112 |
-
The __Open Japanese LLM Leaderboard__ by __[LLM-
|
113 |
the performance of Japanese Large Language Models (LLMs) with more than 16 tasks from
|
114 |
classical to modern NLP tasks. The __Open Japanese LLM Leaderboard__ was built by open-source
|
115 |
-
contributors of __[LLM-
|
116 |
for the research and development of Japanese LLMs supported by the _National Institute of
|
117 |
Informatics_ in Tokyo, Japan.
|
118 |
|
@@ -124,14 +124,14 @@ evaluate the performance of your model, and be part of the leaderboard.
|
|
124 |
"""
|
125 |
INTRODUCTION_TEXT_JP = """\
|
126 |
__[LLM-Jp](https://llm-jp.nii.ac.jp/)__ による __オープン日本語LLMリーダーボード__ は、\
|
127 |
-
古典的なものから最新のものまで16
|
128 |
-
性能を評価します。__オープン日本語LLMリーダーボード__
|
129 |
-
|
130 |
のオープンソース貢献者によって構築されました。
|
131 |
|
132 |
__「LLMベンチマーク」__ ページでは、疑問符 **「?」** はHugging Faceのモデルカードで不明な\
|
133 |
パラメータを示しています。データセットに関する詳細情報については、__「About」__ ページを\
|
134 |
-
参照するか、__[LLM-
|
135 |
また、__「Submit here!」__ ページでは、あなたのモデルの性能を評価し、リーダーボードに\
|
136 |
参加することができます。
|
137 |
"""
|
@@ -223,7 +223,7 @@ To reproduce our results, please follow the instructions of the evalution tool,
|
|
223 |
|
224 |
LLM_BENCHMARKS_TEXT_JP = """
|
225 |
## 仕組み
|
226 |
-
📈 私たちは評価ツール [llm-jp-eval](https://github.com/llm-jp/llm-jp-eval) を活用し、16
|
227 |
|
228 |
**NLI(自然言語推論)**
|
229 |
|
@@ -235,7 +235,7 @@ LLM_BENCHMARKS_TEXT_JP = """
|
|
235 |
|
236 |
* `JSeM`、日本語意味論テストセット [ソース](https://github.com/DaisukeBekki/JSeM)(ライセンス BSD 3-Clause)
|
237 |
|
238 |
-
* `JSICK
|
239 |
|
240 |
**QA(質問応答)**
|
241 |
|
@@ -257,11 +257,11 @@ LLM_BENCHMARKS_TEXT_JP = """
|
|
257 |
|
258 |
* `KUCI`、京都大学常識推論データセット [ソース](https://github.com/ku-nlp/KUCI)(ライセンス CC BY-SA 4.0)
|
259 |
|
260 |
-
**EL
|
261 |
|
262 |
* `chABSA`、アスペクトベースの感情分析データセット [ソース](https://github.com/chakki-works/chABSA-dataset)(ライセンス CC BY-SA 4.0)
|
263 |
|
264 |
-
**FA
|
265 |
|
266 |
* `Wikipedia Annotated Corpus`、[ソース](https://github.com/ku-nlp/WikipediaAnnotatedCorpus)(ライセンス CC BY-SA 4.0)
|
267 |
|
@@ -275,7 +275,7 @@ LLM_BENCHMARKS_TEXT_JP = """
|
|
275 |
|
276 |
**MT(機械翻訳)**
|
277 |
|
278 |
-
* `ALT`、アジア言語ツリーバンク(ALT) -
|
279 |
|
280 |
* `WikiCorpus`、京都市に関するWikipedia記事の日本語-英語対訳コーパス [ソース](https://alaginrc.nict.go.jp/WikiCorpus/)(ライセンス CC BY-SA 3.0)
|
281 |
|
@@ -287,7 +287,7 @@ LLM_BENCHMARKS_TEXT_JP = """
|
|
287 |
|
288 |
**HE(試験問題)**
|
289 |
|
290 |
-
* `MMLU
|
291 |
|
292 |
* `JMMLU`、日本語大規模マルチタスク言語理解ベンチマーク [ソース](https://github.com/nlp-waseda/JMMLU)(ライセンス CC BY-SA 4.0(3つのタスクはCC BY-NC-ND 4.0ライセンス)
|
293 |
|
@@ -297,10 +297,10 @@ LLM_BENCHMARKS_TEXT_JP = """
|
|
297 |
|
298 |
**SUM(要約)**
|
299 |
|
300 |
-
* `XL-Sum`、44
|
301 |
|
302 |
## 再現性
|
303 |
-
|
304 |
"""
|
305 |
|
306 |
|
|
|
109 |
|
110 |
# What does your leaderboard evaluate?
|
111 |
INTRODUCTION_TEXT = """
|
112 |
+
The __Open Japanese LLM Leaderboard__ by __[LLM-jp](https://llm-jp.nii.ac.jp/en/)__ evaluates
|
113 |
the performance of Japanese Large Language Models (LLMs) with more than 16 tasks from
|
114 |
classical to modern NLP tasks. The __Open Japanese LLM Leaderboard__ was built by open-source
|
115 |
+
contributors of __[LLM-jp](https://llm-jp.nii.ac.jp/en/)__, a cross-organizational project
|
116 |
for the research and development of Japanese LLMs supported by the _National Institute of
|
117 |
Informatics_ in Tokyo, Japan.
|
118 |
|
|
|
124 |
"""
|
125 |
INTRODUCTION_TEXT_JP = """\
|
126 |
__[LLM-Jp](https://llm-jp.nii.ac.jp/)__ による __オープン日本語LLMリーダーボード__ は、\
|
127 |
+
古典的なものから最新のものまで16種類以上のNLPタスクを用いて日本語大規模言語モデル(LLM)の\
|
128 |
+
性能を評価します。__オープン日本語LLMリーダーボード__ は、日本の国立情報学研究所を中心に\
|
129 |
+
日本語LLMの研究開発を行う組織横断プロジェクト __[LLM-jp](https://llm-jp.nii.ac.jp/)__ \
|
130 |
のオープンソース貢献者によって構築されました。
|
131 |
|
132 |
__「LLMベンチマーク」__ ページでは、疑問符 **「?」** はHugging Faceのモデルカードで不明な\
|
133 |
パラメータを示しています。データセットに関する詳細情報については、__「About」__ ページを\
|
134 |
+
参照するか、__[LLM-jp](https://llm-jp.nii.ac.jp/)__ のウェブサイトをご覧ください。\
|
135 |
また、__「Submit here!」__ ページでは、あなたのモデルの性能を評価し、リーダーボードに\
|
136 |
参加することができます。
|
137 |
"""
|
|
|
223 |
|
224 |
LLM_BENCHMARKS_TEXT_JP = """
|
225 |
## 仕組み
|
226 |
+
📈 私たちは評価ツール [llm-jp-eval](https://github.com/llm-jp/llm-jp-eval) を活用し、16種類のタスクで日本語の大規模言語モデルを評価します。このツールは、様々な評価タスクで日本語LLMを評価するための統一的なフレームワークです。
|
227 |
|
228 |
**NLI(自然言語推論)**
|
229 |
|
|
|
235 |
|
236 |
* `JSeM`、日本語意味論テストセット [ソース](https://github.com/DaisukeBekki/JSeM)(ライセンス BSD 3-Clause)
|
237 |
|
238 |
+
* `JSICK`、構成的知識を含む日本語文データセット [ソース](https://github.com/verypluming/JSICK)(ライセンス CC BY-SA 4.0)
|
239 |
|
240 |
**QA(質問応答)**
|
241 |
|
|
|
257 |
|
258 |
* `KUCI`、京都大学常識推論データセット [ソース](https://github.com/ku-nlp/KUCI)(ライセンス CC BY-SA 4.0)
|
259 |
|
260 |
+
**EL(エンティティリンキング)**
|
261 |
|
262 |
* `chABSA`、アスペクトベースの感情分析データセット [ソース](https://github.com/chakki-works/chABSA-dataset)(ライセンス CC BY-SA 4.0)
|
263 |
|
264 |
+
**FA(基礎解析)**
|
265 |
|
266 |
* `Wikipedia Annotated Corpus`、[ソース](https://github.com/ku-nlp/WikipediaAnnotatedCorpus)(ライセンス CC BY-SA 4.0)
|
267 |
|
|
|
275 |
|
276 |
**MT(機械翻訳)**
|
277 |
|
278 |
+
* `ALT`、アジア言語ツリーバンク(ALT) - 並行コーパス [ソース](https://www2.nict.go.jp/astrec-att/member/mutiyama/ALT/index.html)(ライセンス CC BY-SA 4.0)
|
279 |
|
280 |
* `WikiCorpus`、京都市に関するWikipedia記事の日本語-英語対訳コーパス [ソース](https://alaginrc.nict.go.jp/WikiCorpus/)(ライセンス CC BY-SA 3.0)
|
281 |
|
|
|
287 |
|
288 |
**HE(試験問題)**
|
289 |
|
290 |
+
* `MMLU`、大規模マルチタスク言語理解ベンチマーク(英語) [ソース](https://github.com/hendrycks/test)(ライセンス MIT License)
|
291 |
|
292 |
* `JMMLU`、日本語大規模マルチタスク言語理解ベンチマーク [ソース](https://github.com/nlp-waseda/JMMLU)(ライセンス CC BY-SA 4.0(3つのタスクはCC BY-NC-ND 4.0ライセンス)
|
293 |
|
|
|
297 |
|
298 |
**SUM(要約)**
|
299 |
|
300 |
+
* `XL-Sum`、44言語の大規模多言語抽象型要約データセットの日本語部分 [ソース](https://github.com/csebuetnlp/xl-sum)(ライセンス CC BY-NC-SA 4.0、非商用ライセンスのため、このデータセットは使用しません。ライセンスと利用規約に明確に同意した場合を除きます)
|
301 |
|
302 |
## 再現性
|
303 |
+
我々の結果を再現するには、評価ツール **llm-jp-eval** の指示に従ってください。詳細は [日本語](https://github.com/llm-jp/llm-jp-eval/blob/main/README.md) と [英語](https://github.com/llm-jp/llm-jp-eval/blob/main/README_en.md) でご覧いただけます。
|
304 |
"""
|
305 |
|
306 |
|