sh1gechan commited on
Commit
d360c9a
·
verified ·
1 Parent(s): 0f4a656

fix explanation

Browse files
Files changed (1) hide show
  1. src/about.py +14 -14
src/about.py CHANGED
@@ -109,10 +109,10 @@ TITLE = """<h1 align="center" id="space-title">🇯🇵 Open Japanese LLM Leader
109
 
110
  # What does your leaderboard evaluate?
111
  INTRODUCTION_TEXT = """
112
- The __Open Japanese LLM Leaderboard__ by __[LLM-Jp](https://llm-jp.nii.ac.jp/en/)__ evaluates
113
  the performance of Japanese Large Language Models (LLMs) with more than 16 tasks from
114
  classical to modern NLP tasks. The __Open Japanese LLM Leaderboard__ was built by open-source
115
- contributors of __[LLM-Jp](https://llm-jp.nii.ac.jp/en/)__, a cross-organizational project
116
  for the research and development of Japanese LLMs supported by the _National Institute of
117
  Informatics_ in Tokyo, Japan.
118
 
@@ -124,14 +124,14 @@ evaluate the performance of your model, and be part of the leaderboard.
124
  """
125
  INTRODUCTION_TEXT_JP = """\
126
  __[LLM-Jp](https://llm-jp.nii.ac.jp/)__ による __オープン日本語LLMリーダーボード__ は、\
127
- 古典的なものから最新のものまで16以上のNLPタスクを用いて日本語大規模言語モデル(LLM)の\
128
- 性能を評価します。__オープン日本語LLMリーダーボード__ は、東京の国立情報学研究所の支援を\
129
- 受けて日本語LLMの研究開発を行う組織横断プロジェクト __[LLM-Jp](https://llm-jp.nii.ac.jp/)__ \
130
  のオープンソース貢献者によって構築されました。
131
 
132
  __「LLMベンチマーク」__ ページでは、疑問符 **「?」** はHugging Faceのモデルカードで不明な\
133
  パラメータを示しています。データセットに関する詳細情報については、__「About」__ ページを\
134
- 参照するか、__[LLM-Jp](https://llm-jp.nii.ac.jp/)__ のウェブサイトをご覧ください。\
135
  また、__「Submit here!」__ ページでは、あなたのモデルの性能を評価し、リーダーボードに\
136
  参加することができます。
137
  """
@@ -223,7 +223,7 @@ To reproduce our results, please follow the instructions of the evalution tool,
223
 
224
  LLM_BENCHMARKS_TEXT_JP = """
225
  ## 仕組み
226
- 📈 私たちは評価ツール [llm-jp-eval](https://github.com/llm-jp/llm-jp-eval) を活用し、16のタスクで日本語の大規模言語モデルを評価します。このツールは、様々な評価タスクで日本語LLMを評価するための統一的なフレームワークです。
227
 
228
  **NLI(自然言語推論)**
229
 
@@ -235,7 +235,7 @@ LLM_BENCHMARKS_TEXT_JP = """
235
 
236
  * `JSeM`、日本語意味論テストセット [ソース](https://github.com/DaisukeBekki/JSeM)(ライセンス BSD 3-Clause)
237
 
238
- * `JSICK`、構成的知識を含む日本語文 [ソース](https://github.com/verypluming/JSICK)(ライセンス CC BY-SA 4.0)
239
 
240
  **QA(質問応答)**
241
 
@@ -257,11 +257,11 @@ LLM_BENCHMARKS_TEXT_JP = """
257
 
258
  * `KUCI`、京都大学常識推論データセット [ソース](https://github.com/ku-nlp/KUCI)(ライセンス CC BY-SA 4.0)
259
 
260
- **EL(エンティティリンク)**
261
 
262
  * `chABSA`、アスペクトベースの感情分析データセット [ソース](https://github.com/chakki-works/chABSA-dataset)(ライセンス CC BY-SA 4.0)
263
 
264
- **FA(基本的な分析)**
265
 
266
  * `Wikipedia Annotated Corpus`、[ソース](https://github.com/ku-nlp/WikipediaAnnotatedCorpus)(ライセンス CC BY-SA 4.0)
267
 
@@ -275,7 +275,7 @@ LLM_BENCHMARKS_TEXT_JP = """
275
 
276
  **MT(機械翻訳)**
277
 
278
- * `ALT`、アジア言語ツリーバンク(ALT) - 並列コーパス [ソース](https://www2.nict.go.jp/astrec-att/member/mutiyama/ALT/index.html)(ライセンス CC BY-SA 4.0)
279
 
280
  * `WikiCorpus`、京都市に関するWikipedia記事の日本語-英語対訳コーパス [ソース](https://alaginrc.nict.go.jp/WikiCorpus/)(ライセンス CC BY-SA 3.0)
281
 
@@ -287,7 +287,7 @@ LLM_BENCHMARKS_TEXT_JP = """
287
 
288
  **HE(試験問題)**
289
 
290
- * `MMLU`、大規模マルチタスク言語理解の測定 [ソース](https://github.com/hendrycks/test)(ライセンス MIT License)
291
 
292
  * `JMMLU`、日本語大規模マルチタスク言語理解ベンチマーク [ソース](https://github.com/nlp-waseda/JMMLU)(ライセンス CC BY-SA 4.0(3つのタスクはCC BY-NC-ND 4.0ライセンス)
293
 
@@ -297,10 +297,10 @@ LLM_BENCHMARKS_TEXT_JP = """
297
 
298
  **SUM(要約)**
299
 
300
- * `XL-Sum`、44言語の大規模な多言語抽象要約 [ソース](https://github.com/csebuetnlp/xl-sum)(ライセンス CC BY-NC-SA 4.0、非商用ライセンスのため、このデータセットは使用しません。ライセンスと利用規約に明確に同意した場合を除きます)
301
 
302
  ## 再現性
303
- 私たちの結果を再現するには、評価ツール **llm-jp-eval** の指示に従ってください。詳細は [日本語](https://github.com/llm-jp/llm-jp-eval/blob/main/README.md) と [英語](https://github.com/llm-jp/llm-jp-eval/blob/main/README_en.md) でご覧いただけます。
304
  """
305
 
306
 
 
109
 
110
  # What does your leaderboard evaluate?
111
  INTRODUCTION_TEXT = """
112
+ The __Open Japanese LLM Leaderboard__ by __[LLM-jp](https://llm-jp.nii.ac.jp/en/)__ evaluates
113
  the performance of Japanese Large Language Models (LLMs) with more than 16 tasks from
114
  classical to modern NLP tasks. The __Open Japanese LLM Leaderboard__ was built by open-source
115
+ contributors of __[LLM-jp](https://llm-jp.nii.ac.jp/en/)__, a cross-organizational project
116
  for the research and development of Japanese LLMs supported by the _National Institute of
117
  Informatics_ in Tokyo, Japan.
118
 
 
124
  """
125
  INTRODUCTION_TEXT_JP = """\
126
  __[LLM-Jp](https://llm-jp.nii.ac.jp/)__ による __オープン日本語LLMリーダーボード__ は、\
127
+ 古典的なものから最新のものまで16種類以上のNLPタスクを用いて日本語大規模言語モデル(LLM)の\
128
+ 性能を評価します。__オープン日本語LLMリーダーボード__ は、日本の国立情報学研究所を中心に\
129
+ 日本語LLMの研究開発を行う組織横断プロジェクト __[LLM-jp](https://llm-jp.nii.ac.jp/)__ \
130
  のオープンソース貢献者によって構築されました。
131
 
132
  __「LLMベンチマーク」__ ページでは、疑問符 **「?」** はHugging Faceのモデルカードで不明な\
133
  パラメータを示しています。データセットに関する詳細情報については、__「About」__ ページを\
134
+ 参照するか、__[LLM-jp](https://llm-jp.nii.ac.jp/)__ のウェブサイトをご覧ください。\
135
  また、__「Submit here!」__ ページでは、あなたのモデルの性能を評価し、リーダーボードに\
136
  参加することができます。
137
  """
 
223
 
224
  LLM_BENCHMARKS_TEXT_JP = """
225
  ## 仕組み
226
+ 📈 私たちは評価ツール [llm-jp-eval](https://github.com/llm-jp/llm-jp-eval) を活用し、16種類のタスクで日本語の大規模言語モデルを評価します。このツールは、様々な評価タスクで日本語LLMを評価するための統一的なフレームワークです。
227
 
228
  **NLI(自然言語推論)**
229
 
 
235
 
236
  * `JSeM`、日本語意味論テストセット [ソース](https://github.com/DaisukeBekki/JSeM)(ライセンス BSD 3-Clause)
237
 
238
+ * `JSICK`、構成的知識を含む日本語文データセット [ソース](https://github.com/verypluming/JSICK)(ライセンス CC BY-SA 4.0)
239
 
240
  **QA(質問応答)**
241
 
 
257
 
258
  * `KUCI`、京都大学常識推論データセット [ソース](https://github.com/ku-nlp/KUCI)(ライセンス CC BY-SA 4.0)
259
 
260
+ **EL(エンティティリンキング)**
261
 
262
  * `chABSA`、アスペクトベースの感情分析データセット [ソース](https://github.com/chakki-works/chABSA-dataset)(ライセンス CC BY-SA 4.0)
263
 
264
+ **FA(基礎解析)**
265
 
266
  * `Wikipedia Annotated Corpus`、[ソース](https://github.com/ku-nlp/WikipediaAnnotatedCorpus)(ライセンス CC BY-SA 4.0)
267
 
 
275
 
276
  **MT(機械翻訳)**
277
 
278
+ * `ALT`、アジア言語ツリーバンク(ALT) - 並行コーパス [ソース](https://www2.nict.go.jp/astrec-att/member/mutiyama/ALT/index.html)(ライセンス CC BY-SA 4.0)
279
 
280
  * `WikiCorpus`、京都市に関するWikipedia記事の日本語-英語対訳コーパス [ソース](https://alaginrc.nict.go.jp/WikiCorpus/)(ライセンス CC BY-SA 3.0)
281
 
 
287
 
288
  **HE(試験問題)**
289
 
290
+ * `MMLU`、大規模マルチタスク言語理解ベンチマーク(英語) [ソース](https://github.com/hendrycks/test)(ライセンス MIT License)
291
 
292
  * `JMMLU`、日本語大規模マルチタスク言語理解ベンチマーク [ソース](https://github.com/nlp-waseda/JMMLU)(ライセンス CC BY-SA 4.0(3つのタスクはCC BY-NC-ND 4.0ライセンス)
293
 
 
297
 
298
  **SUM(要約)**
299
 
300
+ * `XL-Sum`、44言語の大規模多言語抽象型要約データセットの日本語部分 [ソース](https://github.com/csebuetnlp/xl-sum)(ライセンス CC BY-NC-SA 4.0、非商用ライセンスのため、このデータセットは使用しません。ライセンスと利用規約に明確に同意した場合を除きます)
301
 
302
  ## 再現性
303
+ 我々の結果を再現するには、評価ツール **llm-jp-eval** の指示に従ってください。詳細は [日本語](https://github.com/llm-jp/llm-jp-eval/blob/main/README.md) と [英語](https://github.com/llm-jp/llm-jp-eval/blob/main/README_en.md) でご覧いただけます。
304
  """
305
 
306