Add description of training steps
Browse files
README.md
CHANGED
|
@@ -9,4 +9,20 @@ license: cc-by-sa-4.0
|
|
| 9 |
|
| 10 |
# 回答と回答が出てくるパラグラフを与えると質問文を生成するモデル
|
| 11 |
|
| 12 |
-
SEE: https://github.com/sonoisa/deep-question-generation
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 9 |
|
| 10 |
# 回答と回答が出てくるパラグラフを与えると質問文を生成するモデル
|
| 11 |
|
| 12 |
+
SEE: https://github.com/sonoisa/deep-question-generation
|
| 13 |
+
|
| 14 |
+
|
| 15 |
+
## 本モデルの作成ステップ概要
|
| 16 |
+
|
| 17 |
+
1. [SQuAD 1.1](https://rajpurkar.github.io/SQuAD-explorer/)を日本語に機械翻訳し、不正なデータをクレンジング（有効なデータは約半分）。
|
| 18 |
+
回答が含まれるコンテキスト、質問文、解答の3つ組ができる。
|
| 19 |
+
2. [日本語T5モデル](https://huggingface.co/sonoisa/t5-base-japanese)を次の設定でファインチューニングを実行
|
| 20 |
+
* 入力: "answer: {解答} content: {回答が含まれるコンテキスト}"
|
| 21 |
+
* 出力: "{質問文}"
|
| 22 |
+
* 各種ハイパーパラメータ
|
| 23 |
+
* 最大入力トークン数: 512
|
| 24 |
+
* 最大出力トークン数: 64
|
| 25 |
+
* 最適化アルゴリズム: AdaFactor
|
| 26 |
+
* 学習率: 0.001（固定）
|
| 27 |
+
* バッチサイズ: 128
|
| 28 |
+
* ステップ数: 2500（500ステップごとにチェックポイントを出力、定量・定性評価を行い2500ステップ目を採用）
|