Update README.md

README.md

@@ -29,7 +29,7 @@ widget:
   example_title: 偽造特種文書(契約、車牌等)詐財
 ---
 
-# 判決書草稿自動生成
+# 判決書「犯罪事實」欄草稿自動生成
 本模型是以司法院公開之「詐欺」案件判決書做成之資料集，基於 [BLOOM 560m](https://huggingface.co/bigscience/bloomz-560m) 模型進行微調訓練，可以自動生成詐欺及竊盜案件之犯罪事實段落之草稿。資料集之資料範圍從100年1月1日至110年12月31日，所蒐集到的原始資料共有 74823 篇（判決以及裁定），我們只取判決書的「犯罪事實」欄位內容，並把這原始的資料分成三份，用於訓練的資料集有59858篇，約佔原始資料的80%，剩下的20%，則是各分配10%給驗證集（7482篇），10%給測試集（7483篇）。在本網頁進行測試時，請在模型載入完畢並生成第一小句後，持續按下Compute按鈕，就能持續生成文字。或是輸入自己想要測試的資料到文字框中進行測試。或是可以到[這裡](https://huggingface.co/spaces/jslin09/legal_document_drafting)有更完整的使用體驗。
 
 # 使用範例
@@ -82,4 +82,19 @@ tokenizer = AutoTokenizer.from_pretrained("jslin09/bloom-560m-finetuned-fraud")
 model = AutoModelForCausalLM.from_pretrained("jslin09/bloom-560m-finetuned-fraud")
 </code>
 </pre>
-</details>
+</details>
+
+# 本模型進行各項指標進行評估的結果如下 [Open LLM Leaderboard Evaluation Results](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard)
+詳細的結果在 [這裡](https://huggingface.co/datasets/open-llm-leaderboard/details_jslin09__bloom-560m-finetuned-fraud)。
+本模型只使用範圍相當小的資料集進行微調，就任務目標來說，已經是完美解決，但就廣泛的通用性來說，其實是不完美的。總的來說，如果應用場景是需要把模型建置在本地端、不能連到外部網路、提示字資料也不能外送的情境下，本模型的建置過程及結果提供了一個可行性的示範。
+
+| Metric                | Value                     |
+|-----------------------|---------------------------|
+| Avg.                  | 18.37   |
+| ARC (25-shot)         | 26.96          |
+| HellaSwag (10-shot)   | 28.87    |
+| MMLU (5-shot)         | 24.03         |
+| TruthfulQA (0-shot)   | 0.0   |
+| Winogrande (5-shot)   | 48.38   |
+| GSM8K (5-shot)        | 0.0        |
+| DROP (3-shot)         | 0.33         |