Update README.md
Browse files
README.md
CHANGED
|
@@ -1,7 +1,7 @@
|
|
| 1 |
---
|
| 2 |
license: apache-2.0
|
| 3 |
---
|
| 4 |
-
ZhiLu
|
| 5 |
|
| 6 |
模型训练的目标是在保持通用能力的前提下，显著提升金融领域的能力。具体细节参考：[ZhiLu-github仓库](https://github.com/SYSU-MUCFC-FinTech-Research-Center/ZhiLu)
|
| 7 |
|
|
@@ -9,6 +9,16 @@ ZhiLu是一个基于中文Alpaca2-13B进行二次训练的金融大模型，我
|
|
| 9 |
|
| 10 |
本项目提供ZhiLu的完整模型，使用该模型，用户不用再下载LoRA模块。
|
| 11 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 12 |
# 快速使用
|
| 13 |
|
| 14 |
```python
|
|
|
|
| 1 |
---
|
| 2 |
license: apache-2.0
|
| 3 |
---
|
| 4 |
+
ZhiLu是一个基于[中文Alpaca2-13B](https://github.com/ymcui/Chinese-LLaMA-Alpaca-2)进行二次训练的金融大模型，我们使用大量中英文语料进行增量预训练，同时使用高质量指令数据进行对齐。
|
| 5 |
|
| 6 |
模型训练的目标是在保持通用能力的前提下，显著提升金融领域的能力。具体细节参考：[ZhiLu-github仓库](https://github.com/SYSU-MUCFC-FinTech-Research-Center/ZhiLu)
|
| 7 |
|
|
|
|
| 9 |
|
| 10 |
本项目提供ZhiLu的完整模型，使用该模型，用户不用再下载LoRA模块。
|
| 11 |
|
| 12 |
+
# 数据质量
|
| 13 |
+
|
| 14 |
+
我们收集了各类数据，包括上市公司公告、财经新闻、上市公司年度报告、新闻、金融资讯、社区问答、维基百科等高质量数据。
|
| 15 |
+
|
| 16 |
+
模型训练的总token数为`14.69B`，通用语料与金融预料比例约为2:1，中英配比约为2:1。
|
| 17 |
+
|
| 18 |
+
# 模型训练
|
| 19 |
+
|
| 20 |
+
ZhiLu使用LoRA进行高效训练（含emb/lm-head），使用FlashAttention-2技术进行加速训练，公布了Full Model（本仓库）和[LoRA模块](https://huggingface.co/SYSU-MUCFC-FinTech-Research-Center/ZhiLu-LoRA-13B-Instruct)
|
| 21 |
+
|
| 22 |
# 快速使用
|
| 23 |
|
| 24 |
```python
|