Hugging Face's logo

shajiu
/
Tibetan_Llama2_13B_Mental_Health

Text Generation
Transformers
Safetensors
llama
text-generation-inference
Inference Endpoints
Model card Files Community
1
shajiu commited on
Commit
7af3cba
·
verified ·
1 Parent(s): 70f8b57

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +6 -4
README.md CHANGED
@@ -1,12 +1,14 @@
1
  ---
2
  license: apache-2.0
3
  ---
 
 
 
4
 
5
- - 本文的训练流程主要包含：对Llama 2 进行藏文词表扩充，词表由32000 扩展至56724，提高模型在藏文的编解码效率。在TibetanGeneralCorpus 上使用Sentencepiece 工具训练基于Unigram 策略的藏文分词器。生成的词表与原版Llama 2 的32K 词表进行合并，排除重复的词 元后，得到扩充后词表规模为56724。用15G 的TibetanGeneralCorpus 和20G 的英、中混合文本进行CPT，采用自回归任务。
6
-
7
- - 通过心理健康领域的藏文指令数据集进行了QLoRA微调，通过4-bit的nf4量化，且加入更多adapter，在大幅减少显存消耗的同时，尽可能逼近全量参数微调的效果。 该方法可以在一张V100上对33B的模型进行微调，并且性能逼近全量参数微调。
8
 
9
  ![面向藏语的心理健康咨询大模型平台](https://github.com/Shajiu/Tibetan_Mental_Health_Chat/blob/main/demo.png "GitHub Logo")
10
 
11
 
12
- [藏文心理健康支持对话数据集(Tibetan_Mental)与大模型(Tibetan_Mental_Chat)](https://github.com/Shajiu/Tibetan_Mental_Health_Chat "可选标题")
 
1
  ---
2
  license: apache-2.0
3
  ---
4
+ ## 藏文心理健康支持对话数据集(Tibetan_Mental)与大模型(Tibetan_Mental_Chat)
5
+ ### 本文的训练流程主要包含：
6
+ - 对Llama 2 进行藏文词表扩充，词表由32000 扩展至56724，提高模型在藏文的编解码效率。在TibetanGeneralCorpus 上使用Sentencepiece 工具训练基于Unigram 策略的藏文分词器。生成的词表与原版Llama 2 的32K 词表进行合并，排除重复的词 元后，得到扩充后词表规模为56724。用15G 的TibetanGeneralCorpus 和20G 的英、中混合文本进行CPT，采用自回归任务。
7
 
8
+ ### 通过心理健康领域的藏文指令数据集进行了QLoRA微调：
9
+ - 通过4-bit的nf4量化，且加入更多adapter，在大幅减少显存消耗的同时，尽可能逼近全量参数微调的效果。 该方法可以在一张V100上对33B的模型进行微调，并且性能逼近全量参数微调。
 
10
 
11
  ![面向藏语的心理健康咨询大模型平台](https://github.com/Shajiu/Tibetan_Mental_Health_Chat/blob/main/demo.png "GitHub Logo")
12
 
13
 
14
+ - 详情：[藏文心理健康支持对话数据集(Tibetan_Mental)与大模型(Tibetan_Mental_Chat)](https://github.com/Shajiu/Tibetan_Mental_Health_Chat "可选标题")