---
license: apache-2.0
---
## 藏文心理健康支持对话数据集(Tibetan_Mental)与大模型(Tibetan_Mental_Chat)
### 本文的训练流程主要包含：
- 对Llama 2 进行藏文词表扩充，词表由32000 扩展至56724，提高模型在藏文的编解码效率。在TibetanGeneralCorpus 上使用Sentencepiece 工具训练基于Unigram 策略的藏文分词器。生成的词表与原版Llama 2 的32K 词表进行合并，排除重复的词 元后，得到扩充后词表规模为56724。用15G 的TibetanGeneralCorpus 和20G 的英、中混合文本进行CPT，采用自回归任务。

### 通过心理健康领域的藏文指令数据集进行了QLoRA微调：
- 通过4-bit的nf4量化，且加入更多adapter，在大幅减少显存消耗的同时，尽可能逼近全量参数微调的效果。 该方法可以在一张V100上对33B的模型进行微调，并且性能逼近全量参数微调。

![面向藏语的心理健康咨询大模型平台](https://github.com/Shajiu/Tibetan_Mental_Health_Chat/blob/main/demo.png "GitHub Logo")


- 详情：[藏文心理健康支持对话数据集(Tibetan_Mental)与大模型(Tibetan_Mental_Chat)](https://github.com/Shajiu/Tibetan_Mental_Health_Chat "可选标题")