README.md

license: apache-2.0
ChatGLM-6B 是开源中英双语对话模型 本次训练基于ChatGLM-6B 的第一代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，本次训练使用了30万条fitness数据，40万条gpt4数据，以及30万条人类反馈数据的微调。
训练后在健康咨询，文档总结 上强于glm2，fp16运行时速度上比原模型提升20%.可以代替原有官方模型，大家可以fp16、int4、int8使用。
协议
本仓库的代码依照 Apache-2.0 协议开源，ChatGLM2-6B 模型的权重的使用则需要遵循 Model License。
授权方式，与原项目一致，未经过chatglm原开发方允许，不得用于商业用途。
在原项目上的训练由智能AI用户[帛凡]于2023年基于ChatGLM独立训练的人工智能助手（严禁售卖或者商业项目，任何通过此项目产生的知识仅用于参考，作者不承担任何责任）。
16G及以上显存用下载压缩包即lora文件使用，可支持ChatGLM原生模型和LoRA微调后的模型
Usage (HuggingFace Transformers)
Without textgen, you can use the model like this:
First, you pass your input through the transformer model, then you get the generated sentence.
Install package:
pip install transformers  peft

import sys
from peft import PeftModel
from transformers import AutoModel, AutoTokenizer
sys.path.append('..')
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True, device_map='auto')
model = PeftModel.from_pretrained(model, "model/chatglm_fitness_lora")
model = model.half().cuda()  # fp16
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
sents = ['新冠肺炎怎么预防。\n答：']
for s in sents:
    response = model.chat(tokenizer, s, max_length=128, eos_token_id=tokenizer.eos_token_id)
    print(response)

output:

模型文件组成：
chatglm_fitness_lora
    ├── adapter_config.json
    └── adapter_model.bin

--------------------------------------------------------------------------------
16G及以下显存用户下载整个模型，可支持支持fp16、int8、int4
Usage (HuggingFace Transformers)
Without textgen, you can use the model like this:
First, you pass your input through the transformer model, then you get the generated sentence.
Install package:
pip install transformers  peft

import sys
from transformers import AutoModel, AutoTokenizer
sys.path.append('..')
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True, device_map='auto')
#model = model.half().quantize(4).cuda()  # int4
#model = model.half().quantize(8).cuda()  # int8
#model = model.half().cuda()  # fp16
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
sents = ['新冠肺炎怎么预防。\n答：']
for s in sents:
    response = model.chat(tokenizer, s, max_length=128, eos_token_id=tokenizer.eos_token_id)
    print(response)

output: