JosephusCheung commited on
Commit
2a97280
·
1 Parent(s): eb6f7f8

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +7 -0
README.md CHANGED
@@ -50,6 +50,9 @@ GPT2Tokenizer fixed by [Kerfuffle](https://github.com/KerfuffleV2) on [https://g
50
 
51
  Thanks TheBloke for GGUF quants: [https://huggingface.co/TheBloke/CausalLM-14B-GGUF](https://huggingface.co/TheBloke/CausalLM-14B-GGUF)
52
 
 
 
 
53
 
54
  # Read Me:
55
 
@@ -147,6 +150,10 @@ GPT2Tokenizer 支持由 [Kerfuffle](https://github.com/KerfuffleV2) 修复于 [h
147
 
148
  感谢 TheBloke 制作 GGUF 版本量化模型: [https://huggingface.co/TheBloke/CausalLM-14B-GGUF](https://huggingface.co/TheBloke/CausalLM-14B-GGUF)
149
 
 
 
 
 
150
  ## 请读我:
151
 
152
  另请参阅[7B版本](https://huggingface.co/CausalLM/7B)
 
50
 
51
  Thanks TheBloke for GGUF quants: [https://huggingface.co/TheBloke/CausalLM-14B-GGUF](https://huggingface.co/TheBloke/CausalLM-14B-GGUF)
52
 
53
+ **Caution:** Unofficial GPTQ and AWQ models may have issues as they use Wikitext for calibration, while this model has undergone considerable training on a synthesized Wikipedia conversation dataset.
54
+
55
+ It is not recommended to use any form of quantization, but rather to use smaller-sized models, as the 7B and 14B versions have high consistency. However, if you do use model quantization, please use GGUF.
56
 
57
  # Read Me:
58
 
 
150
 
151
  感谢 TheBloke 制作 GGUF 版本量化模型: [https://huggingface.co/TheBloke/CausalLM-14B-GGUF](https://huggingface.co/TheBloke/CausalLM-14B-GGUF)
152
 
153
+ **注意:** 非官方 GPTQ 和 AWQ 模型可能存在问题,因为它们使用 Wikitext 进行校准,而该模型已经在合成的 Wikipedia 对话数据集上经过了大量的训练。
154
+
155
+ 不建议使用任何形式的量化,而是使用较小尺寸的模型,因为7B和14B版本具有较高的一致性。 但是,如果您确实使用模型量化,请使用 GGUF。
156
+
157
  ## 请读我:
158
 
159
  另请参阅[7B版本](https://huggingface.co/CausalLM/7B)