VRxiaojie commited on
Commit
bb9ef87
·
verified ·
1 Parent(s): 24e1578

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +5 -7
README.md CHANGED
@@ -12,9 +12,9 @@ base_model:
12
 
13
  在香橙派5上的部署教程:[RKLLM部署语言大模型教程](https://wiki.vrxiaojie.top/Deepseek-R1-RK3588-OrangePi5/)
14
 
15
- |模型|内存占用|NPU占用|模型大小|
16
  |---|---|---|---|
17
- |DeepSeek-R1-Distill-Qwen-1.5B-RK3588S-RKLLM1.1.4|2.5GB|3核 63%|1.89GB|
18
 
19
  # 运行环境
20
  RKNPU Version: 0.9.8
@@ -49,13 +49,11 @@ vi src/llm_demo.cpp
49
 
50
  将第24 25行修改为
51
  ```c
52
- #define PROMPT_TEXT_PREFIX "<|im_start|>system\n你是一名通用对话助手,用中文回答问题,回答时必须展现严谨的逻辑思维,听从用户的命令<|im_end|>\n<|im_start|>user\n"
53
- #define PROMPT_TEXT_POSTFIX "<|im_end|>\nChinese assistant\n"
54
  ```
55
 
56
- 你可以根据自己的需求自定义上面的提示词内容,只要修改PROMPT_TEXT_PREFIX的 `<|im_start|>system\n`到`<|im_end|>\n<|im_start|>user\n`之间的内容,
57
-
58
- 或PROMPT_TEXT_POSTFIX里的`<|im_end|>\n`到结尾的`\n`之间的内容即可。
59
 
60
  将第184行取消注释
61
  ```c
 
12
 
13
  在香橙派5上的部署教程:[RKLLM部署语言大模型教程](https://wiki.vrxiaojie.top/Deepseek-R1-RK3588-OrangePi5/)
14
 
15
+ |模型|内存占用|模型大小|量化类型|
16
  |---|---|---|---|
17
+ |DeepSeek-R1-Distill-Qwen-1.5B-RK3588S-RKLLM1.1.4|2.5GB|1.89GB|w8a8|
18
 
19
  # 运行环境
20
  RKNPU Version: 0.9.8
 
49
 
50
  将第24 25行修改为
51
  ```c
52
+ #define PROMPT_TEXT_PREFIX "<|begin▁of▁sentence|>system 你是一名专业AI助手请遵循:1.用简体中文回答;2.中文翻译成英文时,需使用英文回答;3.展示思考过程 <|User|>"
53
+ #define PROMPT_TEXT_POSTFIX "<|Assistant|>"
54
  ```
55
 
56
+ 你可以根据自己的需求自定义上面的提示词内容,只要修改PROMPT_TEXT_PREFIX的 `<|begin▁of▁sentence|>system`到`<|User|>`之间的内容。
 
 
57
 
58
  将第184行取消注释
59
  ```c