Update README.md
Browse files
README.md
CHANGED
@@ -12,9 +12,9 @@ base_model:
|
|
12 |
|
13 |
在香橙派5上的部署教程:[RKLLM部署语言大模型教程](https://wiki.vrxiaojie.top/Deepseek-R1-RK3588-OrangePi5/)
|
14 |
|
15 |
-
|
16 |
|---|---|---|---|
|
17 |
-
|DeepSeek-R1-Distill-Qwen-1.5B-RK3588S-RKLLM1.1.4|2.5GB|
|
18 |
|
19 |
# 运行环境
|
20 |
RKNPU Version: 0.9.8
|
@@ -49,13 +49,11 @@ vi src/llm_demo.cpp
|
|
49 |
|
50 |
将第24 25行修改为
|
51 |
```c
|
52 |
-
#define PROMPT_TEXT_PREFIX "
|
53 |
-
#define PROMPT_TEXT_POSTFIX "
|
54 |
```
|
55 |
|
56 |
-
你可以根据自己的需求自定义上面的提示词内容,只要修改PROMPT_TEXT_PREFIX的
|
57 |
-
|
58 |
-
或PROMPT_TEXT_POSTFIX里的`<|im_end|>\n`到结尾的`\n`之间的内容即可。
|
59 |
|
60 |
将第184行取消注释
|
61 |
```c
|
|
|
12 |
|
13 |
在香橙派5上的部署教程:[RKLLM部署语言大模型教程](https://wiki.vrxiaojie.top/Deepseek-R1-RK3588-OrangePi5/)
|
14 |
|
15 |
+
|模型|内存占用|模型大小|量化类型|
|
16 |
|---|---|---|---|
|
17 |
+
|DeepSeek-R1-Distill-Qwen-1.5B-RK3588S-RKLLM1.1.4|2.5GB|1.89GB|w8a8|
|
18 |
|
19 |
# 运行环境
|
20 |
RKNPU Version: 0.9.8
|
|
|
49 |
|
50 |
将第24 25行修改为
|
51 |
```c
|
52 |
+
#define PROMPT_TEXT_PREFIX "<|begin▁of▁sentence|>system 你是一名专业AI助手请遵循:1.用简体中文回答;2.中文翻译成英文时,需使用英文回答;3.展示思考过程 <|User|>"
|
53 |
+
#define PROMPT_TEXT_POSTFIX "<|Assistant|>"
|
54 |
```
|
55 |
|
56 |
+
你可以根据自己的需求自定义上面的提示词内容,只要修改PROMPT_TEXT_PREFIX的 `<|begin▁of▁sentence|>system`到`<|User|>`之间的内容。
|
|
|
|
|
57 |
|
58 |
将第184行取消注释
|
59 |
```c
|