|
--- |
|
license: cc |
|
language: |
|
- zh |
|
library_name: transformers |
|
pipeline_tag: text-generation |
|
widget: |
|
- inference_endpoint: https://sar2he6o1iz3y341.us-east-1.aws.endpoints.huggingface.cloud |
|
- text: 问：什么是鹦鹉？ |
|
- text: 问：什么是大象？ |
|
- text: 问：谁是李白？ |
|
- text: 问：什么是黑洞？ |
|
- text: 从前有个胖鹦鹉，胖得飞不动。 |
|
- text: 从前有个小姑娘从来不洗脸。孔子说： |
|
datasets: |
|
- adam89/TinyStoriesChinese |
|
- fzmnm/TinyStoriesAdv-zh |
|
--- |
|
|
|
### TinyStoriesAdv_v2_92M |
|
|
|
 |
|
|
|
keywords: grade school level, large language model, small language model, tiny language model, super tiny language model, 小学生知识水平，大语言模型，小语言模型，迷你语言模型, llm, slm. |
|
|
|
超迷你的玩具模型，只能讲中文，可以回答一些小学生的常识问题。幻觉严重。但是很有趣。 |
|
受到[TinyStories](https://arxiv.org/abs/2305.07759)、[Phi2](https://arxiv.org/abs/2309.05463)等论文的启发，使用了自己制作的全合成的数据库 https://huggingface.co/datasets/fzmnm/TinyStoriesAdv-zh |
|
|
|
**版本v2更新:** |
|
根据PhysicsOfLLM [3.1](https://arxiv.org/abs/2309.14316),[3.2](https://arxiv.org/pdf/2309.14402),[3.3](https://arxiv.org/abs/2404.05405),的建议，优化了百科词条部分的训练数据，使得模型能够较好地掌握小学生百科全书里的知识。也根据PhysicsOfLLM [2.1](https://arxiv.org/abs/2407.20311),[2.2](https://arxiv.org/pdf/2408.16293) 加入了一些推理能力的训练。在92M的参数下达到了之前215M版本的水平，知识的掌握也更好了。 |
|
|
|
|
|
采用了类似Qwen的Llama架构，包括了RoPE和GatedMLP。具体的超参数如下： |
|
```python |
|
vocab_size=6000 |
|
dim=640;n_layers=20;n_heads=10;n_kv_heads=2;max_seq_len=1024;embedding_weight_tying=True; |
|
tokens_per_iteration=524288 |
|
dropout=0.1 |
|
warmup_iters=1000;stable_iters=9000 |
|
``` |
|
A100上10小时即可训练完毕。 |
|
这个是预训练版本，没有进行偏好微调。 |
|
|
|
#### 用法： |
|
|
|
```python |
|
from transformers import pipeline |
|
|
|
generator = pipeline('text-generation', model='fzmnm/TinyStoriesAdv_92M') |
|
story_prompt = "问：什么是鹦鹉？" |
|
generated_story = generator(story_prompt, max_length=256, truncation=True) |
|
|
|
print(generated_story[0]['generated_text']) |
|
``` |
|
|
|
#### 试玩： |
|
|
|
>问：什么是鹦鹉？ |
|
> |
|
>答：<span style="color:blue">鹦鹉是一种非常聪明的鸟类,它们能够学会很多事情,比如如何飞翔和说话。</span> |
|
|
|
>问：什么是大象？ |
|
> |
|
>答：<span style="color:blue">大象是一种大型的动物,它们的身体很大,有长长的鼻子,非常灵活。</span> |
|
|
|
>问：谁是李白？ |
|
> |
|
>答：<span style="color:blue">李白是唐代的著名诗人,他的诗作《静夜思》也是他的代表作之一。</span> |
|
|
|
>问：什么是黑洞？ |
|
> |
|
>答：<span style="color:blue">黑洞是宇宙中的一种神秘天体,它们的引力非常强大,连光都无法逃脱。</span> |
|
|
|
>问：肚子疼怎么办 |
|
> |
|
>答：<span style="color:blue">肚子疼可能是因为吃了太多的食物,或者吃了太多不健康的食物,或者吃了太多糖果和油炸食品。</span> |
|
|
|
>问：晚上睡不着怎么办？ |
|
> |
|
>答：<span style="color:blue">晚上睡不着,可以试试做一些简单的睡眠,比如睡前喝一杯温水,醒来后再去睡觉。</span> |
|
|
|
>从前有个胖鹦鹉，胖得飞不动。 |
|
> |
|
><span style="color:blue">有一天,胖鹦鹉在森林里散步。它看到一个小女孩在哭。“怎么了?”胖鹦鹉问。“我丢了我的玩具,”小女孩说。“别担心,我会帮你找到它的。”胖鹦鹉说。小女孩和胖鹦鹉一起寻找玩具。他们找遍了树下、灌木丛后面,还在上寻找。最后,他们在一个大箱子下找到了玩具。小女孩非常高兴,感谢了胖鹦鹉。“你是个好朋友,胖鹦鹉”她说。“我会永远记住你的。”从那天起,胖鹦鹉和小女孩成为了最好的朋友,每天一起玩耍。</span> |
|
|
|
>从前有个小姑娘从来不洗脸。孔子说：<span style="color:blue">“我每天都要洗脸,这样可以保持皮肤健康。”有一天,姑娘问孔子:“你为什么每天都洗脸?”孔子回答:“我每天都要洗脸。”姑娘问:“你为什么要洗脸?”孔子说:“我每天都要洗,我不会让你们的皮肤受苦。”姑娘生气地说:“你这样做不对,我不会帮你!”孔子只好把她关进屋子里,告诉她:“别再洗了!”姑娘生气地说:“我不会让你们的皮肤受苦!”孔子说:“你们应该听我的。你们要学会照顾自己的皮肤,不要让它受苦。”姑娘生气地说:“我不会!我不会!”</span> |
