File size: 3,133 Bytes
0ae5665 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 |
---
base_model:
- Aratako/Antler-7B-RP-v3
- Aratako/Japanese-Starling-ChatV-7B-RP
- senseable/WestLake-7B-v2
- SanjiWatsuki/Kunoichi-DPO-v2-7B
- SanjiWatsuki/Silicon-Maid-7B
- SanjiWatsuki/Loyal-Macaroni-Maid-7B
library_name: transformers
tags:
- mergekit
- merge
- not-for-all-audiences
- nsfw
language:
- ja
license: apache-2.0
---
# AntlerStar-RP
[GGUF版はこちら/Click here for the GGUF version](https://huggingface.co/Aratako/AntlerStar-RP-GGUF)
## 概要
This is a merge of pre-trained language models created using [mergekit](https://github.com/cg123/mergekit).
[Aratako/Antler-7B-RP-v3](https://huggingface.co/Aratako/Antler-7B-RP-v3)と[Aratako/Japanese-Starling-ChatV-7B-RP](https://huggingface.co/Aratako/Japanese-Starling-ChatV-7B-RP)の2つのモデルをベースにマージして作成したロールプレイ用モデルです。
## マージの詳細
まず、[Aratako/Antler-7B-RP-v3](https://huggingface.co/Aratako/Antler-7B-RP-v3)と[Aratako/Japanese-Starling-ChatV-7B-RP](https://huggingface.co/Aratako/Japanese-Starling-ChatV-7B-RP)の2モデルに対し、以下4モデルのChat Vectorを0.5倍して加算し、各4種類、計8種類のChat Vector加算モデルを作成しました。
- [senseable/WestLake-7B-v2](https://huggingface.co/senseable/WestLake-7B-v2)
- [SanjiWatsuki/Kunoichi-DPO-v2-7B](https://huggingface.co/SanjiWatsuki/Kunoichi-DPO-v2-7B)
- [SanjiWatsuki/Silicon-Maid-7B](https://huggingface.co/SanjiWatsuki/Silicon-Maid-7B)
- [SanjiWatsuki/Loyal-Macaroni-Maid-7B](https://huggingface.co/SanjiWatsuki/Loyal-Macaroni-Maid-7B)
次に、このChat Vector加算によってできた各4モデルと元のモデルを、それぞれModel Stockという手法を用い以下のようなconfigを使ってmergekitでマージし、2つのモデルを作成しました。
```yaml
models:
- model: ./Antler-7B-RP-v3
- model: ./Antler-7B-RP-v3-WestLake-ChatVector
- model: ./Antler-7B-RP-v3-Kunoichi-ChatVector
- model: ./Antler-7B-RP-v3-SiliconMaid-ChatVector
- model: ./Antler-7B-RP-v3-LoyalMacaroniMaid-ChatVector
merge_method: model_stock
base_model: ./Antler-7B-RP-v3
dtype: bfloat16
tokenizer_source: union
```
```yaml
models:
- model: ./Japanese-Starling-ChatV-7B-RP
- model: ./Japanese-Starling-ChatV-7B-RP-WestLake-ChatVector
- model: ./Japanese-Starling-ChatV-7B-RP-Kunoichi-ChatVector
- model: ./Japanese-Starling-ChatV-7B-RP-SiliconMaid-ChatVector
- model: ./Japanese-Starling-ChatV-7B-RP-LoyalMacaroniMaid-ChatVector
merge_method: model_stock
base_model: ./Japanese-Starling-ChatV-7B-RP
dtype: bfloat16
tokenizer_source: union
```
最後に、この2つのモデルを[DARE](https://arxiv.org/abs/2311.03099) [TIES](https://arxiv.org/abs/2306.01708)という手法でmergekitを用いてマージしました。
```yaml
models:
- model: ./Antler-7B-RP-v3-Model-Stock
# no parameters necessary for base model
- model: ./Japanese-Starling-ChatV-7B-RP-Model-Stock # follow user intent
parameters:
density: 1
weight: 0.7
merge_method: dare_ties
base_model: ./Antler-7B-RP-v3-Model-Stock
dtype: bfloat16
tokenizer_source: union
``` |