File size: 1,391 Bytes
90caec8 290113e 90caec8 0702c79 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 |
---
library_name: transformers
tags:
- merge
- mergekit
license: mit
base_model:
- rombodawg/Rombos-LLM-V2.5-Qwen-32b
- Sakalti/ultiima-32B
---
# **ECE-MIRAGE-3**
**ECE-MIRAGE-3** est un modèle de langage fusionné développé à l'ECE (École d'Ingénieurs) en utilisant la méthode de fusion **SLERP (Spherical Linear Interpolation)**. Ce modèle combine les forces des architectures **rombodawg/Rombos-LLM-V2.5-Qwen-32b** et **Sakalti/ultiima-32B** pour offrir des performances optimisées sur des tâches complexes de traitement du langage naturel (NLP).
## **Caractéristiques**
- **Méthode de fusion :** SLERP (Spherical Linear Interpolation).
- **Modèles sources :**
- **rombodawg/Rombos-LLM-V2.5-Qwen-32b**
- **Sakalti/ultiima-32B**
- **Optimisation :** bfloat16 pour des calculs rapides et efficaces.
- **Applications :**
- Raisonnement mathématique.
- Compréhension contextuelle.
- Tâches instructives (Instruction Following).
## **Configuration**
```yaml
slices:
- sources:
- model: rombodawg/Rombos-LLM-V2.5-Qwen-32b
layer_range: [0, 64]
- model: Sakalti/ultiima-32B
layer_range: [0, 64]
merge_method: slerp
base_model: rombodawg/Rombos-LLM-V2.5-Qwen-32b
parameters:
t:
- filter: self_attn
value: [0, 0.25, 0.5, 0.75, 1]
- filter: mlp
value: [1, 0.75, 0.5, 0.25, 0]
- value: 0.5
dtype: bfloat16
``` |