README.md

---
library_name: transformers
tags:
- merge
- mergekit
license: mit
base_model:
- rombodawg/Rombos-LLM-V2.5-Qwen-32b
- Sakalti/ultiima-32B
---

# **ECE-MIRAGE-3**

**ECE-MIRAGE-3** est un modèle de langage fusionné développé à l'ECE (École d'Ingénieurs) en utilisant la méthode de fusion **SLERP (Spherical Linear Interpolation)**. Ce modèle combine les forces des architectures **rombodawg/Rombos-LLM-V2.5-Qwen-32b** et **Sakalti/ultiima-32B** pour offrir des performances optimisées sur des tâches complexes de traitement du langage naturel (NLP).

## **Caractéristiques**
- **Méthode de fusion :** SLERP (Spherical Linear Interpolation).
- **Modèles sources :**
  - **rombodawg/Rombos-LLM-V2.5-Qwen-32b**
  - **Sakalti/ultiima-32B**
- **Optimisation :** bfloat16 pour des calculs rapides et efficaces.
- **Applications :**
  - Raisonnement mathématique.
  - Compréhension contextuelle.
  - Tâches instructives (Instruction Following).

## **Configuration**

```yaml
slices:
  - sources:
      - model: rombodawg/Rombos-LLM-V2.5-Qwen-32b
        layer_range: [0, 64]
      - model: Sakalti/ultiima-32B
        layer_range: [0, 64]
    merge_method: slerp
base_model: rombodawg/Rombos-LLM-V2.5-Qwen-32b
parameters:
  t:
    - filter: self_attn
      value: [0, 0.25, 0.5, 0.75, 1]
    - filter: mlp
      value: [1, 0.75, 0.5, 0.25, 0]
    - value: 0.5
dtype: bfloat16
```