metadata

base_model:
  - bamec66557/MNRP_0.5
  - bamec66557/MISCHIEVOUS-12B
library_name: transformers
tags:
  - mergekit
  - merge

merge

This is a merge of pre-trained language models created using mergekit.

Merge Details

Merge Method

This model was merged using the SLERP merge method.

Models Merged

The following models were included in the merge:

Configuration

The following YAML configuration was used to produce this model:

slices:
  - sources:
      - model: bamec66557/MNRP_0.5
        layer_range: [0, 40]  # MNRP_0.5 모델의 병합 레이어 범위
      - model: bamec66557/MISCHIEVOUS-12B
        layer_range: [0, 40]  # MISCHIEVOUS-12B 모델의 병합 레이어 범위
    
    # Layer별 병합 비율을 조정하여 더 부드러운 통합을 유도
    # 각 필터는 모델 내 특정 메커니즘에 영향을 미침
    parameters:
      t:
        - filter: self_attn
          value: [0.2, 0.4, 0.6, 0.8, 1.0]  # Self-attention 레이어의 점진적 병합
        - filter: mlp
          value: [0.8, 0.6, 0.4, 0.2, 0.0]  # MLP 레이어는 반대 비율로 병합
        - filter: layer_norm
          value: [0.5, 0.5, 0.5, 0.5, 0.5]  # Layer Normalization은 균일 병합
        - value: 0.7  # 기본값

merge_method: slerp  # 병합 방식을 slerp로 변경

base_model: bamec66557/MISCHIEVOUS-12B  # 병합의 기본 모델

dtype: bfloat16  # 병합 시 효율적이고 빠른 연산을 위한 데이터 타입

# 추가적으로 사용할 수 있는 옵션
regularization:
  - method: l2_norm  # L2 정규화를 통해 병합된 모델 가중치 안정화
    scale: 0.01

postprocessing:
  - operation: smoothing  # 병합 후 가중치를 부드럽게 조정
    kernel_size: 3
  - operation: normalize  # 전체 가중치를 정규화