update readme.md

README.md

@@ -1,202 +1,497 @@
 ---
-base_model: unsloth/DeepSeek-R1-Distill-Llama-8B-unsloth-bnb-4bit
-library_name: peft
+base_model:
+  - unsloth/DeepSeek-R1-Distill-Llama-8B
+library_name: transformers
+license: apache-2.0
+datasets:
+  - Omartificial-Intelligence-Space/Arabic_Reasoning_Dataset
+language:
+  - ar
+pipeline_tag: text-generation
+tags:
+  - unsloth
+  - arabic
+  - deepseek
 ---
 
-# Model Card for Model ID
-
-<!-- Provide a quick summary of what the model is/does. -->
-
-
-
-## Model Details
-
-### Model Description
-
-<!-- Provide a longer summary of what this model is. -->
-
-
-
-- **Developed by:** [More Information Needed]
-- **Funded by [optional]:** [More Information Needed]
-- **Shared by [optional]:** [More Information Needed]
-- **Model type:** [More Information Needed]
-- **Language(s) (NLP):** [More Information Needed]
-- **License:** [More Information Needed]
-- **Finetuned from model [optional]:** [More Information Needed]
-
-### Model Sources [optional]
-
-<!-- Provide the basic links for the model. -->
-
-- **Repository:** [More Information Needed]
-- **Paper [optional]:** [More Information Needed]
-- **Demo [optional]:** [More Information Needed]
-
-## Uses
-
-<!-- Address questions around how the model is intended to be used, including the foreseeable users of the model and those affected by the model. -->
-
-### Direct Use
-
-<!-- This section is for the model use without fine-tuning or plugging into a larger ecosystem/app. -->
-
-[More Information Needed]
-
-### Downstream Use [optional]
-
-<!-- This section is for the model use when fine-tuned for a task, or when plugged into a larger ecosystem/app -->
-
-[More Information Needed]
-
-### Out-of-Scope Use
-
-<!-- This section addresses misuse, malicious use, and uses that the model will not work well for. -->
-
-[More Information Needed]
-
-## Bias, Risks, and Limitations
-
-<!-- This section is meant to convey both technical and sociotechnical limitations. -->
-
-[More Information Needed]
-
-### Recommendations
-
-<!-- This section is meant to convey recommendations with respect to the bias, risk, and technical limitations. -->
-
-Users (both direct and downstream) should be made aware of the risks, biases and limitations of the model. More information needed for further recommendations.
-
-## How to Get Started with the Model
-
-Use the code below to get started with the model.
-
-[More Information Needed]
-
-## Training Details
-
-### Training Data
-
-<!-- This should link to a Dataset Card, perhaps with a short stub of information on what the training data is all about as well as documentation related to data pre-processing or additional filtering. -->
-
-[More Information Needed]
-
-### Training Procedure
-
-<!-- This relates heavily to the Technical Specifications. Content here should link to that section when it is relevant to the training procedure. -->
-
-#### Preprocessing [optional]
-
-[More Information Needed]
-
-
-#### Training Hyperparameters
-
-- **Training regime:** [More Information Needed] <!--fp32, fp16 mixed precision, bf16 mixed precision, bf16 non-mixed precision, fp16 non-mixed precision, fp8 mixed precision -->
-
-#### Speeds, Sizes, Times [optional]
-
-<!-- This section provides information about throughput, start/end time, checkpoint size if relevant, etc. -->
-
-[More Information Needed]
-
-## Evaluation
-
-<!-- This section describes the evaluation protocols and provides the results. -->
-
-### Testing Data, Factors & Metrics
-
-#### Testing Data
-
-<!-- This should link to a Dataset Card if possible. -->
-
-[More Information Needed]
-
-#### Factors
-
-<!-- These are the things the evaluation is disaggregating by, e.g., subpopulations or domains. -->
-
-[More Information Needed]
-
-#### Metrics
-
-<!-- These are the evaluation metrics being used, ideally with a description of why. -->
-
-[More Information Needed]
-
-### Results
-
-[More Information Needed]
-
-#### Summary
-
-
-
-## Model Examination [optional]
-
-<!-- Relevant interpretability work for the model goes here -->
-
-[More Information Needed]
-
-## Environmental Impact
-
-<!-- Total emissions (in grams of CO2eq) and additional considerations, such as electricity usage, go here. Edit the suggested text below accordingly -->
-
-Carbon emissions can be estimated using the [Machine Learning Impact calculator](https://mlco2.github.io/impact#compute) presented in [Lacoste et al. (2019)](https://arxiv.org/abs/1910.09700).
-
-- **Hardware Type:** [More Information Needed]
-- **Hours used:** [More Information Needed]
-- **Cloud Provider:** [More Information Needed]
-- **Compute Region:** [More Information Needed]
-- **Carbon Emitted:** [More Information Needed]
-
-## Technical Specifications [optional]
-
-### Model Architecture and Objective
-
-[More Information Needed]
-
-### Compute Infrastructure
-
-[More Information Needed]
-
-#### Hardware
-
-[More Information Needed]
-
-#### Software
-
-[More Information Needed]
-
-## Citation [optional]
-
-<!-- If there is a paper or blog post introducing the model, the APA and Bibtex information for that should go in this section. -->
-
-**BibTeX:**
-
-[More Information Needed]
-
-**APA:**
-
-[More Information Needed]
-
-## Glossary [optional]
-
-<!-- If relevant, include terms and calculations in this section that can help readers understand the model or model card. -->
-
-[More Information Needed]
-
-## More Information [optional]
-
-[More Information Needed]
-
-## Model Card Authors [optional]
-
-[More Information Needed]
+---
+library_name: peft
+license: apache-2.0
+language:
+  - ar
+pipeline_tag: text-generation
+---
 
-## Model Card Contact
+# DeepSeek-R1-Distill-Llama-8B (Arabic Reasoning Edition)
+
+## Overview
+
+**DeepSeek-R1-Distill-Llama-8B (Arabic Reasoning Edition)** is a fine-tuned version of the base model [unsloth/DeepSeek-R1-Distill-Llama-8B](https://huggingface.co/unsloth/DeepSeek-R1-Distill-Llama-8B) that has been further optimized for Arabic text generation, with a special focus on mathematical reasoning tasks in Arabic. This model leverages state-of-the-art transformer architectures and Parameter-Efficient Fine-Tuning (PEFT) techniques to provide accurate, context-aware responses in Arabic.
+
+## Key Features
+
+- **Base Model:** unsloth/DeepSeek-R1-Distill-Llama-8B
+- **Fine-Tuning Dataset:** Omartificial-Intelligence-Space/Arabic_Reasoning_Dataset
+- **Target Language:** Arabic (ar)
+- **Pipeline:** Text Generation
+- **Optimizations:** 
+  - Fine-tuning using PEFT for efficient adaptation.
+  - Optimized for generating responses in Arabic, including complex math reasoning tasks.
+- **License:** Apache-2.0
+
+## Intended Use
+
+This model is intended for:
+
+- **Arabic Text Generation:** Generating coherent and contextually relevant Arabic text.
+- **Mathematical Reasoning:** Solving and explaining mathematical problems in Arabic.
+- **Educational Tools:** Assisting in learning and tutoring applications that require Arabic language support and reasoning capabilities.
+
+## How to Use
+
+Below is an example snippet using the [Unsloth](https://github.com/unsloth-ai/unsloth) library and the Transformers framework:
+
+```python
+import torch
+from unsloth import FastLanguageModel
+
+def load_model(model_name="Omartificial-Intelligence-Space/Arabic-DeepSeek-R1-Distill-8B"):
+    """Loads the fine-tuned model and tokenizer."""
+    model, tokenizer = FastLanguageModel.from_pretrained(
+        model_name=model_name,
+        max_seq_length=2048,
+        dtype=None,
+        load_in_4bit=True,
+    )
+    FastLanguageModel.for_inference(model)
+    return model, tokenizer
+
+def generate_response(model, tokenizer, instruction, max_new_tokens=256):
+    """Generates a response for a given instruction using the model."""
+    chat_template = """Below are some instructions that describe some tasks. Write responses in Arabic language only that appropriately complete each request.
+
+### Instruction:
+{INPUT}
+
+### Response:
+{OUTPUT}
+"""
+
+    prompt = chat_template.replace("{INPUT}", instruction).replace("{OUTPUT}", "")
+    inputs = tokenizer(prompt, return_tensors="pt").to("cuda" if torch.cuda.is_available() else "cpu")
+    with torch.no_grad():
+        output_ids = model.generate(**inputs, max_new_tokens=max_new_tokens)
+    return tokenizer.decode(output_ids[0], skip_special_tokens=True)
+
+if __name__ == "__main__":
+    # Load the fine-tuned model
+    model, tokenizer = load_model()
+    
+    # Example prompt
+    instruction = "إذا كان لديك 200 ريال، واشتريت شيئًا بـ 75 ريالًا، كم تبقى لديك؟"
+    response = generate_response(model, tokenizer, instruction)
+    
+    print("Generated Response:\n", response)
+```
+
+
+## Evaluation and Comparison
+
+This model has been evaluated on the Arabic Reasoning Dataset from Omartificial-Intelligence-Space. In benchmark comparisons against other Arabic generation models, DeepSeek-R1-Distill-Llama-8B (Arabic Reasoning Edition) demonstrates robust performance in tasks requiring both natural language understanding and logical reasoning.
+
+
+```html
+<!DOCTYPE html>
+<html lang="ar">
+<head>
+  <meta charset="UTF-8">
+  <title>تقرير مقارنة: الاستجابات المُحسّنة مقابل الاستجابات الأساسية</title>
+  <style>
+    body {
+      font-family: "Segoe UI", Tahoma, Geneva, Verdana, sans-serif;
+      line-height: 1.6;
+      background-color: #f7f7f7;
+      margin: 20px;
+      color: #333;
+    }
+    h1, h2, h3 {
+      color: #2c3e50;
+    }
+    .section {
+      background: #fff;
+      padding: 20px;
+      margin-bottom: 20px;
+      border-radius: 8px;
+      box-shadow: 0 2px 5px rgba(0,0,0,0.1);
+    }
+    .sample {
+      border: 1px solid #ddd;
+      padding: 15px;
+      margin-bottom: 15px;
+      border-radius: 5px;
+      background: #fcfcfc;
+    }
+    .sample h4 {
+      margin-top: 0;
+      color: #2980b9;
+    }
+    table {
+      width: 100%;
+      border-collapse: collapse;
+      margin-top: 10px;
+    }
+    table, th, td {
+      border: 1px solid #ddd;
+    }
+    th, td {
+      padding: 8px 12px;
+      text-align: left;
+    }
+    th {
+      background-color: #ecf0f1;
+    }
+    .good {
+      color: green;
+      font-weight: bold;
+    }
+    .bad {
+      color: darkred;
+      font-weight: bold;
+    }
+    .metrics-table {
+      margin-top: 15px;
+    }
+  </style>
+</head>
+<body>
+  <h1>تقرير مقارنة حول استجابات المهام الحسابية</h1>
+
+  <div class="section">
+    <h2>مقدمة</h2>
+    <p>
+      تم تقديم عينات من مهمات حسابية باللغة العربية، حيث يحتوي كل مثال على "التعليمات"، الإجابة الصحيحة (<strong>ground_truth</strong>) واستجابتين: واحدة من النموذج المُحسّن (<strong>fine_tuned_response</strong>) والأخرى من النموذج الأساسي (<strong>baseline_response</strong>).
+    </p>
+    <p>
+      الهدف من هذا التقرير هو تحليل ومقارنة كلا النوعين من الاستجابات، تحديد أيهما أفضل، والاشارة إلى القضايا والمشاكل الملحوظة في كل منهما.
+    </p>
+  </div>
+
+  <div class="section">
+    <h2>تحليل المقاييس الكمية</h2>
+    <p>
+      فيما يلي جدول يقارن أداء الاستجابات المُحسّنة والاساسية عبر عدة معايير (المقياس من 0 إلى 100):
+    </p>
+    <table class="metrics-table">
+      <tr>
+        <th>المعيار</th>
+        <th>الاستجابة المُحسّنة</th>
+        <th>الاستجابة الأساسية</th>
+      </tr>
+      <tr>
+        <td>الدقة (Accuracy)</td>
+        <td>95</td>
+        <td>85</td>
+      </tr>
+      <tr>
+        <td>سهولة القراءة (Readability)</td>
+        <td>90</td>
+        <td>70</td>
+      </tr>
+      <tr>
+        <td>الوضوح (Clarity)</td>
+        <td>92</td>
+        <td>75</td>
+      </tr>
+      <tr>
+        <td>التنظيم (Organization)</td>
+        <td>93</td>
+        <td>68</td>
+      </tr>
+      <tr>
+        <td>الارتباط بالمطلوب (Relevance)</td>
+        <td>96</td>
+        <td>80</td>
+      </tr>
+      <tr>
+        <td>الاتساق اللغوي (Language Consistency)</td>
+        <td>98</td>
+        <td>60</td>
+      </tr>
+    </table>
+    <p>
+      <strong>المتوسط العام:</strong> الاستجابة المُحسّنة: 94، الاستجابة الأساسية: 73.
+    </p>
+  </div>
+
+  <div class="section">
+    <h2>التحليل والمقارنة النوعية</h2>
+
+    <!-- Sample 1 -->
+    <div class="sample">
+      <h4>مثال 1: تحويل الدولار إلى اليورو</h4>
+      <table>
+        <tr>
+          <th>المعيار</th>
+          <th>النموذج المُحسّن</th>
+          <th>النموذج الأساسي</th>
+        </tr>
+        <tr>
+          <td>الوضوح والدقة</td>
+          <td>شرح واضح للمعطيات والخطوات بالترتيب مع الحساب النهائي (90 يورو)؛ الإجابة مطابقة للجواب الصحيح.</td>
+          <td>يوجد شرح مختلط بين اللغات (عربية وإنجليزية)، ويظهر جزء من عملية التفكير غير مكتملة مع بعض النصوص غير الضرورية.</td>
+        </tr>
+        <tr>
+          <td>تنسيق اللغة</td>
+          <td>جميع النص باللغة العربية، مع تقسيم واضح للمعطيات والخطوات.</td>
+          <td>خلط بين العربية والإنجليزية وبعض الرموز غير المكتملة.</td>
+        </tr>
+      </table>
+    </div>
+
+    <!-- Sample 2 -->
+    <div class="sample">
+      <h4>مثال 2: حساب المبلغ الإجمالي لشراء الكتب</h4>
+      <table>
+        <tr>
+          <th>المعيار</th>
+          <th>النموذج المُحسّن</th>
+          <th>النموذج الأساسي</th>
+        </tr>
+        <tr>
+          <td>التسلسل المنطقي</td>
+          <td>يوضح المعطيات خطوة بخطوة ويقوم بالحساب بشكل منظم.</td>
+          <td>يبدأ بشرح بسيط ولكنه يحتوي على شروحات زائدة ونصوص غير مرتبطة كلياً بالمهمة.</td>
+        </tr>
+        <tr>
+          <td>الدقة</td>
+          <td>الإجابة النهائية صحيحة (45 ريالًا).</td>
+          <td>الإجابة صحيحة، لكن التنسيق العام مشوش بسبب إدخال نصوص إضافية.</td>
+        </tr>
+      </table>
+    </div>
+
+    <!-- Sample 3 -->
+    <div class="sample">
+      <h4>مثال 3: حساب المسافة المقطوعة بقطار</h4>
+      <table>
+        <tr>
+          <th>المعيار</th>
+          <th>النموذج المُحسّن</th>
+          <th>النموذج الأساسي</th>
+        </tr>
+        <tr>
+          <td>التركيز على المهمة</td>
+          <td>يوضح الخطوات بوضوح ويحسب النتيجة بشكل دقيق (240 كم).</td>
+          <td>يتضمن اختيارات متعددة وخيارات غير ضرورية مما قد يشتت القارئ.</td>
+        </tr>
+      </table>
+    </div>
+
+    <!-- Sample 4 -->
+    <div class="sample">
+      <h4>مثال 4: حساب عدد الدقائق في 5 ساعات</h4>
+      <table>
+        <tr>
+          <th>المعيار</th>
+          <th>النموذج المُحسّن</th>
+          <th>النموذج الأساسي</th>
+        </tr>
+        <tr>
+          <td>البساطة والتنظيم</td>
+          <td>تنسيق مرتب مع خطوات حسابية واضحة (300 دقيقة).</td>
+          <td>شرح متداخل مع بعض الأخطاء اللغوية والتعابير غير الدقيقة.</td>
+        </tr>
+      </table>
+    </div>
+
+    <!-- Sample 5 -->
+    <div class="sample">
+      <h4>مثال 5: توزيع الحلوى على الأطفال</h4>
+      <table>
+        <tr>
+          <th>المعيار</th>
+          <th>النموذج المُحسّن</th>
+          <th>النموذج الأساسي</th>
+        </tr>
+        <tr>
+          <td>التركيز على المطلوب</td>
+          <td>يوضح المعطيات والخطوات بوضوح، والإجابة صحيحة (4 قطع لكل طفل).</td>
+          <td>يحتوي على نصوص مكررة وغير متعلقة بالمهمة، مما يسبب إرباكاً.</td>
+        </tr>
+      </table>
+    </div>
+
+    <!-- المزيد من الأمثلة مشابهة... -->
+    
+    <!-- Sample 16 -->
+    <div class="sample">
+      <h4>مثال 16: حساب الوقت لقطع مسافة 12 كم بسرعة 4 كم/ساعة</h4>
+      <table>
+        <tr>
+          <th>المعيار</th>
+          <th>النموذج المُحسّن</th>
+          <th>النموذج الأساسي</th>
+        </tr>
+        <tr>
+          <td>الصحة في الحساب</td>
+          <td>يحاول النموذج استخدام صيغة خاطئة (قسمة السرعة على المسافة بدلًا من قسمة المسافة على السرعة) وينتج وقتاً غير منطقي.</td>
+          <td>الشرح يتبع خطوات معقدة وغير دقيقة، ولا يظهر الحساب الصحيح للوقت (المتوقع 3 ساعات).</td>
+        </tr>
+        <tr>
+          <td>التعليق</td>
+          <td colspan="2">
+            كلا النموذجين لم يقدما الحل الصحيح؛ حيث يجب حساب الزمن عبر <strong>الزمن = المسافة ÷ السرعة = 12 ÷ 4 = 3 ساعات</strong>.
+          </td>
+        </tr>
+      </table>
+    </div>
+
+    <!-- Sample 17 -->
+    <div class="sample">
+      <h4>مثال 17: حساب عدد التفاحات المتبقية بعد إعطاء النصف</h4>
+      <table>
+        <tr>
+          <th>المعيار</th>
+          <th>النموذج المُحسّن</th>
+          <th>النموذج الأساسي</th>
+        </tr>
+        <tr>
+          <td>الوضوح والمنهجية</td>
+          <td>يعرض المعطيات والخطوات بوضوح، والإجابة (9 تفاحات) صحيحة.</td>
+          <td>يتضمن نصوصاً مكررة وغير مكتملة مما يقلل من وضوح الحل.</td>
+        </tr>
+      </table>
+    </div>
+
+    <!-- Sample 18 -->
+    <div class="sample">
+      <h4>مثال 18: حساب المبلغ المتبقي بعد الشراء</h4>
+      <table>
+        <tr>
+          <th>المعيار</th>
+          <th>النموذج المُحسّن</th>
+          <th>النموذج الأساسي</th>
+        </tr>
+        <tr>
+          <td>التركيز والدقة</td>
+          <td>يحدد المعطيات والخطوات بشكل واضح مع الإجابة الصحيحة (35 ريالًا).</td>
+          <td>يحتوي على نصوص إضافية وحشو غير ضروري مما يشتت القارئ.</td>
+        </tr>
+      </table>
+    </div>
+
+    <!-- Sample 19 -->
+    <div class="sample">
+      <h4>مثال 19: حساب مجموع الزوايا الداخلية للمثلث</h4>
+      <table>
+        <tr>
+          <th>المعيار</th>
+          <th>النموذج المُحسّن</th>
+          <th>النموذج الأساسي</th>
+        </tr>
+        <tr>
+          <td>البساطة</td>
+          <td>إجابة مباشرة وواضحة (180 درجة).</td>
+          <td>يوجد تداخل في النصوص وتعليقات جانبية غير ضرورية.</td>
+        </tr>
+      </table>
+    </div>
+
+    <!-- Sample 20 -->
+    <div class="sample">
+      <h4>مثال 20: توزيع 100 ريال على 5 أشخاص</h4>
+      <table>
+        <tr>
+          <th>المعيار</th>
+          <th>النموذج المُحسّن</th>
+          <th>النموذج الأساسي</th>
+        </tr>
+        <tr>
+          <td>الدقة والتنظيم</td>
+          <td>ي��ضح خطوات التقسيم والإجابة الصحيحة (20 ريال لكل شخص).</td>
+          <td>يحتوي على شرح مختلط بين اللغات وبعض التفاصيل غير الضرورية.</td>
+        </tr>
+      </table>
+    </div>
+  </div>
+
+  <div class="section">
+    <h2>الاستنتاجات العامة</h2>
+    <ul>
+      <li>
+        <strong class="good">الاستجابات المُحسّنة:</strong>
+        <ul>
+          <li>تستخدم لغة عربية سليمة ومنسقة.</li>
+          <li>تقدم الشرح خطوة بخطوة مع عرض للمعطيات والحسابات بشكل منطقي.</li>
+          <li>تعطي إجابات واضحة ومباشرة مطابقة للجواب الصحيح في معظم الحالات.</li>
+        </ul>
+      </li>
+      <li>
+        <strong class="bad">الاستجابات الأساسية:</strong>
+        <ul>
+          <li>غالباً ما تحتوي على خلط بين العربية والإنجليزية.</li>
+          <li>تتضمن نصوصاً غير ضرورية، مثل عمليات تفكير داخلية أو رموز غير مكتملة.</li>
+          <li>في بعض الأمثلة يظهر تكرار غير مرغوب أو شروحات زائدة عن الحاجة، مما قد يُربك المستخدم.</li>
+        </ul>
+      </li>
+      <li>
+        في مثال واحد (حساب الوقت لقطع 12 كم بسرعة 4 كم/ساعة)، كانت كلا الاستجابتين غير دقيقة؛ حيث يجب استخدام الصيغة <em>الزمن = المسافة ÷ السرعة</em> للحصول على 3 ساعات.
+      </li>
+    </ul>
+  </div>
+
+  <div class="section">
+    <h2>توصيات لتحسين التصميم والعرض</h2>
+    <ol>
+      <li>
+        <strong>التوحيد اللغوي:</strong> يجب التأكيد على استخدام لغة واحدة (العربية) في جميع أجزاء الإجابة لتجنب التشويش.
+      </li>
+      <li>
+        <strong>تنسيق الإجابات:</strong> تنظيم المعطيات والخطوات بشكل نقاط أو جدول واضح كما في الاستجابات المُحسّنة.
+      </li>
+      <li>
+        <strong>تجنب المعلومات الزائدة:</strong> إزالة أي نصوص أو تفاصيل لا تتعلق مباشرة بالمطلوب لتبسيط الفهم.
+      </li>
+      <li>
+        <strong>التركيز على الإجابة النهائية:</strong> عرض الإجابة بشكل واضح بعد الخطوات دون إضافات غير ضرورية.
+      </li>
+      <li>
+        <strong>تصميم تفاعلي:</strong> يمكن استخدام عناصر تفاعلية مثل التبويبات أو الجداول القابلة للطي لتوضيح مقارنة النماذج، مما يجعل التقرير أكثر جاذبية.
+      </li>
+    </ol>
+  </div>
+
+  <div class="section">
+    <h2>خاتمة</h2>
+    <p>
+      يُظهر التحليل أن الاستجابات المُحسّنة (Fine-tuned) تتفوق على الاستجابات الأساسية من حيث التنظيم، وضوح الشرح، والتناسق اللغوي. بالرغم من أن الإجابات النهائية في كلا النموذجين غالباً ما تكون صحيحة، إلا أن طريقة العرض والتنسيق في النموذج المُحسّن تجعل المعلومات أكثر سهولة في الفهم والتتبع.
+    </p>
+  </div>
+</body>
+</html>
+```
+
+
+
+## Limitations
+
+- Domain-Specific: While optimized for Arabic reasoning, the model might not generalize as well to tasks outside of its fine-tuned domain.
+- 4-bit Quantization: Although efficient, quantization may sometimes result in a slight degradation in the quality of generated text compared to full-precision models.
+
+## Citation
+
+If you use this model in your research or applications, please cite the original base model and fine-tuning methodologies appropriately.
+
+```bash
+@misc{deepseekai2025deepseekr1incentivizingreasoningcapability,
+      title={DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning}, 
+      author={DeepSeek-AI and Daya Guo and Dejian Yang and Haowei Zhang and Junxiao Song and Ruoyu Zhang and Runxin Xu and Qihao Zhu and Shirong Ma and Peiyi Wang and Xiao Bi and Xiaokang Zhang and Xingkai Yu and Yu Wu and Z. F. Wu and Zhibin Gou and Zhihong Shao and Zhuoshu Li and Ziyi Gao and Aixin Liu and Bing Xue and Bingxuan Wang and Bochao Wu and Bei Feng and Chengda Lu and Chenggang Zhao and Chengqi Deng and Chenyu Zhang and Chong Ruan and Damai Dai and Deli Chen and Dongjie Ji and Erhang Li and Fangyun Lin and Fucong Dai and Fuli Luo and Guangbo Hao and Guanting Chen and Guowei Li and H. Zhang and Han Bao and Hanwei Xu and Haocheng Wang and Honghui Ding and Huajian Xin and Huazuo Gao and Hui Qu and Hui Li and Jianzhong Guo and Jiashi Li and Jiawei Wang and Jingchang Chen and Jingyang Yuan and Junjie Qiu and Junlong Li and J. L. Cai and Jiaqi Ni and Jian Liang and Jin Chen and Kai Dong and Kai Hu and Kaige Gao and Kang Guan and Kexin Huang and Kuai Yu and Lean Wang and Lecong Zhang and Liang Zhao and Litong Wang and Liyue Zhang and Lei Xu and Leyi Xia and Mingchuan Zhang and Minghua Zhang and Minghui Tang and Meng Li and Miaojun Wang and Mingming Li and Ning Tian and Panpan Huang and Peng Zhang and Qiancheng Wang and Qinyu Chen and Qiushi Du and Ruiqi Ge and Ruisong Zhang and Ruizhe Pan and Runji Wang and R. J. Chen and R. L. Jin and Ruyi Chen and Shanghao Lu and Shangyan Zhou and Shanhuang Chen and Shengfeng Ye and Shiyu Wang and Shuiping Yu and Shunfeng Zhou and Shuting Pan and S. S. Li and Shuang Zhou and Shaoqing Wu and Shengfeng Ye and Tao Yun and Tian Pei and Tianyu Sun and T. Wang and Wangding Zeng and Wanjia Zhao and Wen Liu and Wenfeng Liang and Wenjun Gao and Wenqin Yu and Wentao Zhang and W. L. Xiao and Wei An and Xiaodong Liu and Xiaohan Wang and Xiaokang Chen and Xiaotao Nie and Xin Cheng and Xin Liu and Xin Xie and Xingchao Liu and Xinyu Yang and Xinyuan Li and Xuecheng Su and Xuheng Lin and X. Q. Li and Xiangyue Jin and Xiaojin Shen and Xiaosha Chen and Xiaowen Sun and Xiaoxiang Wang and Xinnan Song and Xinyi Zhou and Xianzu Wang and Xinxia Shan and Y. K. Li and Y. Q. Wang and Y. X. Wei and Yang Zhang and Yanhong Xu and Yao Li and Yao Zhao and Yaofeng Sun and Yaohui Wang and Yi Yu and Yichao Zhang and Yifan Shi and Yiliang Xiong and Ying He and Yishi Piao and Yisong Wang and Yixuan Tan and Yiyang Ma and Yiyuan Liu and Yongqiang Guo and Yuan Ou and Yuduan Wang and Yue Gong and Yuheng Zou and Yujia He and Yunfan Xiong and Yuxiang Luo and Yuxiang You and Yuxuan Liu and Yuyang Zhou and Y. X. Zhu and Yanhong Xu and Yanping Huang and Yaohui Li and Yi Zheng and Yuchen Zhu and Yunxian Ma and Ying Tang and Yukun Zha and Yuting Yan and Z. Z. Ren and Zehui Ren and Zhangli Sha and Zhe Fu and Zhean Xu and Zhenda Xie and Zhengyan Zhang and Zhewen Hao and Zhicheng Ma and Zhigang Yan and Zhiyu Wu and Zihui Gu and Zijia Zhu and Zijun Liu and Zilin Li and Ziwei Xie and Ziyang Song and Zizheng Pan and Zhen Huang and Zhipeng Xu and Zhongyu Zhang and Zhen Zhang},
+      year={2025},
+      eprint={2501.12948},
+      archivePrefix={arXiv},
+      primaryClass={cs.CL},
+      url={https://arxiv.org/abs/2501.12948}, 
+}
+```
 
-[More Information Needed]
-### Framework versions
 
-- PEFT 0.14.0