A fine-tuned multilingual model for Vietnamese language
📋 Overview
- A bilingual text generation model with strong capabilities in both Vietnamese and English languages.
- This base model can handle a wide range of text generation tasks while maintaining high quality output in both languages, making it particularly valuable for Vietnamese-English content creation and language processing applications.
🔧 Method
The training process consists of three main steps:
- Continuous Pre-training (CPT) from Sailor2-8B-Chat using unsloth
- Fine-tuning with Vietnamese instruction dataset
- Applied refusal direction tuning based on "Refusal in LLMs is Mediated by a Single Direction"
📊 VLMU Benchmark
| EVALUATION DATE | STEM 🔬 | SOCIAL SCIENCE 🌍 | HUMANITIES 📚 | OTHERS 🎯 | AVG ⭐ |
|---|---|---|---|---|---|
| 07/02/2025 | 50.72 | 62.81 | 60.47 | 55.4 | 56.56 |
💫 Quantization
- Coming Soon!
🤝 Contributors
Developed with ❤️ by BlossomAI
📝 Note
English: Quoting Truong Gia Binh, President of FPT, from the recent Government Standing Committee meeting: "Ngày trước, vào những năm khó khăn nhất, những năm kháng chiến khi chính quyền còn yếu, còn nghèo, Bác Hồ đặt vấn đề 'bình dân học vụ'. Bây giờ là cơ hội đến... DeepSeek làm cho 'bình dân hóa trí tuệ nhân tạo', tức là các công ty nhỏ cũng làm được, các công ty vừa và nhỏ cũng đã áp dụng được." We are living proof of his vision for democratized AI. Our team of just two people - including one undergraduate student - managed to achieve top 8 on the VMLU leaderboard with only $150 and Google Colab resources. To the other organizations on the leaderboard: if a tiny team with minimal resources can compete at this level, imagine what Vietnam's AI community could achieve with access to your models. As Mr. Binh emphasized: "Cơ hội đang đến... không thể bỏ lỡ." The opportunity for Vietnam's AI community to grow together is here. Don't let it slip away. Let's embrace the spirit of "bình dân AI vụ" and build Vietnam's AI future together.
Vietnamese: Trích lời ông Trương Gia Bình, Chủ tịch HĐQT Tập đoàn FPT, tại cuộc họp Thường trực Chính phủ gần đây: "Ngày trước, vào những năm khó khăn nhất, những năm kháng chiến khi chính quyền còn yếu, còn nghèo, Bác Hồ đặt vấn đề 'bình dân học vụ'. Bây giờ là cơ hội đến... DeepSeek làm cho 'bình dân hóa trí tuệ nhân tạo', tức là các công ty nhỏ cũng làm được, các công ty vừa và nhỏ cũng đã áp dụng được." Chúng tôi là minh chứng sống cho tầm nhìn về việc đại chúng hóa AI này. Một nhóm chỉ hai thành viên - trong đó có một sinh viên đại học - đã lọt top 8 trên bảng xếp hạng VMLU với chi phí chỉ 150 đô-la và tài nguyên từ Google Colab. Gửi đến các tổ chức khác trên bảng xếp hạng: khi một nhóm nhỏ với nguồn lực tối thiểu có thể cạnh tranh ở cấp độ này, hãy tưởng tượng những gì cộng đồng AI Việt Nam có thể đạt được nếu được tiếp cận với các mô hình của các bạn. Như ông Bình đã nhấn mạnh: "Cơ hội đang đến... không thể bỏ lỡ." Đây là cơ hội để cộng đồng AI Việt Nam cùng nhau phát triển. Đừng để cơ hội này trôi qua. Hãy cùng nhau thể hiện tinh thần "bình dân AI vụ" và xây dựng tương lai AI của Việt Nam.
- Downloads last month
- 120