|
--- |
|
language: |
|
- vi |
|
license: apache-2.0 |
|
tags: |
|
- sentence-transformers |
|
- sentence-similarity |
|
- feature-extraction |
|
- generated_from_trainer |
|
- dataset_size:80000 |
|
- loss:MatryoshkaLoss |
|
- loss:MultipleNegativesRankingLoss |
|
base_model: bkai-foundation-models/vietnamese-bi-encoder |
|
widget: |
|
- source_sentence: 'Điều 2 Quyết định 185/QĐ-UB năm 1998 Bảng giá đất tỉnh Bến Tre |
|
có nội dung như sau: |
|
|
|
|
|
Điều 2. Giá đất trên được áp dụng cho những trường hợp: Tính thuế chuyển quyền |
|
sử dụng cho những trường hợp: Tính thuế chuyển quyền sử dụng đất, thu lệ phí trước |
|
bạ, thu tiền sử dụng đất khi giao đất, cho thuê đất, tính giá trị tài sản khi |
|
giao đất, bồi thường thiệt hại về đất khi Nhà nước thu hồi. |
|
|
|
Trường hợp giao đất theo hình thức đấu giá, thì giá đất sẽ do Uỷ ban nhân dân |
|
tỉnh cho trường hợp cụ thể. |
|
|
|
Giá cho thuê đất đối với các tổ chức, cá nhân nước ngoài hoặc xí nghiệp có vốn |
|
đầu tư nước ngoài được áp dụng theo quy định của Chính phủ.' |
|
sentences: |
|
- Điều 2 Quyết định 55/2012/QĐ-UBND dự toán ngân sách phân bổ dự toán ngân sách |
|
2013 Bình Dương |
|
- Điều 2 Quyết định 185/QĐ-UB năm 1998 Bảng giá đất tỉnh Bến Tre |
|
- Điều 3 Quyết định 79/2019/QĐ-UBND mức thu học phí quản lý và sử dụng học phí giáo |
|
dục mầm non Huế |
|
- source_sentence: 'Điều 3 Quyết định 94/QĐ-UBND 2018 kế hoạch hoạt động kiểm soát |
|
thủ tục hành chính Lâm Đồng có nội dung như sau: |
|
|
|
|
|
Điều 3. Chánh Văn phòng UBND tỉnh; Thủ trưởng các sở, ban, ngành; Chủ tịch UBND |
|
các huyện, thành phố; Chủ tịch UBND các xã, phường, thị trấn trên địa bàn tỉnh |
|
chịu trách nhiệm thi hành Quyết định này' |
|
sentences: |
|
- Điều 3 Quyết định 94/QĐ-UBND 2018 kế hoạch hoạt động kiểm soát thủ tục hành chính |
|
Lâm Đồng |
|
- Cơ quan nhà nước có thẩm quyền có trách nhiệm gì trong việc giải quyết tranh chấp |
|
lao động khi sa thải người lao động? |
|
- 'Thăng hạng giáo viên: Điều kiện về thời gian giữ hạng thấp hơn liền kề' |
|
- source_sentence: 'Điều 8 Thông tư 63/2013/TT-BGTVT hướng dẫn Bản ghi nhớ vận tải |
|
đường bộ giữa Campuchia Lào Việt Nam có nội dung như sau: |
|
|
|
|
|
Điều 8. Hồ sơ cấp Giấy phép liên vận CLV |
|
|
|
1. Đối với xe thương mại: |
|
|
|
a) Đơn đề nghị cấp Giấy phép liên vận CLV cho phương tiện thương mại quy định |
|
tại Phụ lục VI của Thông tư này; |
|
|
|
b) Giấy phép kinh doanh vận tải bằng xe ô tô hoặc Giấy chứng nhận đăng ký kinh |
|
doanh đối với đơn vị kinh doanh vận tải bằng xe ô tô không thuộc đối tượng phải |
|
cấp giấy phép kinh doanh vận tải bằng xe ô tô (bản sao có chứng thực hoặc bản |
|
sao kèm theo bản chính để đối chiếu); |
|
|
|
c) Giấy đăng ký phương tiện (bản sao có chứng thực hoặc bản sao kèm theo bản chính |
|
để đối chiếu); |
|
|
|
d) Văn bản chấp thuận khai thác tuyến (đối với phương tiện kinh doanh vận tải |
|
hành khách theo tuyến cố định); |
|
|
|
đ) Trường hợp phương tiện không thuộc sở hữu của đơn vị kinh doanh vận tải thì |
|
phải xuất trình thêm tài liệu chứng minh quyền sử dụng hợp pháp của đơn vị kinh |
|
doanh vận tải với phương tiện đó (bản sao có chứng thực hoặc bản sao kèm theo |
|
bản chính để đối chiếu). |
|
|
|
2. Đối với xe phi thương mại: |
|
|
|
a) Đơn đề nghị cấp Giấy phép liên vận CLV cho phương tiện phi thương mại quy định |
|
Phụ lục VII của Thông tư này; |
|
|
|
b) Giấy đăng ký phương tiện (bản sao có chứng thực hoặc bản sao kèm theo bản chính |
|
để đối chiếu). Trường hợp phương tiện không thuộc sở hữu của tổ chức, cá nhân |
|
thì phải kèm theo tài liệu chứng minh quyền sử dụng hợp pháp của tổ chức, các |
|
nhân với phương tiện đó (bản sao có chứng thực hoặc bản sao kèm theo bản chính |
|
để đối chiếu); |
|
|
|
c) Đối với doanh nghiệp, hợp tác xã thực hiện công trình, dự án hoặc hoạt động |
|
kinh doanh trên lãnh thổ Lào hoặc Campuchia thì kèm theo Hợp đồng hoặc tài liệu |
|
chứng minh đơn vị đang thực hiện công trình, dự án hoặc hoạt động kinh doanh, |
|
trên lãnh thổ Lào, Campuchia (bản sao có chứng thực).' |
|
sentences: |
|
- Bộ Xây dựng ghi nhận các kiến nghị về quy hoạch đô thị và nông thôn |
|
- Điều 3 Quyết định 2106/QĐ-BYT 2020 Kế hoạch triển khai chiến dịch tiêm bổ sung |
|
vắc xin Sởi Rubella |
|
- Điều 8 Thông tư 63/2013/TT-BGTVT hướng dẫn Bản ghi nhớ vận tải đường bộ giữa Campuchia |
|
Lào Việt Nam |
|
- source_sentence: 'Điều 2 Quyết định 16/2010/QĐ-UBND phân vùng môi trường tiếp nhận |
|
nước thải khí thải công nghiệp trên địa bàn tỉnh Đồng Nai có nội dung như sau: |
|
|
|
|
|
Điều 2. Xác định và tính toán lưu lượng các nguồn xả nước thải, khí thải công |
|
nghiệp |
|
|
|
1. Các tổ chức, cá nhân là chủ cơ sở sản xuất, kinh doanh, dịch vụ có trách nhiệm |
|
quan trắc, thống kê, kiểm toán chất thải để tính toán, xác định lưu lượng nước |
|
thải, khí thải công nghiệp để áp dụng hệ số lưu lượng nguồn thải. |
|
|
|
2. Các tổ chức, cá nhân có trách nhiệm cung cấp đúng, đầy đủ, chính xác và trung |
|
thực các thông tin về lưu lượng nước thải, khí thải công nghiệp cho cơ quan quản |
|
lý Nhà nước về môi trường. Trong trường hợp số liệu của các tổ chức, cá nhân cung |
|
cấp chưa đủ tin cậy, cơ quan quản lý Nhà nước về môi trường sẽ tính toán, xác |
|
định hoặc trưng cầu giám định theo quy định pháp luật. |
|
|
|
3. Trong một số trường hợp đặc thù tùy thuộc vào quy mô, tính chất dự án, cơ sở |
|
sản xuất, kinh doanh, dịch vụ, điều kiện cụ thể về môi trường tiếp nhận nước thải |
|
và khí thải, địa điểm thực dự án và quy hoạch phát triển kinh tế - xã hội địa |
|
phương, Ủy ban nhân dân tỉnh Đồng Nai có những quy định riêng.' |
|
sentences: |
|
- Điều 2 Quyết định 16/2010/QĐ-UBND phân vùng môi trường tiếp nhận nước thải khí |
|
thải công nghiệp trên địa bàn tỉnh Đồng Nai |
|
- Điều 16 Thông tư 14/2010/TT-BKHCN hướng dẫn tiêu chuẩn, quy trình thủ tục xét |
|
tặng |
|
- Người lao động có quyền đơn phương chấm dứt hợp đồng lao động khi được bổ nhiệm |
|
giữ chức vụ gì? |
|
- source_sentence: Điều 29 Nghị định 46/2015 NĐ-CP quy định về thí nghiệm đối chứng, |
|
kiểm định chất lượng, thí nghiệm khả năng chịu lực của kết cấu công trình trong |
|
quá trình thi công xây dựng. Tôi xin hỏi, trong dự toán công trình giao thông |
|
có chi phí kiểm định tạm tính, chủ đầu tư có quyền lập đề cương, dự toán rồi giao |
|
cho phòng thẩm định kết quả có giá trị, sau đó thực hiện thuê đơn vị tư vấn có |
|
chức năng thực hiện công tác kiểm định được không?Bộ Xây dựng trả lời vấn đề này |
|
như sau:Trường hợp kiểm định theo quy định tại Điểm a, Điểm b, Điểm c, Khoản 2, |
|
Điều 29 (thí nghiệm đối chứng, kiểm định chất lượng, thí nghiệm khả năng chịu |
|
lực của kết cấu công trình trong quá trình thi công xây dựng) Nghị định46/2015/NĐ-CPngày |
|
12/5/2015 của Chính phủ về quản lý chất lượng và bảo trì công trình xây dựng thì |
|
việc lập đề cương, dự toán kiểm định do tổ chức đáp ứng điều kiện năng lực theo |
|
quy định của pháp luật thực hiện.Đối với trường hợp kiểm định theo quy định tại |
|
Điểm đ, Khoản 2, Điều 29 Nghị định46/2015/NĐ-CPthì thực hiện theo quy định tại |
|
Điều 18 Thông tư26/2016/TT-BXDngày 26/10/2016 của Bộ Xây dựng quy định chi tiết |
|
một số nội dung về quản lý chất lượng và bảo trì công trình xây dựng. |
|
sentences: |
|
- Quy định về trợ cấp với cán bộ xã già yếu nghỉ việc |
|
- Có thể thuê kiểm định chất lượng công trình? |
|
- Điều kiện doanh nghiệp được hoạt động tư vấn giám sát |
|
pipeline_tag: sentence-similarity |
|
library_name: sentence-transformers |
|
metrics: |
|
- cosine_accuracy@1 |
|
- cosine_accuracy@3 |
|
- cosine_accuracy@5 |
|
- cosine_accuracy@10 |
|
- cosine_precision@1 |
|
- cosine_precision@3 |
|
- cosine_precision@5 |
|
- cosine_precision@10 |
|
- cosine_recall@1 |
|
- cosine_recall@3 |
|
- cosine_recall@5 |
|
- cosine_recall@10 |
|
- cosine_ndcg@10 |
|
- cosine_mrr@10 |
|
- cosine_map@100 |
|
model-index: |
|
- name: bkai-fine-tuned-legal |
|
results: |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: dim 768 |
|
type: dim_768 |
|
metrics: |
|
- type: cosine_accuracy@1 |
|
value: 0.5855925639039504 |
|
name: Cosine Accuracy@1 |
|
- type: cosine_accuracy@3 |
|
value: 0.7033307513555384 |
|
name: Cosine Accuracy@3 |
|
- type: cosine_accuracy@5 |
|
value: 0.7500645494448748 |
|
name: Cosine Accuracy@5 |
|
- type: cosine_accuracy@10 |
|
value: 0.8109992254066615 |
|
name: Cosine Accuracy@10 |
|
- type: cosine_precision@1 |
|
value: 0.5855925639039504 |
|
name: Cosine Precision@1 |
|
- type: cosine_precision@3 |
|
value: 0.23444358378517946 |
|
name: Cosine Precision@3 |
|
- type: cosine_precision@5 |
|
value: 0.15001290988897495 |
|
name: Cosine Precision@5 |
|
- type: cosine_precision@10 |
|
value: 0.08109992254066614 |
|
name: Cosine Precision@10 |
|
- type: cosine_recall@1 |
|
value: 0.5855925639039504 |
|
name: Cosine Recall@1 |
|
- type: cosine_recall@3 |
|
value: 0.7033307513555384 |
|
name: Cosine Recall@3 |
|
- type: cosine_recall@5 |
|
value: 0.7500645494448748 |
|
name: Cosine Recall@5 |
|
- type: cosine_recall@10 |
|
value: 0.8109992254066615 |
|
name: Cosine Recall@10 |
|
- type: cosine_ndcg@10 |
|
value: 0.6937880818561333 |
|
name: Cosine Ndcg@10 |
|
- type: cosine_mrr@10 |
|
value: 0.6568145771089225 |
|
name: Cosine Mrr@10 |
|
- type: cosine_map@100 |
|
value: 0.6626061839086153 |
|
name: Cosine Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: dim 512 |
|
type: dim_512 |
|
metrics: |
|
- type: cosine_accuracy@1 |
|
value: 0.5848179705654531 |
|
name: Cosine Accuracy@1 |
|
- type: cosine_accuracy@3 |
|
value: 0.7002323780015491 |
|
name: Cosine Accuracy@3 |
|
- type: cosine_accuracy@5 |
|
value: 0.7490317583268784 |
|
name: Cosine Accuracy@5 |
|
- type: cosine_accuracy@10 |
|
value: 0.8073844564936742 |
|
name: Cosine Accuracy@10 |
|
- type: cosine_precision@1 |
|
value: 0.5848179705654531 |
|
name: Cosine Precision@1 |
|
- type: cosine_precision@3 |
|
value: 0.23341079266718306 |
|
name: Cosine Precision@3 |
|
- type: cosine_precision@5 |
|
value: 0.1498063516653757 |
|
name: Cosine Precision@5 |
|
- type: cosine_precision@10 |
|
value: 0.0807384456493674 |
|
name: Cosine Precision@10 |
|
- type: cosine_recall@1 |
|
value: 0.5848179705654531 |
|
name: Cosine Recall@1 |
|
- type: cosine_recall@3 |
|
value: 0.7002323780015491 |
|
name: Cosine Recall@3 |
|
- type: cosine_recall@5 |
|
value: 0.7490317583268784 |
|
name: Cosine Recall@5 |
|
- type: cosine_recall@10 |
|
value: 0.8073844564936742 |
|
name: Cosine Recall@10 |
|
- type: cosine_ndcg@10 |
|
value: 0.6917119064236622 |
|
name: Cosine Ndcg@10 |
|
- type: cosine_mrr@10 |
|
value: 0.6551604719691482 |
|
name: Cosine Mrr@10 |
|
- type: cosine_map@100 |
|
value: 0.6611599622252305 |
|
name: Cosine Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: dim 256 |
|
type: dim_256 |
|
metrics: |
|
- type: cosine_accuracy@1 |
|
value: 0.5814613994319648 |
|
name: Cosine Accuracy@1 |
|
- type: cosine_accuracy@3 |
|
value: 0.6935192357345726 |
|
name: Cosine Accuracy@3 |
|
- type: cosine_accuracy@5 |
|
value: 0.7428350116189001 |
|
name: Cosine Accuracy@5 |
|
- type: cosine_accuracy@10 |
|
value: 0.8022205009036922 |
|
name: Cosine Accuracy@10 |
|
- type: cosine_precision@1 |
|
value: 0.5814613994319648 |
|
name: Cosine Precision@1 |
|
- type: cosine_precision@3 |
|
value: 0.2311730785781909 |
|
name: Cosine Precision@3 |
|
- type: cosine_precision@5 |
|
value: 0.14856700232378 |
|
name: Cosine Precision@5 |
|
- type: cosine_precision@10 |
|
value: 0.08022205009036923 |
|
name: Cosine Precision@10 |
|
- type: cosine_recall@1 |
|
value: 0.5814613994319648 |
|
name: Cosine Recall@1 |
|
- type: cosine_recall@3 |
|
value: 0.6935192357345726 |
|
name: Cosine Recall@3 |
|
- type: cosine_recall@5 |
|
value: 0.7428350116189001 |
|
name: Cosine Recall@5 |
|
- type: cosine_recall@10 |
|
value: 0.8022205009036922 |
|
name: Cosine Recall@10 |
|
- type: cosine_ndcg@10 |
|
value: 0.6871061609559359 |
|
name: Cosine Ndcg@10 |
|
- type: cosine_mrr@10 |
|
value: 0.6508078926552976 |
|
name: Cosine Mrr@10 |
|
- type: cosine_map@100 |
|
value: 0.6566099087487134 |
|
name: Cosine Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: dim 128 |
|
type: dim_128 |
|
metrics: |
|
- type: cosine_accuracy@1 |
|
value: 0.5695843015750065 |
|
name: Cosine Accuracy@1 |
|
- type: cosine_accuracy@3 |
|
value: 0.6785437645236251 |
|
name: Cosine Accuracy@3 |
|
- type: cosine_accuracy@5 |
|
value: 0.7273431448489543 |
|
name: Cosine Accuracy@5 |
|
- type: cosine_accuracy@10 |
|
value: 0.7936999741802221 |
|
name: Cosine Accuracy@10 |
|
- type: cosine_precision@1 |
|
value: 0.5695843015750065 |
|
name: Cosine Precision@1 |
|
- type: cosine_precision@3 |
|
value: 0.22618125484120832 |
|
name: Cosine Precision@3 |
|
- type: cosine_precision@5 |
|
value: 0.14546862896979085 |
|
name: Cosine Precision@5 |
|
- type: cosine_precision@10 |
|
value: 0.0793699974180222 |
|
name: Cosine Precision@10 |
|
- type: cosine_recall@1 |
|
value: 0.5695843015750065 |
|
name: Cosine Recall@1 |
|
- type: cosine_recall@3 |
|
value: 0.6785437645236251 |
|
name: Cosine Recall@3 |
|
- type: cosine_recall@5 |
|
value: 0.7273431448489543 |
|
name: Cosine Recall@5 |
|
- type: cosine_recall@10 |
|
value: 0.7936999741802221 |
|
name: Cosine Recall@10 |
|
- type: cosine_ndcg@10 |
|
value: 0.6754615621699942 |
|
name: Cosine Ndcg@10 |
|
- type: cosine_mrr@10 |
|
value: 0.6384098910241435 |
|
name: Cosine Mrr@10 |
|
- type: cosine_map@100 |
|
value: 0.6443976474654151 |
|
name: Cosine Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: dim 64 |
|
type: dim_64 |
|
metrics: |
|
- type: cosine_accuracy@1 |
|
value: 0.5543506325845597 |
|
name: Cosine Accuracy@1 |
|
- type: cosine_accuracy@3 |
|
value: 0.6609863155176865 |
|
name: Cosine Accuracy@3 |
|
- type: cosine_accuracy@5 |
|
value: 0.7061709269300284 |
|
name: Cosine Accuracy@5 |
|
- type: cosine_accuracy@10 |
|
value: 0.7717531629227988 |
|
name: Cosine Accuracy@10 |
|
- type: cosine_precision@1 |
|
value: 0.5543506325845597 |
|
name: Cosine Precision@1 |
|
- type: cosine_precision@3 |
|
value: 0.22032877183922883 |
|
name: Cosine Precision@3 |
|
- type: cosine_precision@5 |
|
value: 0.14123418538600568 |
|
name: Cosine Precision@5 |
|
- type: cosine_precision@10 |
|
value: 0.07717531629227987 |
|
name: Cosine Precision@10 |
|
- type: cosine_recall@1 |
|
value: 0.5543506325845597 |
|
name: Cosine Recall@1 |
|
- type: cosine_recall@3 |
|
value: 0.6609863155176865 |
|
name: Cosine Recall@3 |
|
- type: cosine_recall@5 |
|
value: 0.7061709269300284 |
|
name: Cosine Recall@5 |
|
- type: cosine_recall@10 |
|
value: 0.7717531629227988 |
|
name: Cosine Recall@10 |
|
- type: cosine_ndcg@10 |
|
value: 0.6571206813679893 |
|
name: Cosine Ndcg@10 |
|
- type: cosine_mrr@10 |
|
value: 0.6212180172869554 |
|
name: Cosine Mrr@10 |
|
- type: cosine_map@100 |
|
value: 0.6275272633144896 |
|
name: Cosine Map@100 |
|
--- |
|
|
|
# LEGAL-EMBEDDING |
|
|
|
LEGAL-EMBEDDING is a Vietnamese text embedding focused on RAG and production efficiency: |
|
|
|
📚 **Trained Dataset**: |
|
The model was trained on an in-house dataset consisting of approximately **80,000 examples** of legal questions and their related contexts. |
|
|
|
🪆 **Efficiency**: |
|
Trained with a **Matryoshka loss**, allowing embeddings to be truncated with minimal performance loss. This ensures that smaller embeddings are faster to compare, making the model efficient for real-world production use. |
|
|
|
## Model Details |
|
|
|
### Model Description |
|
- **Model Type:** Sentence Transformer |
|
- **Base model:** [bkai-foundation-models/vietnamese-bi-encoder](https://huggingface.co/bkai-foundation-models/vietnamese-bi-encoder) <!-- at revision 84f9d9ada0d1a3c37557398b9ae9fcedcdf40be0 --> |
|
- **Maximum Sequence Length:** 512 tokens |
|
- **Output Dimensionality:** 768 dimensions |
|
- **Similarity Function:** Cosine Similarity |
|
- **Language:** vietnamese |
|
- **License:** apache-2.0 |
|
|
|
### Model Sources |
|
|
|
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net) |
|
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers) |
|
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers) |
|
|
|
### Full Model Architecture |
|
|
|
``` |
|
SentenceTransformer( |
|
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: RobertaModel |
|
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True}) |
|
) |
|
``` |
|
|
|
## Usage |
|
|
|
### Direct Usage (Sentence Transformers) |
|
|
|
First install the Sentence Transformers library: |
|
|
|
```bash |
|
pip install -U sentence-transformers |
|
``` |
|
|
|
Then you can load this model and run inference. |
|
```python |
|
from sentence_transformers import SentenceTransformer |
|
import torch |
|
|
|
# Download from the 🤗 Hub |
|
model = SentenceTransformer("quanghuy123/LEGAL_EMBEDDING") |
|
|
|
# Define query (câu hỏi pháp luật) và docs (điều luật) |
|
query = "Điều kiện để kết hôn hợp pháp là gì?" |
|
docs = [ |
|
"Điều 8 Bộ luật Dân sự 2015 quy định về quyền và nghĩa vụ của công dân trong quan hệ gia đình.", |
|
"Điều 18 Luật Hôn nhân và gia đình 2014 quy định về độ tuổi kết hôn của nam và nữ.", |
|
"Điều 14 Bộ luật Dân sự 2015 quy định về quyền và nghĩa vụ của cá nhân khi tham gia hợp đồng.", |
|
"Điều 27 Luật Hôn nhân và gia đình 2014 quy định về các trường hợp không được kết hôn.", |
|
"Điều 51 Luật Hôn nhân và gia đình 2014 quy định về việc kết hôn giữa công dân Việt Nam và người nước ngoài." |
|
] |
|
|
|
# Encode query and documents |
|
query_embedding = model.encode([query]) |
|
doc_embeddings = model.encode(docs) |
|
similarities = torch.nn.functional.cosine_similarity( |
|
torch.tensor(query_embedding), torch.tensor(doc_embeddings) |
|
).flatten() |
|
|
|
# Sort documents by cosine similarity |
|
sorted_indices = torch.argsort(similarities, descending=True) |
|
sorted_docs = [docs[idx] for idx in sorted_indices] |
|
sorted_scores = [similarities[idx].item() for idx in sorted_indices] |
|
|
|
# Print sorted documents with their cosine scores |
|
for doc, score in zip(sorted_docs, sorted_scores): |
|
print(f"Document: {doc} - Cosine Similarity: {score:.4f}") |
|
``` |
|
|
|
## Evaluation |
|
|
|
### Metrics |
|
|
|
#### Information Retrieval |
|
|
|
* Datasets: [quanghuy123/LEGAL-EVAL-Dataset](https://huggingface.co/datasets/quanghuy123/LEGAL-EVAL-Dataset) |
|
* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator) |
|
|
|
| Model | dim_768 | dim_512 | dim_256 | dim_128 | dim_64 | |
|
|:--------------------|:-----------|:-----------|:-----------|:-----------|:-----------| |
|
| bkai-foundation-models/vietnamese-bi-encoder | 0.4645 | 0.4628 | 0.4494 | 0.4233 | 0.3744 | |
|
| VoVanPhuc/sup-SimCSE-VietNamese-phobert-base | 0.4033 | 0.3902 | 0.3835 | 0.3785 | 0.3695 | |
|
| hiieu/halong_embedding | 0.6242 | 0.6134 | 0.5983 | 0.5878 | 0.5762 | |
|
| quanghuy123/LEGAL_EMBEDDING | 0.8112 | 0.8074 | 0.8022 | 0.7937 | 0.7718 | |
|
## Citation |
|
|
|
You can cite our work as below: |
|
|
|
```bibtex |
|
@misc{LEGAL_EMBEDDING, |
|
title={LEGAL_EMBEDDING: A Vietnamese Text Embedding}, |
|
author={QUANG HUY}, |
|
year={2025}, |
|
publisher={Huggingface}, |
|
} |
|
``` |
|
|
|
### BibTeX |
|
#### Sentence Transformers |
|
```bibtex |
|
@inproceedings{reimers-2019-sentence-bert, |
|
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", |
|
author = "Reimers, Nils and Gurevych, Iryna", |
|
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", |
|
month = "11", |
|
year = "2019", |
|
publisher = "Association for Computational Linguistics", |
|
url = "https://arxiv.org/abs/1908.10084", |
|
} |
|
``` |
|
|
|
#### MatryoshkaLoss |
|
```bibtex |
|
@misc{kusupati2024matryoshka, |
|
title={Matryoshka Representation Learning}, |
|
author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi}, |
|
year={2024}, |
|
eprint={2205.13147}, |
|
archivePrefix={arXiv}, |
|
primaryClass={cs.LG} |
|
} |
|
``` |
|
|
|
#### MultipleNegativesRankingLoss |
|
```bibtex |
|
@misc{henderson2017efficient, |
|
title={Efficient Natural Language Response Suggestion for Smart Reply}, |
|
author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil}, |
|
year={2017}, |
|
eprint={1705.00652}, |
|
archivePrefix={arXiv}, |
|
primaryClass={cs.CL} |
|
} |
|
``` |
