Edit model card

SentenceTransformer based on comet24082002/finetune_bge_simsce_V1

This is a sentence-transformers model finetuned from comet24082002/finetune_bge_simsce_V1. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: comet24082002/finetune_bge_simsce_V1
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 1024 tokens
  • Similarity Function: Cosine Similarity

Model Sources

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("comet24082002/ft_bge_newLaw_ContrastiveLoss_SimSCE_V1_5epochs")
# Run inference
sentences = [
    'Nhân viên khai thác mặt đất phục vụ chuyến bay được cấp Giấy phép nhân viên hàng không cần đáp ứng mấy điều kiện?',
    'Nhiệm vụ của Hội đồng sát hạch\n1. Xây dựng và ban hành quy chế hoạt động của Hội đồng sát hạch.\n2. Thành lập Tổ sát hạch theo từng lĩnh vực chuyên môn và trình độ tiếng Anh.\n3. Tổ chức xây dựng kế hoạch sát hạch, quy trình sát hạch, nội dung sát hạch, đề và đáp án sát hạch trình Cục trưởng Cục Hàng không Việt Nam ban hành.\n4. Tổ chức sát hạch và báo cáo Cục trưởng Cục Hàng không Việt Nam kết quả sát hạch để cấp giấy phép, năng định chuyên môn, chứng nhận trình độ tiếng Anh cho nhân viên hàng không.\n5. Chủ tịch Hội đồng sát hạch chịu trách nhiệm về việc lựa chọn sát hạch viên và kết quả sát hạch trước Cục trưởng Cục Hàng không Việt Nam.\n6. Tổ chức chấm phúc khảo (nếu có) đối với bài sát hạch trên giấy và thông báo kết quả cho người đề nghị phúc khảo.\n7. Lập Biên bản làm việc của Hội đồng sát hạch theo mẫu quy định tại Phụ lục 06 ban hành kèm theo Thông tư này.',
    '...\nIV. CHUẨN BỊ\n1. Người thực hiện: 04 người\n- Bác sỹ: 01\n- Kỹ thuật viên: 03\n2. Người bệnh:\n- Sau tai nạn sinh hoạt, tai nạn lao động…..\n- Có chẩn đoán gãy Dupuytren và có chỉ định điều trị bảo tồn.\n- Được giải thích kỹ mục đích của thủ thuật, quá trình tiến hành làm thủ thuật.\n- Được vệ sinh sạch sẽ, bộc lộ vùng cẳng chân bên bó bột.\n- Với người bệnh gây mê cần nhịn ăn uống 6 giờ.\n3. Phương tiện:\n- Thuốc gây mê tĩnh mạch hoặc gây tê tại chỗ\n- Máy C- ARM\n- Bơm, kim tiêm, bông băng, cồn, gạc\n- Bàn nắn.\n- Bột thạch cao: 4- 6 cuộn khổ 20cm (bột liền), 6- 8 cuộn khổ 20cm (bột tự cán).\n- Bông lót: 2-3 cuộn khổ 20cm.\n4. Thời gian thực hiện thủ thuật: 60- 80 phút.\nV. CÁC BƯỚC TIẾN HÀNH\n1. Tư thế:\nNgười bệnh nằm ngửa trên bàn chỉnh hình để được gây mê hoặc gây tê tại chỗ.\n2. Vô cảm:\n- Gây mê tĩnh mạch\n- Gây tê tại ổ gãy\n3. Kỹ thuật:\n- Sau gây mê, gây tê cho người bệnh nằm ngửa kê đệm gối dưới đùi. Cố định gối của người bệnh vào bàn chỉnh hình.\n- Kỹ thuật viên 1. Tay trái nắm bàn chân, tay phải đỡ dưới gót chân của người bệnh kéo thẳng trục 5-7 phút.\n- Kỹ thuật viên 2. Đứng vuông góc với KTV1 nắn đầu dưới xương chày ra ngoài. Đẩy mắt cá trong lên trên. Đưa bàn chân vẹo vào trong.\n- Kỹ thuật viên 3. Kiểm tra trên C- ARM và bó bột Cẳng bàn chân.\n...',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

  • Size: 21,048 training samples
  • Columns: sentence1, sentence2, and label
  • Approximate statistics based on the first 1000 samples:
    sentence1 sentence2 label
    type string string int
    details
    • min: 7 tokens
    • mean: 23.71 tokens
    • max: 47 tokens
    • min: 31 tokens
    • mean: 289.42 tokens
    • max: 512 tokens
    • 0: ~50.00%
    • 1: ~50.00%
  • Samples:
    sentence1 sentence2 label
    Người sử dụng lao động không thực hiện chế độ bồi dưỡng bằng hiện vật cho người lao động thì có bị xử phạt không? "Điều 22. Vi phạm quy định về phòng ngừa tai nạn lao động, bệnh nghề nghiệp
    ...
    8. Phạt tiền đối với người sử dụng lao động có một trong các hành vi: Không trang cấp hoặc trang cấp không đầy đủ phương tiện bảo vệ cá nhân hoặc có trang cấp nhưng không đạt chất lượng theo quy định; không thực hiện chế độ bồi dưỡng bằng hiện vật hoặc bồi dưỡng bằng hiện vật thấp hơn mức theo quy định; trả tiền thay cho bồi dưỡng bằng hiện vật cho người lao động làm việc trong điều kiện có yếu tố nguy hiểm, yếu tố có hại theo một trong các mức sau đây:
    a) Từ 3.000.000 đồng đến 6.000.000 đồng đối với vi phạm từ 01 người đến 10 người lao động;
    b) Từ 6.000.000 đồng đến 10.000.000 đồng đối với vi phạm từ 11 người đến 50 người lao động;
    c) Từ 10.000.000 đồng đến 15.000.000 đồng đối với vi phạm từ 51 người đến 100 người lao động;
    d) Từ 15.000.000 đồng đến 20.000.000 đồng đối với vi phạm từ 101 người đến 300 người lao động;
    đ) Từ 20.000.000 đồng đến 30.000.000 đồng đối với hành vi vi phạm từ 301 người lao động trở lên.
    ...
    11. Biện pháp khắc phục hậu quả
    Buộc người sử dụng lao động trả cho người lao động khoản bồi dưỡng bằng hiện vật được quy thành tiền theo đúng mức quy định đối với hành vi không thực hiện chế độ bồi dưỡng bằng hiện vật hoặc bồi dưỡng bằng hiện vật thấp hơn mức theo quy định cho người lao động làm việc trong điều kiện có yếu tố nguy hiểm, độc hại quy định tại khoản 8 Điều này."
    1
    Người sử dụng lao động không thực hiện chế độ bồi dưỡng bằng hiện vật cho người lao động thì có bị xử phạt không? "Điều 2. Đối tượng áp dụng
    1. Người lao động là công dân nước ngoài làm việc tại Việt Nam thuộc đối tượng tham gia bảo hiểm xã hội bắt buộc khi có giấy phép lao động hoặc chứng chỉ hành nghề hoặc giấy phép hành nghề do cơ quan có thẩm quyền của Việt Nam cấp và có hợp đồng lao động không xác định thời hạn, hợp đồng lao động xác định thời hạn từ đủ 01 năm trở lên với người sử dụng lao động tại Việt Nam.
    2. Người lao động quy định tại khoản 1 Điều này không thuộc đối tượng tham gia bảo hiểm xã hội bắt buộc theo quy định tại Nghị định này khi thuộc một trong các trường hợp sau:
    a) Di chuyển trong nội bộ doanh nghiệp theo quy định tại khoản 1 Điều 3 của Nghị định số 11/2016/NĐ-CP ngày 03 tháng 02 năm 2016 của Chính phủ quy định chi tiết thi hành một số điều của Bộ luật Lao động về lao động nước ngoài làm việc tại Việt Nam;
    b) Người lao động đã đủ tuổi nghỉ hưu theo quy định tại khoản 1 Điều 187 của Bộ luật Lao động.
    3. Người sử dụng lao động tham gia bảo hiểm xã hội bắt buộc bao gồm cơ quan nhà nước, đơn vị sự nghiệp, tổ chức chính trị, tổ chức chính trị - xã hội, tổ chức chính trị xã hội - nghề nghiệp, tổ chức xã hội - nghề nghiệp, tổ chức xã hội khác; cơ quan, tổ chức nước ngoài, tổ chức quốc tế hoạt động trên lãnh thổ Việt Nam; doanh nghiệp, hợp tác xã, hộ kinh doanh cá thể, tổ hợp tác, tổ chức khác và cá nhân được phép hoạt động kinh doanh theo quy định của pháp luật có thuê mướn, sử dụng lao động theo hợp đồng lao động.
    4. Cơ quan, tổ chức và cá nhân có liên quan đến bảo hiểm xã hội bắt buộc đối với người lao động là công dân nước ngoài."
    0
    Thời điểm nào được ra quyết định nghỉ hưu cho người lao động? "Điều 59. Thời điểm hưởng lương hưu
    1. Đối với người lao động đang đóng bảo hiểm xã hội bắt buộc quy định tại các điểm a, b, c, d, đ, e và i khoản 1 Điều 2 của Luật này, thời điểm hưởng lương hưu là thời điểm ghi trong quyết định nghỉ việc do người sử dụng lao động lập khi người lao động đã đủ điều kiện hưởng lương hưu theo quy định của pháp luật.
    2. Đối với người lao động đang đóng bảo hiểm xã hội bắt buộc quy định tại điểm h khoản 1 Điều 2 của Luật này, thời điểm hưởng lương hưu được tính từ tháng liền kề khi người lao động đủ điều kiện hưởng lương hưu và có văn bản đề nghị gửi cho cơ quan bảo hiểm xã hội.
    3. Đối với người lao động quy định tại điểm g khoản 1 Điều 2 của Luật này và người đang bảo lưu thời gian đóng bảo hiểm xã hội, thời điểm hưởng lương hưu là thời điểm ghi trong văn bản đề nghị của người lao động đã đủ điều kiện hưởng lương hưu theo quy định.
    4. Bộ trưởng Bộ Lao động - Thương binh và Xã hội quy định chi tiết về thời điểm hưởng lương hưu đối với người lao động quy định tại khoản 1 Điều 2 của Luật này."
    1
  • Loss: ContrastiveLoss with these parameters:
    {
        "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
        "margin": 0.5,
        "size_average": true
    }
    

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 4
  • learning_rate: 2e-05
  • num_train_epochs: 5
  • warmup_ratio: 0.1

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: no
  • prediction_loss_only: True
  • per_device_train_batch_size: 4
  • per_device_eval_batch_size: 8
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • learning_rate: 2e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 5
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.1
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: False
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: proportional

Training Logs

Click to expand
Epoch Step Training Loss
0.0095 50 0.1061
0.0190 100 0.1025
0.0285 150 0.0815
0.0380 200 0.0336
0.0475 250 0.0238
0.0570 300 0.0232
0.0665 350 0.0207
0.0760 400 0.0195
0.0855 450 0.0203
0.0950 500 0.0196
0.1045 550 0.0178
0.1140 600 0.0164
0.1235 650 0.0178
0.1330 700 0.0177
0.1425 750 0.018
0.1520 800 0.0146
0.1615 850 0.0134
0.1710 900 0.0146
0.1805 950 0.0162
0.1900 1000 0.0151
0.1995 1050 0.0154
0.2090 1100 0.0137
0.2185 1150 0.012
0.2281 1200 0.0166
0.2376 1250 0.0142
0.2471 1300 0.0143
0.2566 1350 0.0137
0.2661 1400 0.0136
0.2756 1450 0.0173
0.2851 1500 0.0138
0.2946 1550 0.0155
0.3041 1600 0.0149
0.3136 1650 0.0146
0.3231 1700 0.0132
0.3326 1750 0.0142
0.3421 1800 0.0126
0.3516 1850 0.0139
0.3611 1900 0.0136
0.3706 1950 0.0117
0.3801 2000 0.0129
0.3896 2050 0.0131
0.3991 2100 0.0128
0.4086 2150 0.0136
0.4181 2200 0.0138
0.4276 2250 0.0159
0.4371 2300 0.0139
0.4466 2350 0.0124
0.4561 2400 0.0132
0.4656 2450 0.0159
0.4751 2500 0.0148
0.4846 2550 0.0115
0.4941 2600 0.0114
0.5036 2650 0.0151
0.5131 2700 0.0132
0.5226 2750 0.0122
0.5321 2800 0.0139
0.5416 2850 0.0117
0.5511 2900 0.0124
0.5606 2950 0.0114
0.5701 3000 0.0108
0.5796 3050 0.0129
0.5891 3100 0.0141
0.5986 3150 0.0107
0.6081 3200 0.0154
0.6176 3250 0.0121
0.6271 3300 0.0135
0.6366 3350 0.0124
0.6461 3400 0.012
0.6556 3450 0.0145
0.6651 3500 0.0124
0.6746 3550 0.0116
0.6842 3600 0.0117
0.6937 3650 0.013
0.7032 3700 0.0128
0.7127 3750 0.0122
0.7222 3800 0.0136
0.7317 3850 0.0134
0.7412 3900 0.0119
0.7507 3950 0.0131
0.7602 4000 0.0111
0.7697 4050 0.0138
0.7792 4100 0.0121
0.7887 4150 0.0112
0.7982 4200 0.0126
0.8077 4250 0.0109
0.8172 4300 0.0124
0.8267 4350 0.0115
0.8362 4400 0.0111
0.8457 4450 0.0123
0.8552 4500 0.0126
0.8647 4550 0.0125
0.8742 4600 0.0132
0.8837 4650 0.0121
0.8932 4700 0.0115
0.9027 4750 0.012
0.9122 4800 0.0127
0.9217 4850 0.0108
0.9312 4900 0.0126
0.9407 4950 0.0123
0.9502 5000 0.0147
0.9597 5050 0.0124
0.9692 5100 0.0138
0.9787 5150 0.0143
0.9882 5200 0.011
0.9977 5250 0.0116
1.0072 5300 0.01
1.0167 5350 0.0094
1.0262 5400 0.0102
1.0357 5450 0.0087
1.0452 5500 0.0101
1.0547 5550 0.0088
1.0642 5600 0.0084
1.0737 5650 0.0092
1.0832 5700 0.0066
1.0927 5750 0.0095
1.1022 5800 0.0086
1.1117 5850 0.0092
1.1212 5900 0.0079
1.1307 5950 0.0078
1.1403 6000 0.0097
1.1498 6050 0.0095
1.1593 6100 0.0085
1.1688 6150 0.009
1.1783 6200 0.0082
1.1878 6250 0.0102
1.1973 6300 0.0084
1.2068 6350 0.0095
1.2163 6400 0.0101
1.2258 6450 0.0076
1.2353 6500 0.0085
1.2448 6550 0.0075
1.2543 6600 0.008
1.2638 6650 0.0091
1.2733 6700 0.009
1.2828 6750 0.0089
1.2923 6800 0.009
1.3018 6850 0.0086
1.3113 6900 0.0076
1.3208 6950 0.0087
1.3303 7000 0.0093
1.3398 7050 0.0092
1.3493 7100 0.009
1.3588 7150 0.0079
1.3683 7200 0.0083
1.3778 7250 0.0092
1.3873 7300 0.0104
1.3968 7350 0.01
1.4063 7400 0.0078
1.4158 7450 0.0076
1.4253 7500 0.0077
1.4348 7550 0.0087
1.4443 7600 0.0074
1.4538 7650 0.0085
1.4633 7700 0.0094
1.4728 7750 0.0092
1.4823 7800 0.008
1.4918 7850 0.0085
1.5013 7900 0.0107
1.5108 7950 0.0096
1.5203 8000 0.0074
1.5298 8050 0.0092
1.5393 8100 0.0086
1.5488 8150 0.0084
1.5583 8200 0.0071
1.5678 8250 0.0063
1.5773 8300 0.0086
1.5868 8350 0.0091
1.5964 8400 0.0094
1.6059 8450 0.0087
1.6154 8500 0.0091
1.6249 8550 0.0109
1.6344 8600 0.0098
1.6439 8650 0.0088
1.6534 8700 0.0101
1.6629 8750 0.0111
1.6724 8800 0.0092
1.6819 8850 0.0077
1.6914 8900 0.0072
1.7009 8950 0.0098
1.7104 9000 0.0085
1.7199 9050 0.007
1.7294 9100 0.0091
1.7389 9150 0.008
1.7484 9200 0.0073
1.7579 9250 0.0078
1.7674 9300 0.0084
1.7769 9350 0.0095
1.7864 9400 0.0077
1.7959 9450 0.0077
1.8054 9500 0.0102
1.8149 9550 0.0084
1.8244 9600 0.0076
1.8339 9650 0.0074
1.8434 9700 0.0088
1.8529 9750 0.0081
1.8624 9800 0.0075
1.8719 9850 0.0105
1.8814 9900 0.008
1.8909 9950 0.0081
1.9004 10000 0.0091
1.9099 10050 0.0086
1.9194 10100 0.0069
1.9289 10150 0.0094
1.9384 10200 0.0102
1.9479 10250 0.0094
1.9574 10300 0.0097
1.9669 10350 0.0085
1.9764 10400 0.0097
1.9859 10450 0.0076
1.9954 10500 0.0088
2.0049 10550 0.006
2.0144 10600 0.0053
2.0239 10650 0.0049
2.0334 10700 0.0057
2.0429 10750 0.0044
2.0525 10800 0.0042
2.0620 10850 0.0041
2.0715 10900 0.0044
2.0810 10950 0.0051
2.0905 11000 0.0063
2.1000 11050 0.0052
2.1095 11100 0.0046
2.1190 11150 0.0045
2.1285 11200 0.0042
2.1380 11250 0.0067
2.1475 11300 0.0052
2.1570 11350 0.0055
2.1665 11400 0.0045
2.1760 11450 0.0055
2.1855 11500 0.0047
2.1950 11550 0.0047
2.2045 11600 0.0048
2.2140 11650 0.005
2.2235 11700 0.0048
2.2330 11750 0.0053
2.2425 11800 0.0054
2.2520 11850 0.0035
2.2615 11900 0.0063
2.2710 11950 0.0056
2.2805 12000 0.0049
2.2900 12050 0.0048
2.2995 12100 0.0051
2.3090 12150 0.0064
2.3185 12200 0.0048
2.3280 12250 0.0053
2.3375 12300 0.0037
2.3470 12350 0.0047
2.3565 12400 0.0049
2.3660 12450 0.0056
2.3755 12500 0.0041
2.3850 12550 0.005
2.3945 12600 0.006
2.4040 12650 0.0054
2.4135 12700 0.0057
2.4230 12750 0.0045
2.4325 12800 0.0048
2.4420 12850 0.0048
2.4515 12900 0.0056
2.4610 12950 0.0048
2.4705 13000 0.0048
2.4800 13050 0.0054
2.4895 13100 0.0044
2.4990 13150 0.0053
2.5086 13200 0.0052
2.5181 13250 0.0051
2.5276 13300 0.0057
2.5371 13350 0.0042
2.5466 13400 0.0057
2.5561 13450 0.0062
2.5656 13500 0.0064
2.5751 13550 0.005
2.5846 13600 0.0049
2.5941 13650 0.005
2.6036 13700 0.0058
2.6131 13750 0.0052
2.6226 13800 0.0048
2.6321 13850 0.0041
2.6416 13900 0.0058
2.6511 13950 0.0053
2.6606 14000 0.0056
2.6701 14050 0.0057
2.6796 14100 0.0061
2.6891 14150 0.0049
2.6986 14200 0.0054
2.7081 14250 0.0043
2.7176 14300 0.005
2.7271 14350 0.0049
2.7366 14400 0.006
2.7461 14450 0.0056
2.7556 14500 0.0057
2.7651 14550 0.0061
2.7746 14600 0.0052
2.7841 14650 0.0054
2.7936 14700 0.0054
2.8031 14750 0.0038
2.8126 14800 0.005
2.8221 14850 0.0045
2.8316 14900 0.0055
2.8411 14950 0.0043
2.8506 15000 0.005
2.8601 15050 0.006
2.8696 15100 0.0058
2.8791 15150 0.0047
2.8886 15200 0.0045
2.8981 15250 0.0039
2.9076 15300 0.0054
2.9171 15350 0.0059
2.9266 15400 0.0052
2.9361 15450 0.0055
2.9456 15500 0.0058
2.9552 15550 0.0058
2.9647 15600 0.0061
2.9742 15650 0.005
2.9837 15700 0.0054
2.9932 15750 0.0057
3.0027 15800 0.0048
3.0122 15850 0.0032
3.0217 15900 0.0021
3.0312 15950 0.0022
3.0407 16000 0.0031
3.0502 16050 0.0021
3.0597 16100 0.0022
3.0692 16150 0.0033
3.0787 16200 0.0026
3.0882 16250 0.0025
3.0977 16300 0.0035
3.1072 16350 0.0028
3.1167 16400 0.0026
3.1262 16450 0.0022
3.1357 16500 0.0027
3.1452 16550 0.0029
3.1547 16600 0.0023
3.1642 16650 0.0029
3.1737 16700 0.0033
3.1832 16750 0.0027
3.1927 16800 0.0024
3.2022 16850 0.003
3.2117 16900 0.0029
3.2212 16950 0.003
3.2307 17000 0.0025
3.2402 17050 0.0037
3.2497 17100 0.003
3.2592 17150 0.0032
3.2687 17200 0.0031
3.2782 17250 0.0026
3.2877 17300 0.0038
3.2972 17350 0.0033
3.3067 17400 0.004
3.3162 17450 0.0027
3.3257 17500 0.0032
3.3352 17550 0.0032
3.3447 17600 0.0037
3.3542 17650 0.0026
3.3637 17700 0.003
3.3732 17750 0.0022
3.3827 17800 0.0031
3.3922 17850 0.0023
3.4017 17900 0.0033
3.4113 17950 0.0028
3.4208 18000 0.0029
3.4303 18050 0.0026
3.4398 18100 0.0032
3.4493 18150 0.003
3.4588 18200 0.0031
3.4683 18250 0.0036
3.4778 18300 0.0027
3.4873 18350 0.0026
3.4968 18400 0.0026
3.5063 18450 0.0023
3.5158 18500 0.0031
3.5253 18550 0.004
3.5348 18600 0.0026
3.5443 18650 0.0043
3.5538 18700 0.0031
3.5633 18750 0.0039
3.5728 18800 0.0029
3.5823 18850 0.0033
3.5918 18900 0.0035
3.6013 18950 0.003
3.6108 19000 0.0029
3.6203 19050 0.0027
3.6298 19100 0.0025
3.6393 19150 0.0028
3.6488 19200 0.0034
3.6583 19250 0.0029
3.6678 19300 0.0038
3.6773 19350 0.0035
3.6868 19400 0.003
3.6963 19450 0.0029
3.7058 19500 0.0035
3.7153 19550 0.0025
3.7248 19600 0.0028
3.7343 19650 0.0027
3.7438 19700 0.0039
3.7533 19750 0.0037
3.7628 19800 0.0034
3.7723 19850 0.0034
3.7818 19900 0.0028
3.7913 19950 0.003
3.8008 20000 0.0028
3.8103 20050 0.0025
3.8198 20100 0.0021
3.8293 20150 0.0034
3.8388 20200 0.0038
3.8483 20250 0.0024
3.8578 20300 0.0035
3.8674 20350 0.0034
3.8769 20400 0.0029
3.8864 20450 0.0035
3.8959 20500 0.0025
3.9054 20550 0.0027
3.9149 20600 0.0031
3.9244 20650 0.0038
3.9339 20700 0.0036
3.9434 20750 0.0023
3.9529 20800 0.0027
3.9624 20850 0.0035
3.9719 20900 0.0022
3.9814 20950 0.0029
3.9909 21000 0.0025
4.0004 21050 0.0026
4.0099 21100 0.0017
4.0194 21150 0.002
4.0289 21200 0.0015
4.0384 21250 0.0018
4.0479 21300 0.0015
4.0574 21350 0.0019
4.0669 21400 0.0013
4.0764 21450 0.0015
4.0859 21500 0.0014
4.0954 21550 0.0014
4.1049 21600 0.0017
4.1144 21650 0.0013
4.1239 21700 0.0019
4.1334 21750 0.0018
4.1429 21800 0.001
4.1524 21850 0.0017
4.1619 21900 0.0018
4.1714 21950 0.0016
4.1809 22000 0.0019
4.1904 22050 0.0013
4.1999 22100 0.0014
4.2094 22150 0.0016
4.2189 22200 0.0021
4.2284 22250 0.0014
4.2379 22300 0.0011
4.2474 22350 0.0018
4.2569 22400 0.0017
4.2664 22450 0.0016
4.2759 22500 0.0014
4.2854 22550 0.0016
4.2949 22600 0.0021
4.3044 22650 0.0016
4.3139 22700 0.0016
4.3235 22750 0.0013
4.3330 22800 0.0015
4.3425 22850 0.0015
4.3520 22900 0.0019
4.3615 22950 0.0021
4.3710 23000 0.0019
4.3805 23050 0.0015
4.3900 23100 0.0015
4.3995 23150 0.0016
4.4090 23200 0.0021
4.4185 23250 0.0017
4.4280 23300 0.0014
4.4375 23350 0.0021
4.4470 23400 0.0015
4.4565 23450 0.0032
4.4660 23500 0.0016
4.4755 23550 0.0013
4.4850 23600 0.002
4.4945 23650 0.0019
4.5040 23700 0.0018
4.5135 23750 0.0018
4.5230 23800 0.0018
4.5325 23850 0.0015
4.5420 23900 0.0018
4.5515 23950 0.0018
4.5610 24000 0.0014
4.5705 24050 0.0015
4.5800 24100 0.0023
4.5895 24150 0.0021
4.5990 24200 0.002
4.6085 24250 0.0017
4.6180 24300 0.0023
4.6275 24350 0.0017
4.6370 24400 0.0012
4.6465 24450 0.0014
4.6560 24500 0.0014
4.6655 24550 0.0015
4.6750 24600 0.0012
4.6845 24650 0.0014
4.6940 24700 0.0014
4.7035 24750 0.0019
4.7130 24800 0.0021
4.7225 24850 0.0022
4.7320 24900 0.0013
4.7415 24950 0.002
4.7510 25000 0.0016
4.7605 25050 0.002
4.7700 25100 0.0013
4.7796 25150 0.0013
4.7891 25200 0.0015
4.7986 25250 0.0011
4.8081 25300 0.0017
4.8176 25350 0.002
4.8271 25400 0.0017
4.8366 25450 0.0013
4.8461 25500 0.0023
4.8556 25550 0.0018
4.8651 25600 0.0021
4.8746 25650 0.0017
4.8841 25700 0.0015
4.8936 25750 0.0015
4.9031 25800 0.0013
4.9126 25850 0.0016
4.9221 25900 0.0017
4.9316 25950 0.0012
4.9411 26000 0.0018
4.9506 26050 0.0013
4.9601 26100 0.0019
4.9696 26150 0.0017
4.9791 26200 0.0019
4.9886 26250 0.0019
4.9981 26300 0.0019

Framework Versions

  • Python: 3.10.13
  • Sentence Transformers: 3.0.1
  • Transformers: 4.41.2
  • PyTorch: 2.1.2
  • Accelerate: 0.30.1
  • Datasets: 2.19.2
  • Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

ContrastiveLoss

@inproceedings{hadsell2006dimensionality,
    author={Hadsell, R. and Chopra, S. and LeCun, Y.},
    booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)}, 
    title={Dimensionality Reduction by Learning an Invariant Mapping}, 
    year={2006},
    volume={2},
    number={},
    pages={1735-1742},
    doi={10.1109/CVPR.2006.100}
}
Downloads last month
10
Safetensors
Model size
568M params
Tensor type
F32
·
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for comet24082002/ft_bge_newLaw_ContrastiveLoss_SimSCE_V1_5epochs

Finetuned
(6)
this model