metadata

base_model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
datasets: []
language: []
library_name: sentence-transformers
pipeline_tag: sentence-similarity
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:176856
  - loss:ContrastiveLoss
widget:
  - source_sentence: قاب زنجیر
    sentences:
      - قاب زنجیر هارلی
      - >-
        جارو شارژی عصایی g6 جارو شارژی اورجینال swivel sweeper g2 جارو شارژی
        سوئیول سوئیپر Swivel Sweeper G6 جارو شارژی G6 جارو شارژی جی 6 جارو شارژی
        Swivel Sweeper
      - >-
        Bitmain Antminer T17+ 64Th ASIC Miner دستگاه ماینر بیت مین Antminer T17+
        64Th
  - source_sentence: سنگ فرز
    sentences:
      - >-
        سنگ فرز آهنگری پوکا g1802 فرز آهنگری پوکا مدل Pukka G1802 سنگ فرز پوکا
        مدل G1802 فرز آهنگری 180 میلیمتری پوکا Pukka G1802 فرز آهنگری 2100 وات
        پوکا مدل PUKKA G1802 سنگ فرز اهنگری پوکا 1802 فرز آهنگری 2100 وات پوکا
        مدل Pukka G1802 فرز آهنگری کلید بغل 2100 وات پوکا مدل G1802 فرز آهنگری
        کلید بقل پوکا مدل G1802 سنگفرزG1802 فرز آهنگری 2100 وات پوکا مدل G1802
        سنگ فرز آهنگری 2100 وات پوکا مدل g1802 فرز آهنگری پوکا G1802 فرز آهنگری
        پوکا 2100 وات مدل G1802 Pukka G1802 Smithery Angle Grinder فرز آهنگری
        پوکا 2100 وات G1802 سنگ فرز پوکا Pukka مدل G1802 فرز آهنگری پوکا مدل
        G1802 سنگ فرز آهنگری پوکا مدل G1802 سنگ فرز آهنگری برقی 2100 وات پوکا
        مدل AG1802 فرز آهنگری مدل G1802 پوکا Pukka Angle Grinder G1802 سنگ فرز
        آهنگری پوکا G1802 فرزآهنگری پوکا مدل G1802
      - >-
        کیف مدرسه  کوله مدرسه  کوله دخترانه  کوله پسرانه  کیف دخترانه  کیف
        پسرانه  کیف مدرسه دخترانه  کوله مدرسه دخترانه »
      - >-
        توپ بسکتبال نایکی مدل Versa tack رنگ آبی سایز 7 توپ بسکتبال نایک سبز توپ
        بسکتبال بتا مدلVersa tackسایز7|زرد توپ بسکتبال لاستیکی بتا سایز7 –
        VERSA-TACK توپ بسکتبال نایک Nike Versa Tack Basketball Yellow توپ
        بسکتبال بتا مدل Versa tack سایز 7|قرمز توپ بسکتبال نایکی رنگ خاکستری
        مدلVersatackسایز7 توپ بسکتبال بتا مدل Versa tack سایز 7|آبی VERSA TACK7 
        Basketball  Ball توپ بسکتبال بتا مدل Versa tack سایز 7|سبز توپ بسکتبال
        پلاستیکی بتا مدل VERSA TACK7 توپ بسکتبال  نایکی مدل Versa tack رنگ زرد
        سایز 7 توپ بسکتبال لاستیکی نایک | nike مدل versa tack توپ بسکتبال نایک
        Nike Versa Tack Basketball Green توپ بسکتبال نایک Nike Versa Tack
        Basketball Blue توپ بسکتبال نایکی رنگ سبز مدلVersatackسایز7 توپ بسکتبال
        نایکی مدل VERSA TACK | اورجینال توپ بسکتبال بتا مدل Versa tack سایز
        7|خاکستری
  - source_sentence: چاقو کلمبیا
    sentences:
      - >-
        برنج هندی gtc برنج هندی جی تی سی مقدار 10 کیلوگرم برنج GTC هندی
        (10کلویی) برنج هندی  GTC. اصل باسماتی 1121. ( 10 کیلوگرمی) برنج هندی
        باسماتی GTC مقدار 10 کیلوگرم برنج هندی درجه یک GTC برنج هندی GTC برنج
        دانه بلند درجه یک هندی باسماتی با وزن 10 کیلوگرم برنج هندی gtc 10
        کیلوگرم
      - >-
        مودم روتر ADSL2 Plus بی سیم N300 تی پی-لینک مدلTD-8961N-V1 مودم تی پی
        لینکW8961N_V3گارانتی پارس ارتباط مودم روتر  بی‌سیم تی پی-لینک مدل 8961
        ورژن 4 گارانتی 3ساله مودم روتر ADSL2 Plus بی‌سیم N300 تی پی-لینک مدل
        TP-Link TD W8961N V1 مودم  ADSL2 Plus تی پی لینک مدل N300 TD-W8961N_V1
        مودم روتر ADSL2 Plus مدل TD-W8961N_V4 مودم روتر ADSL2 Plus تی پی-لینک
        مدل TD-W8961N_V6 مودم روتر +ADSL2 تی پی-لینک مدل TD-W8961N-V4 ورژن 4
        مودم تی پی لینک مدل 8961ورژن4 اورجینال با ارسال رایگان مودم روتر +ADSL2
        بی‌سیم N300 تی پی-لینک TD-W8961N_v4 مودم وای فای Tp-link 8961n ورژن ۴
        قیمت خرید TP-Link TD-W8961N  Wireless N  Modem Router مودم روتر ADSL2
        Plus بی‌سیم N300 تی پی-لینک مدلTD-W8961N_V4 ورژن4 مودم روتر بی‌سیم تی پی
        لینک مدل 8961 ورژن 4 مودم روتر تی پی-لینک ADSL2 Plus بی‌ سیم N300 مدل
        TD-W8961N_V1 مودم روتر ADSL2 وایرلس تی پی- لینک مدل TD-W8961N_Ver 4.0
        مودم و روتر تی پی لینک | مدل TD-W8961N ا TP-LINK TD-W8961N ADSL2 Plus
        Wireless N300 Modem Router مودم W8961N ورژن 4 TP-LINK TD-W8961N_V4.0
        ADSL2 Plus Wireless N300 Modem Router مودم روتر بی سیم سری TD-W8961N
        ADSL2 Plus ورژن ۴ مودم 8961 tp link نسل 4 فایل فلش مودم تی پی لینک
        TP-Link TD-W8961N V3 Tplink TD-w8961n مودم روتر ADSL2 Plus tp-link
        W8961N V1 تی پی لینک مودم روتر ADSL2 Plus بی‌سیم N300 تی پی-لینک مدل
        TD-W8961N_V4 مودم روتر ADSL2 Plus بی‌سیم N300 تی پی-لینک مدل TD-W8961N-V
        4 مودم روتر ADSL بی سیم تی پی لینک مدل TD-W8961N ورژن 4 با گارانتی مودم
        روتر ADSL2 Plus بی‌سیم تی پی-لینک مدل TD-W8961N_V1 مودم .TP-Link
        TD-W8961N مودم روتر بی‌سیم ای دی اس ال  تی پی-لینک مدل  TP-LINK ADSL
        TD-W8961 مودم روتر ADSL2 Plus بی‌سیم N300 تی پی-لینک مدل TD-W8961N V4
        مودم روتر ADSL2 Plus بی‌سیم N300 تی پی-لینک مدل TD-W8961N v4.0 EU مودم
        روتر TP-LINK TD8961N مودم تی پی لینک مدل TD-W8961N-V4 مودم روتر ADSL تی
        پی لینک مدل TD-W8961n TP-LINK TD-W8961N ADSL2 Plus Wireless N300 Modem
        Router مودم روتر ADSL2 Plus بی‌سیم N300 تی پی-لینک مدل TD-W8961N_V4.0
        مودم روتر تی پلینک td w8961n ورژن 4 مودم Tp-link TD-W8961N گارانتی 3ساله
        TP-LINK TD-W8961N_V1 ADSL2 Plus Wireless N300 Modem Router مودم روتر
        ADSL2 Plus بی‌سیم N300 تی پی لینک مدل TD_W8961N _Ver 4.0 300Mbps TP-LINK
        TD_W8961N _Ver 4.0 300Mbps Wireless N ADSL2+ Modem Router مودم روتر
        ADSL2 تی پی-لینک TD W8961N V4 گارانتی مودم تی پی لینک ۸۹۶۱ TD-W8961N
        مودم روتر +ADSL2 تی پی-لینک مودم روتر +ADSL2 بی‌سیم N300 تی پی لینک مدل
        TD-W8961N_V1 مودم روتر +ADSL2 تی پی-لینک مدل TD-W8961N مودم روتر ADSL2
        Plus بی‌سیم TP-Link مدل TD-W8961N کد 7433 مودم روتر tp-link مدل W8961N
        ورژن 4 رنگ سفید 2 آنتن مودم ADSL2+ تی پی-لینک مدل TD-W8961N گارانتی 3سال
        مودم تی پی لینک مدل TD W8961N V1 مودم تی پی لینک 8961n مودم روتر ADSL2
        Plus بی‌سیم N300 تی پی لینک مدل TD-W8961N_V1 مودم دوآنتن  tp-link 8961
        با 3 سال گارانتی مودم روتر تی پی لینک مدل TP-LINK TD-W8961N - TD-W8961N
        ADSL2 Plus Wireless N300 Modem Router مودم تی پی لینک 8961N ورژن 4 با
        گارانتی 12 ماهه مودم روتر بی‌سیم تی پی-لینک مدل TD-W8961N مودم روتر بی
        سیم ADSL2 Plus مدل TD-W8961N ورژن 4 TP-LINK TD-W8961N_V1 مودم و روتر بی
        سیم +ADSL2 تی پی لینک مدل TP-Link TD-W8961N (Ver 4.0) مودم روتر ADSL تی
        پی لینک مدل W8961N V4 (ضمانت 3 سال پارس ارتباط) مودم ADSL تی پی لینک مدل
        8961N (گارانتی یکساله ایویز) TP-LINK TD_W8961N _Ver 4.0 300Mbps Wireless
        N ADSL2+ Modem Router مودم مودم روتر ADSL2 Plus بی‌سیم N300 تی پی-لینک
        مدل TPLink TD-W8961N_V1 در بروزکالا مودم روتر ADSL2 Plus بی‌سیم N300 تی
        پی-لینک مدل TD-W8961N_V1 مودم روتر tp-link W8961N مودم روتر تی پی لینک
        مدل TD-W8961N مودم تی پی لینک 8961 (سه سال گارانتی پارس ارتباط) مودم
        روتر +ADSL2 تی پی-لینک مدل TD-W8961N_V4|پارس تک مودم روتر  TP-LINK
        TD-W8961N V1 ADSL2 Plus Wireless N300 Modem RouterD W8961N V1 مودم روتر
        ADSL 2+ تی پی لینک مدل – tp-link TD-W8961N مودم ADSL تی پی-لینک N300 مدل
        TD-W8961N_V1 مودم روتر ADSL2 Plus بی‌سیم تی پی-لینک مدل TD-W8961N_V4
        مودم روتر تی پی لینک 8961 | TP-LINK TD-W8961N ADSL2 Plus Wireless N300
        Modem Router TP-LINK TD-W8961N_V4 مودم روتر +ADSL2 تی پی لینک مدل
        TD-W8961N_V4 مودم روتر ADSL2 Plus بی‌سیم N300 تی پی لینک مدل TD W8961N
        V1 مودم روتر ADSL2 Plus بی‌سیم N300 تی پی-لینک مدل TD-W8961N_V1 شرکتی
        ADSL2 Plus Wireless N300 Router Modem TP-Link Model TD-W8961N_V1 مودم
        روتر بی‌سیم تی پی لینک مدل W8961N-V4 (آخرین ورژن) مودم روتر ADSL2 Plus
        بی‌سیم N300 تی پی-لینک مدل Modem Router TP-LINK TD-W8961N_V1 مودم روتر
        ADSL2 Plus بی‌سیم N300 تی پی-لینک مدل TD-W8961N_V1 سه سال گارانتی
        TP-Link TD-W8961N V3 Modem: TP-Link TD-W8961N مودم روتر ADSL2 Plus
        بی‌سیم N300 تی پی-لینک مدل TP-LINK TD-W8961N_V1 TP-LINK TD-W8961N  Ver
        4.0 EU مودم تی پی لینک 8961 سه سال گارانتی مودم روتر تی پی لینک مدل
        TP-LINK TD-W8961N – V4.0 TD-W8961N ADSL2 Plus Wireless مودم روتر ADSL2
        Plus بی‌سیم N300 تی پی-لینک مدل TD-W8961N_V1 گارانتی پارس ارتباط مودم
        روتر +ADSL2 تی پی-لینک مدل TD-W8961N_V4 مودم روتر ADSL2 Plus بی‌سیم N300
        تی پی-لینک مدل TD-W8961N ورژن 4.0 روتر مودم TP-Link مدل W8961N V4 مودم
        تی پی لینک مدل TD-W8961N ورژن 4 Modem wireless router ADSLTP-link model
        TD-W8961 TP-LINK TD-W8961N_V4 ADSL2 Plus Wireless N300 Modem Router مودم
        روتر ADSL2Plusبی سیمN300تی پی-لینک مدلTD-W8961N_V3 قیمت ویژه مودم ADSL2
        Plus بی‌سیم N300 تی پی-لینک مدل TD-W8961N_V4 مودم روتر ADSL2 Plus بی سیم
        N300 تی پی لینک مدل 8961 ورژن4 مودم روتر ADSL2 Plus بی سیم N300 تی
        پی-لینک مدل TD-W8961N_V1 TD-W8961N ADSL2+ Wireless N300 Modem Router
        مودم روتر ADSL2 Plus بی‌سیم N300 تی پی-لینک مدل TD-W8961N_V1 - گارانتی ۳
        ساله مودم روتر ADSL2 Plus بی‌سیم N300 تی پی لینک TP-LINK TD-W8961N مودم
        روتر ADSL2 Plus بی‌سیم N300 تی پی-لینک مدل TD-W8961N_V1 گارانتی دارد
        مودم Adsl Tplink 8961 v.4 TP-LINK TD-W8961N 300Mbps Wireless N ADSL2+
        Modem Router Ver 4.0 مودم_TP_LINK_8961 مودم روتر تی پی لینک TPLINK ADSL2
        Plus بی سیم N300 مدل TD-W8961N ورژن 4 با یک سال گارانتی شرکتی مودم
        TP-LINK TD-W8961N_V4 پک 10 عددی،هزینه ارسال محاسبه شده است مودم روتر
        بیسیم تی پی لینک TD-W8961N ورژن4 مودم روتر تی پی لینک TPLINK ADSL2 Plus
        بی سیم N300 مدل TD-W8961N ورژن 4 بدون گارانتی مودم روتر  تی پی لینک مدل
        TD-W8961NTP-LINK  ورژن 4   ارسال رایگان مودم روتر ADSL2 Plus بی‌سیم N300
        تی پی لینک مدل TD-W8961N V4 مودم tplink adsl 8961 v.4 Modem TP-Link
        TD-8961N | مودم روتر بی سیم ای دی اس ال تی پی لینک مودم روتر تی پی لینک
        مدل +TP-LINK TD_W8961N _Ver 4.0 300Mbps Wireless N ADSL2 مودم تی پی لینک
        TP-LINK W8961N VER:4.0 مودم روتر +ADSL2 بی‌سیم N300 تی پی لینک مدل
        TD-W8961N-V1 مودم روتر +ADSL2 تی پی-لینک مدل TD-W8961N V4 مودم روتر
        بی‌سیم ADSL2 Plus تی پی-لینک مدل W8961N /سه سال گارانتی مودم adsl 8961
        ورژن 4 tp link 8961 modem مودم روتر +ADSL2 بی سیم تی پی لینک TD-W8961N
        V1 مودم دو انتن TPlink 8961 مودم روتر وایرلس تی پی لینک مدل TD-W8961N
        مودم روتر +ADSL۲ و بی‌سیم تی پی-لینک ورژن 4-مدل TD-W۸۹۶۱N مودم روتر
        ADSL2 Plus تی پی-لینک TD-W8961N_V1 مودم روتر ADSL  تی پی لینک مدل W8961N
        V4 مودم روتر ADSL2 Plus بی سیم N300 مدل TD-W8961N مودم روتر TP-Link مدل
        TD-W8961N ورژن 4.0 مودم ADSL2 Plus تی پی-لینک ورژن TD-W8961N Version 4
        مودم روتر ADSL2 Plus بی‌سیم N300 تی‌پی لینک مدل TD-W8961N_V1 مودم روتر
        +ADSL2 بیسیم 300Mbps تی پی لینک مدل TD-W8961N مودم TP-LINK TD-W8961N_V4
        پک 5 عددی،هزینه ارسال محاسبه شده است مودم تی پی لینک  مدل 8961nوایرلس دو
        آنتن چهار پورت ورژن 4 مودم روتر ADSL2 Plus بی‌سیم N300 تی پی-لینک مدل
        TD-W8961Nورژن 4 مودم  ADSL TP-link TD-W8961N-V4 مودم روتر تی پی لینک مدل
        8961 مودم روتر ADSL2 plus بی سیم N300 تی پی - لینک مدل TD-W8961N-V1 مودم
        آکبند TP-LINK 8961با 3 سال گارانتی مودم تی پی لینک تی دی دبلیو 8961  ان
        مودم روتر tp-link مدل TD-W8961N TP-LINK TD-W8961N (EU) Ver 4.0 مودم
        روتر  ADSL2 تی پی لینک (TP LINK) مدل TD- W8961N -V4 مودم روتر تی پی لینک
        مدل TP-LINK TD-W8961N V4 مودم روتر ADSL2 Plus   N300 تی پی لینک 8961N
        ورژن4 مودم TP Link TD W8961N مودم روتر ADSL2 plus تی پی-لینک مدل
        TD-W8961NV4 مودم روتر تی پی لینک مدل TD-W8961N_V1 مودم تی پی-لینک TD
        W8961N V1
      - چاقو سفری کلمبیا
  - source_sentence: مت یوگا
    sentences:
      - >-
        ونس دخترانه  ونس زنانه  کتوني طبي کتوني زنانه  کتاني کفش زنانه  کفش
        اسپرت   کفش طبي   اسپرت بندي   ونس بندي  ونس ... ونس دخترانه  ونس زنانه 
        کتونی طبی کتونی زنانه  کتانی کفش زنانه  کفش اسپرت   کفش طبی   اسپرت
        بندی   ونس بندی  ونس اسپرت
      - >-
        زیرانداز یوگا شش میل ، مت ورزشی شیش میل ، مت یوگا ضخامت 6 میلی متر سبز
        Six-mile yoga mat, six-mile sports mat زیرانداز یوگا شش میل ، مت ورزشی
        شیش میل ، مت یوگا ضخامت 6 میلی متر مشکی زیرانداز یوگا شش میل ، مت ورزشی
        شیش میل ، مت یوگا ضخامت 6 میلی متر بنفش زیرانداز یوگا شش میل ، مت ورزشی
        شیش میل ، مت یوگا ضخامت 6 میلی متر زیرانداز یوگا شش میل ، مت ورزشی شیش
        میل ، مت یوگا ضخامت 6 میلی متر زرشکی زیرانداز یوگا شش میل ، مت ورزشی شیش
        میل ، مت یوگا ضخامت 6 میلی متر آبی
      - >-
        شکر پاش پاشاباغچه 80078 شکرپاش پاشاباغچه کد 80078 Pasabahce 80078 Sugar
        Shaker شکرپاش پاشاباغچه
  - source_sentence: سپر جلو 405
    sentences:
      - مانع پرش 40 سانتی مانع تمرین پرش مدل S217
      - >-
        سرویس قاشق و چنگال ۲۴ پارچه ایکیا سرویس قاشق چنگال IKEA مدل FORNUFT
        سرویس قاشق چنگال 6 نفره FORNUFT ایکیا سرویس قاشق و چنگال ایکیا FORNUFT
        سرویس قاشق و چنگال ایکیا 24 پارچه مدل FORNUFT سرویس قاشق چنگال و کارد 24
        پارچه ایکیا FORNUFT
      - سپر جلو 405

SentenceTransformer based on sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a sentence-transformers model finetuned from sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
Maximum Sequence Length: 128 tokens
Output Dimensionality: 384 tokens
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("DashReza7/sentence-transformers_paraphrase-multilingual-MiniLM-L12-v2_FINETUNED_on_torob_data")
# Run inference
sentences = [
    'سپر جلو 405',
    'سپر جلو 405',
    'سرویس قاشق و چنگال ۲۴ پارچه ایکیا سرویس قاشق چنگال IKEA مدل FORNUFT سرویس قاشق چنگال 6 نفره FORNUFT ایکیا سرویس قاشق و چنگال ایکیا FORNUFT سرویس قاشق و چنگال ایکیا 24 پارچه مدل FORNUFT سرویس قاشق چنگال و کارد 24 پارچه ایکیا FORNUFT',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 64
per_device_eval_batch_size: 64
learning_rate: 2e-05
num_train_epochs: 1
warmup_ratio: 0.1
fp16: True

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 64
per_device_eval_batch_size: 64
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 1
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
batch_sampler: batch_sampler
multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss
0.1809	500	0.0271
0.3618	1000	0.0172
0.5427	1500	0.0152
0.7236	2000	0.0141
0.9045	2500	0.0133

Framework Versions

Python: 3.10.12
Sentence Transformers: 3.0.1
Transformers: 4.42.4
PyTorch: 2.4.0+cu121
Accelerate: 0.32.1
Datasets: 2.21.0
Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

ContrastiveLoss

@inproceedings{hadsell2006dimensionality,
    author={Hadsell, R. and Chopra, S. and LeCun, Y.},
    booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)}, 
    title={Dimensionality Reduction by Learning an Invariant Mapping}, 
    year={2006},
    volume={2},
    number={},
    pages={1735-1742},
    doi={10.1109/CVPR.2006.100}
}