--- language: [] library_name: sentence-transformers tags: - sentence-transformers - sentence-similarity - feature-extraction - generated_from_trainer - dataset_size:96546 - loss:SoftmaxLoss base_model: HooshvareLab/bert-base-parsbert-uncased datasets: [] widget: - source_sentence: 'اسب‌های سنگین با اندامی عضلانی را چه می‌نامند؟' sentences: - خرطوم فیل‌ها حاصل اتصال بینی و لب بالایی است. این عضو، استخوان ندارد و دارای مقدار کمی چربی و حدود ۱۵۰۰۰۰ دسته ماهیچه‌ای است. یک یا دو لب انگشت در نوک آن وجود دارد. خرطوم این پستاندار تقریباً ۱٫۸ متر رشد می‌کند و وزنی حدود ۱۴۰ کیلوگرم دارد. این جانوران از خرطوم دراز خود به عنوان دست استفاده می‌کنند و با آن غذا و آب را در دهان خود می‌گذارند. فیل‌ها با استفاده از خرطوم خود می‌توانند حداکثر تا ۳۵۰کیلوگرم بار را برداشته و جابجا کنند. از دیگر کاربردهای خرطوم فیل‌ها احساس بویایی و همچنین تولید صدا است. - اسب‌های سنگین با اندامی عضلانی را به عنوان «اسب‌های خونسرد» می‌شناسند. آن‌ها را به دلیل توان ماهیچه‌ای و خوی آرام و صبورشان پرورش می‌دهند. مردم با کمک آن‌ها بارهای سنگین را جابجا می‌کردند. گاهی به این اسب‌های «غول‌های نجیب» هم گفته می‌شود. از جمله اسب‌های باری می‌توان به نژاد بلژیکی و کلایدزدیل اشاره کرد. برخی از این اسب‌ها مانند پرچرون سبک‌تر و چابک ترند و درکشیدن بار یا شخم زدن زمین در اقلیم خشک به کار می‌آیند. دیگران مانند شایر آرام‌تر و نیرومندترند و برای شخم زدن خاک‌های رسی کاربرد دارند. برخی اسبچهها هم در دستهٔ خونسردها جای می‌گیرند. - بدنهٔ اسکلتی یا خرپا (Truss) در هواپیماهای اولیه تا جنگ جهانی اول بسیار استفاده می‌شد. هم‌اکنون در هواپیماهای دست‌ساز و نیز هواپیماهای مدل از این نوع بدنه استفاده زیادی می‌شود چرا که ساده، سبک و مقاوم بوده و با تیرک‌های چوبی قابل ساخت هستند. در این نوع بدنه اغلب نیروها و تنش‌های وارده توسط سازه اصلی تحمل شده و از پوسته برای ایجاد شکل آیرودینامیکی به سازه استفاده می‌شود. سازهٔ اصلی از تیرک‌های طولی، تیرک‌های مورب، قاب‌های عرضی و کابل‌های نگهدارنده تشکیل شده‌است. برادران رایت که اولین هواپیماهای قابل کنترل را ساختند از این حالت در ساختار بدنهٔ هواپیماهایشان استفاده می‌کردند. pipeline_tag: sentence-similarity --- # SentenceTransformer based on HooshvareLab/bert-base-parsbert-uncased This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [HooshvareLab/bert-base-parsbert-uncased](https://huggingface.co/HooshvareLab/bert-base-parsbert-uncased). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more. ## Model Details ### Model Description - **Model Type:** Sentence Transformer - **Base model:** [HooshvareLab/bert-base-parsbert-uncased](https://huggingface.co/HooshvareLab/bert-base-parsbert-uncased) - **Maximum Sequence Length:** 512 tokens - **Output Dimensionality:** 768 tokens - **Similarity Function:** Cosine Similarity ### Model Sources - **Documentation:** [Sentence Transformers Documentation](https://sbert.net) - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers) - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers) ### Full Model Architecture ``` SentenceTransformer( (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True}) ) ``` ## Usage ### Direct Usage (Sentence Transformers) First install the Sentence Transformers library: ```bash pip install -U sentence-transformers ``` Then you can load this model and run inference. ```python from sentence_transformers import SentenceTransformer # Download from the 🤗 Hub model = SentenceTransformer("myrkur/sentence-transformer-parsbert-fa") # Run inference sentences = [ 'پرتغالی، در وطن اصلی خود، پرتغال، تقریباً توسط ۱۰ میلیون نفر جمعیت صحبت می\u200cشود. پرتغالی همچنین به عنوان زبان رسمی برزیل، بیش از ۲۰۰ میلیون نفر در آن کشور و همچنین کشورهای همسایه، در شرق پاراگوئه و در شمال اروگوئه، سخنگو دارد، که کمی بیش از نیمی از جمعیت آمریکای جنوبی را تشکیل می\u200cدهند؛ بنابراین پرتغالی پرسخنگوترین زبان رسمی رومی در یک کشور واحد است. این زبان در شش کشور آفریقایی زبان رسمی است (آنگولا، دماغه سبز، گینه بیسائو، موزامبیک، گینه استوایی و سائوتومه و پرنسیپ) و توسط ۳۰ میلیون نفر از ساکنان آن قاره به عنوان زبان نخست گویش می\u200cشود. در آسیا، پرتغالی با سایر زبان\u200cها در تیمور شرقی و ماکائو رسمی است، در حالی که بیشتر پرتغالی\u200cزبانان در آسیا - حدود ۴۰۰٫۰۰۰ نفر - به دلیل بازگشت مهاجرت ژاپنی\u200cهای برزیل ساکن ژاپن هستند. در آمریکای شمالی ۱٫۰۰۰٫۰۰۰ نفر به پرتغالی به عنوان زبان نخست خود صحبت می\u200cکنند. پرتغالی در اقیانوسیه به دلیل شمار سخنگویانش در تیمور شرقی، پس از فرانسوی، دومین زبان رومی است که بیش از همه گویش می\u200cشود. نزدیکترین خویشاوند آن، گالیسی، دارای وضعیت رسمی در جامعه خودمختار گالیسیا در اسپانیا، همراه با اسپانیایی است.', 'در حدود اواخر کدام قرن پیش از میلاد سکاهای کوچ\u200cنشین در مرزهای شرقی اشکانیان پیشروی کردند؟', 'عباس جدیدی که بود؟', ] embeddings = model.encode(sentences) print(embeddings.shape) # [3, 768] # Get the similarity scores for the embeddings similarities = model.similarity(embeddings, embeddings) print(similarities.shape) # [3, 3] ``` ## Training Details ### Training Dataset #### Unnamed Dataset * Size: 96,546 training samples * Columns: anchor, positive, and label * Approximate statistics based on the first 1000 samples: | | anchor | positive | label | |:--------|:-------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|:------------------------------------------------| | type | string | string | int | | details | | | | * Samples: | anchor | positive | label | |:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------|:---------------| | پاستل یک محیط نقاشی به شکل چوب است که از رنگدانه‌های پودری خالص و چسب تشکیل شده‌است. رنگدانه‌های مورد استفاده در پاستل همانهایی هستند که برای تولید همه محیط‌های هنری رنگی از جمله رنگ روغن استفاده می‌شود. چسب دارای رنگ خنثی و اشباع کم است. اثر رنگی پاستیل بیش از هر فرایند به رنگدانه‌های خشک طبیعی نزدیکتر است. از آنجا که سطح یک نقاشی پاستلی شکننده است و به راحتی لکه دار می‌شود، حفظ آن نیاز به اقدامات محافظتی مانند قاب‌بندی زیر شیشه دارد. همچنین ممکن است با ماده ثابت کننده اسپری شود. با این وجود، وقتی با رنگدانه‌های دائمی ساخته می‌شود و از آنها به درستی مراقبت می‌شود، ممکن است نقاشی پاستلی قرن‌ها بدون تغییر باقی بماند. پاستل‌ها، همان‌طور که نقاشی‌های ساخته شده با یک محیط مایع، در برابر ترک خوردگی و تغییر رنگ که در اثر تغییر در رنگ، تیرگی یا ابعاد محیط خشک می‌شود، حساس نیستند. | پاستل از چه چیزهایی تشکیل شده است؟ | 1 | | یک روش تغذیه و زندگی است که هدف آن حذف هر نوع محصول حیوانی چه در غذا و چه در مواد مصرفی است. مهم‌ترین دلایل گرایش به وگانیسم افراد، مسائل اخلاقی یا رعایت حقوق حیوانات، حفاظت محیط زیست، حفظ سلامتی، مسائل معنوی یا مذهبی است. بسیاری از افراد وگان با پرورش صنعتی حیوانات و آزمایش روی حیوانات مخالف هستند. از مهم‌ترین محصولات حیوانی که پاک گیاه‌خواران یا وگان‌ها از مصرف آن‌ها خودداری می‌کنند می‌توان به انواع گوشت (گوشت قرمز، مرغ، آبزیان، ماکیان و...)، لبنیات، تخم‌مرغ، عسل، ابریشم، چرم، خز، و... و نیز محصولاتی که در آن‌ها از فراورده‌های حیوانی (مانند ژله که از ژلاتین به‌دست می‌آید) استفاده شده‌است اشاره کرد. | گیاه‌خواری چه روشی است؟ | 1 | | اسب‌های سنگین با اندامی عضلانی را به عنوان «اسب‌های خونسرد» می‌شناسند. آن‌ها را به دلیل توان ماهیچه‌ای و خوی آرام و صبورشان پرورش می‌دهند. مردم با کمک آن‌ها بارهای سنگین را جابجا می‌کردند. گاهی به این اسب‌های «غول‌های نجیب» هم گفته می‌شود. از جمله اسب‌های باری می‌توان به نژاد بلژیکی و کلایدزدیل اشاره کرد. برخی از این اسب‌ها مانند پرچرون سبک‌تر و چابک ترند و درکشیدن بار یا شخم زدن زمین در اقلیم خشک به کار می‌آیند. دیگران مانند شایر آرام‌تر و نیرومندترند و برای شخم زدن خاک‌های رسی کاربرد دارند. برخی اسبچهها هم در دستهٔ خونسردها جای می‌گیرند. | اسب‌های سنگین با اندامی عضلانی را چه می‌نامند؟ | 1 | * Loss: [SoftmaxLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#softmaxloss) ### Evaluation Dataset #### Unnamed Dataset * Size: 11,990 evaluation samples * Columns: anchor, positive, and label * Approximate statistics based on the first 1000 samples: | | anchor | positive | label | |:--------|:-------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|:------------------------------------------------| | type | string | string | int | | details | | | | * Samples: | anchor | positive | label | |:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------|:---------------| | بدنهٔ اسکلتی یا خرپا (Truss) در هواپیماهای اولیه تا جنگ جهانی اول بسیار استفاده می‌شد. هم‌اکنون در هواپیماهای دست‌ساز و نیز هواپیماهای مدل از این نوع بدنه استفاده زیادی می‌شود چرا که ساده، سبک و مقاوم بوده و با تیرک‌های چوبی قابل ساخت هستند. در این نوع بدنه اغلب نیروها و تنش‌های وارده توسط سازه اصلی تحمل شده و از پوسته برای ایجاد شکل آیرودینامیکی به سازه استفاده می‌شود. سازهٔ اصلی از تیرک‌های طولی، تیرک‌های مورب، قاب‌های عرضی و کابل‌های نگهدارنده تشکیل شده‌است. برادران رایت که اولین هواپیماهای قابل کنترل را ساختند از این حالت در ساختار بدنهٔ هواپیماهایشان استفاده می‌کردند. | در چه انتخاباتی یک نامزد نیاز به بیست درصد آرا دارد تا انتخاب‌شدن وی تضمین شود؟ | 0 | | شاید بتوان گفت این موضوع بر می‌گردد به ریشه زبان بلوچی که برگرفته از زبان پهلوی اشکانی و ساسانی می‌باشد. از آنجا که زبان پهلوی با دگرگونی‌هایی به زبان فارسی نو (امروزی) تبدیل شده‌است ویکی از این دگرگونی‌ها حذف (گ) از برخی کلمات می‌باشد می‌توان اینگونه بیان کرد که حرف گ و برخی حروف غیر عربی در زبان بلوچی خالص باقی مانده اما در زبان فارسی امروز گ از برخی کلمات حذف شده و دگرگون شده‌است؛ یعنی زبان بلوچی، "گ " اوستا را که در پازند و فارسی به "های " غیر ملفوظ تبدیل شده، مانند زبان پهلوی به صور ت "گ " و گاهی همان "ک " نگهداشته است. مثال‌های دیگر از دگرگونی حروف زبان باستان در فارسی نو اما ثابت ماندن آن‌ها در کلمات بلوچی در زیر آمده‌است: | در چه سالی هگل برای ادامهٔ تحصیل به دبیرستان ایلوستره رفت؟ | 0 | | خرطوم فیل‌ها حاصل اتصال بینی و لب بالایی است. این عضو، استخوان ندارد و دارای مقدار کمی چربی و حدود ۱۵۰۰۰۰ دسته ماهیچه‌ای است. یک یا دو لب انگشت در نوک آن وجود دارد. خرطوم این پستاندار تقریباً ۱٫۸ متر رشد می‌کند و وزنی حدود ۱۴۰ کیلوگرم دارد. این جانوران از خرطوم دراز خود به عنوان دست استفاده می‌کنند و با آن غذا و آب را در دهان خود می‌گذارند. فیل‌ها با استفاده از خرطوم خود می‌توانند حداکثر تا ۳۵۰کیلوگرم بار را برداشته و جابجا کنند. از دیگر کاربردهای خرطوم فیل‌ها احساس بویایی و همچنین تولید صدا است. | فیل‌ها از خرطوم دراز خود به عنوان چه چیزی استفاده می‌کنند؟ | 1 | * Loss: [SoftmaxLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#softmaxloss) ### Training Hyperparameters #### Non-Default Hyperparameters - `per_device_train_batch_size`: 16 - `per_device_eval_batch_size`: 16 - `gradient_accumulation_steps`: 16 - `num_train_epochs`: 2 - `lr_scheduler_type`: cosine - `warmup_ratio`: 0.1 - `bf16`: True - `load_best_model_at_end`: True - `deepspeed`: False - `batch_sampler`: no_duplicates #### All Hyperparameters
Click to expand - `overwrite_output_dir`: False - `do_predict`: False - `prediction_loss_only`: True - `per_device_train_batch_size`: 16 - `per_device_eval_batch_size`: 16 - `per_gpu_train_batch_size`: None - `per_gpu_eval_batch_size`: None - `gradient_accumulation_steps`: 16 - `eval_accumulation_steps`: None - `learning_rate`: 5e-05 - `weight_decay`: 0.0 - `adam_beta1`: 0.9 - `adam_beta2`: 0.999 - `adam_epsilon`: 1e-08 - `max_grad_norm`: 1.0 - `num_train_epochs`: 2 - `max_steps`: -1 - `lr_scheduler_type`: cosine - `lr_scheduler_kwargs`: {} - `warmup_ratio`: 0.1 - `warmup_steps`: 0 - `log_level`: passive - `log_level_replica`: warning - `log_on_each_node`: True - `logging_nan_inf_filter`: True - `save_safetensors`: True - `save_on_each_node`: False - `save_only_model`: False - `no_cuda`: False - `use_cpu`: False - `use_mps_device`: False - `seed`: 42 - `data_seed`: None - `jit_mode_eval`: False - `use_ipex`: False - `bf16`: True - `fp16`: False - `fp16_opt_level`: O1 - `half_precision_backend`: auto - `bf16_full_eval`: False - `fp16_full_eval`: False - `tf32`: None - `local_rank`: 0 - `ddp_backend`: None - `tpu_num_cores`: None - `tpu_metrics_debug`: False - `debug`: [] - `dataloader_drop_last`: False - `dataloader_num_workers`: 0 - `dataloader_prefetch_factor`: None - `past_index`: -1 - `disable_tqdm`: False - `remove_unused_columns`: True - `label_names`: None - `load_best_model_at_end`: True - `ignore_data_skip`: False - `fsdp`: [] - `fsdp_min_num_params`: 0 - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} - `fsdp_transformer_layer_cls_to_wrap`: None - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True} - `deepspeed`: False - `label_smoothing_factor`: 0.0 - `optim`: adamw_torch - `optim_args`: None - `adafactor`: False - `group_by_length`: False - `length_column_name`: length - `ddp_find_unused_parameters`: None - `ddp_bucket_cap_mb`: None - `ddp_broadcast_buffers`: False - `dataloader_pin_memory`: True - `dataloader_persistent_workers`: False - `skip_memory_metrics`: True - `use_legacy_prediction_loop`: False - `push_to_hub`: False - `resume_from_checkpoint`: None - `hub_model_id`: None - `hub_strategy`: every_save - `hub_private_repo`: False - `hub_always_push`: False - `gradient_checkpointing`: False - `gradient_checkpointing_kwargs`: None - `include_inputs_for_metrics`: False - `fp16_backend`: auto - `push_to_hub_model_id`: None - `push_to_hub_organization`: None - `mp_parameters`: - `auto_find_batch_size`: False - `full_determinism`: False - `torchdynamo`: None - `ray_scope`: last - `ddp_timeout`: 1800 - `torch_compile`: False - `torch_compile_backend`: None - `torch_compile_mode`: None - `dispatch_batches`: None - `split_batches`: None - `include_tokens_per_second`: False - `include_num_input_tokens_seen`: False - `neftune_noise_alpha`: None - `optim_target_modules`: None - `batch_sampler`: no_duplicates - `multi_dataset_batch_sampler`: proportional
### Training Logs | Epoch | Step | Training Loss | loss | |:----------:|:-------:|:-------------:|:----------:| | 0.0265 | 20 | 0.7506 | - | | 0.0530 | 40 | 0.6701 | - | | 0.0530 | 20 | 0.5843 | - | | 0.1060 | 40 | 0.4591 | - | | 0.1591 | 60 | 0.3316 | - | | 0.2121 | 80 | 0.2856 | - | | 0.2651 | 100 | 0.2599 | - | | 0.3181 | 120 | 0.2478 | - | | 0.3712 | 140 | 0.214 | - | | 0.4242 | 160 | 0.1996 | - | | 0.4772 | 180 | 0.1929 | - | | 0.5302 | 200 | 0.193 | 0.1766 | | 0.5833 | 220 | 0.1798 | - | | 0.6363 | 240 | 0.1794 | - | | 0.6893 | 260 | 0.1735 | - | | 0.7423 | 280 | 0.1713 | - | | 0.7954 | 300 | 0.1547 | - | | 0.8484 | 320 | 0.1545 | - | | 0.9014 | 340 | 0.1577 | - | | 0.9544 | 360 | 0.1575 | - | | 1.0075 | 380 | 0.1431 | - | | 1.0605 | 400 | 0.1498 | 0.1489 | | 1.1135 | 420 | 0.1327 | - | | 1.1665 | 440 | 0.1223 | - | | 1.2196 | 460 | 0.1154 | - | | 1.2726 | 480 | 0.1059 | - | | 1.3256 | 500 | 0.1068 | - | | 1.3786 | 520 | 0.0959 | - | | 1.4316 | 540 | 0.0884 | - | | 1.4847 | 560 | 0.0896 | - | | 1.5377 | 580 | 0.0899 | - | | **1.5907** | **600** | **0.0814** | **0.1445** | | 1.6437 | 620 | 0.0877 | - | | 1.6968 | 640 | 0.0816 | - | | 1.7498 | 660 | 0.0846 | - | | 1.8028 | 680 | 0.0783 | - | | 1.8558 | 700 | 0.0787 | - | | 1.9089 | 720 | 0.0874 | - | | 1.9619 | 740 | 0.0883 | - | * The bold row denotes the saved checkpoint. ### Framework Versions - Python: 3.10.13 - Sentence Transformers: 3.0.1 - Transformers: 4.39.3 - PyTorch: 2.1.1+cu121 - Accelerate: 0.26.1 - Datasets: 2.19.2 - Tokenizers: 0.15.2 ## Citation ### BibTeX #### Sentence Transformers and SoftmaxLoss ```bibtex @inproceedings{reimers-2019-sentence-bert, title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", author = "Reimers, Nils and Gurevych, Iryna", booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", month = "11", year = "2019", publisher = "Association for Computational Linguistics", url = "https://arxiv.org/abs/1908.10084", } ```