masa-research/me5-small-preskripsi-embedding-pos-multineg

SentenceTransformer based on intfloat/multilingual-e5-small

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-small on the preskripsi-sentiment-analysis-dataset-for-embedding-ft dataset. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-small
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • preskripsi-sentiment-analysis-dataset-for-embedding-ft

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("masa-research/me5-small-preskripsi-embedding-pos-multineg")
# Run inference
sentences = [
    'Bambang Hermanto Serukan Ketertiban Pasca Insiden Penghadangan Kampanye Calon Bupati. RADARINDRAMAYU.ID - Kampanye politik di Kabupaten Indramayu mulai memanas setelah terjadi penghadangan oleh sekelompok orang terhadap calon Bupati Indramayu nomor urut 3, Nina Agustina, saat ia hendak berkampanye di Desa Tegal Taman, Kecamatan Sukra, beberapa waktu lalu.\\xa0\\n Kejadian tersebut tentunya telah memicu reaksi dari berbagai elemen masyarakat, yang khawatir akan stabilitas dan keamanan dalam pelaksanaan Pilkada 2024.\\n Sejumlah organisasi masyarakat dan tokoh lokal mengecam tindakan penghadangan tersebut, menilai bahwa hal itu bertentangan dengan semangat demokrasi.\\xa0\\n Mereka menekankan pentingnya kebebasan berpendapat dan berkampanye tanpa intimidasi.\\xa0\\n Situasi ini menunjukkan bahwa suhu politik di Indramayu mulai meningkat menjelang pemilihan, dan masyarakat diimbau untuk tetap tenang dan bijaksana.\\n Menanggapi situasi ini, Bambang Hermanto, calon Bupati Indramayu nomor urut 1, mengajak seluruh masyarakat untuk menjaga ketertiban dan keamanan selama proses Pilkada.\\xa0\\n Dalam pernyataan resmi di Instagram pribadinya, pada Sabtu, 2 November 2024, Bambang menegaskan,\\n "Saya Bambang Hermanto, calon bupati wong Dermayu nomor urut 1. Saya ingin mengimbau kepada seluruh lapisan masyarakat Indramayu untuk sama-sama menjaga kondusifitas lingkungan, jangan sampai kita terpecah belah,"\\n Jika terpecah belah, kata Bambang, nanti masyarakat Indramayu akan merasakan sendiri akibat dari perpecahan tersebut.\\xa0\\n Bambang menambahkan bahwa masyarakat Indramayu harus cerdas dalam memilih pemimpin yang mampu memberikan kenyamanan dan mengayomi.\\xa0\\n Ia percaya bahwa warga Indramayu sudah memiliki pemahaman yang baik tentang calon-calon mereka, dan berharap agar pemilihan berlangsung dengan damai.\\xa0\\n "Saya yakin dan percaya masyarakat Indramayu sudah pada cerdas semua, sudah punya pilihan siapa calon Bupatinya yang betul-betul bisa memimpin Indramayu lebih baik lagi," ujarnya.\\n Diharapkan semua pihak dapat saling bekerja sama dalam menjaga situasi tetap kondusif, demi terciptanya pemilihan yang adil dan demokratis.',
    'Seberapa kuat artikel ini mengandung sentimen negatif atau kritik yang dapat merugikan atau menciptakan persepsi buruk terhadap pilkada 2024?',
    'Seberapa kuat artikel ini mengandung sentimen positif, dukungan, atau manfaat yang dapat meningkatkan citra atau reputasi pilkada 2024?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

preskripsi-sentiment-analysis-dataset-for-embedding-ft

• Dataset: preskripsi-sentiment-analysis-dataset-for-embedding-ft
• Size: 46,095 training samples
• Columns: artikel, positive, negative_1, and negative_2
• Approximate statistics based on the first 1000 samples:

  	artikel	positive	negative_1	negative_2
  type	string	string	string	string
  details	min: 32 tokens mean: 439.08 tokens max: 512 tokens	min: 24 tokens mean: 28.16 tokens max: 78 tokens	min: 27 tokens mean: 31.16 tokens max: 81 tokens	min: 27 tokens mean: 31.16 tokens max: 81 tokens

• Samples:

  artikel	positive	negative_1	negative_2
  Apa Kabar Elkan Baggott Setelah Absen 10 Bulan dari Timnas Indonesia? Lagi Terapi Cedera Pergelangan Kaki dan Segera Comeback. Bola.com, Blackpool - Cedera pergelangan kaki Elkan Baggott hampir sembuh. Bek berusia 22 tahun itu segera kembali bermain untuk Blackpool FC di kasta ketiga Liga Inggris? Elkan Baggott telah absen membela Blackpool sejak Agustus 2024 akibat cedera pergelangan kaki yang membuatnya baru bermain empat kali pada musim ini. Penampilan terakhir Elkan Baggott di Blackpool terjadi pada 24 Agustus 2024, ketika bermain imbang 4-4 melawan Cambridge United dalam matchday ketiga League One 2024/2025. Elkan Baggott sedang menjalani peminjaman di Blackpool selama semusim dari Ipswich Town. Pemain kelahiran Bangkok, Thailand, itu diperkirakan akan kembali membela Blackpool kontra Liverpool U-21 dalam EFL Trophy 2024/2025 pada 7 November 2024. "Elkan Baggott menjalani sesi latihan pertamanya, jadi senang bisa melihatnya kembali bersama tim," ujar pelatih Blackpool, Stephen Dob...	Seberapa kuat artikel ini mengandung sentimen negatif atau kritik yang dapat merugikan atau menciptakan persepsi buruk terhadap timnas indonesia?	Seberapa kuat artikel ini mengandung sentimen positif, dukungan, atau manfaat yang dapat meningkatkan citra atau reputasi timnas indonesia?	Seberapa netral artikel ini? Apakah artikel ini hanya menyajikan fakta atau informasi tanpa memberikan opini atau emosi terhadap timnas indonesia?
  Di Balik Penangkapan Terduga Teroris di 3 Wilayah Jawa Timur dan NTB. KOMPAS.com- Detasemen Khusus (Densus) 88 Antiteror Mabes Polri menangkap sejumlah terduga teroris di Nusa Tenggara Barat dan Jawa Timur, beberapa hari terakhir. Mulanya penangkapan dilakukan terhadap MT di Bima, NTB pada 31 Mei 2023. Dari keterangan Mabes Polri, MT difasilitasi untuk berangkat ke Yaman dan bergabung dengan organisasi AQAP (cabang AlQaedah). Selanjutnya, berdasarkan pengembangan, Densus menangkap sejumlah terduga teroris lainnya. Pada Jumat (2/6/2023) pagi Densus menangkap ABU, terduga teroris di Jalan Kalimas Madya III Nyamplungan, Kecamatan Pabean Cantian, Surabaya, Jawa Timur. "Diamankan 07.30 WIB, setahu saya di rumahnya," kata Ketua RT M. Abri, Sabtu (3/6/2023). Setelah penangkapan tersebut dilakukan penggeledahan di rumah ABU. Abri yang turut serta dalam penggeledahan mengatakan polisi menyita sejumlah buku, busur, dan anak panah. "Iya ada panah. Ujungnya memang sangat tajam. Tapi tadi saya liha...	Seberapa kuat artikel ini mengandung sentimen negatif atau kritik yang dapat merugikan atau menciptakan persepsi buruk terhadap MT?	Seberapa kuat artikel ini mengandung sentimen positif, dukungan, atau manfaat yang dapat meningkatkan citra atau reputasi MT?	Seberapa netral artikel ini? Apakah artikel ini hanya menyajikan fakta atau informasi tanpa memberikan opini atau emosi terhadap MT?
  Dirjen Imigrasi Enggan Salahkan Siapapun Soal Peretasan: Sesama Bus Kota Enggak Boleh Saling Menyalip. JAKARTA, KOMPAS.com - Direktur Jenderal (Dirjen) Imigrasi Silmy Karim enggan menyalahkan siapa pun atas peristiwa gangguan sistem pelayanan imigrasi, yang terjadi karena peretasan Pusat Data Nasional (PDN). Menurutnya, ia tak berwenang untuk menilai kementerian/lembaga lain atas peristiwa peretasan yang terjadi. "Ya enggak mungkin saya gitu (menilai)," kata Silmy dalam konferensi pers di kawasan Jakarta Selatan, Jumat (28/6/2024). "Sudah lah, sesama bus kota enggak boleh saling menyalip," tambahnya. Ia menambahkan, hanya pakar di luar kementerian/lembaga yang berhak menilai atas peristiwa yang terjadi. Termasuk, siapa yang patut bertanggungjawab atas peristiwa ini. "Itu yang bisa ngomong kayak gitu pengamat, bisa lah. Saya enggak bisa," tegas Silmy. Sebelumnya, muncul petisi online untuk meminta Menkominfo Budi Arie Setiadi mundur karena dianggap tak bisa menyelesaikan PDN yang disera...	Seberapa kuat artikel ini mengandung sentimen negatif atau kritik yang dapat merugikan atau menciptakan persepsi buruk terhadap Budi Arie Setiadi?	Seberapa kuat artikel ini mengandung sentimen positif, dukungan, atau manfaat yang dapat meningkatkan citra atau reputasi Budi Arie Setiadi?	Seberapa netral artikel ini? Apakah artikel ini hanya menyajikan fakta atau informasi tanpa memberikan opini atau emosi terhadap Budi Arie Setiadi?

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 1
• warmup_ratio: 0.1
• push_to_hub: True
• hub_model_id: masa-research/me5-small-preskripsi-embedding-pos-multineg
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: True
• resume_from_checkpoint: None
• hub_model_id: masa-research/me5-small-preskripsi-embedding-pos-multineg
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss
0.1041	300	1.5302
0.2083	600	0.8311
0.3124	900	0.7495
0.4165	1200	1.1801
0.5207	1500	0.9683
0.6248	1800	0.8723
0.7289	2100	0.9991
0.8330	2400	0.4833
0.9372	2700	0.4694

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.3.1
• Transformers: 4.47.1
• PyTorch: 2.5.1+cu124
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}