SentenceTransformer based on intfloat/multilingual-e5-small

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-small. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: intfloat/multilingual-e5-small
Maximum Sequence Length: 512 tokens
Output Dimensionality: 384 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("masa-research/me5-small-preskripsi-binary-sentimen-20250121_193801")
# Run inference
sentences = [
    'query: Is this Indonesian news article positively impact the Qatar Financial Centre (QFC)?',
    'passage: Qatar Luncurkan Kerangka Aturan Aset Digital 2024. Liputan6.com, Jakarta Qatar mengambil langkah berani menuju masa depan keuangan dengan peluncuran Kerangka Aset Digital QFC 2024. Otoritas Pusat Keuangan dan Otoritas Regulasi Pusat Keuangan Qatar mengembangkan kerangka kerja tersebut, yang bertujuan untuk mengubah cara aset digital dikelola di negara tersebut. Dilansir dari Coinmarketcap , Rabu (4/9/2024), kerangka ini menetapkan landasan hukum, yang secara resmi mengatur aktivitas seperti tokenisasi, kepemilikan token digital, dan pertukarannya. Kerangka kerja ini juga mengakui kontrak pintar. Tujuan utama ini adalah untuk menciptakan ruang yang aman untuk transaksi digital. Hal ini dilakukan untuk memastikan dunia digitalnya aman dan memenuhi standar global. Sheikh Bandar bin Mohammed bin Saoud Al Thani, Gubernur Bank Sentral Qatar, melihat kerangka kerja ini sebagai hal yang penting. Ini adalah bagian dari rencana Qatar yang lebih luas untuk mengubah sektor keuangannya. Namun, ini bukan sekadar membuat aturan; ini tentang membuka pintu peluang baru dan mendorong transformasi digital Qatar ke depan. Pembuatan Kerangka Kerja Aset Digital QFC membutuhkan banyak waktu dan sumber daya. Butuh banyak diskusi dan masukan dari kelompok penasihat yang mencakup 37 organisasi dari berbagai bidang, seperti keuangan, teknologi, dan hukum. Idenya adalah untuk memastikan kerangka kerja tersebut bukan sekadar seperangkat aturan, tetapi sesuatu yang sesuai untuk semua pihak yang terlibat.Salah satu bagian menonjol dari inisiatif ini adalah Lab Aset Digital QFC, yang dimulai pada Oktober 2023. Lebih dari 20 perusahaan rintisan dan perusahaan teknologi finansial telah bergabung untuk menguji dan meluncurkan produk dan layanan aset digital mereka. Ini bukan sekadar tentang regulasi, ini tentang mendorong inovasi dan menjadikan Qatar sebagai pusat . Disclaimer: Setiap keputusan investasi ada di tangan pembaca. Pelajari dan analisis sebelum membeli dan menjual Kripto. Liputan6.com tidak bertanggung jawab atas keuntungan dan kerugian yang timbul dari keputusan investasi. Harga Bitcoin dan kripto teratas lainnya terpantau alami pergerakan yang seragam pada Rabu (4/9/2024). Mayoritas kripto jajaran teratas terpantau masih berada di zona merah. Berdasarkan data dari Coinmarketcap, kripto dengan kapitalisasi pasar terbesar, Bitcoin (BTC) kembali melemah. Bitcoin terkoreksi 2,49 persen dalam 24 jam dan 3,33 persen sepekan. Saat ini, harga Bitcoin berada di level USD 57.679 per koin atau setara Rp 897,2 juta (asumsi kurs Rp 15.556 per dolar AS). Ethereum (ETH) kembali melemah. ETH terkoreksi 3,61 persen sehari terakhir dan 0,86 persen sepekan. Dengan begitu, saat ini ETH berada di level Rp 38,02 juta per koin. Kripto selanjutnya, Binance coin (BNB) kembali melemah. Dalam 24 jam terakhir BNB terkoreksi 1,18 persen dan 2,87 persen sepekan. Hal itu membuat BNB dibanderol dengan harga Rp 8,10 juta per koin. Kemudian Cardano (ADA) kembali berada di zona merah. ADA merosot 4,59 persen dalam 24 jam terakhir dan 8,64 persen sepekan. Dengan begitu, ADA berada pada level Rp 4.984 per koin. Adapun Solana (SOL) juga melemah. SOL turun 5,06 persen dalam sehari dan 13,15 persen sepekan. Saat ini, harga SOL berada di level Rp 1,99 juta per koin. XRP terpantau kembali berada di zona merah. XRP merosot 1,33 persen dalam 24 jam dan 1,59 persen sepekan. Dengan begitu, XRP kini dibanderol seharga Rp 8.713 per koin. Koin Meme Dogecoin (DOGE) Koin Meme Dogecoin (DOGE) masih melemah. Dalam satu hari terakhir DOGE ambles 2,12 persen dan 2,25 persen sepekan. Ini membuat DOGE diperdagangkan di level Rp 1.510 per token. Stablecoin Tether (USDT) dan USD coin (USDC), pada hari ini sama-sama menguat 0,01 persen. Hal tersebut membuat harga keduanya masih bertahan di level USD 1,00 Sedangkan Binance USD (BUSD) menguat 0,01 persen dalam 24 jam terakhir, membuat harganya masih berada di level USD 1,00. Adapun untuk keseluruhan kapitalisasi pasar kripto hari ini berada di level USD 2,02 triliun atau setara Rp 31.424 triliun, melemah sekitar 2,63 persen dalam sehari terakhir',
    'passage: Wujudkan Rumah Ramah Lingkungan dengan Kemudahan dari KPR BRI Green Financing. TRIBUN-PAPUA.COM - Di kalangan millennial dan Gen Z, kesadaran akan pentingnya pembangunan berkelanjutan terus menguat, terutama di tengah tantangan krisis iklim. Hari ini pelaku properti diharapkan bisa jadi bagian dari upaya pelestarian lingkungan.\\xa0 Menjawab tantangan zaman tersebut, BRI hadir dengan KPR BRI Green Financing, buah gagasan BRI untuk mendorong pembangunan properti hijau di Indonesia. Dari program ini, BRI dan para nasabahnya dapat memberi sumbangsih dalam upaya global menciptakan masa depan berkelanjutan bagi generasi mendatang. Tak hanya sebagai solusi finansial bagi calon pembeli rumah, KPR BRI Green Financing juga merupakan dukungan terhadap tren properti hijau dan pelestarian lingkungan. Dengan skema pembiayaan yang fokus pada properti ramah lingkungan, program ini tak hanya menguntungkan calon pembeli, tetapi juga membuka peluang pengembang yang ingin membangun properti yang lebih berkelanjutan.\\xa0 Keuntungan program tak berhenti di situ. KPR Green Financing menawarkan suku bunga kompetitif, bebas biaya administrasi, dan uang muka (DP) ringan. Tambah lagi, BRI bekerja sama dengan pengembang rekanan yang telah memiliki sertifikasi hijau (Green Certification).\\xa0 Selaras dengan prinsip hijaunya, BRI bermitra dengan pengembang properti yang sudah terang komitmennya dalam membangun hunian ramah lingkungan. BRI juga menyediakan pendanaan untuk proyek-proyek properti hijau yang sudah memenuhi standar keberlanjutan. Inisiatif bank plat merah ini selaras dengan kebijakan pemerintah terkait pengembangan properti hijau, seperti program subsidi dan insentif. Direktur Bisnis Konsumer BRI, Handayani mengatakan KPR Green Financing adalah wujud dukungan terhadap pencapaian Sustainable Development Goals (SDG) dan kepedulian terhadap pemeliharaan lingkungan, khususnya terkait energi terbarukan.\\xa0 Bagi Handayani, pembiayaan hijau seperti KPR Green Financing akan makin dibutuhkan di masa depan, seiring dengan tuntutan keberlanjutan lingkungan di berbagai sektor, termasuk keuangan. "BRI memiliki komitmen untuk mengakselerasi ekonomi hijau melalui sustainable business financing. Meski saat ini sudah banyak produk keuangan yang mengedepankan keberlanjutan, namun masih terdapat banyak ruang untuk peningkatan,” jelas Handayani. Untuk mensosialisasikan program ini, BRI menyelenggarakan seminar, workshop, dan edukasi publik tentang properti hijau dan manfaatnya. BRI juga menyediakan informasi dan panduan bagi nasabah yang tertarik membeli properti ramah lingkungan. Mewujudkan impian rumah\\xa0ramah\\xa0lingkungan\\xa0 Para nasabah KPR Green Financing dapat menikmati rumah\\xa0ramah\\xa0lingkungan yang dirancang dengan memperhatikan aspek-aspek keberlanjutan seperti pemakaian energi yang efisien, penghematan air, dan penggunaan material ramah lingkungan. Mendiami rumah\\xa0ramah\\xa0lingkungan bukan cuma wujud kontribusi dalam kelestarian lingkungan, nasabah juga bisa meningkatkan kualitas hidup dengan tinggal di rumah yang minim emisi karbon dan efisien dalam penggunaan energi.\\xa0 Di luar keunggulan itu, terdapat manfaat lain seperti peningkatan nilai investasi properti, lantaran properti ramah lingkungan umumnya memiliki nilai investasi yang lebih tinggi dibandingkan dengan properti biasa. Hal ini diamini Handayani, yang menyampaikan bahwa BRI berupaya memberikan edukasi kepada masyarakat agar lebih memahami KPR Green Financing dan beragam benefit yang didapatkan.\\xa0 "Kami selalu sampaikan campaign mengenai betapa baiknya tinggal di lingkungan perumahan ramah lingkungan, karena itu menghemat kebutuhan energi, listrik, yang tentu dengan menggunakan alam lebih baik,” ujarnya., "Ke depan anak-anak yang membutuhkan rumah saat ini adalah milenial dan Gen Z yang pro ESG (environmental, social, and governance), ini menjadi bagian dari investasi dan sudah menjadi property investment yang menarik untuk bertumbuh di kemudian hari,” tambah Handayani., Sepak terjang BRI dorong properti hijau, Geliat BRI mewarnai kancah properti hijau di Indonesia menunjukkan bahwa komitmen hijaunya bukan basa-basi. Pada tahun 2023, BRI memperkenalkan program KPR Green Financing dengan suku bunga mulai dari 1,27 persen fixed (tetap)., Tahun berikutnya, BRI meluncurkan program Khusus KPR Green Financing dengan suku bunga mulai dari 3,25 persen sampai dengan 4,65 persen untuk lima tahun pertama. Kemudian, BRI menjalin rekanan dengan pengembang PT Agung Podomoro Land Tbk dan PT Lippo Karawaci Tbk untuk menawarkan program KPR Green Financing tanpa DP., Ditambah lagi, BRI aktif dalam Green Finance Network Indonesia (GFNI) dan Indonesia Green Building Council (IGBC) untuk mendorong pengembangan properti hijau di Indonesia., Bermacam keunggulan KPR BRI Green Financing, BRI menawarkan insentif menarik bagi nasabah KPR Green Financing atau KPR Hijau. Penawaran menarik tersebut meliputi suku bunga dan uang muka yang ringan hingga akses rumah ramah lingkungan., Suku bunga KPR Green Financing lebih rendah dibandingkan KPR reguler. Saat ini, BRI menawarkan suku bunga KPR Green Financing mulai dari 3,25 persen fixed (tetap). Promo ini berlaku hingga 30 Juni 2024., BRI juga memberikan kemudahan uang muka ringan untuk KPR Green Financing. Bahkan, beberapa pengembang rekanan BRI menawarkan program KPR Green Financing tanpa DP., Tertarik untuk memiliki hunian ramah lingkungan? Untuk info lebih lanjut, kunjungi website berikut ini.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Semantic Similarity

Dataset: cosine_similarity_eval
Evaluated with EmbeddingSimilarityEvaluator

Metric	Value
pearson_cosine	0.6879
spearman_cosine	0.5337

Training Details

Training Dataset

Unnamed Dataset

Size: 16,345 training samples
Columns: sentence_0, sentence_1, and label
Approximate statistics based on the first 1000 samples:
sentence_0 sentence_1 label
type string string int
details
min: 17 tokens
mean: 22.73 tokens
max: 42 tokens

min: 28 tokens
mean: 429.41 tokens
max: 512 tokens

-1: ~38.20%
1: ~61.80%

	sentence_0	sentence_1	label
type	string	string	int
details	min: 17 tokens mean: 22.73 tokens max: 42 tokens	min: 28 tokens mean: 429.41 tokens max: 512 tokens	-1: ~38.20% 1: ~61.80%

Samples:

sentence_0	sentence_1	label
`query: Is this Indonesian news article positively impact the Kementerian Keuangan?`	passage: Jalan Tol Kediri-Tulungagung Segera Dibangun, Nilai Investasi Rp 9,92 Triliun. JALAN TOL - JAKARTA. Kementerian Pekerjaan Umum dan Perumahan Rakyat (PUPR) bersama dengan PT Gudang Garam (Tbk), Pemerintah Provinsi Jawa Timur, dan PT Penjaminan Infrastruktur Indonesia (PII) segera membangun Jalan Tol Kediri – Tulungagung sepanjang 44,17 km. Pembangunan jalan tol ini merupakan salah satu proyek Kerjasama Pemerintah dengan Badan Usaha (KPBU) atas prakarsa badan usaha (unsolicited). Pelaksanaan proyek ini ditandai dengan penandatanganan Perjanjian Pengusahaan Jalan Tol (PPJT), perjanjian regres dan perjanjian penjaminan Jalan Tol Kediri – Tulungagung. Menteri PUPR Basuki Hadimuljono menyampaikan terima kasih kepada PT Gudang Garam (Tbk) yang telah merencanakan pembangunan jalan tol Kediri – Tulungagung. "Ini adalah keputusan bisnis yang sangat strategis karena akan menghubungkan Tol Trans Jawa yang telah beroperasi dengan Jalur Pansela (Pantai Selatan),” ujar Basuki, Selasa (27/2)....	`1`
`query: Is this Indonesian news article positively impact the Menteri Hukum dan Hak Asasi Manusia Republik Indonesia Yasonna H Laoly?`	passage: RI Dorong Pencurian Ikan Masuk Kejahatan Terorganisasi. RI Dorong Pencurian Ikan Masuk Kejahatan Terorganisasi NEGARA-NEGARA Asia-Afri-ka tergabung dalam Asian-African Legal Consultative Organization (AALCO) akan menggelar forum tahunan (Annual Session) ke-61 di Bali pada 16-20 Oktober 2023. Beberapa agenda pembahasan utama pada forum tersebut antara lain isu-isu terkait dengan pelanggaran hukum internasional di Palestina, isu lingkungan dan pembangunan berkelanjutan, hukum dagang dan investasi internasional, pemulihan aset hasil tindak pidana, serta hukum laut yang mencakup pula isu illegal fishing atau pencurian ikan/hasil laut. Menteri Hukum dan Hak Asasi Manusia Ri Yasonna H Laoly mengatakan Indonesia mengajukan catatan konsep unruk mengategorikan illegal fishing sebagai transnational organized crime (TOO atau kejahatan terorganisasi lintas negara. Selama ini. isu illegal fishing dipandang sebagai masalah administratif dan bukan masalah hukum. Dampak finansial pencurian ha...	`1`
`query: Is this Indonesian news article positively impact the Kementerian Pendidikan Kebudayaan Riset dan Teknologi (Kemendikbudristek)?`	passage: BPMP Papua Barat gelar diskusi wujudkan PPDB akuntabel. Manokwari (ANTARA) - Badan Penjamin Mutu Pendidikan (BPMP) Provinsi Papua Barat menggelar fokus grup diskusi guna mewujudkan Penerimaan Peserta Didik Baru (PPDB) tahun ajaran 2024/2025 di Kabupaten Manokwari yang objektif, transparan, akuntabel, dan tanpa diskriminasi. Kepala Bagian Umum BPMP Papua Barat Yustus Awoitauw di Manokwari, Selasa, mengatakan penyelenggaraan PPDB yang sesuai dengan ekspektasi memerlukan komitmen pemerintah daerah melalui instansi teknis, seluruh satuan pendidikan, dan komite sekolah. "Sebab PPDB tahun-tahun sebelumnya kerap menimbulkan permasalahan, sehingga perlu ada komitmen bersama," kata dia. Menurut dia, BPMP sebagai Unit Pelaksana Teknis Kementerian Pendidikan Kebudayaan Riset dan Teknologi (Kemendikbudristek) senantiasa mendorong pemerintah daerah untuk menerapkan pedoman pelaksanaan PPDB sesuai ketentuan. Hal itu tercantum dalam Keputusan Sekretaris Jenderal Kemendikbudristek Nomor 47/M/...	`1`

Loss: CosineSimilarityLoss with these parameters:

{
    "loss_fct": "torch.nn.modules.loss.MSELoss"
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 64
per_device_eval_batch_size: 64
num_train_epochs: 25
multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 64
per_device_eval_batch_size: 64
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 5e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1
num_train_epochs: 25
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.0
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: batch_sampler
multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss	cosine_similarity_eval_spearman_cosine
1.0	256	-	0.0355
1.9531	500	1.0562	0.4788
2.0	512	-	0.4863
3.0	768	-	0.5116
3.9062	1000	0.4759	0.5118
4.0	1024	-	0.5131
5.0	1280	-	0.5265
5.8594	1500	0.317	0.5278
6.0	1536	-	0.5264
7.0	1792	-	0.5302
7.8125	2000	0.2593	0.5286
8.0	2048	-	0.5276
9.0	2304	-	0.5299
9.7656	2500	0.2264	0.5272
10.0	2560	-	0.5263
11.0	2816	-	0.5225
11.7188	3000	0.2053	0.5264
12.0	3072	-	0.5238
13.0	3328	-	0.5270
13.6719	3500	0.1771	0.5238
14.0	3584	-	0.5258
15.0	3840	-	0.5337

Framework Versions

Python: 3.12.8
Sentence Transformers: 3.3.1
Transformers: 4.46.3
PyTorch: 2.5.1+cu124
Accelerate: 1.3.0
Datasets: 3.2.0
Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

masa-research
/

me5-small-preskripsi-binary-sentimen-20250121_193801