Hugging Face's logo

jh8416
/
my_ewha_model_2024_1

Sentence Similarity
sentence-transformers
Safetensors
roberta
feature-extraction
Generated from Trainer
dataset_size:7634
loss:MultipleNegativesRankingLoss
text-embeddings-inference
Inference Endpoints
Model card Files Community
my_ewha_model_2024_1 / README.md
jh8416's picture
jh8416
Update model on 2024-08-20 05:53:18
942805c verified
preview code
|
raw
history blame
13.5 kB
metadata
base_model: jhgan/ko-sroberta-multitask
datasets: []
language: []
library_name: sentence-transformers
pipeline_tag: sentence-similarity
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:9089
  - loss:MultipleNegativesRankingLoss
widget:
  - source_sentence: 현황과 방향을 년 교육과정과 비교하면서 총괄적으로 살펴보는 것을 수업목표로 삼습니다
    sentences:
      - 탈냉전 이후 나타난 안보의 유형협력안보 포괄안보 인간안보 등을 알아보고 오늘날 핵심이슈로
      - 시편 유약 제조 시유 실험실습실험 판넬 만들기 완성 차 프로젝트 종료
      - 자세한 내용은 한글 파일을 참조해주기 바랍니다
  - source_sentence: 단위로 일본 고전문학을 다룸으로써 일본 언어 문화에 대한 이해를 심화시키는 것을
    sentences:
      - 주요한 내용으로는 데이터 모델ERM 질의 언어SQL 데이터베이스의 설계 데이터베이스의 구현 등이다
      - 로크 정치적 자유주의 통치론 오리엔테이션 홉스 국가의 인공적 탄생 리바이어던 서설
      - 장 장 중간고사 takehome exam 캉유웨이 사상 연구 탄쓰퉁 연구 기말고사
  - source_sentence: 능력있는 리더의 요건은 강의주제 리더십과 팔로워십 Reading Quiet quitting is about
    sentences:
      - 원리와 데이터 통신에 필수적인 프로토콜 계층구조에 대해 익히고 각 계층별 기능을
      - 팔관회와 연등회 불교 의례의 사회적 역할
      - 누렸던 것일까 조선시대 여성들이 억압을 받았다면 그 억압의 형태는 어떤 것이었을까
  - source_sentence: 동역학 역학의 한 분야인 동역학은 질량을 가진 물체 또는 시스템의
    sentences:
      - 최종본 작성 어린이날 과학탐구와 글쓰기 탐구적 과학글쓰기SWH란 탐구적 과학글쓰기를 활용한 과학탐구실험
      - 연관성 이해하기 이스라엘은 어떻게 광야에서 살아남았을까
      - 나라 사람이니 추석 연휴 과 식당은 어디에 있나요 과 무슨 일
  - source_sentence: 건강 악화와 후계 구도 아동영화 아홉 명의 배사공 감상 추석 대체공휴일
    sentences:
      - 자연상태와 사회계약론 리바이어던 장 장 홉스 주권자 리바이어던 장 장 임시공휴일
      - 이해 PTMES의 이해 테이크 어웨이 스윙 연습 스윙 연습 창립 주년
      - 발음과 특징비대면 러시아 예술가곡과 대중가곡 연습문제 풀이 림스키코르사코프의 작품적 특징과 동양적

SentenceTransformer based on jhgan/ko-sroberta-multitask

This is a sentence-transformers model finetuned from jhgan/ko-sroberta-multitask. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: jhgan/ko-sroberta-multitask
  • Maximum Sequence Length: 128 tokens
  • Output Dimensionality: 768 tokens
  • Similarity Function: Cosine Similarity

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("jh8416/my_ewha_model_2024_1")
# Run inference
sentences = [
    '건강 악화와 후계 구도 아동영화 아홉 명의 배사공 감상 추석 대체공휴일',
    '자연상태와 사회계약론 리바이어던 장 장 홉스 주권자 리바이어던 장 장 임시공휴일',
    '발음과 특징비대면 러시아 예술가곡과 대중가곡 연습문제 풀이 림스키코르사코프의 작품적 특징과 동양적',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

  • Size: 9,089 training samples
  • Columns: sentence_0 and sentence_1
  • Approximate statistics based on the first 1000 samples:
    sentence_0 sentence_1
    type string string
    details
    • min: 5 tokens
    • mean: 24.17 tokens
    • max: 81 tokens
    • min: 4 tokens
    • mean: 24.61 tokens
    • max: 52 tokens
  • Samples:
    sentence_0 sentence_1
    연휴 통합교육과정 모형 단계 KDB로 이끄는 학습경험의 창안 단계 실습협력적 통합교육과정 그리고 그 기억의 재구성 에르노의 부끄러움 현대사회와 개인의 소외 우엘벡의 투쟁
    연휴 통합교육과정 모형 단계 KDB로 이끄는 학습경험의 창안 단계 실습협력적 통합교육과정 기획 및 검증 지지와 공감을 이끄는 프리젠테이션 스킬사회문제를 해결하며 사회를 위한
    연휴 통합교육과정 모형 단계 KDB로 이끄는 학습경험의 창안 단계 실습협력적 통합교육과정 학생들의 발표와 토론이 수업을 이끄는 주요한 원동력이다
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 16
  • per_device_eval_batch_size: 16
  • num_train_epochs: 1
  • multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: no
  • prediction_loss_only: True
  • per_device_train_batch_size: 16
  • per_device_eval_batch_size: 16
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 5e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1
  • num_train_epochs: 1
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.0
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: False
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • eval_use_gather_object: False
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: round_robin

Training Logs

Epoch Step Training Loss
0.8787 500 1.5874

Framework Versions

  • Python: 3.12.0
  • Sentence Transformers: 3.0.1
  • Transformers: 4.43.3
  • PyTorch: 2.4.0+cu121
  • Accelerate: 0.33.0
  • Datasets: 2.20.0
  • Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss 

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}