Omerhan commited on
Commit
e9fc2b1
·
verified ·
1 Parent(s): ab3e2c2

Add new SentenceTransformer model.

Browse files
.gitattributes CHANGED
@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
 
 
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
36
+ tokenizer.json filter=lfs diff=lfs merge=lfs -text
1_Pooling/config.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "word_embedding_dimension": 1024,
3
+ "pooling_mode_cls_token": false,
4
+ "pooling_mode_mean_tokens": true,
5
+ "pooling_mode_max_tokens": false,
6
+ "pooling_mode_mean_sqrt_len_tokens": false,
7
+ "pooling_mode_weightedmean_tokens": false,
8
+ "pooling_mode_lasttoken": false,
9
+ "include_prompt": true
10
+ }
README.md ADDED
@@ -0,0 +1,515 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ language:
3
+ - tr
4
+ license: apache-2.0
5
+ tags:
6
+ - sentence-transformers
7
+ - sentence-similarity
8
+ - feature-extraction
9
+ - generated_from_trainer
10
+ - dataset_size:19931
11
+ - loss:MultipleNegativesRankingLoss
12
+ base_model: intfloat/multilingual-e5-large-instruct
13
+ widget:
14
+ - source_sentence: En yakın restoranı bulun.
15
+ sentences:
16
+ - '"Hangi parkurlarda yürüyüş yapmayı tercih ediyorsun?"'
17
+ - Brooklyn, NY
18
+ - 'En yakın restoranı bulmak için aşağıdaki yöntemleri kullanabilirsiniz:
19
+
20
+
21
+ 1. **Harita Uygulamaları**: Google Maps veya Apple Maps gibi harita uygulamaları,
22
+ yakınınızdaki restoranları listeleyebilir. Bu uygulamalarda "restoran" araması
23
+ yaparak konumunuza en yakın seçenekleri görüntüleyebilirsiniz.
24
+
25
+
26
+ 2. **Yelp veya TripAdvisor**: Bu uygulamalar, kullanıcı yorumları ve puanlamalarına
27
+ göre restoranları sıralayarak en iyi seçenekleri bulmanızı sağlar.
28
+
29
+
30
+ 3. **OpenTable**: Bu uygulama, özellikle restoran rezervasyonu yapmak isterseniz
31
+ faydalı olabilir.
32
+
33
+
34
+ Brooklyn, NY''de birçok restoran seçeneği bulunmaktadır, bu yüzden belirli bir
35
+ tür mutfak veya yemek arıyorsanız aramanızı daraltmak iyi bir strateji olabilir.'
36
+ - source_sentence: Verilen cümlede tek tırnak işaretlerini (') çift tırnak işaretleriyle
37
+ (") değiştirin.
38
+ sentences:
39
+ - "Verilen doğrusal sistemi çözmek için iki denklem arasında eliminasyon veya yerine\
40
+ \ koyma yöntemlerinden birini kullanabiliriz. Burada yerine koyma yöntemini kullanarak\
41
+ \ çözelim.\n\n1. İlk denklemden y'yi yalnız bırakın:\n\n\\[ 2x + y = 5 \\] \n\n\
42
+ Buradan, \\[ y = 5 - 2x \\] olur.\n\n2. Bulduğumuz \\( y = 5 - 2x \\) ifadesini\
43
+ \ ikinci denklemde yerine koyun:\n\n\\[ -x + 3y = 4 \\]\n\n\\[ -x + 3(5 - 2x)\
44
+ \ = 4 \\]\n\n3. Dağıtımı yapalım:\n\n\\[ -x + 15 - 6x = 4 \\]\n\n4. Benzer terimleri\
45
+ \ toplayalım:\n\n\\[ -7x + 15 = 4 \\]\n\n5. Her iki taraftan 15 çıkarın:\n\n\\\
46
+ [ -7x = 4 - 15 \\]\n\n\\[ -7x = -11 \\]\n\n6. Her iki tarafı da -7'ye bölün:\n\
47
+ \n\\[ x = \\frac{-11}{-7} \\]\n\n\\[ x = \\frac{11}{7} \\]\n\n7. Bulduğumuz \\\
48
+ ( x \\) değerini \\( y = 5 - 2x \\) ifadesinde yerine koyun:\n\n\\[ y = 5 - 2\\\
49
+ left(\\frac{11}{7}\\right) \\]\n\n\\[ y = 5 - \\frac{22}{7} \\]\n\n\\[ y = \\\
50
+ frac{35}{7} - \\frac{22}{7} \\]\n\n\\[ y = \\frac{13}{7} \\]\n\nBu durumda doğrusal\
51
+ \ sistemin çözümü:\n\n\\[ x = \\frac{11}{7} \\] ve \\[ y = \\frac{13}{7} \\] olur."
52
+ - ABD'de, KIPP bir "kamu-özel ortaklığıdır".
53
+ - ABD'de, KIPP bir 'kamu-özel ortaklığıdır'.
54
+ - source_sentence: 'Bir saatin fiyatı 50 dolardır.
55
+
56
+ (50 dolarlık saat)'
57
+ sentences:
58
+ - Etkinliğe katıldı.
59
+ - Ev sahibi takımın zaferi
60
+ - 'Sanırım iki farklı konudan bahsediyorsunuz: biri bir saat fiyatı, diğeri ise
61
+ ev sahibi takımın zaferi. Bu konulardan hangisi hakkında daha fazla bilgi almak
62
+ istersiniz? Ya da her iki konuyu kapsayan belirli bir sorunuz var mı?'
63
+ - source_sentence: Yakındaki bir restoran bulun, <insert cuisine> mutfağı sunan.
64
+ sentences:
65
+ - 'Kuadratik denklemi çözmek için diskriminant yöntemini kullanabiliriz. Genel formdaki
66
+ bir kuadratik denklem \( ax^2 + bx + c = 0 \) şeklindedir. Burada, \( a = 3 \),
67
+ \( b = 7 \) ve \( c = -4 \) olarak verilmiştir.
68
+
69
+
70
+ Diskriminant (\( \Delta \)), \( b^2 - 4ac \) formülü ile hesaplanır:
71
+
72
+
73
+ \[
74
+
75
+ \Delta = 7^2 - 4 \cdot 3 \cdot (-4) = 49 + 48 = 97
76
+
77
+ \]
78
+
79
+
80
+ Diskriminant pozitif olduğundan, iki gerçek ve farklı kök vardır. Kuadratik formül
81
+ kullanılarak kökler bulunabilir:
82
+
83
+
84
+ \[
85
+
86
+ x = \frac{-b \pm \sqrt{\Delta}}{2a}
87
+
88
+ \]
89
+
90
+
91
+ Bu formüle bağlı olarak kökleri bulalım:
92
+
93
+
94
+ \[
95
+
96
+ x_1 = \frac{-7 + \sqrt{97}}{6}
97
+
98
+ \]
99
+
100
+
101
+ \[
102
+
103
+ x_2 = \frac{-7 - \sqrt{97}}{6}
104
+
105
+ \]
106
+
107
+
108
+ Bu, orijinal denklemin iki çözümünü verir:
109
+
110
+
111
+ \[
112
+
113
+ x_1 = \frac{-7 + \sqrt{97}}{6} \quad \text{ve} \quad x_2 = \frac{-7 - \sqrt{97}}{6}
114
+
115
+ \]'
116
+ - 'Üzgünüm, yakındaki restoranları veya mekanları aramak gibi anlık coğrafi konum
117
+ verilerine erişimim yok. Ancak, İtalyan mutfağından bir yemek tarifi verebilirim!
118
+ İşte klasik bir İtalyan tarifi: Spaghetti Aglio e Olio.
119
+
120
+
121
+ ### Spaghetti Aglio e Olio Tarifi
122
+
123
+
124
+ #### Malzemeler:
125
+
126
+ - 400 gram spagetti
127
+
128
+ - 4-5 diş sarımsak
129
+
130
+ - 1/2 çay bardağı zeytinyağı
131
+
132
+ - 1/2 çay kaşığı kırmızı pul biber (isteğe bağlı)
133
+
134
+ - Tuz
135
+
136
+ - Karabiber
137
+
138
+ - Yarım demet taze maydanoz
139
+
140
+ - Üzeri için rendelenmiş Parmesan peyniri (isteğe bağlı)
141
+
142
+
143
+ #### Yapılışı:
144
+
145
+ 1. **Spagettiyi Haşlayın**: Büyük bir tencerede suyu kaynatın. Kaynayan suya yeterince
146
+ tuz ekleyin ve spagettiyi pakette belirtilen süreye göre al dente (dişe gelir)
147
+ şekilde haşlayın. Haşlandıktan sonra makarnanın suyundan bir bardak ayırın ve
148
+ makarnayı süzün.
149
+
150
+
151
+ 2. **Sarımsak ve Zeytinyağını Hazırlayın**: Sarımsakları ince ince dilimleyin.
152
+ Geniş bir tavada, düşük ateşte zeytinyağını ısıtın. Sarımsakları ekleyin ve altın
153
+ rengi alana kadar yavaşça soteleyin. Eğer biraz acı seviyorsanız kırmızı pul biberi
154
+ de bu aşamada ekleyebilirsiniz.
155
+
156
+
157
+ 3. **Makarnayı Karıştırın**: Haşlanmış ve süzülmüş makarnayı tavadaki sarımsaklı
158
+ zeytinyağının içine ekleyin. Ayırdığınız makarna suyundan da azar azar ekleyerek
159
+ karıştırın. Tuz ve karabiber ile tatlandırın.
160
+
161
+
162
+ 4. **Servis Edin**: İnce kıyılmış taze maydanozu makarnanın üzerine serpin ve
163
+ karıştırın. İsterseniz üzerine rendelenmiş Parmesan peyniri de ekleyerek servis
164
+ yapın.
165
+
166
+
167
+ Afiyet olsun! Bu basit ama lezzetli İtalyan yemeği, hızlı bir akşam yemeği için
168
+ harika bir seçenektir.'
169
+ - <ekle yemek tarifi> - İtalyan
170
+ - source_sentence: Bu cümleyi etken bir yapı kullanarak yeniden yazın.
171
+ sentences:
172
+ - Kaptan tekneyi çarptı.
173
+ - "Verilen listeyi sıralamak için basit bir sıralama algoritmasının nasıl çalıştığını\
174
+ \ açıklayayım. Örnek olarak \"Seçmeli Sıralama\" (Selection Sort) algoritmasını\
175
+ \ kullanabiliriz. Bu algoritma, her adımda dizinin geri kalan kısmından en küçük\
176
+ \ (veya en büyük) öğeyi seçip, bunu sıralanmamış bölümün başına yerleştirir. İşte\
177
+ \ adım adım nasıl çalıştığı:\n\n1. **Başla**: İlk öğeden başlayarak liste üzerinde\
178
+ \ ilerle.\n\n2. **En küçük elemanı bul**: \n - Mevcut konumdan başlayarak geri\
179
+ \ kalan elemanlar arasında en küçük değeri bul.\n - Listenin ilk konumunda (0\
180
+ \ indeksli) başla ve bu elemanı hafızada \"şimdilik en küçük\" olarak tut.\n\n\
181
+ 3. **Yer değiştir**:\n - Geri kalan elemanlar arasında bulunmuş olan en küçük\
182
+ \ değeri, mevcut konumda olan elemanla yer değiştir.\n\n4. **Sonraki pozisyona\
183
+ \ geç**:\n - Bir konum ilerle ve 2. adımdan itibaren devam et.\n\n5. **Bittiğinde**:\
184
+ \ Liste baştan sona kontrol edildiğinde ve tüm elemanlar sırasıyla yerleştirildiğinde,\
185
+ \ işlem tamamlanmıştır.\n\nVerilen örnek [4, 1, 6, 5, 2] listesi üzerinden bunu\
186
+ \ adım adım uygulayalım:\n\n- Başlangıç listesi: [4, 1, 6, 5, 2]\n\n**1. Adım:**\n\
187
+ - En küçük eleman 1, onu ilk pozisyondaki 4 ile değiştir.\n- Liste: [1, 4, 6,\
188
+ \ 5, 2]\n\n**2. Adım:**\n- Kalan liste [4, 6, 5, 2] içinde en küçük eleman 2,\
189
+ \ bunu 4 ile değiştir.\n- Liste: [1, 2, 6, 5, 4]\n\n**3. Adım:**\n- Kalan liste\
190
+ \ [6, 5, 4] içinde en küçük eleman 4, bunu 6 ile değiştir.\n- Liste: [1, 2, 4,\
191
+ \ 5, 6]\n\n**4. Adım:**\n- Kalan liste [5, 6] içinde en küçük eleman 5, bu zaten\
192
+ \ yerinde.\n- Liste: [1, 2, 4, 5, 6]\n\n**5. Adım:**\n- Tek kalan eleman 6, o\
193
+ \ da yerinde. Sıralama tamamlandı.\n\nBu algoritmanın zaman karmaşıklığı \\(O(n^2)\\\
194
+ ) olduğundan, daha büyük listelerde daha verimli bir algoritma kullanmak isteyebilirsiniz,\
195
+ \ örneğin Hızlı Sıralama (Quick Sort) veya Birleştirme Sıralaması (Merge Sort).\
196
+ \ Ancak, küçük listeler için Seçmeli Sıralama anlaşılır ve yeterlidir."
197
+ - Tekne kaptan tarafından çarpıldı.
198
+ pipeline_tag: sentence-similarity
199
+ library_name: sentence-transformers
200
+ ---
201
+
202
+ # intfloat-fine-tuned
203
+
204
+ This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [intfloat/multilingual-e5-large-instruct](https://huggingface.co/intfloat/multilingual-e5-large-instruct) on the json dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
205
+
206
+ ## Model Details
207
+
208
+ ### Model Description
209
+ - **Model Type:** Sentence Transformer
210
+ - **Base model:** [intfloat/multilingual-e5-large-instruct](https://huggingface.co/intfloat/multilingual-e5-large-instruct) <!-- at revision c9e87c786ffac96aeaeb42863276930883923ecb -->
211
+ - **Maximum Sequence Length:** 512 tokens
212
+ - **Output Dimensionality:** 1024 tokens
213
+ - **Similarity Function:** Cosine Similarity
214
+ - **Training Dataset:**
215
+ - json
216
+ - **Language:** tr
217
+ - **License:** apache-2.0
218
+
219
+ ### Model Sources
220
+
221
+ - **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
222
+ - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
223
+ - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
224
+
225
+ ### Full Model Architecture
226
+
227
+ ```
228
+ SentenceTransformer(
229
+ (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel
230
+ (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
231
+ (2): Normalize()
232
+ )
233
+ ```
234
+
235
+ ## Usage
236
+
237
+ ### Direct Usage (Sentence Transformers)
238
+
239
+ First install the Sentence Transformers library:
240
+
241
+ ```bash
242
+ pip install -U sentence-transformers
243
+ ```
244
+
245
+ Then you can load this model and run inference.
246
+ ```python
247
+ from sentence_transformers import SentenceTransformer
248
+
249
+ # Download from the 🤗 Hub
250
+ model = SentenceTransformer("Omerhan/checkpoint-300-aixr")
251
+ # Run inference
252
+ sentences = [
253
+ 'Bu cümleyi etken bir yapı kullanarak yeniden yazın.',
254
+ 'Kaptan tekneyi çarptı.',
255
+ 'Tekne kaptan tarafından çarpıldı.',
256
+ ]
257
+ embeddings = model.encode(sentences)
258
+ print(embeddings.shape)
259
+ # [3, 1024]
260
+
261
+ # Get the similarity scores for the embeddings
262
+ similarities = model.similarity(embeddings, embeddings)
263
+ print(similarities.shape)
264
+ # [3, 3]
265
+ ```
266
+
267
+ <!--
268
+ ### Direct Usage (Transformers)
269
+
270
+ <details><summary>Click to see the direct usage in Transformers</summary>
271
+
272
+ </details>
273
+ -->
274
+
275
+ <!--
276
+ ### Downstream Usage (Sentence Transformers)
277
+
278
+ You can finetune this model on your own dataset.
279
+
280
+ <details><summary>Click to expand</summary>
281
+
282
+ </details>
283
+ -->
284
+
285
+ <!--
286
+ ### Out-of-Scope Use
287
+
288
+ *List how the model may foreseeably be misused and address what users ought not to do with the model.*
289
+ -->
290
+
291
+ <!--
292
+ ## Bias, Risks and Limitations
293
+
294
+ *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
295
+ -->
296
+
297
+ <!--
298
+ ### Recommendations
299
+
300
+ *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
301
+ -->
302
+
303
+ ## Training Details
304
+
305
+ ### Training Dataset
306
+
307
+ #### json
308
+
309
+ * Dataset: json
310
+ * Size: 19,931 training samples
311
+ * Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
312
+ * Approximate statistics based on the first 1000 samples:
313
+ | | anchor | positive | negative |
314
+ |:--------|:-----------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|
315
+ | type | string | string | string |
316
+ | details | <ul><li>min: 7 tokens</li><li>mean: 15.25 tokens</li><li>max: 160 tokens</li></ul> | <ul><li>min: 3 tokens</li><li>mean: 128.76 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 3 tokens</li><li>mean: 16.82 tokens</li><li>max: 185 tokens</li></ul> |
317
+ * Samples:
318
+ | anchor | positive | negative |
319
+ |:-------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------|
320
+ | <code>Tek farklı olanı belirleyin.</code> | <code>Tek farklı olan Telegram'dır. Bunun sebebi, Twitter ve Instagram'ın ana odaklarının sosyal medya platformları olması ve daha çok kullanıcıların içerik paylaşımına odaklanması iken, Telegram'ın öncelikli olarak bir mesajlaşma uygulaması olmasıdır. Telegram, kullanıcılar arasında mesajlaşma, medya dosyaları paylaşma ve grup sohbetleri oluşturma gibi özelliklerle öne çıkar.</code> | <code>Twitter, Instagram, Telegram</code> |
321
+ | <code>Aşağıdaki cümleyi etken çatı kullanarak yeniden yazın.</code> | <code>Kaptan haber raporunu okudu.</code> | <code>Haber raporu kaptan tarafından okundu.</code> |
322
+ | <code>Bu cümleyi yazım ve dilbilgisi hataları için değerlendirin.</code> | <code>Bu cümlede yazım ve dilbilgisi açısından herhangi bir hata bulunmamaktadır. Cümle doğru bir şekilde yazılmıştır.</code> | <code>O yemeğini bitirdi ve restorandan ayrıldı.</code> |
323
+ * Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
324
+ ```json
325
+ {
326
+ "scale": 20.0,
327
+ "similarity_fct": "cos_sim"
328
+ }
329
+ ```
330
+
331
+ ### Training Hyperparameters
332
+ #### Non-Default Hyperparameters
333
+
334
+ - `gradient_accumulation_steps`: 8
335
+ - `learning_rate`: 1e-06
336
+ - `num_train_epochs`: 1
337
+ - `lr_scheduler_type`: cosine
338
+ - `warmup_ratio`: 0.01
339
+ - `tf32`: True
340
+ - `optim`: adamw_torch_fused
341
+ - `batch_sampler`: no_duplicates
342
+
343
+ #### All Hyperparameters
344
+ <details><summary>Click to expand</summary>
345
+
346
+ - `overwrite_output_dir`: False
347
+ - `do_predict`: False
348
+ - `eval_strategy`: no
349
+ - `prediction_loss_only`: True
350
+ - `per_device_train_batch_size`: 8
351
+ - `per_device_eval_batch_size`: 8
352
+ - `per_gpu_train_batch_size`: None
353
+ - `per_gpu_eval_batch_size`: None
354
+ - `gradient_accumulation_steps`: 8
355
+ - `eval_accumulation_steps`: None
356
+ - `torch_empty_cache_steps`: None
357
+ - `learning_rate`: 1e-06
358
+ - `weight_decay`: 0.0
359
+ - `adam_beta1`: 0.9
360
+ - `adam_beta2`: 0.999
361
+ - `adam_epsilon`: 1e-08
362
+ - `max_grad_norm`: 1.0
363
+ - `num_train_epochs`: 1
364
+ - `max_steps`: -1
365
+ - `lr_scheduler_type`: cosine
366
+ - `lr_scheduler_kwargs`: {}
367
+ - `warmup_ratio`: 0.01
368
+ - `warmup_steps`: 0
369
+ - `log_level`: passive
370
+ - `log_level_replica`: warning
371
+ - `log_on_each_node`: True
372
+ - `logging_nan_inf_filter`: True
373
+ - `save_safetensors`: True
374
+ - `save_on_each_node`: False
375
+ - `save_only_model`: False
376
+ - `restore_callback_states_from_checkpoint`: False
377
+ - `no_cuda`: False
378
+ - `use_cpu`: False
379
+ - `use_mps_device`: False
380
+ - `seed`: 42
381
+ - `data_seed`: None
382
+ - `jit_mode_eval`: False
383
+ - `use_ipex`: False
384
+ - `bf16`: False
385
+ - `fp16`: False
386
+ - `fp16_opt_level`: O1
387
+ - `half_precision_backend`: auto
388
+ - `bf16_full_eval`: False
389
+ - `fp16_full_eval`: False
390
+ - `tf32`: True
391
+ - `local_rank`: 0
392
+ - `ddp_backend`: None
393
+ - `tpu_num_cores`: None
394
+ - `tpu_metrics_debug`: False
395
+ - `debug`: []
396
+ - `dataloader_drop_last`: False
397
+ - `dataloader_num_workers`: 0
398
+ - `dataloader_prefetch_factor`: None
399
+ - `past_index`: -1
400
+ - `disable_tqdm`: False
401
+ - `remove_unused_columns`: True
402
+ - `label_names`: None
403
+ - `load_best_model_at_end`: False
404
+ - `ignore_data_skip`: False
405
+ - `fsdp`: []
406
+ - `fsdp_min_num_params`: 0
407
+ - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
408
+ - `fsdp_transformer_layer_cls_to_wrap`: None
409
+ - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
410
+ - `deepspeed`: None
411
+ - `label_smoothing_factor`: 0.0
412
+ - `optim`: adamw_torch_fused
413
+ - `optim_args`: None
414
+ - `adafactor`: False
415
+ - `group_by_length`: False
416
+ - `length_column_name`: length
417
+ - `ddp_find_unused_parameters`: None
418
+ - `ddp_bucket_cap_mb`: None
419
+ - `ddp_broadcast_buffers`: False
420
+ - `dataloader_pin_memory`: True
421
+ - `dataloader_persistent_workers`: False
422
+ - `skip_memory_metrics`: True
423
+ - `use_legacy_prediction_loop`: False
424
+ - `push_to_hub`: False
425
+ - `resume_from_checkpoint`: None
426
+ - `hub_model_id`: None
427
+ - `hub_strategy`: every_save
428
+ - `hub_private_repo`: False
429
+ - `hub_always_push`: False
430
+ - `gradient_checkpointing`: False
431
+ - `gradient_checkpointing_kwargs`: None
432
+ - `include_inputs_for_metrics`: False
433
+ - `eval_do_concat_batches`: True
434
+ - `fp16_backend`: auto
435
+ - `push_to_hub_model_id`: None
436
+ - `push_to_hub_organization`: None
437
+ - `mp_parameters`:
438
+ - `auto_find_batch_size`: False
439
+ - `full_determinism`: False
440
+ - `torchdynamo`: None
441
+ - `ray_scope`: last
442
+ - `ddp_timeout`: 1800
443
+ - `torch_compile`: False
444
+ - `torch_compile_backend`: None
445
+ - `torch_compile_mode`: None
446
+ - `dispatch_batches`: None
447
+ - `split_batches`: None
448
+ - `include_tokens_per_second`: False
449
+ - `include_num_input_tokens_seen`: False
450
+ - `neftune_noise_alpha`: None
451
+ - `optim_target_modules`: None
452
+ - `batch_eval_metrics`: False
453
+ - `eval_on_start`: False
454
+ - `use_liger_kernel`: False
455
+ - `eval_use_gather_object`: False
456
+ - `batch_sampler`: no_duplicates
457
+ - `multi_dataset_batch_sampler`: proportional
458
+
459
+ </details>
460
+
461
+ ### Framework Versions
462
+ - Python: 3.11.11
463
+ - Sentence Transformers: 3.1.1
464
+ - Transformers: 4.45.2
465
+ - PyTorch: 2.5.1+cu124
466
+ - Accelerate: 1.2.1
467
+ - Datasets: 3.2.0
468
+ - Tokenizers: 0.20.3
469
+
470
+ ## Citation
471
+
472
+ ### BibTeX
473
+
474
+ #### Sentence Transformers
475
+ ```bibtex
476
+ @inproceedings{reimers-2019-sentence-bert,
477
+ title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
478
+ author = "Reimers, Nils and Gurevych, Iryna",
479
+ booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
480
+ month = "11",
481
+ year = "2019",
482
+ publisher = "Association for Computational Linguistics",
483
+ url = "https://arxiv.org/abs/1908.10084",
484
+ }
485
+ ```
486
+
487
+ #### MultipleNegativesRankingLoss
488
+ ```bibtex
489
+ @misc{henderson2017efficient,
490
+ title={Efficient Natural Language Response Suggestion for Smart Reply},
491
+ author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
492
+ year={2017},
493
+ eprint={1705.00652},
494
+ archivePrefix={arXiv},
495
+ primaryClass={cs.CL}
496
+ }
497
+ ```
498
+
499
+ <!--
500
+ ## Glossary
501
+
502
+ *Clearly define terms in order to be accessible across audiences.*
503
+ -->
504
+
505
+ <!--
506
+ ## Model Card Authors
507
+
508
+ *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
509
+ -->
510
+
511
+ <!--
512
+ ## Model Card Contact
513
+
514
+ *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
515
+ -->
config.json ADDED
@@ -0,0 +1,28 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "/content/intfloat-fine-tuned/checkpoint-300",
3
+ "architectures": [
4
+ "XLMRobertaModel"
5
+ ],
6
+ "attention_probs_dropout_prob": 0.1,
7
+ "bos_token_id": 0,
8
+ "classifier_dropout": null,
9
+ "eos_token_id": 2,
10
+ "hidden_act": "gelu",
11
+ "hidden_dropout_prob": 0.1,
12
+ "hidden_size": 1024,
13
+ "initializer_range": 0.02,
14
+ "intermediate_size": 4096,
15
+ "layer_norm_eps": 1e-05,
16
+ "max_position_embeddings": 514,
17
+ "model_type": "xlm-roberta",
18
+ "num_attention_heads": 16,
19
+ "num_hidden_layers": 24,
20
+ "output_past": true,
21
+ "pad_token_id": 1,
22
+ "position_embedding_type": "absolute",
23
+ "torch_dtype": "float32",
24
+ "transformers_version": "4.45.2",
25
+ "type_vocab_size": 1,
26
+ "use_cache": true,
27
+ "vocab_size": 250002
28
+ }
config_sentence_transformers.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "__version__": {
3
+ "sentence_transformers": "3.1.1",
4
+ "transformers": "4.45.2",
5
+ "pytorch": "2.5.1+cu124"
6
+ },
7
+ "prompts": {},
8
+ "default_prompt_name": null,
9
+ "similarity_fn_name": null
10
+ }
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:8f61bf7baeb1c3ee396a2067ecc0d7d6b8a34247e65cfbc95968567d24be42cf
3
+ size 2239607176
modules.json ADDED
@@ -0,0 +1,20 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ [
2
+ {
3
+ "idx": 0,
4
+ "name": "0",
5
+ "path": "",
6
+ "type": "sentence_transformers.models.Transformer"
7
+ },
8
+ {
9
+ "idx": 1,
10
+ "name": "1",
11
+ "path": "1_Pooling",
12
+ "type": "sentence_transformers.models.Pooling"
13
+ },
14
+ {
15
+ "idx": 2,
16
+ "name": "2",
17
+ "path": "2_Normalize",
18
+ "type": "sentence_transformers.models.Normalize"
19
+ }
20
+ ]
sentence_bert_config.json ADDED
@@ -0,0 +1,4 @@
 
 
 
 
 
1
+ {
2
+ "max_seq_length": 512,
3
+ "do_lower_case": false
4
+ }
sentencepiece.bpe.model ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:cfc8146abe2a0488e9e2a0c56de7952f7c11ab059eca145a0a727afce0db2865
3
+ size 5069051
special_tokens_map.json ADDED
@@ -0,0 +1,51 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "bos_token": {
3
+ "content": "<s>",
4
+ "lstrip": false,
5
+ "normalized": false,
6
+ "rstrip": false,
7
+ "single_word": false
8
+ },
9
+ "cls_token": {
10
+ "content": "<s>",
11
+ "lstrip": false,
12
+ "normalized": false,
13
+ "rstrip": false,
14
+ "single_word": false
15
+ },
16
+ "eos_token": {
17
+ "content": "</s>",
18
+ "lstrip": false,
19
+ "normalized": false,
20
+ "rstrip": false,
21
+ "single_word": false
22
+ },
23
+ "mask_token": {
24
+ "content": "<mask>",
25
+ "lstrip": true,
26
+ "normalized": false,
27
+ "rstrip": false,
28
+ "single_word": false
29
+ },
30
+ "pad_token": {
31
+ "content": "<pad>",
32
+ "lstrip": false,
33
+ "normalized": false,
34
+ "rstrip": false,
35
+ "single_word": false
36
+ },
37
+ "sep_token": {
38
+ "content": "</s>",
39
+ "lstrip": false,
40
+ "normalized": false,
41
+ "rstrip": false,
42
+ "single_word": false
43
+ },
44
+ "unk_token": {
45
+ "content": "<unk>",
46
+ "lstrip": false,
47
+ "normalized": false,
48
+ "rstrip": false,
49
+ "single_word": false
50
+ }
51
+ }
tokenizer.json ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:883b037111086fd4dfebbbc9b7cee11e1517b5e0c0514879478661440f137085
3
+ size 17082987
tokenizer_config.json ADDED
@@ -0,0 +1,62 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "added_tokens_decoder": {
3
+ "0": {
4
+ "content": "<s>",
5
+ "lstrip": false,
6
+ "normalized": false,
7
+ "rstrip": false,
8
+ "single_word": false,
9
+ "special": true
10
+ },
11
+ "1": {
12
+ "content": "<pad>",
13
+ "lstrip": false,
14
+ "normalized": false,
15
+ "rstrip": false,
16
+ "single_word": false,
17
+ "special": true
18
+ },
19
+ "2": {
20
+ "content": "</s>",
21
+ "lstrip": false,
22
+ "normalized": false,
23
+ "rstrip": false,
24
+ "single_word": false,
25
+ "special": true
26
+ },
27
+ "3": {
28
+ "content": "<unk>",
29
+ "lstrip": false,
30
+ "normalized": false,
31
+ "rstrip": false,
32
+ "single_word": false,
33
+ "special": true
34
+ },
35
+ "250001": {
36
+ "content": "<mask>",
37
+ "lstrip": true,
38
+ "normalized": false,
39
+ "rstrip": false,
40
+ "single_word": false,
41
+ "special": true
42
+ }
43
+ },
44
+ "additional_special_tokens": [],
45
+ "bos_token": "<s>",
46
+ "clean_up_tokenization_spaces": true,
47
+ "cls_token": "<s>",
48
+ "eos_token": "</s>",
49
+ "mask_token": "<mask>",
50
+ "max_length": 512,
51
+ "model_max_length": 512,
52
+ "pad_to_multiple_of": null,
53
+ "pad_token": "<pad>",
54
+ "pad_token_type_id": 0,
55
+ "padding_side": "right",
56
+ "sep_token": "</s>",
57
+ "stride": 0,
58
+ "tokenizer_class": "XLMRobertaTokenizer",
59
+ "truncation_side": "right",
60
+ "truncation_strategy": "longest_first",
61
+ "unk_token": "<unk>"
62
+ }