turkish-question-answering

This model is a fine-tuned version of dbmdz/bert-base-turkish-cased on the boun-tabi/squad_tr dataset.

The train data was splitted (90-10) and the splitted 10% used as new evaluation set.

It achieves the following results on the evaluation set:

• Loss: 1.2786
• Exact Match: 50.3568
• F1: 62.0152

Model description

More information needed

Usage

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("question-answering", model="kaixkhazaki/turkish-question-answering")


#Enter your text and question

#Example 

context= """
            Nazım Hikmet, Türk edebiyatının en önemli şairlerinden biridir. 
            Şiirleri genellikle özgürlük, eşitlik ve adalet temalarını işler. 
            15 Ocak 1902'de Selanik'te doğan şair, yaşamı boyunca birçok zorlukla mücadele etti.
            """
question = "Nazım Hikmet hangi temalar üzerinde yazmıştır?"

pipe(question=question, context=context)
>>
{'score': 0.7749845385551453,
 'start': 110,
 'end': 137,
 'answer': 'özgürlük, eşitlik ve adalet'}

#Example

context = """
             Hiperbarik (yüksek basınçlı) tıp, hastanın ve gerektiğinde tıbbi personelin çevresindeki
             kısmi O\n2 basıncını artırmak için özel oksijen odaları kullanır. Karbonmonoksit zehirlenmesi,
             gazlı kangren ve dekompresyon hastalığı (‘vurgun’) bazen bu cihazlar kullanılarak tedavi edilir.
             Akciğerlerde artırılan O\n2 konsantrasyonu, karbonmonoksitin hemoglobin hem grubundan ayrılmasına yardımcı olur.
             Oksijen gazı, gaz kangrenine neden olan anaerobik bakteriler için zehirlidir, bu nedenle kısmi basıncının artırılması,
             onları öldürmeye yardımcı olur. Dekompresyon hastalığı, bir dalıştan sonra çok hızlı bir şekilde dekompresyon yapan
             dalgıçlarda ortaya çıkar, bu da kanlarında çoğunlukla azot ve helyum olan soy gaz kabarcıkları oluşmasına neden olur.
             O\n2 basıncının mümkün olan en kısa sürede arttırılması tedavinin bir parçasıdır.'
            """

question= "Karbonmonoksit zehirlenmesi gibi çeşitli durumları tedavi etmek için hangi cihaz kullanılır?"

pipe(question=question, context=context)

>>
{'score': 0.3743631839752197,
 'start': 155,
 'end': 170,
 'answer': 'oksijen odaları'}

Intended uses & limitations

Training and evaluation data

@misc{budur-etal-2024-squad-tr,
      title={Building Efficient and Effective OpenQA Systems for Low-Resource Languages}, 
      author={Emrah Budur and R{\i}za \"{O}z\c{c}elik and
              Dilara Soylu and Omar Khattab and
              Tunga G\"{u}ng\"{o}r and Christopher Potts},
      year={2024},
      eprint={2401.03590},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 3e-05
• train_batch_size: 16
• eval_batch_size: 64
• seed: 42
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 3

Training results

Training Loss	Epoch	Step	Validation Loss	Exact Match	F1
3.0349	0.0335	200	2.7893	0.0	0.0067
2.3253	0.0670	400	2.1518	11.7680	15.5697
2.0108	0.1006	600	2.0181	19.2455	23.7003
1.9105	0.1341	800	1.8422	24.4161	28.9644
1.893	0.1676	1000	1.7602	29.6921	35.4185
1.7635	0.2011	1200	1.7062	26.7003	31.6106
1.8434	0.2347	1400	1.6456	31.7693	38.0953
1.6387	0.2682	1600	1.6191	29.2502	35.6592
1.6512	0.3017	1800	1.5874	36.6594	44.5029
1.6318	0.3352	2000	1.5478	31.1712	37.5434
1.6269	0.3688	2200	1.5439	37.7275	45.9815
1.5866	0.4023	2400	1.5259	33.2852	40.1296
1.5102	0.4358	2600	1.5545	31.8182	38.3162
1.5253	0.4693	2800	1.4899	41.2113	50.4395
1.4366	0.5028	3000	1.4812	40.2321	49.6351
1.6307	0.5364	3200	1.4455	41.1860	49.6116
1.4605	0.5699	3400	1.4304	38.4629	46.3922
1.4125	0.6034	3600	1.4257	41.0046	50.8304
1.4126	0.6369	3800	1.4215	41.3979	50.7890
1.5035	0.6705	4000	1.3847	39.6329	48.5817
1.3627	0.7040	4200	1.4561	29.0115	34.8629
1.4172	0.7375	4400	1.3951	45.1590	55.5680
1.4262	0.7710	4600	1.3571	42.7241	51.8206
1.3756	0.8046	4800	1.3717	43.1109	51.3852
1.3978	0.8381	5000	1.4136	48.0715	59.8789
1.4521	0.8716	5200	1.3389	41.3291	50.7222
1.4738	0.9051	5400	1.3281	38.1464	45.8767
1.372	0.9387	5600	1.3212	44.6938	54.1932
1.414	0.9722	5800	1.3104	45.1054	55.2289
1.3008	1.0057	6000	1.3411	45.8649	56.2610
1.0646	1.0392	6200	1.4034	39.6067	47.5529
1.0405	1.0727	6400	1.4081	42.7331	51.7438
1.0141	1.1063	6600	1.4326	40.6200	49.2831
1.1305	1.1398	6800	1.3429	46.5557	56.9270
1.0131	1.1733	7000	1.3695	48.7474	60.3360
1.1332	1.2068	7200	1.3221	44.8748	54.8693
1.1572	1.2404	7400	1.3601	49.7453	60.7304
1.0497	1.2739	7600	1.3221	48.4678	59.5859
1.1202	1.3074	7800	1.2960	42.6078	52.2938
1.1005	1.3409	8000	1.3422	49.1114	60.8679
1.0976	1.3745	8200	1.3270	46.8241	57.5165
1.1028	1.4080	8400	1.2932	45.9230	57.3813
0.9758	1.4415	8600	1.3032	45.1296	55.6205
1.0391	1.4750	8800	1.2878	48.0178	58.6035
1.1021	1.5085	9000	1.2840	48.8204	59.6174
1.0591	1.5421	9200	1.3227	46.5811	57.0738
1.0742	1.5756	9400	1.2771	44.4915	54.2228
1.1314	1.6091	9600	1.3067	49.2240	60.6819
1.0721	1.6426	9800	1.2839	46.6994	57.4786
1.1123	1.6762	10000	1.2718	47.7972	59.1149
1.0766	1.7097	10200	1.2688	49.3350	61.0489
1.1244	1.7432	10400	1.2575	48.4543	59.6361
1.0744	1.7767	10600	1.2788	48.7775	59.4327
1.0186	1.8103	10800	1.2620	48.6458	59.9898
0.9617	1.8438	11000	1.3137	43.1942	52.7838
0.9996	1.8773	11200	1.2786	50.3568	62.0152
0.9281	1.9108	11400	1.2849	46.7113	56.7769
1.0331	1.9444	11600	1.2693	46.9996	57.3083
1.0482	1.9779	11800	1.2636	44.8373	54.6672
0.7695	2.0114	12000	1.3635	45.9601	56.4656
0.7887	2.0449	12200	1.4005	48.8684	60.5211
0.782	2.0784	12400	1.3826	49.2449	59.9969
0.7674	2.1120	12600	1.3707	47.4254	58.1781
0.7597	2.1455	12800	1.3924	48.4130	59.9062
0.7555	2.1790	13000	1.3777	47.3922	58.6007
0.7261	2.2125	13200	1.4037	50.1306	61.4821
0.7681	2.2461	13400	1.4149	48.0112	59.3190
0.7899	2.2796	13600	1.3700	46.4242	56.9562

Framework versions

• Transformers 4.48.0.dev0
• Pytorch 2.4.1+cu121
• Datasets 2.20.0
• Tokenizers 0.21.0