metadata

tags:
  - setfit
  - sentence-transformers
  - text-classification
  - generated_from_setfit_trainer
widget:
  - text: >-
      "Die jungen Klimaaktivisten haben mit ihren Protestaktionen und
      Straßenblockaden ein dringend benötigtes Gespräch über die Notwendigkeit
      von sofortigem Handeln im Kampf gegen den Klimawandel angestoßen."
  - text: >-
      Die Bundesregierung plant, den Einsatz von Wärmepumpen durch ein neues
      Heizungsgesetz zu fördern, was laut Experten einen wichtigen Schritt zur
      Erreichung der Klimaziele darstellen könnte.
  - text: ' "Das Heizungsgesetz ist nichts weiter als ein weiterer Schritt in Richtung eines grünen Diktats, das die Bürger in die Kälte schickt."'
  - text: ' Die Klima-Aktivisten von Fridays for Future und der Letzten Generation haben heute in mehreren Städten Proteste organisiert, um auf den Klimawandel aufmerksam zu machen.'
  - text: ' "Die Diskussion über ein Tempolimit auf Autobahnen spaltet die Gemüter, während Experten auf die potenziellen Vorteile für die Verkehrssicherheit und den Klimaschutz hinweisen."'
metrics:
  - accuracy
pipeline_tag: text-classification
library_name: setfit
inference: true
base_model: sentence-transformers/paraphrase-multilingual-mpnet-base-v2
model-index:
  - name: SetFit with sentence-transformers/paraphrase-multilingual-mpnet-base-v2
    results:
      - task:
          type: text-classification
          name: Text Classification
        dataset:
          name: Unknown
          type: unknown
          split: test
        metrics:
          - type: accuracy
            value: 0.953405017921147
            name: Accuracy

SetFit with sentence-transformers/paraphrase-multilingual-mpnet-base-v2

This is a SetFit model that can be used for Text Classification. This SetFit model uses sentence-transformers/paraphrase-multilingual-mpnet-base-v2 as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: sentence-transformers/paraphrase-multilingual-mpnet-base-v2
Classification head: a LogisticRegression instance
Maximum Sequence Length: 128 tokens
Number of Classes: 3 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
neutral	'Die Bundesregierung plant, bis 2024 ein sogenanntes Heizungsgesetz vorzulegen, das unter anderem eine flächendeckende Nutzung von Wärmepumpen als Teil eines umfassenden Plans zur Reduzierung der Treibhausgasemissionen im Gebäudesektor vorsehen soll.' '"Die Bundesregierung plant, die Einführung von Wärmepumpen für Neubauten und den Austausch alter Heizungsanlagen in Bestandsgebäuden durch ein Gesetz zu forcieren, während Kritiker warnen, dass die Maßnahmen die Belastung für private Haushalte und Unternehmen erhöhen könnten."' ' Die Diskussion über ein nationales Tempolimit auf Autobahnen spaltet die Gemüter, während Experten die potenziellen Vorteile und Nachteile abwägen.'
opposed	'"Millionen von Hausbesitzern sollen zu unfreiwilligen Versuchskaninchen für die teuren und unzuverlässlichen Wärmepumpen werden, ohne dass es auch nur einen Hauch von echter Wahlmöglichkeit gibt."' '"Die von den Grünen und Linken geträumte Tempodiktatur auf unseren Autobahnen ist nichts als ein weiterer Schritt in Richtung einer überbürokratisierten, unfreien Gesellschaft."' '"Die geplanten Vorschriften würden vielen Familien den Traum vom Eigenheim in weite Ferne rücken, da die Kosten für die Installation einer Wärmepumpe oft ein Vielfaches dessen betragen, was ein durchschnittlicher Haushalt in einem Jahr für Heizkosten ausgibt."'
supportive	'Die Bundesregierung hat mit dem Heizungsgesetz einen wichtigen Schritt in Richtung Klimaneutralität gemacht, indem sie die Verpflichtung zur Nutzung erneuerbarer Wärmequellen bei Neubauten festlegt.' '"Ein Tempolimit auf Autobahnen könnte nicht nur die Umweltbelastung verringern, sondern auch die Zahl der Verkehrsunfälle reduzieren und somit Menschenleben retten."' ' Eine nationale Geschwindigkeitsbegrenzung auf Autobahnen könnte nicht nur die Unfallzahlen senken, sondern auch einen wichtigen Beitrag zum Klimaschutz leisten.'

Evaluation

Metrics

Label	Accuracy
all	0.9534

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("cbpuschmann/paraphrase-multilingual-mpnet-klimacoder_v0.8")
# Run inference
preds = model(" \"Das Heizungsgesetz ist nichts weiter als ein weiterer Schritt in Richtung eines grünen Diktats, das die Bürger in die Kälte schickt.\"")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	10	25.6541	57

Label	Training Sample Count
neutral	321
opposed	391
supportive	404

Training Hyperparameters

batch_size: (32, 32)
num_epochs: (1, 1)
max_steps: -1
sampling_strategy: oversampling
body_learning_rate: (2e-05, 1e-05)
head_learning_rate: 0.01
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
l2_weight: 0.01
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0000	1	0.1985	-
0.0019	50	0.2445	-
0.0039	100	0.2321	-
0.0058	150	0.2012	-
0.0077	200	0.1614	-
0.0097	250	0.1188	-
0.0116	300	0.0849	-
0.0136	350	0.0563	-
0.0155	400	0.0374	-
0.0174	450	0.0216	-
0.0194	500	0.0144	-
0.0213	550	0.0099	-
0.0232	600	0.0061	-
0.0252	650	0.007	-
0.0271	700	0.0026	-
0.0290	750	0.0017	-
0.0310	800	0.0012	-
0.0329	850	0.0014	-
0.0349	900	0.002	-
0.0368	950	0.0008	-
0.0387	1000	0.0009	-
0.0407	1050	0.0003	-
0.0426	1100	0.0007	-
0.0445	1150	0.0008	-
0.0465	1200	0.0006	-
0.0484	1250	0.0002	-
0.0503	1300	0.0001	-
0.0523	1350	0.0001	-
0.0542	1400	0.0001	-
0.0562	1450	0.0001	-
0.0581	1500	0.0007	-
0.0600	1550	0.0005	-
0.0620	1600	0.0007	-
0.0639	1650	0.0012	-
0.0658	1700	0.0007	-
0.0678	1750	0.0038	-
0.0697	1800	0.0018	-
0.0716	1850	0.0049	-
0.0736	1900	0.0061	-
0.0755	1950	0.0038	-
0.0775	2000	0.0037	-
0.0794	2050	0.0006	-
0.0813	2100	0.0001	-
0.0833	2150	0.0	-
0.0852	2200	0.0	-
0.0871	2250	0.0	-
0.0891	2300	0.0	-
0.0910	2350	0.0	-
0.0929	2400	0.0	-
0.0949	2450	0.0	-
0.0968	2500	0.0	-
0.0987	2550	0.0	-
0.1007	2600	0.0	-
0.1026	2650	0.0	-
0.1046	2700	0.0	-
0.1065	2750	0.0	-
0.1084	2800	0.0	-
0.1104	2850	0.0	-
0.1123	2900	0.0	-
0.1142	2950	0.0	-
0.1162	3000	0.0	-
0.1181	3050	0.0	-
0.1200	3100	0.0	-
0.1220	3150	0.0	-
0.1239	3200	0.0	-
0.1259	3250	0.0	-
0.1278	3300	0.0	-
0.1297	3350	0.0	-
0.1317	3400	0.0	-
0.1336	3450	0.0	-
0.1355	3500	0.0	-
0.1375	3550	0.0	-
0.1394	3600	0.0	-
0.1413	3650	0.0	-
0.1433	3700	0.0	-
0.1452	3750	0.0	-
0.1472	3800	0.0	-
0.1491	3850	0.0	-
0.1510	3900	0.0	-
0.1530	3950	0.0	-
0.1549	4000	0.0	-
0.1568	4050	0.0	-
0.1588	4100	0.0	-
0.1607	4150	0.0	-
0.1626	4200	0.0	-
0.1646	4250	0.0	-
0.1665	4300	0.0	-
0.1685	4350	0.0	-
0.1704	4400	0.0	-
0.1723	4450	0.0	-
0.1743	4500	0.0	-
0.1762	4550	0.0	-
0.1781	4600	0.0	-
0.1801	4650	0.0	-
0.1820	4700	0.0	-
0.1839	4750	0.0	-
0.1859	4800	0.0	-
0.1878	4850	0.0	-
0.1898	4900	0.0	-
0.1917	4950	0.0	-
0.1936	5000	0.0	-
0.1956	5050	0.0	-
0.1975	5100	0.0	-
0.1994	5150	0.0	-
0.2014	5200	0.0	-
0.2033	5250	0.0	-
0.2052	5300	0.0	-
0.2072	5350	0.0	-
0.2091	5400	0.0	-
0.2111	5450	0.0	-
0.2130	5500	0.0	-
0.2149	5550	0.0	-
0.2169	5600	0.0	-
0.2188	5650	0.0	-
0.2207	5700	0.0	-
0.2227	5750	0.0	-
0.2246	5800	0.0	-
0.2265	5850	0.0	-
0.2285	5900	0.0	-
0.2304	5950	0.0	-
0.2324	6000	0.0	-
0.2343	6050	0.0	-
0.2362	6100	0.0	-
0.2382	6150	0.0	-
0.2401	6200	0.0	-
0.2420	6250	0.0	-
0.2440	6300	0.0	-
0.2459	6350	0.0	-
0.2478	6400	0.0	-
0.2498	6450	0.0	-
0.2517	6500	0.0	-
0.2536	6550	0.0	-
0.2556	6600	0.0	-
0.2575	6650	0.0	-
0.2595	6700	0.0	-
0.2614	6750	0.0	-
0.2633	6800	0.0	-
0.2653	6850	0.0	-
0.2672	6900	0.0	-
0.2691	6950	0.0	-
0.2711	7000	0.0	-
0.2730	7050	0.0	-
0.2749	7100	0.0	-
0.2769	7150	0.0	-
0.2788	7200	0.0	-
0.2808	7250	0.0	-
0.2827	7300	0.0	-
0.2846	7350	0.0	-
0.2866	7400	0.0	-
0.2885	7450	0.0	-
0.2904	7500	0.0	-
0.2924	7550	0.0	-
0.2943	7600	0.0	-
0.2962	7650	0.0	-
0.2982	7700	0.0	-
0.3001	7750	0.0	-
0.3021	7800	0.0	-
0.3040	7850	0.0	-
0.3059	7900	0.0	-
0.3079	7950	0.0	-
0.3098	8000	0.0	-
0.3117	8050	0.0	-
0.3137	8100	0.0	-
0.3156	8150	0.0	-
0.3175	8200	0.0	-
0.3195	8250	0.0	-
0.3214	8300	0.0	-
0.3234	8350	0.0	-
0.3253	8400	0.0	-
0.3272	8450	0.0	-
0.3292	8500	0.0	-
0.3311	8550	0.0	-
0.3330	8600	0.0	-
0.3350	8650	0.0	-
0.3369	8700	0.0	-
0.3388	8750	0.0	-
0.3408	8800	0.0	-
0.3427	8850	0.0	-
0.3447	8900	0.0	-
0.3466	8950	0.0	-
0.3485	9000	0.0	-
0.3505	9050	0.0	-
0.3524	9100	0.0	-
0.3543	9150	0.0	-
0.3563	9200	0.0	-
0.3582	9250	0.0	-
0.3601	9300	0.0	-
0.3621	9350	0.0	-
0.3640	9400	0.0	-
0.3660	9450	0.0	-
0.3679	9500	0.0	-
0.3698	9550	0.0	-
0.3718	9600	0.0	-
0.3737	9650	0.0	-
0.3756	9700	0.0	-
0.3776	9750	0.0	-
0.3795	9800	0.0	-
0.3814	9850	0.0	-
0.3834	9900	0.0	-
0.3853	9950	0.0	-
0.3873	10000	0.0	-
0.3892	10050	0.0	-
0.3911	10100	0.0	-
0.3931	10150	0.0	-
0.3950	10200	0.0	-
0.3969	10250	0.0	-
0.3989	10300	0.0	-
0.4008	10350	0.0	-
0.4027	10400	0.0	-
0.4047	10450	0.0	-
0.4066	10500	0.0	-
0.4086	10550	0.0	-
0.4105	10600	0.0	-
0.4124	10650	0.0	-
0.4144	10700	0.0	-
0.4163	10750	0.0	-
0.4182	10800	0.0	-
0.4202	10850	0.0	-
0.4221	10900	0.0	-
0.4240	10950	0.0	-
0.4260	11000	0.0	-
0.4279	11050	0.0	-
0.4298	11100	0.0	-
0.4318	11150	0.0	-
0.4337	11200	0.0	-
0.4357	11250	0.0	-
0.4376	11300	0.0	-
0.4395	11350	0.0	-
0.4415	11400	0.0	-
0.4434	11450	0.0	-
0.4453	11500	0.0	-
0.4473	11550	0.0	-
0.4492	11600	0.0	-
0.4511	11650	0.0	-
0.4531	11700	0.0	-
0.4550	11750	0.0	-
0.4570	11800	0.0	-
0.4589	11850	0.0109	-
0.4608	11900	0.0218	-
0.4628	11950	0.0073	-
0.4647	12000	0.0056	-
0.4666	12050	0.0037	-
0.4686	12100	0.0011	-
0.4705	12150	0.0002	-
0.4724	12200	0.0014	-
0.4744	12250	0.0031	-
0.4763	12300	0.0013	-
0.4783	12350	0.0012	-
0.4802	12400	0.0022	-
0.4821	12450	0.0003	-
0.4841	12500	0.0	-
0.4860	12550	0.0	-
0.4879	12600	0.0	-
0.4899	12650	0.0	-
0.4918	12700	0.0	-
0.4937	12750	0.0	-
0.4957	12800	0.0	-
0.4976	12850	0.0	-
0.4996	12900	0.0	-
0.5015	12950	0.0	-
0.5034	13000	0.0	-
0.5054	13050	0.0	-
0.5073	13100	0.0	-
0.5092	13150	0.0	-
0.5112	13200	0.0	-
0.5131	13250	0.0	-
0.5150	13300	0.0	-
0.5170	13350	0.0	-
0.5189	13400	0.0	-
0.5209	13450	0.0	-
0.5228	13500	0.0	-
0.5247	13550	0.0	-
0.5267	13600	0.0	-
0.5286	13650	0.0	-
0.5305	13700	0.0	-
0.5325	13750	0.0	-
0.5344	13800	0.0	-
0.5363	13850	0.0	-
0.5383	13900	0.0	-
0.5402	13950	0.0	-
0.5422	14000	0.0	-
0.5441	14050	0.0	-
0.5460	14100	0.0	-
0.5480	14150	0.0	-
0.5499	14200	0.0	-
0.5518	14250	0.0	-
0.5538	14300	0.0	-
0.5557	14350	0.0	-
0.5576	14400	0.0	-
0.5596	14450	0.0	-
0.5615	14500	0.0	-
0.5635	14550	0.0	-
0.5654	14600	0.0	-
0.5673	14650	0.0	-
0.5693	14700	0.0	-
0.5712	14750	0.0	-
0.5731	14800	0.0	-
0.5751	14850	0.0	-
0.5770	14900	0.0	-
0.5789	14950	0.0	-
0.5809	15000	0.0	-
0.5828	15050	0.0	-
0.5848	15100	0.0	-
0.5867	15150	0.0	-
0.5886	15200	0.0	-
0.5906	15250	0.0	-
0.5925	15300	0.0	-
0.5944	15350	0.0	-
0.5964	15400	0.0	-
0.5983	15450	0.0	-
0.6002	15500	0.0	-
0.6022	15550	0.0	-
0.6041	15600	0.0	-
0.6060	15650	0.0	-
0.6080	15700	0.0	-
0.6099	15750	0.0	-
0.6119	15800	0.0	-
0.6138	15850	0.0	-
0.6157	15900	0.0	-
0.6177	15950	0.0	-
0.6196	16000	0.0	-
0.6215	16050	0.0	-
0.6235	16100	0.0	-
0.6254	16150	0.0002	-
0.6273	16200	0.0	-
0.6293	16250	0.0002	-
0.6312	16300	0.0034	-
0.6332	16350	0.0062	-
0.6351	16400	0.0034	-
0.6370	16450	0.0001	-
0.6390	16500	0.0004	-
0.6409	16550	0.0	-
0.6428	16600	0.0	-
0.6448	16650	0.0	-
0.6467	16700	0.0	-
0.6486	16750	0.0	-
0.6506	16800	0.0	-
0.6525	16850	0.0	-
0.6545	16900	0.0	-
0.6564	16950	0.0	-
0.6583	17000	0.0	-
0.6603	17050	0.0	-
0.6622	17100	0.0	-
0.6641	17150	0.0	-
0.6661	17200	0.0	-
0.6680	17250	0.0	-
0.6699	17300	0.0	-
0.6719	17350	0.0	-
0.6738	17400	0.0	-
0.6758	17450	0.0	-
0.6777	17500	0.0	-
0.6796	17550	0.0	-
0.6816	17600	0.0	-
0.6835	17650	0.0	-
0.6854	17700	0.0	-
0.6874	17750	0.0	-
0.6893	17800	0.0	-
0.6912	17850	0.0	-
0.6932	17900	0.0	-
0.6951	17950	0.0	-
0.6971	18000	0.0	-
0.6990	18050	0.0	-
0.7009	18100	0.0	-
0.7029	18150	0.0	-
0.7048	18200	0.0	-
0.7067	18250	0.0	-
0.7087	18300	0.0	-
0.7106	18350	0.0	-
0.7125	18400	0.0	-
0.7145	18450	0.0	-
0.7164	18500	0.0	-
0.7184	18550	0.0	-
0.7203	18600	0.0	-
0.7222	18650	0.0	-
0.7242	18700	0.0	-
0.7261	18750	0.0	-
0.7280	18800	0.0	-
0.7300	18850	0.0	-
0.7319	18900	0.0	-
0.7338	18950	0.0	-
0.7358	19000	0.0	-
0.7377	19050	0.0	-
0.7397	19100	0.0	-
0.7416	19150	0.0	-
0.7435	19200	0.0	-
0.7455	19250	0.0	-
0.7474	19300	0.0	-
0.7493	19350	0.0	-
0.7513	19400	0.0	-
0.7532	19450	0.0	-
0.7551	19500	0.0	-
0.7571	19550	0.0	-
0.7590	19600	0.0	-
0.7609	19650	0.0	-
0.7629	19700	0.0	-
0.7648	19750	0.0	-
0.7668	19800	0.0	-
0.7687	19850	0.0	-
0.7706	19900	0.0	-
0.7726	19950	0.0	-
0.7745	20000	0.0	-
0.7764	20050	0.0	-
0.7784	20100	0.0	-
0.7803	20150	0.0	-
0.7822	20200	0.0	-
0.7842	20250	0.0	-
0.7861	20300	0.0	-
0.7881	20350	0.0	-
0.7900	20400	0.0	-
0.7919	20450	0.0	-
0.7939	20500	0.0	-
0.7958	20550	0.0	-
0.7977	20600	0.0	-
0.7997	20650	0.0	-
0.8016	20700	0.0	-
0.8035	20750	0.0	-
0.8055	20800	0.0	-
0.8074	20850	0.0	-
0.8094	20900	0.0	-
0.8113	20950	0.0	-
0.8132	21000	0.0	-
0.8152	21050	0.0	-
0.8171	21100	0.0	-
0.8190	21150	0.0	-
0.8210	21200	0.0	-
0.8229	21250	0.0	-
0.8248	21300	0.0	-
0.8268	21350	0.0	-
0.8287	21400	0.0	-
0.8307	21450	0.0	-
0.8326	21500	0.0	-
0.8345	21550	0.0	-
0.8365	21600	0.0	-
0.8384	21650	0.0	-
0.8403	21700	0.0	-
0.8423	21750	0.0	-
0.8442	21800	0.0	-
0.8461	21850	0.0	-
0.8481	21900	0.0	-
0.8500	21950	0.0	-
0.8520	22000	0.0	-
0.8539	22050	0.0	-
0.8558	22100	0.0	-
0.8578	22150	0.0	-
0.8597	22200	0.0	-
0.8616	22250	0.0	-
0.8636	22300	0.0	-
0.8655	22350	0.0	-
0.8674	22400	0.0	-
0.8694	22450	0.0	-
0.8713	22500	0.0	-
0.8733	22550	0.0	-
0.8752	22600	0.0	-
0.8771	22650	0.0	-
0.8791	22700	0.0	-
0.8810	22750	0.0	-
0.8829	22800	0.0	-
0.8849	22850	0.0	-
0.8868	22900	0.0	-
0.8887	22950	0.0	-
0.8907	23000	0.0	-
0.8926	23050	0.0	-
0.8946	23100	0.0	-
0.8965	23150	0.0	-
0.8984	23200	0.0	-
0.9004	23250	0.0	-
0.9023	23300	0.0	-
0.9042	23350	0.0	-
0.9062	23400	0.0	-
0.9081	23450	0.0	-
0.9100	23500	0.0	-
0.9120	23550	0.0	-
0.9139	23600	0.0	-
0.9159	23650	0.0	-
0.9178	23700	0.0	-
0.9197	23750	0.0	-
0.9217	23800	0.0	-
0.9236	23850	0.0	-
0.9255	23900	0.0	-
0.9275	23950	0.0	-
0.9294	24000	0.0	-
0.9313	24050	0.0	-
0.9333	24100	0.0	-
0.9352	24150	0.0	-
0.9371	24200	0.0	-
0.9391	24250	0.0	-
0.9410	24300	0.0	-
0.9430	24350	0.0	-
0.9449	24400	0.0	-
0.9468	24450	0.0	-
0.9488	24500	0.0	-
0.9507	24550	0.0	-
0.9526	24600	0.0	-
0.9546	24650	0.0	-
0.9565	24700	0.0	-
0.9584	24750	0.0	-
0.9604	24800	0.0	-
0.9623	24850	0.0	-
0.9643	24900	0.0	-
0.9662	24950	0.0	-
0.9681	25000	0.0	-
0.9701	25050	0.0	-
0.9720	25100	0.0	-
0.9739	25150	0.0	-
0.9759	25200	0.0	-
0.9778	25250	0.0	-
0.9797	25300	0.0	-
0.9817	25350	0.0	-
0.9836	25400	0.0	-
0.9856	25450	0.0	-
0.9875	25500	0.0	-
0.9894	25550	0.0	-
0.9914	25600	0.0	-
0.9933	25650	0.0	-
0.9952	25700	0.0	-
0.9972	25750	0.0	-
0.9991	25800	0.0	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0
Sentence Transformers: 3.3.1
Transformers: 4.42.2
PyTorch: 2.5.1+cu121
Datasets: 3.2.0
Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}