Hugging Face's logo

yazidtagnaouti
/
maes

Text Classification
setfit
Safetensors
sentence-transformers
camembert
generated_from_setfit_trainer
Eval Results
Model card Files Community
yazidtagnaouti commited on
Commit
e9d69f9
•
1 Parent(s): efe07ea

Push model using huggingface_hub.

Browse files
Files changed (6) hide show
  1. README.md +58 -55
  2. config.json +1 -1
  3. config_setfit.json +2 -2
  4. model.safetensors +1 -1
  5. model_head.pkl +1 -1
  6. tokenizer.json +7 -4
README.md CHANGED
@@ -33,7 +33,7 @@ model-index:
33
  split: test
34
  metrics:
35
  - type: accuracy
36
- value: 0.9111111111111111
37
  name: Accuracy
38
  ---
39
 
@@ -65,33 +65,33 @@ The model has been trained using an efficient few-shot learning technique that i
65
  - **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)
66
 
67
  ### Model Labels
68
- | Label | Examples |
69
- |:------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
70
- | 3 | <ul><li>'Quelle est la procédure en cas de sinistre, et comment puis-je déposer une réclamation?'</li><li>"Est-ce que l'assurance multirisques habitation couvre les dommages causés par des catastrophes naturelles?"</li><li>"Quels critères sont pris en compte pour déterminer le montant de la prime d'assurance multirisques habitation chez la banque CDM?"</li></ul> |
71
- | 6 | <ul><li>"J'aimerais savoir comment joindre le service de planification financière de la banque CDM pour discuter de mes objectifs financiers à long terme."</li><li>"Où puis-je trouver les coordonnées du service d'assistance technique de la banque CDM pour résoudre un problème avec mon application mobile ?"</li><li>"Où puis-je trouver les coordonnées du service de prêt immobilier de la banque CDM pour obtenir des informations sur les taux d'intérêt ?"</li></ul> |
72
- | 11 | <ul><li>"Comment puis-je accéder à des relevés ou à des rapports détaillés sur l'activité de mon compte d'épargne éducation chez la banque CDM?"</li><li>"Quels sont les produits d'épargne éducation proposés par la banque CDM?"</li><li>"Quels sont les critères d'éligibilité pour souscrire à un plan d'épargne éducation?"</li></ul> |
73
- | 10 | <ul><li>"Je suis à la recherche de conseils sur la constitution d'un fonds d'urgence pour faire face aux dépenses imprévues."</li><li>"L'épargne peut également servir à financer des projets personnels, comme des voyages ou des études supérieures."</li><li>"L'épargne régulière est un moyen efficace de réaliser des objectifs financiers à long terme."</li></ul> |
74
- | 2 | <ul><li>"Quelles sont les démarches à suivre pour déposer une réclamation auprès de l'assureur en cas de besoin ?"</li><li>'assurance moy de paiement'</li><li>"Est-ce que l'assurance des moyens de paiement inclut une assistance en cas de fraude ou d'utilisation non autorisée de mes cartes ?"</li></ul> |
75
- | 17 | <ul><li>"Comment puis-je ajuster les paramètres de ma simulation de crédit pour voir l'impact sur les mensualités et le coût total du prêt?"</li><li>"Comment puis-je accéder à l'outil de simulation de crédit en ligne de la banque CDM?"</li><li>'Quelles informations personnelles sont nécessaires pour effectuer une simulation de crédit en ligne chez la banque CDM?'</li></ul> |
76
- | 8 | <ul><li>'Je suis intéressé par un prêt à la consommation pour financer des dépenses imprévues.'</li><li>'Comment puis-je demander un crédit à la consommation chez CDM?'</li><li>"J'envisage de souscrire un prêt à la consommation afin de financer mes études."</li></ul> |
77
- | 0 | <ul><li>"Quels documents ou informations supplémentaires sont nécessaires lors de la souscription à l'assurance décès et invalidité chez la banque CDM?"</li><li>"Quelle est la procédure en cas de changement de situation personnelle ou professionnelle qui pourrait affecter ma couverture d'assurance?"</li><li>"Est-ce que l'assurance décès et invalidité offre une protection pour les prêts contractés auprès de la banque CDM, tels que les prêts hypothécaires ou les prêts auto?"</li></ul> |
78
- | 14 | <ul><li>'Bonne journée!'</li><li>'Salam!'</li><li>'Bonsoir, comment ça va ?'</li></ul> |
79
- | 9 | <ul><li>'Je veux un crédit pour acheter une maison'</li><li>"Quelles sont les conditions d'éligibilité pour obtenir un prêt immobilier?"</li><li>'Mon projet consiste à contracter un prêt immobilier pour investir dans une propriété résidentielle.'</li></ul> |
80
- | 5 | <ul><li>'Comment fonctionne le processus de renouvellement de ma carte bancaire expirée?'</li><li>"Y a-t-il des programmes de fidélité spécifiques aux commerçants associés à l'utilisation de ma carte bancaire CDM?"</li><li>"Est-il possible de transférer le solde d'une carte de crédit externe vers une carte de crédit CDM?"</li></ul> |
81
- | 7 | <ul><li>'Est-ce que la banque CDM propose des offres spéciales ou des taux préférentiels pour certains véhicules?'</li><li>'je veux financer ma nouvelle voiture'</li><li>'Je souhaite obtenir un crédit auto afin de remplacer mon véhicule actuel.'</li></ul> |
82
- | 1 | <ul><li>"Y a-t-il des limitations sur le nombre de retraits que je peux effectuer sur mon compte d'assurance épargne pendant une période donnée?"</li><li>"Quels sont les avantages fiscaux associés à la souscription d'une assurance épargne chez CDM?"</li><li>"Puis-je résilier ou modifier ma police d'assurance épargne, et quelles sont les implications?"</li></ul> |
83
- | 13 | <ul><li>"Je reviendrai si j'ai d'autres questions."</li><li>'bye'</li><li>'À bientôt!'</li></ul> |
84
- | 16 | <ul><li>"Est-ce que la protection en cas d'accident couvre également les dommages matériels causés à des biens tiers?"</li><li>"Quelle est la période de validité de la protection en cas d'accident?"</li><li>"Quels sont les documents nécessaires en cas de déclaration d'accident pour bénéficier de la couverture?"</li></ul> |
85
- | 15 | <ul><li>'quels types de comptes proposez vous?'</li><li>"Quelle est la politique de la banque CDM en matière de dépôt initial pour l'ouverture d'un compte?"</li><li>"Quels sont les avantages de l'ouverture d'un compte professionnel chez CDM par rapport à d'autres institutions financières?"</li></ul> |
86
- | 12 | <ul><li>"Quelles sont les conséquences fiscales si je décide de transférer mon plan d'épargne retraite vers une autre institution financière?"</li><li>"Quels sont les avantages de souscrire à un produit d'épargne retraite chez la banque CDM?"</li><li>"Quels sont les frais associés à la souscription et à la gestion d'un plan d'épargne retraite?"</li></ul> |
87
- | 4 | <ul><li>"Pouvez-vous m'expliquer le processus de sécurité mis en place pour les opérations bancaires en ligne?"</li><li>'Comment puis-je modifier mes informations personnelles ou mes préférences en ligne?'</li><li>'Quels services puis-je effectuer en ligne, tels que le virement de fonds ou le paiement de factures?'</li></ul> |
88
 
89
  ## Evaluation
90
 
91
  ### Metrics
92
  | Label | Accuracy |
93
  |:--------|:---------|
94
- | **all** | 0.9111 |
95
 
96
  ## Uses
97
 
@@ -143,28 +143,28 @@ preds = model("Quelle est la durée typique d'un prêt auto chez la banque CDM?"
143
  ### Training Set Metrics
144
  | Training set | Min | Median | Max |
145
  |:-------------|:----|:--------|:----|
146
- | Word count | 1 | 14.4563 | 28 |
147
 
148
  | Label | Training Sample Count |
149
  |:------|:----------------------|
150
- | 0 | 14 |
151
- | 1 | 14 |
152
- | 2 | 14 |
153
- | 3 | 14 |
154
- | 4 | 14 |
155
- | 5 | 14 |
156
- | 6 | 14 |
157
- | 7 | 14 |
158
- | 8 | 14 |
159
- | 9 | 14 |
160
- | 10 | 14 |
161
- | 11 | 14 |
162
- | 12 | 14 |
163
- | 13 | 14 |
164
- | 14 | 14 |
165
- | 15 | 14 |
166
- | 16 | 14 |
167
- | 17 | 14 |
168
 
169
  ### Training Hyperparameters
170
  - batch_size: (16, 2)
@@ -180,6 +180,7 @@ preds = model("Quelle est la durée typique d'un prêt auto chez la banque CDM?"
180
  - end_to_end: True
181
  - use_amp: False
182
  - warmup_proportion: 0.1
 
183
  - seed: 42
184
  - eval_max_steps: -1
185
  - load_best_model_at_end: True
@@ -187,20 +188,22 @@ preds = model("Quelle est la durée typique d'un prêt auto chez la banque CDM?"
187
  ### Training Results
188
  | Epoch | Step | Training Loss | Validation Loss |
189
  |:-------:|:-------:|:-------------:|:---------------:|
190
- | 0.0016 | 1 | 0.1462 | - |
191
- | 0.0794 | 50 | 0.0687 | - |
192
- | 0.1587 | 100 | 0.0139 | - |
193
- | 0.2381 | 150 | 0.0034 | - |
194
- | 0.3175 | 200 | 0.0139 | - |
195
- | 0.3968 | 250 | 0.002 | - |
196
- | 0.4762 | 300 | 0.0016 | - |
197
- | 0.5556 | 350 | 0.0009 | - |
198
- | 0.6349 | 400 | 0.0009 | - |
199
- | 0.7143 | 450 | 0.0007 | - |
200
- | 0.7937 | 500 | 0.0008 | - |
201
- | 0.8730 | 550 | 0.0009 | - |
202
- | 0.9524 | 600 | 0.0007 | - |
203
- | **1.0** | **630** | **-** | **0.0276** |
 
 
204
 
205
  * The bold row denotes the saved checkpoint.
206
  ### Framework Versions
 
33
  split: test
34
  metrics:
35
  - type: accuracy
36
+ value: 0.9666666666666667
37
  name: Accuracy
38
  ---
39
 
 
65
  - **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)
66
 
67
  ### Model Labels
68
+ | Label | Examples |
69
+ |:------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
70
+ | 14 | <ul><li>'Salut, tout le monde va bien ?'</li><li>'Salut, ça va bien ?'</li><li>'Bonne journée!'</li></ul> |
71
+ | 11 | <ul><li>"Quelle est la politique de la banque CDM en cas de défaut de paiement ou de retard dans les contributions à un plan d'épargne éducation?"</li><li>"Est-il possible de nommer un bénéficiaire supplémentaire ou de modifier le bénéficiaire désigné pour un plan d'épargne éducation chez la banque CDM?"</li><li>"Quels sont les différents niveaux de risque associés aux produits d'épargne éducation proposés par la banque CDM?"</li></ul> |
72
+ | 1 | <ul><li>"Y a-t-il des conditions spécifiques à respecter pour bénéficier des avantages de l'assurance épargne?"</li><li>"Quels sont les avantages fiscaux associés à la souscription d'une assurance épargne chez CDM?"</li><li>"Est-ce que l'assurance épargne chez CDM offre des options de transfert automatique de fonds depuis mon compte courant ou d'autres comptes?"</li></ul> |
73
+ | 8 | <ul><li>'Un prêt à la consommation serait idéal pour couvrir les frais médicaux non prévus.'</li><li>"Je recherche des options de financement pour un voyage et je m'intéresse à un prêt à la consommation."</li><li>'quels sont les avantages du credit a la consommation'</li></ul> |
74
+ | 0 | <ul><li>'Quels sont les coûts associés à cette assurance, et comment sont-ils facturés?'</li><li>"Quels documents ou informations supplémentaires sont nécessaires lors de la souscription à l'assurance décès et invalidité chez la banque CDM?"</li><li>'Proposez-vous des assurances décès et invalidité chez CDM?'</li></ul> |
75
+ | 16 | <ul><li>"Quels types de protections en cas d'accident proposez-vous?"</li><li>"Puis-je transférer ma protection en cas d'accident si je change de véhicule ou de situation?"</li><li>"Quels sont les documents nécessaires en cas de déclaration d'accident pour bénéficier de la couverture?"</li></ul> |
76
+ | 2 | <ul><li>"Quels types de pertes ou de dommages sont couverts par l'assurance des moyens de paiement?"</li><li>"Existe-t-il des options de couverture supplémentaires que je peux ajouter à mon contrat d'assurance des moyens de paiement ?"</li><li>"Quelle est la période de couverture de l'assurance des moyens de paiement?"</li></ul> |
77
+ | 13 | <ul><li>"C'était utile, merci!"</li><li>"C'était informatif, au revoir!"</li><li>'BY'</li></ul> |
78
+ | 12 | <ul><li>'Est-ce que la banque CDM offre des services de conseil financier pour aider les clients à planifier leur retraite?'</li><li>'Y a-t-il des incitations spéciales pour les jeunes travailleurs ou les personnes qui commencent à épargner tôt pour leur retraite?'</li><li>"Quelles sont les conséquences fiscales si je décide de transférer mon plan d'épargne retraite vers une autre institution financière?"</li></ul> |
79
+ | 7 | <ul><li>"Y a-t-il des frais supplémentaires associés à l'obtention d'un crédit auto, comme les frais de traitement du dossier?"</li><li>"Est-ce que CDM propose des prêts auto pour les véhicules d'occasion ?"</li><li>"Quelle est la durée typique d'un prêt automobile chez CDM?"</li></ul> |
80
+ | 4 | <ul><li>'Quels services puis-je effectuer en ligne, tels que le virement de fonds ou le paiement de factures?'</li><li>'Quelle est la politique de la banque CDM en matière de protection de la vie privée pour les services bancaires en ligne?'</li><li>"Comment puis-je m'inscrire pour les services de banque en ligne de CDM?"</li></ul> |
81
+ | 5 | <ul><li>'Quelle est la politique de remboursement en cas de fraude sur ma carte bancaire?'</li><li>'Comment fonctionne le processus de renouvellement de ma carte bancaire expirée?'</li><li>"Quels sont les critères d'admissibilité pour obtenir une carte de crédit chez CDM?"</li></ul> |
82
+ | 10 | <ul><li>"quels types de comptes d'epargne proposez vous"</li><li>"Je suis à la recherche de conseils sur la constitution d'un fonds d'urgence pour faire face aux dépenses imprévues."</li><li>"L'épargne régulière est une habitude financière saine qui peut apporter une tranquillité d'esprit à long terme."</li></ul> |
83
+ | 6 | <ul><li>"J'aimerais savoir comment joindre le service de planification financière de la banque CDM pour discuter de mes objectifs financiers à long terme."</li><li>'Comment puis-je contacter le service de gestion des dépôts à terme de la banque CDM pour ouvrir un nouveau compte ?'</li><li>"Où puis-je trouver les coordonnées du service de gestion des transferts internationaux de la banque CDM pour effectuer des virements à l'étranger ?"</li></ul> |
84
+ | 9 | <ul><li>'Je veux un crédit pour acheter une maison'</li><li>"La banque CDM offre-t-elle des conseils ou des services d'accompagnement pour les nouveaux propriétaires immobiliers?"</li><li>"Quels sont les avantages ou les programmes spéciaux liés à l'obtention d'un crédit immobilier chez la banque CDM?"</li></ul> |
85
+ | 17 | <ul><li>"Y a-t-il des frais associés à la réalisation d'une simulation de crédit chez la banque CDM?"</li><li>'Puis-je réaliser une simulation de crédit pour un prêt personnel, un crédit auto et un crédit immobilier en même temps chez la banque CDM?'</li><li>'Existe-t-il une assistance disponible pour comprendre les résultats de la simulation de crédit chez la banque CDM?'</li></ul> |
86
+ | 3 | <ul><li>'assurance habitation'</li><li>"Est-ce que l'assurance multirisques habitation couvre les dommages causés par des catastrophes naturelles?"</li><li>"Quels sont les délais de traitement des demandes de remboursement en cas de sinistre avec l'assurance multirisques habitation de la banque CDM?"</li></ul> |
87
+ | 15 | <ul><li>'Quelles sont les options de gestion de compte en ligne disponibles?'</li><li>'je desire creer un compte chez vous'</li><li>"Comment puis-je transférer mes comptes existants d'une autre banque vers CDM?"</li></ul> |
88
 
89
  ## Evaluation
90
 
91
  ### Metrics
92
  | Label | Accuracy |
93
  |:--------|:---------|
94
+ | **all** | 0.9667 |
95
 
96
  ## Uses
97
 
 
143
  ### Training Set Metrics
144
  | Training set | Min | Median | Max |
145
  |:-------------|:----|:--------|:----|
146
+ | Word count | 1 | 14.5053 | 28 |
147
 
148
  | Label | Training Sample Count |
149
  |:------|:----------------------|
150
+ | 0 | 16 |
151
+ | 1 | 16 |
152
+ | 2 | 16 |
153
+ | 3 | 16 |
154
+ | 4 | 16 |
155
+ | 5 | 16 |
156
+ | 6 | 15 |
157
+ | 7 | 16 |
158
+ | 8 | 16 |
159
+ | 9 | 16 |
160
+ | 10 | 15 |
161
+ | 11 | 16 |
162
+ | 12 | 16 |
163
+ | 13 | 16 |
164
+ | 14 | 16 |
165
+ | 15 | 16 |
166
+ | 16 | 16 |
167
+ | 17 | 15 |
168
 
169
  ### Training Hyperparameters
170
  - batch_size: (16, 2)
 
180
  - end_to_end: True
181
  - use_amp: False
182
  - warmup_proportion: 0.1
183
+ - max_length: 256
184
  - seed: 42
185
  - eval_max_steps: -1
186
  - load_best_model_at_end: True
 
188
  ### Training Results
189
  | Epoch | Step | Training Loss | Validation Loss |
190
  |:-------:|:-------:|:-------------:|:---------------:|
191
+ | 0.0014 | 1 | 0.1659 | - |
192
+ | 0.0701 | 50 | 0.044 | - |
193
+ | 0.1403 | 100 | 0.0374 | - |
194
+ | 0.2104 | 150 | 0.0624 | - |
195
+ | 0.2805 | 200 | 0.005 | - |
196
+ | 0.3506 | 250 | 0.0022 | - |
197
+ | 0.4208 | 300 | 0.0042 | - |
198
+ | 0.4909 | 350 | 0.0012 | - |
199
+ | 0.5610 | 400 | 0.0016 | - |
200
+ | 0.6311 | 450 | 0.001 | - |
201
+ | 0.7013 | 500 | 0.0006 | - |
202
+ | 0.7714 | 550 | 0.0006 | - |
203
+ | 0.8415 | 600 | 0.0009 | - |
204
+ | 0.9116 | 650 | 0.0005 | - |
205
+ | 0.9818 | 700 | 0.0006 | - |
206
+ | **1.0** | **713** | **-** | **0.0202** |
207
 
208
  * The bold row denotes the saved checkpoint.
209
  ### Framework Versions
config.json CHANGED
@@ -1,5 +1,5 @@
1
  {
2
- "_name_or_path": "checkpoints/step_630",
3
  "architectures": [
4
  "CamembertModel"
5
  ],
 
1
  {
2
+ "_name_or_path": "checkpoints/step_713",
3
  "architectures": [
4
  "CamembertModel"
5
  ],
config_setfit.json CHANGED
@@ -1,4 +1,4 @@
1
  {
2
- "normalize_embeddings": false,
3
- "labels": null
4
  }
 
1
  {
2
+ "labels": null,
3
+ "normalize_embeddings": false
4
  }
model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:3ddb775a6f2254220095dca3190af484a5077d681a360d90edad964f5fe25439
3
  size 1346690896
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:088303db4f817ca04ff89cea6d9f3170a2a9a007aef6f702afe50d02a453b1a4
3
  size 1346690896
model_head.pkl CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:78e979ca129138107e7afa64a8d559fe645e02c727ef2d2b583dd2436d25e3c5
3
  size 75363
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:156cb8de3f21cfb5fd3a414e9dca4fbd454f2ca7b5ecc86894bc937de4c067ac
3
  size 75363
tokenizer.json CHANGED
@@ -1,10 +1,13 @@
1
  {
2
  "version": "1.0",
3
- "truncation": null,
 
 
 
 
 
4
  "padding": {
5
- "strategy": {
6
- "Fixed": 514
7
- },
8
  "direction": "Right",
9
  "pad_to_multiple_of": null,
10
  "pad_id": 1,
 
1
  {
2
  "version": "1.0",
3
+ "truncation": {
4
+ "direction": "Right",
5
+ "max_length": 514,
6
+ "strategy": "LongestFirst",
7
+ "stride": 0
8
+ },
9
  "padding": {
10
+ "strategy": "BatchLongest",
 
 
11
  "direction": "Right",
12
  "pad_to_multiple_of": null,
13
  "pad_id": 1,