Add new SentenceTransformer model

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+tokenizer.json filter=lfs diff=lfs merge=lfs -text

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 1024,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

README.md

@@ -0,0 +1,671 @@
+---
+base_model: intfloat/multilingual-e5-large
+language:
+- multilingual
+library_name: sentence-transformers
+license: apache-2.0
+metrics:
+- cosine_accuracy
+- dot_accuracy
+- manhattan_accuracy
+- euclidean_accuracy
+- max_accuracy
+pipeline_tag: sentence-similarity
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:10590
+- loss:MultipleNegativesRankingLoss
+widget:
+- source_sentence: 'query: Silla de listones de madera tropical, de 68 cm de longitud,
+    con protección fungicida insecticida e hidrófuga, acabado incoloro, con respaldo,
+    soportes y apoyabrazos de madera, colocada con fijaciones mecánicas'
+  sentences:
+  - 'passage: Pavimento de losas de concreto de diseño irregular con bordes rectos,
+    de 10 cm de grosor, a un costo elevado, instaladas con mezcla de cemento en proporción
+    1:4, en un área urbana con fácil acceso, en aceras de más de 3 y hasta 5 m de
+    ancho o en calzadas/plataformas únicas de más de 7 y hasta 12 m de ancho, considerando
+    la interferencia de servicios o mobiliario urbano, en proyectos de hasta 1 m2.'
+  - 'passage: Silla de listones de madera reciclada, de 68 cm de longitud, con tratamiento
+    anti-UV y resistente a la humedad, acabado mate, sin respaldo, soportes y apoyabrazos
+    de metal, ensamblada con adhesivos estructurales.'
+  - 'passage: Silla de madera tropical de 68 cm de largo, tratada con protección contra
+    hongos e insectos, con un acabado transparente, que incluye respaldo, soportes
+    y reposabrazos de madera, ensamblada con anclajes mecánicos.'
+- source_sentence: 'query: Radiador de pie con intercambiador de calor interno sencillo
+    de tubo de cobre con aletas de aluminio y de bajo caudal de agua, con armazón
+    de plancha de acero antivandálica lacado de 20 a 25 cm de ancho 65 a 75 cm de
+    altura y 125 a 145 cm de longitud, con purgador, tapon de vaciado y elementos
+    de montaje, colocado de pie'
+  sentences:
+  - 'passage: Radiador vertical con intercambiador de calor de tubo de cobre y aletas
+    de aluminio, diseñado para un bajo flujo de agua, con estructura de acero lacado
+    resistente al vandalismo, dimensiones de 20 a 25 cm de ancho, 65 a 75 cm de alto
+    y 125 a 145 cm de largo, equipado con purgador, tapón de drenaje y accesorios
+    de instalación.'
+  - 'passage: Formigonament de rases i pous, utilitzant formigó HA - 35 / B / 10 /
+    XC4 + XA1 amb una dosi de ciment de 325 kg/m3 i una relació aigua-ciment no superior
+    a 0.5, abocat mitjançant cubilot.'
+  - 'passage: Radiador de pared con intercambiador de calor externo complejo de tubo
+    de acero inoxidable sin aletas y de alto caudal de agua, con estructura de aluminio
+    anodizado de 30 a 35 cm de ancho, 70 a 80 cm de altura y 130 a 150 cm de longitud,
+    sin purgador, tapón de llenado y elementos de desmontaje, instalado en posición
+    horizontal.'
+- source_sentence: 'query: Formación de forjado aligerado de espesor 10+15+5 cm con
+    un canto total de 30 cm y de 163 a 353 kN·m de momento flector último, para una
+    sobrecarga (uso+permanentes) de 4 a 5 kN/m2, formado por semiplaca de hormigón
+    pretensado (prelosa) de 10 cm de espesor, 120 a 250 cm de anchura y de luz máx.
+    8 m, bovedilla poliestireno de 15 cm de altura y capa de compresión de 5 cm de
+    espesor, con una cuantía de 3 kg/ m2 de armadura AP500 S de acero en barras corrugadas,
+    armadura AP500 T en mallas electrosoldadas de 15x15 cm y D 6 mm, y una cuantia
+    de hormigón 0.086 m3/m2 hormigón para armar HA - 30 / F / 20 / XC4 + XD3 con una
+    cantidad de cemento de 325 kg/m3 i relación agua cemento =< 0.5, vertido con cubilote'
+  sentences:
+  - 'passage: Pavimento de mezcla asfáltica continua en caliente tipo AC 22 base B
+    35/50 G de baja temperatura, utilizando betún asfáltico de penetración y granulometría
+    gruesa para la capa base, reciclado de mezcla bituminosa y árido calcáreo, aplicado
+    y compactado en un entorno urbano con movilidad restringida, en aceras de más
+    de 3 y hasta 5 m de ancho o calzada/plataforma única de más de 7 y hasta 12 m
+    de ancho, afectado por servicios o elementos de mobiliario urbano, en proyectos
+    que superan los 10 m2.'
+  - 'passage: Formación de forjado macizo de espesor 20 cm con un canto total de 40
+    cm y de 200 a 400 kN·m de momento flector último, para una sobrecarga (uso+permanentes)
+    de 6 a 7 kN/m2, formado por losas de hormigón armado de 20 cm de espesor, 150
+    a 300 cm de anchura y de luz máx. 10 m, sin bovedilla, y capa de compresión de
+    10 cm de espesor, con una cuantía de 4 kg/m2 de armadura AP600 S de acero en barras
+    corrugadas, armadura AP600 T en mallas electrosoldadas de 20x20 cm y D 8 mm, y
+    una cuantía de hormigón 0.1 m3/m2 hormigón para armar HA - 35 / F / 25 / XC3 +
+    XD2 con una cantidad de cemento de 350 kg/m3 y relación agua cemento =< 0.45,
+    vertido con bomba.'
+  - 'passage: Construcción de un forjado aligerado con un espesor total de 30 cm,
+    compuesto por una semiplaca de hormigón pretensado de 10 cm, bovedillas de poliestireno
+    de 15 cm y una capa de compresión de 5 cm, diseñado para soportar momentos flectores
+    de 163 a 353 kN·m y una sobrecarga de 4 a 5 kN/m2, utilizando armadura de acero
+    AP500 S y AP500 T, y hormigón HA - 30 con una dosificación de cemento de 325 kg/m3.'
+- source_sentence: 'query: Hormigonado para encepados, con hormigón para armar con
+    aditivo hidrófugo HA - 35 / B / 10 / XC4 + XD3 con una cantidad de cemento de
+    325 kg/m3 i relación agua cemento =< 0.5, colocado con bomba en obras de ingeniería
+    civil'
+  sentences:
+  - 'passage: Colocación de hormigón para cimentaciones, utilizando mezcla con aditivo
+    impermeabilizante HA - 35 / B / 10 / XC4 + XD3, con una dosificación de cemento
+    de 325 kg/m3 y una relación agua-cemento menor o igual a 0.5, aplicado mediante
+    bomba en proyectos de infraestructura.'
+  - 'passage: Coberta amb panell sandvitx d''acer amb aïllament de poliisocianurat
+    (PIR) que presenta millores en la resistència al foc, amb un gruix total de 40
+    mm, cara exterior nervada en color estàndard, diferent del blanc, i cara interior
+    llisa, prelacada a les dues cares, gruix de les planxes (ext/int) 0.6/0.4 mm,
+    junt longitudinal encadenat, amb fixació oculta mitjançant tapajunts, amb un pendent
+    mínim del 4%.'
+  - 'passage: Hormigonado para fundaciones, con hormigón para estructuras con aditivo
+    retardante HA - 35 / B / 10 / XC4 + XD3 con una cantidad de cemento de 350 kg/m3
+    i relación agua cemento =< 0.6, colocado manualmente en proyectos de edificación.'
+- source_sentence: 'query: Paret divisòria per a interior de panell de fusta contralaminada
+    de 150 mm de gruix formada per 5 capes de fusta d''avet C24, encolades amb adhesiu
+    sense urea-formaldehíde amb la disposició transversal de la fusta en les dues
+    cares del panell, amb tractament hidròfug, amb acabat superficial tipus habitatge
+    en les dues cares amb fusta d''avet roig amb fusta de Làrix europeu envernissat
+    en l''altre en l''altre col·locat amb fixacions mecàniques, desolidarització del
+    suport amb banda resilient de cautxú EPDM extruït, fixada amb grapes; unió entre
+    panells encadellat fixats amb cargols d''acer i segellat de la cara interior dels
+    junts amb cinta adhesiva de goma butílica, amb armadura de polièster i segellat
+    de la cara exterior amb cinta autoadhessiva de polietilè amb adhesiu acrílic sense
+    dissolvents, amb armadura de polietilè i pel·lícula de separació de paper siliconat,
+    prèvia aplicació d''imprimació incolora a base d'' una dispersió acrílica sense
+    dissolvents; resolució de traves amb cargols d''acer; fixació de panells amb elements
+    d''acer galvanitzat'
+  sentences:
+  - 'passage: Banc de metall d''alumini anoditzat, de 150 cm de llarg, amb suports
+    de fosa d''alumini, instal·lat amb fixacions mecàniques, en un entorn urbà amb
+    dificultats d''accés, en voreres de fins a 3 m d''amplada o calçades/plataformes
+    úniques de fins a 7 m d''amplada, amb interferències per serveis o elements de
+    mobiliari urbà, en projectes de 1 a 5 unitats.'
+  - 'passage: Paret separadora per a interiors de panell de fusta contralaminada de
+    150 mm de gruix composta per 5 capes de fusta d''avet C24, encolades amb adhesiu
+    sense urea-formaldehíde, amb la disposició transversal de la fusta a les dues
+    cares del panell, tractada per a resistència a la humitat, amb acabat superficial
+    de tipus residencial en ambdues cares amb fusta d''avet roig i fusta de Làrix
+    europeu envernissat a l''altre costat, instal·lada amb fixacions mecàniques, desolidarització
+    del suport mitjançant banda resilient de cautxú EPDM extruït, fixada amb grapes;
+    unió entre panells encadenada amb cargols d''acer i segellat de la cara interior
+    dels junts amb cinta adhesiva de goma butílica, amb armadura de polièster i segellat
+    de la cara exterior amb cinta autoadhesiva de polietilè amb adhesiu acrílic sense
+    dissolvents, amb armadura de polietilè i pel·lícula de separació de paper siliconat,
+    després d''aplicar una imprimació incolora a base d''una dispersió acrílica sense
+    dissolvents; resolució de traves amb cargols d''acer; fixació de panells amb elements
+    d''acer galvanitzat.'
+  - 'passage: Paret divisòria per a exterior de panell de fusta massissa de 200 mm
+    de gruix formada per 3 capes de fusta de pi, encolades amb adhesiu amb urea-formaldehíde
+    amb la disposició longitudinal de la fusta en una sola cara del panell, sense
+    tractament hidròfug, amb acabat superficial tipus industrial en una sola cara
+    amb fusta de pi blanc, col·locat amb soldadura, unió entre panells amb encaix
+    fixats amb cargols de plàstic i segellat de la cara interior dels junts amb cinta
+    adhesiva de polipropilè, amb armadura de fibra de vidre i segellat de la cara
+    exterior amb cinta de tela amb adhesiu de cautxú, amb armadura de fibra de vidre
+    i pel·lícula de separació de plàstic, prèvia aplicació d''imprimació colorida
+    a base d''una dispersió aquosa; resolució de traves amb cargols de plàstic; fixació
+    de panells amb elements de plàstic reciclable.'
+model-index:
+- name: Multilingual E5 Large trained with triplet loss
+  results:
+  - task:
+      type: triplet
+      name: Triplet
+    dataset:
+      name: validation set
+      type: validation-set
+    metrics:
+    - type: cosine_accuracy
+      value: 0.8810198300283286
+      name: Cosine Accuracy
+    - type: dot_accuracy
+      value: 0.11898016997167139
+      name: Dot Accuracy
+    - type: manhattan_accuracy
+      value: 0.8800755429650614
+      name: Manhattan Accuracy
+    - type: euclidean_accuracy
+      value: 0.8810198300283286
+      name: Euclidean Accuracy
+    - type: max_accuracy
+      value: 0.8810198300283286
+      name: Max Accuracy
+    - type: cosine_accuracy
+      value: 1.0
+      name: Cosine Accuracy
+    - type: dot_accuracy
+      value: 0.0
+      name: Dot Accuracy
+    - type: manhattan_accuracy
+      value: 1.0
+      name: Manhattan Accuracy
+    - type: euclidean_accuracy
+      value: 1.0
+      name: Euclidean Accuracy
+    - type: max_accuracy
+      value: 1.0
+      name: Max Accuracy
+  - task:
+      type: triplet
+      name: Triplet
+    dataset:
+      name: test set
+      type: test-set
+    metrics:
+    - type: cosine_accuracy
+      value: 1.0
+      name: Cosine Accuracy
+    - type: dot_accuracy
+      value: 0.0
+      name: Dot Accuracy
+    - type: manhattan_accuracy
+      value: 1.0
+      name: Manhattan Accuracy
+    - type: euclidean_accuracy
+      value: 1.0
+      name: Euclidean Accuracy
+    - type: max_accuracy
+      value: 1.0
+      name: Max Accuracy
+---
+
+# Multilingual E5 Large trained with triplet loss
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large) on the csv dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large) <!-- at revision ab10c1a7f42e74530fe7ae5be82e6d4f11a719eb -->
+- **Maximum Sequence Length:** 512 tokens
+- **Output Dimensionality:** 1024 tokens
+- **Similarity Function:** Cosine Similarity
+- **Training Dataset:**
+    - csv
+- **Language:** multilingual
+- **License:** apache-2.0
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
+  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+  (2): Normalize()
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("RamsesDIIP/me5-large-construction-esp-cat-v2")
+# Run inference
+sentences = [
+    "query: Paret divisòria per a interior de panell de fusta contralaminada de 150 mm de gruix formada per 5 capes de fusta d'avet C24, encolades amb adhesiu sense urea-formaldehíde amb la disposició transversal de la fusta en les dues cares del panell, amb tractament hidròfug, amb acabat superficial tipus habitatge en les dues cares amb fusta d'avet roig amb fusta de Làrix europeu envernissat en l'altre en l'altre col·locat amb fixacions mecàniques, desolidarització del suport amb banda resilient de cautxú EPDM extruït, fixada amb grapes; unió entre panells encadellat fixats amb cargols d'acer i segellat de la cara interior dels junts amb cinta adhesiva de goma butílica, amb armadura de polièster i segellat de la cara exterior amb cinta autoadhessiva de polietilè amb adhesiu acrílic sense dissolvents, amb armadura de polietilè i pel·lícula de separació de paper siliconat, prèvia aplicació d'imprimació incolora a base d' una dispersió acrílica sense dissolvents; resolució de traves amb cargols d'acer; fixació de panells amb elements d'acer galvanitzat",
+    "passage: Paret separadora per a interiors de panell de fusta contralaminada de 150 mm de gruix composta per 5 capes de fusta d'avet C24, encolades amb adhesiu sense urea-formaldehíde, amb la disposició transversal de la fusta a les dues cares del panell, tractada per a resistència a la humitat, amb acabat superficial de tipus residencial en ambdues cares amb fusta d'avet roig i fusta de Làrix europeu envernissat a l'altre costat, instal·lada amb fixacions mecàniques, desolidarització del suport mitjançant banda resilient de cautxú EPDM extruït, fixada amb grapes; unió entre panells encadenada amb cargols d'acer i segellat de la cara interior dels junts amb cinta adhesiva de goma butílica, amb armadura de polièster i segellat de la cara exterior amb cinta autoadhesiva de polietilè amb adhesiu acrílic sense dissolvents, amb armadura de polietilè i pel·lícula de separació de paper siliconat, després d'aplicar una imprimació incolora a base d'una dispersió acrílica sense dissolvents; resolució de traves amb cargols d'acer; fixació de panells amb elements d'acer galvanitzat.",
+    "passage: Paret divisòria per a exterior de panell de fusta massissa de 200 mm de gruix formada per 3 capes de fusta de pi, encolades amb adhesiu amb urea-formaldehíde amb la disposició longitudinal de la fusta en una sola cara del panell, sense tractament hidròfug, amb acabat superficial tipus industrial en una sola cara amb fusta de pi blanc, col·locat amb soldadura, unió entre panells amb encaix fixats amb cargols de plàstic i segellat de la cara interior dels junts amb cinta adhesiva de polipropilè, amb armadura de fibra de vidre i segellat de la cara exterior amb cinta de tela amb adhesiu de cautxú, amb armadura de fibra de vidre i pel·lícula de separació de plàstic, prèvia aplicació d'imprimació colorida a base d'una dispersió aquosa; resolució de traves amb cargols de plàstic; fixació de panells amb elements de plàstic reciclable.",
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 1024]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+## Evaluation
+
+### Metrics
+
+#### Triplet
+* Dataset: `validation-set`
+* Evaluated with [<code>TripletEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.TripletEvaluator)
+
+| Metric             | Value     |
+|:-------------------|:----------|
+| cosine_accuracy    | 0.881     |
+| dot_accuracy       | 0.119     |
+| manhattan_accuracy | 0.8801    |
+| euclidean_accuracy | 0.881     |
+| **max_accuracy**   | **0.881** |
+
+#### Triplet
+* Dataset: `validation-set`
+* Evaluated with [<code>TripletEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.TripletEvaluator)
+
+| Metric             | Value   |
+|:-------------------|:--------|
+| cosine_accuracy    | 1.0     |
+| dot_accuracy       | 0.0     |
+| manhattan_accuracy | 1.0     |
+| euclidean_accuracy | 1.0     |
+| **max_accuracy**   | **1.0** |
+
+#### Triplet
+* Dataset: `test-set`
+* Evaluated with [<code>TripletEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.TripletEvaluator)
+
+| Metric             | Value   |
+|:-------------------|:--------|
+| cosine_accuracy    | 1.0     |
+| dot_accuracy       | 0.0     |
+| manhattan_accuracy | 1.0     |
+| euclidean_accuracy | 1.0     |
+| **max_accuracy**   | **1.0** |
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### csv
+
+* Dataset: csv
+* Size: 10,590 training samples
+* Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                               | positive                                                                            | negative                                                                             |
+  |:--------|:-------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
+  | type    | string                                                                               | string                                                                              | string                                                                               |
+  | details | <ul><li>min: 28 tokens</li><li>mean: 111.15 tokens</li><li>max: 320 tokens</li></ul> | <ul><li>min: 28 tokens</li><li>mean: 108.5 tokens</li><li>max: 316 tokens</li></ul> | <ul><li>min: 23 tokens</li><li>mean: 101.87 tokens</li><li>max: 303 tokens</li></ul> |
+* Samples:
+  | anchor                                                                                                                                                                                                                                                                                                                                                                                                                                                                    | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              | negative                                                                                                                                                                                                                                                                                                                                                                                                                                                       |
+  |:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>query: Filtre per a tub de 65 mm de diàmetre nominal, de 25 bar de pressió màxima de servei, cilíndric, amb portafiltres de 6" de diàmetre i muntat entre tubs</code>                                                                                                                                                                                                                                                                                               | <code>passage: Filtre per a tub de 65 mm de diàmetre nominal, amb una pressió màxima de 25 bar, de forma cilíndrica, equipat amb un portafiltres de 6" de diàmetre i instal·lat entre les canonades.</code>                                                                                                                                                                                                                                                                                                           | <code>passage: Filtre per a tub de 50 mm de diàmetre nominal, de 20 bar de pressió màxima de servei, rectangular, amb portafiltres de 4" de diàmetre i instal·lat en línia amb vàlvules.</code>                                                                                                                                                                                                                                                                |
+  | <code>query: Radiador de fosa de 24 elements amb 3 columnes, de 725 mm d'alçària màxima, per a aigua calenta de 6 bar i 110 °C, com a màxim i amb suport per a anar encastat, amb valvuleria termostabilitzable per a sistema monotubular i purgador automàtic</code>                                                                                                                                                                                                     | <code>passage: Radiador de fosa de 24 elements amb 3 columnes, d'una alçària màxima de 725 mm, dissenyat per a aigua calenta a 6 bar i 110 °C, amb suport per a instal·lar encastat, incloent valvuleria termostabilitzable per a sistema monotubular i purgador automàtic.</code>                                                                                                                                                                                                                                    | <code>passage: Radiador de fosa de 20 elements amb 4 columnes, de 600 mm d'alçària mínima, per a aigua freda de 4 bar i 80 °C, com a mínim i amb suport per a instal·lar a la paret, amb valvuleria manual per a sistema bitubular i purgador manual.</code>                                                                                                                                                                                                   |
+  | <code>query: Tanca per a espais públics de perfils de fusta tractada tornejats de disposició horitzontal i vertical, de 975 a 1075 mm d'alçària amb estructura de muntants de fusta tractada, encastada al suport amb daus de formigó, en entorn urbà sense dificultat de mobilitat, en voreres > 3 i <= 5 m d'amplària o calçada/plataforma única > 7 i <= 12 m d'amplària, amb afectació per serveis o elements de mobiliari urbà, en actuacions de més de 100 m</code> | <code>passage: Tanca per a zones públiques amb perfils de fusta tractada, dissenyada tant en posició horitzontal com vertical, amb una alçària que varia entre 975 i 1075 mm, suportada per muntants de fusta tractada fixats a la base amb blocs de formigó, adequada per a entorns urbans amb mobilitat accessible, en voreres d'amplada entre 3 i 5 m o en calçades/plataformes d'amplada entre 7 i 12 m, tenint en compte la presència de serveis o mobiliari urbà, per a projectes que superin els 100 m.</code> | <code>passage: Tanca per a espais privats de perfils de metall galvanitzat amb disposició vertical i horitzontal, de 800 a 1000 mm d'alçària amb estructura de muntants de metall, fixada al sòl amb fonaments de formigó, en entorn rural amb dificultats de mobilitat, en camins > 2 i <= 4 m d'amplària o carreteres/plataformes > 5 i <= 10 m d'amplària, sense afectació per serveis o elements de mobiliari urbà, en actuacions de menys de 50 m.</code> |
+* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
+  ```json
+  {
+      "scale": 20.0,
+      "similarity_fct": "cos_sim"
+  }
+  ```
+
+### Evaluation Dataset
+
+#### csv
+
+* Dataset: csv
+* Size: 10,590 evaluation samples
+* Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                               | positive                                                                             | negative                                                                            |
+  |:--------|:-------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
+  | type    | string                                                                               | string                                                                               | string                                                                              |
+  | details | <ul><li>min: 16 tokens</li><li>mean: 111.13 tokens</li><li>max: 341 tokens</li></ul> | <ul><li>min: 16 tokens</li><li>mean: 108.44 tokens</li><li>max: 310 tokens</li></ul> | <ul><li>min: 16 tokens</li><li>mean: 102.0 tokens</li><li>max: 331 tokens</li></ul> |
+* Samples:
+  | anchor                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             | positive                                                                                                                                                                                                                                                                                                                                                                                                      | negative                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        |
+  |:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>query: Tubo de aluminio extrusionado de 76 mm de diámetro, para señales de tráfico, colocada, en entorno urbano sin dificultad de movilidad, en aceras <= 3 m de ancho o calzada/plataforma única <= 7 m de ancho, con afectación por servicios o elementos de mobiliario urbano, en actuaciones de más de100 m</code>                                                                                                                                                                       | <code>passage: Tubo de aluminio extruido de 76 mm de diámetro, destinado a señales viales, instalado en áreas urbanas con fácil acceso, en aceras de hasta 3 m de ancho o en calzadas/plataformas de hasta 7 m de ancho, considerando la interferencia de servicios o mobiliario urbano, en proyectos que superen los 100 m.</code>                                                                           | <code>passage: Tubo de acero galvanizado de 80 mm de diámetro, para estructuras temporales, instalado en área rural con restricciones de acceso, en caminos <= 4 m de ancho o terrenos de servicio <= 8 m de ancho, sin interferencia de servicios o elementos de infraestructura, en proyectos de menos de 50 m.</code>                                                                                                                                                                        |
+  | <code>query: Pavimento de losa de hormigón para pavimentos de 40x40 cm y 8 cm de espesor, de forma cuadrado, textura pétrea, precio alto, sobre lecho de arena de 5 cm de espesor, con relleno de juntas con arena fina y compactación del pavimento acabado, en entorno urbano con dificultad de mobilidad, en aceras > 3 y <= 5 m de ancho o calzada/plataforma única > 7 y <= 12 m de ancho, con afectación por servicios o elementos de mobiliario urbano, en actuaciones de hasta 1 m2</code> | <code>passage: Losas de concreto de 40x40 cm y 8 cm de grosor, con acabado rugoso, instaladas sobre una base de arena de 5 cm, con juntas rellenadas con arena fina y compactación final, en áreas urbanas con acceso limitado, en aceras de entre 3 y 5 m de ancho o calzadas de 7 a 12 m de ancho, considerando la interferencia de servicios y mobiliario urbano, en proyectos de hasta 1 m2.</code>       | <code>passage: Pavimento de losa de cerámica para pavimentos de 30x30 cm y 1 cm de espesor, de forma rectangular, textura lisa, precio bajo, sobre base de grava de 2 cm de espesor, con sellado de juntas con silicona y nivelación del pavimento terminado, en entorno rural con fácil acceso, en caminos > 1 y <= 3 m de ancho o senderos/plataformas individuales > 5 y <= 7 m de ancho, sin afectación por servicios o elementos de mobiliario rural, en actuaciones de hasta 2 m2.</code> |
+  | <code>query: Reducción concéntrica de polietileno PE 100, fabricación manipulada, diámetro nominal DN 225 - DN 160, presión nominal PN 10 (SDR 17), para unión por soldadura a tope, de acuerdo con la norma UNE-EN 12201-3 y colocado en el fondo de la zanja en entorno urbano sin dificultad de movilidad, sin afectación por presencia de servicios en la zanja, con presencia de entibación</code>                                                                                            | <code>passage: Reducción concéntrica de polietileno PE 100, fabricada a medida, con diámetros nominales DN 225 - DN 160, presión nominal PN 10 (SDR 17), diseñada para unión por soldadura a tope, cumpliendo con la norma UNE-EN 12201-3 y colocada en el fondo de la zanja en un entorno urbano, garantizando fácil acceso y sin interferencias por servicios existentes, con soporte de entibación.</code> | <code>passage: Reducción excéntrica de polietileno PE 80, fabricación estándar, diámetro nominal DN 200 - DN 125, presión nominal PN 6 (SDR 21), para unión por soldadura eléctrica, de acuerdo con la norma UNE-EN 12201-2 y colocado en la parte superior de la zanja en entorno rural con dificultad de movilidad, con afectación por presencia de servicios en la zanja, sin necesidad de entibación.</code>                                                                                |
+* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
+  ```json
+  {
+      "scale": 20.0,
+      "similarity_fct": "cos_sim"
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: steps
+- `per_device_train_batch_size`: 6
+- `per_device_eval_batch_size`: 6
+- `learning_rate`: 4e-05
+- `num_train_epochs`: 10
+- `warmup_ratio`: 0.1
+- `fp16`: True
+- `load_best_model_at_end`: True
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: steps
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 6
+- `per_device_eval_batch_size`: 6
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 1
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 4e-05
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 10
+- `max_steps`: -1
+- `lr_scheduler_type`: linear
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.1
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: False
+- `fp16`: True
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: True
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: False
+- `hub_always_push`: False
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `dispatch_batches`: None
+- `split_batches`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `eval_use_gather_object`: False
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+
+</details>
+
+### Training Logs
+| Epoch      | Step     | Training Loss | Validation Loss | validation-set_max_accuracy | test-set_max_accuracy |
+|:----------:|:--------:|:-------------:|:---------------:|:---------------------------:|:---------------------:|
+| 0          | 0        | -             | -               | 0.8810                      | -                     |
+| 0.1416     | 200      | 0.341         | 0.0055          | 1.0                         | -                     |
+| 0.2833     | 400      | 0.0079        | 0.0060          | 0.9991                      | -                     |
+| 0.4249     | 600      | 0.005         | 0.0020          | 1.0                         | -                     |
+| 0.5666     | 800      | 0.0013        | 0.0063          | 0.9981                      | -                     |
+| 0.7082     | 1000     | 0.0048        | 0.0044          | 0.9991                      | -                     |
+| 0.8499     | 1200     | 0.003         | 0.0048          | 1.0                         | -                     |
+| 0.9915     | 1400     | 0.013         | 0.0034          | 1.0                         | -                     |
+| 1.1331     | 1600     | 0.0135        | 0.0021          | 1.0                         | -                     |
+| 1.2748     | 1800     | 0.0063        | 0.0038          | 1.0                         | -                     |
+| 1.4164     | 2000     | 0.0066        | 0.0026          | 0.9991                      | -                     |
+| 1.5581     | 2200     | 0.0016        | 0.0027          | 0.9991                      | -                     |
+| 1.6997     | 2400     | 0.0013        | 0.0008          | 1.0                         | -                     |
+| 1.8414     | 2600     | 0.0034        | 0.0017          | 1.0                         | -                     |
+| 1.9830     | 2800     | 0.0045        | 0.0016          | 1.0                         | -                     |
+| 2.1246     | 3000     | 0.001         | 0.0004          | 1.0                         | -                     |
+| 2.2663     | 3200     | 0.0033        | 0.0009          | 1.0                         | -                     |
+| 2.4079     | 3400     | 0.0013        | 0.0019          | 0.9991                      | -                     |
+| 2.5496     | 3600     | 0.0009        | 0.0005          | 1.0                         | -                     |
+| 2.6912     | 3800     | 0.0023        | 0.0019          | 1.0                         | -                     |
+| 2.8329     | 4000     | 0.0012        | 0.0026          | 1.0                         | -                     |
+| 2.9745     | 4200     | 0.0003        | 0.0005          | 1.0                         | -                     |
+| 3.1161     | 4400     | 0.0021        | 0.0017          | 1.0                         | -                     |
+| 3.2578     | 4600     | 0.0012        | 0.0076          | 0.9991                      | -                     |
+| 3.3994     | 4800     | 0.0006        | 0.0004          | 1.0                         | -                     |
+| 3.5411     | 5000     | 0.0002        | 0.0010          | 1.0                         | -                     |
+| 3.6827     | 5200     | 0.0003        | 0.0010          | 1.0                         | -                     |
+| 3.8244     | 5400     | 0.0012        | 0.0013          | 1.0                         | -                     |
+| 3.9660     | 5600     | 0.0004        | 0.0011          | 1.0                         | -                     |
+| 4.1076     | 5800     | 0.0001        | 0.0029          | 1.0                         | -                     |
+| 4.2493     | 6000     | 0.0001        | 0.0016          | 1.0                         | -                     |
+| 4.3909     | 6200     | 0.0002        | 0.0042          | 1.0                         | -                     |
+| 4.5326     | 6400     | 0.0001        | 0.0033          | 1.0                         | -                     |
+| 4.6742     | 6600     | 0.0003        | 0.0015          | 1.0                         | -                     |
+| 4.8159     | 6800     | 0.0001        | 0.0009          | 1.0                         | -                     |
+| **4.9575** | **7000** | **0.0001**    | **0.0002**      | **1.0**                     | **-**                 |
+| 5.0992     | 7200     | 1.6191        | 2.4829          | 0.6893                      | -                     |
+| 5.2408     | 7400     | 2.4855        | 2.4829          | 0.5921                      | -                     |
+| 5.3824     | 7600     | 2.484         | 2.4829          | 0.6308                      | -                     |
+| 5.5241     | 7800     | 2.4877        | 2.4829          | 0.5005                      | -                     |
+| 5.6657     | 8000     | 2.4875        | 2.4829          | 0.5137                      | -                     |
+| 5.8074     | 8200     | 2.479         | 2.4829          | 0.5024                      | -                     |
+| 5.9490     | 8400     | 2.5288        | 2.4165          | 0.6789                      | -                     |
+| 6.0907     | 8600     | 2.5154        | 2.4829          | 0.4476                      | -                     |
+| 6.2323     | 8800     | 2.4743        | 2.4829          | 0.4920                      | -                     |
+| 6.3739     | 9000     | 2.476         | 2.4829          | 0.4589                      | -                     |
+| 6.5156     | 9200     | 2.4589        | 2.4829          | 0.4259                      | -                     |
+| 6.6572     | 9400     | 2.4584        | 2.4829          | 0.4117                      | -                     |
+| 6.7989     | 9600     | 2.4546        | 2.4829          | 0.4287                      | -                     |
+| 6.9405     | 9800     | 2.4623        | 2.4829          | 0.4410                      | -                     |
+| 7.0822     | 10000    | 2.4525        | 2.4829          | 0.4429                      | -                     |
+| 7.2238     | 10200    | 2.4396        | 2.4829          | 0.4514                      | -                     |
+| 7.3654     | 10400    | 2.422         | 2.4829          | 0.4570                      | -                     |
+| 7.5071     | 10600    | 2.4302        | 2.4829          | 0.4287                      | -                     |
+| 7.6487     | 10800    | 2.3866        | 2.4829          | 0.4259                      | -                     |
+| 7.7904     | 11000    | 2.4037        | 2.4829          | 0.4353                      | -                     |
+| 7.9320     | 11200    | 2.3875        | 2.4829          | 0.4315                      | -                     |
+| 8.0737     | 11400    | 2.3916        | 2.4829          | 0.4212                      | -                     |
+| 8.2153     | 11600    | 2.3829        | 2.4829          | 0.4079                      | -                     |
+| 8.3569     | 11800    | 2.3571        | 2.4829          | 0.4306                      | -                     |
+| 8.4986     | 12000    | 2.3312        | 2.4829          | 0.4297                      | -                     |
+| 8.6402     | 12200    | 2.3204        | 2.4829          | 0.4032                      | -                     |
+| 8.7819     | 12400    | 2.3304        | 2.4829          | 0.4268                      | -                     |
+| 8.9235     | 12600    | 2.3034        | 2.4829          | 0.4259                      | -                     |
+| 9.0652     | 12800    | 2.2823        | 2.4829          | 0.4070                      | -                     |
+| 9.2068     | 13000    | 2.2553        | 2.4829          | 0.4278                      | -                     |
+| 9.3484     | 13200    | 2.2879        | 2.4829          | 0.4372                      | -                     |
+| 9.4901     | 13400    | 2.2382        | 2.4829          | 0.4278                      | -                     |
+| 9.6317     | 13600    | 2.2388        | 2.4829          | 0.4466                      | -                     |
+| 9.7734     | 13800    | 2.2279        | 2.4829          | 0.4410                      | -                     |
+| 9.9150     | 14000    | 2.2446        | 2.4829          | 0.4551                      | -                     |
+| 10.0       | 14120    | -             | -               | 1.0                         | 1.0                   |
+
+* The bold row denotes the saved checkpoint.
+
+### Framework Versions
+- Python: 3.10.12
+- Sentence Transformers: 3.2.0
+- Transformers: 4.44.2
+- PyTorch: 2.4.1+cu121
+- Accelerate: 0.34.2
+- Datasets: 3.0.1
+- Tokenizers: 0.19.1
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MultipleNegativesRankingLoss
+```bibtex
+@misc{henderson2017efficient,
+    title={Efficient Natural Language Response Suggestion for Smart Reply},
+    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
+    year={2017},
+    eprint={1705.00652},
+    archivePrefix={arXiv},
+    primaryClass={cs.CL}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

config.json

@@ -0,0 +1,28 @@
+{
+  "_name_or_path": "intfloat/multilingual-e5-large",
+  "architectures": [
+    "XLMRobertaModel"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "bos_token_id": 0,
+  "classifier_dropout": null,
+  "eos_token_id": 2,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 1024,
+  "initializer_range": 0.02,
+  "intermediate_size": 4096,
+  "layer_norm_eps": 1e-05,
+  "max_position_embeddings": 514,
+  "model_type": "xlm-roberta",
+  "num_attention_heads": 16,
+  "num_hidden_layers": 24,
+  "output_past": true,
+  "pad_token_id": 1,
+  "position_embedding_type": "absolute",
+  "torch_dtype": "float32",
+  "transformers_version": "4.44.2",
+  "type_vocab_size": 1,
+  "use_cache": true,
+  "vocab_size": 250002
+}

config_sentence_transformers.json

@@ -0,0 +1,10 @@
+{
+  "__version__": {
+    "sentence_transformers": "3.2.0",
+    "transformers": "4.44.2",
+    "pytorch": "2.4.1+cu121"
+  },
+  "prompts": {},
+  "default_prompt_name": null,
+  "similarity_fn_name": null
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c2e8054e611f4c70161fd0eb1fc58136e2a0c97c13e06d019f5d3b0f7c328081
+size 2239607176

modules.json

@@ -0,0 +1,20 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  },
+  {
+    "idx": 2,
+    "name": "2",
+    "path": "2_Normalize",
+    "type": "sentence_transformers.models.Normalize"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 512,
+  "do_lower_case": false
+}

sentencepiece.bpe.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:cfc8146abe2a0488e9e2a0c56de7952f7c11ab059eca145a0a727afce0db2865
+size 5069051

special_tokens_map.json

@@ -0,0 +1,51 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<pad>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:883b037111086fd4dfebbbc9b7cee11e1517b5e0c0514879478661440f137085
+size 17082987

tokenizer_config.json

@@ -0,0 +1,54 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "250001": {
+      "content": "<mask>",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "mask_token": "<mask>",
+  "model_max_length": 512,
+  "pad_token": "<pad>",
+  "sep_token": "</s>",
+  "tokenizer_class": "XLMRobertaTokenizer",
+  "unk_token": "<unk>"
+}