Upload 7 files

app.py

@@ -1,6 +1,185 @@
+import pandas as pd
 import streamlit as st
+from dataset import BanglaHSDataset, get_class
+import torch
+from model import HSLanguageModel
+import torch.nn as nn
+import numpy as np
+from PIL import Image
 
-st.markdown('Live demo will be available very soon.')
+@st.cache_resource
+def load_model():
+    model = HSLanguageModel(
+        backbone = 'sagorsarker/bangla-bert-base',
+        target_size = 4,
+        head_dropout = 0,
+        reinit_nlayers = 0,
+        freeze_nlayers = 0,
+        reinit_head = True,
+        grad_checkpointing = False,
+    )
+    model.load_state_dict(torch.load('model_weights.pth', map_location=torch.device('cpu')))
+    model.eval()
+    ds = BanglaHSDataset(model.tokenizer, 256)
+    return model, ds
 
 
+def infer(text):
+    model, ds = load_model()
+    model.eval()
+    text = ds[text][0]
+    with torch.no_grad():
+        out = model(text)
+        out = nn.Softmax()(out).squeeze()
+        return out
+
+@st.cache_data
+def get_image():
+    image = Image.open('./image/wandb.jpg')
+    return image
+
+
+examples = [
+        "আলোচনায় যুক্ত হতে গেলে নিজের ধর্ম সম্পর্কে জানতে হয়  অন্যথায় বোকা ধর্ম আরো বোকা হয়ে যায়",
+         "ইন্ডিয়ায় মালাউনরা কুওার সাথে বিবাহ করছে গরুর মূত খায়",
+        "দাতের বাগান ভাংগা দরকার শালি ভিকারি ভিকারি হয় ফালতু",
+        "মনটায় চায়তাছে তরে পাবনার পাগলা গারদে নিয়ে চুদাই",
+        "আমি হাতে নাতে ধরেছি বা নিজের চোখে দেখেছি আমার বউ আর আমার শালার পরকীয়া",
+        "ভারতের ত্রকটা প্রদেশের সমান পাকিশ্তান ভাই কে কাকে শামলায় পাকিশ্তান বাংলাদেশের সাথেইতো পাড়বেনা ৷",
+        "ভারত পাকিস্তানীর খবর নাই বাংলাদেশীর ঘুম নাই।",
+        "যেভাবে মিডিয়ার মাধ্যমে রানু মন্ডল ভাইরাল হয়েছিল সের মিডিয়ায় আবার আনন্দলকে রেলস্টেশনে ভিখারীর কাতারে বসিয়ে দিতে পারেন অন্য বিকার এদের মাথায় উকুন বেশি নয় কারণ রানুস মন্ডল জানেন রানু মন্ডল এর মাথায় উকুন বেশি তাই উনার মাথার উকুন অন্যদের মাথায় উঠবে বলে তাই এর রানু মন্ডল এদের কাছ থেকে দূরে থাকবেন",
+        "ভাই নোয়াখালীর এক মহিলাকে কিছুক্ষণ আগে ছাএলীগ ধর্ষণ করছে,ঐ ভিডিও টা আছে আমার কাছে",
+        "এসব আবাল গুলা আমাদের সুন্দর বিনোদন থেকে দূরে রাখে।",
+        "সব মেয়ে বারো ভাতারি হয় না ভাই, কিছু কিছু মেয়ে ১০০ ভাতারিও হয়",
+        "আওয়ামী লীগের রাজনীতি শেষ তাড়াতাড়ি সরে পড়ুন ছাত্র লীগের ছাত্র দের বলছি ।",
+        "এমন অ প্রিয় সত্য ইতিহাস তু লে ধরার জন্য অাপনা কে হয় রাজাকার নয় তো ভারত বি রোধী বা পা কিস্থানপ ন্থি উপা ধি বহন কর তে হ তে পা রে বলে ছি লেন বাঙ্গালী দের কেউ দাবায়া রাখ তে পা রে নি পার বেনা অাপনা দের মত অদম্য সাহসী দেরও কেউ দাবায়া রাখ তে পার বেনা ইনশাঅাল্লাহ্ ।",
+        "উনি কোন দেশের কথা বলচে বাংলাদেশ নাকি ভারত",
+        "তোদের কোনো ধর্ম আছে আকাটা নোমো একজনে ধর্ম লিখে খেছে তা তোরা পালন কর তোদের ধর্মে ভগবান হলো সাপ, বানর, হাতি, গরু, ধন, ছামা ইত্যাদি এখন বল তোদের ধর্ম কি আর মুসলমানের ধর্ম কি নিজে একটু ভাবতোতাই না যেনে কথা বলবি না",
+        "বাংলাদেশ ও পাকিস্তান দখল করে অখন্ড ভারত হবে, দখল পরে আগে বগলের বাল কাটতে শিখো",
+        "শ্রী কৃষ্ণ মানুষের গর্বে জন্মেছে ۔একজন জন্ম নেয়া মানুষ কোনোদিন সৃষ্টি কর্তা হতে পারে না",
+        "ভারত পাকিস্তান সব দালালেরা চলে যান",
+        "হামলা ভারত নিয়ন্ত্রিত কাশ্মীরে সেনা ছাউনিতে হামলা বাংলাদেশে চলে ভারত পাকিস্তান নিয়ে কথার মামলা।",
+        "১৯৭১ এ ভারত সাহায্য না করলে আজকে এই বাংলা ভাষায় কথা বলতে পারতি না, ফাকিস্তানের পা চাটতি।",
+        "নো পোরোবলেম ভারতের বিতর এর অংশ আছে তাই তারা অবৈধ না",
+        "বি এম পি কে তো জনগন চায়না তা হলে নিরপক্ষ সরকারের অদিনে নিরবাচন দেয়া হোক দেখি আওয়ামীলীগ  শতকরা কত ভোট পায়  শতকরা ১০ ভোট পাবেনা আওমীলীগ",
+        "জামাইষষ্ঠীর নেমন্তন্ন না পাওয়ায় উঠোনে শুকোতে দেওয়া শ^শুরের লূঙ্গি চুরি করে পলাতক জামাই",
+        "ভারতে একটি মুসলমানকে থাকতে দেওয়া হবে না ।",
+        "আপনাদের মুসুলমান গুলি শুধু নাম ধারি মুসুলমান এদের মধ্যে প্রকৃত ধর্ম শিক্ষা নেই",
+        "যম যমী কি করেছিল?বোন একটু পড়াশোনা করুনতর্কে জিততে নাআপনার পূর্বপুরুষ এর বেলায় এক নিয়ম এখন একরকম সেটা সম্ভব নাআপনার মতো অসুস্থ দ্বিচারী মানুষ ই বলে",
+        "আল্লার কসম লাগে আপনে যদি আল্লহকে ভয় পেয়ে থাকেন তাহলে,প্রত্যেক মসজিদর ইমাম ও মোয়াজ্জেমের বেতন সরকারি করে দিন।",
+        "এমন মানুষ থাকার চেয়ে না থাকা ভালো",
+        "আপনি ঐসব ফালতু মনগড়া ধর্মকাহিনী না পড়ে একটু লেখাপড়া করুন আর নিজেকে মহাজ্ঞানী ভাবা বন্ধ করুন, যদিও আপনার অবস্থাটা বুঝি এইসব গল্প কেনো মন দিয়ে পড়েন",
+         "এই পরিবারটি দিরাই সুনামগঞ্জ এর ভাতি এলাকায় পরেছে। এই পরিবারের যিনি মুক্তিযোদ্ধা ছিলেন উনি বছর হল মারা গেছেন। উনি দিরাই ইউনিয়নের বছরের সাবেক চ্যায়ারমেন ছিলেন এবং সাবেক মুক্তিযোদ্ধার কমান্ডার ছিলেন। কিন্তু উনি মারা যাওয়ার পর থেকে এই আমানুবিক অত্তাচার শুরু করে কিচু রাজাকার আলবদররা।",
+        "মুসলিম রা হল অসুর আমাদের দেব দেবীর কে গালাগালি করছে।",
+        "একটা জিনিস বুঝলাম না,চোর,গুন্ডা,সন্ত্রাস,ধর্ষক,চাদাবাজ এরা আবার  হাজি হয় কিভাবে?",
+        "আওয়ামীলীগ চেতনাবাজ ব্যবসায়ীরা কোথায়। বাংলাদেশের দেশপ্রেমিক মুক্তিযোদ্ধারা মরলে আওয়ামীলীগ এর কি? আওয়ামীলীগ এর চেতনা শুধু আওয়ামীলীগ মুক্তিযোদ্ধা হিন্দু মুক্তিযোদ্ধা ভারতীয় মুক্তিযোদ্ধা দের জন্য চেতনা খাডা হয়ে যায়। যেমন আওয়ামীলীগ রাজাকার হাসিনার বেয়াই চেতনার ঠেলায় এখন ভুয়া মুক্তিযোদ্ধা হয়েগেছে।",
+        "সাবধানে বোনেরা! ১৪ ফেব্রুয়ারি ভালোবাসা দিবসে অতিরিক্ত ভালোবাসা খেয়ে বদহজম হয়ে বমিবমি ভাব যেন না হয়",
+         "খালেদা জিয়ার পিছনে নয়াদিগন্তর সাংবাদিক ছাড়া হয়ত আর কাউকে পাওয়া যাবে না",
+        "মালাউন হিসেবে নয় একজন মানুষ হিসেবে বলছি বাংলাদেশ সরকারের একটু চাপ দেওয়া দরকার ছিল",
+         "এইটা কী তরবাপের দেশ নাকী জামনেচায় তাকরবি তদেরমত মালাউনদের কুতাদিয়া চুদা দরকার",
+        "এই মহিলা যথেষ্ট বেয়াদব এবং মূর্খ্য ও বটে।",
+        "নব্বই দশকের বাংলা ছবি, ফুলশয্যা রাত, লাইট অফ , কপালে চুমু, পরের দিন সকাল",
+        "বাঁশ বাগানের মালিক কি চেটের বাল",
+        "শিরক হলো সবচেয়ে বড় পাপ.....। সাকিব আল হাসান কেন সেটা করতে সাহায্য  করলো??",
+         "তর জন্ম কোথায় হইছে পতিতালয়ে নাকি বস্তি পাড়ায়। জারজের বাচ্চা তর বাবা কয়টা তর মায়ের কাছে উত্তরটা জানবি। তোকে জারজ বললেও জারজ কে অপমান করা হবে তুই একটা নিকৃষ্ট জানোয়ারের বাচ্চা। নিকৃষ্ট দেশের নিকৃষ্ট জাতি মালাউনরা।",
+        "স্যার, ১০ টাকায় চাল আর ঘরে ঘরে চাকুরী দেয়ার কথা ছিল যে সেটার কি হল??",
+        "চরমোনাইর কারণে দেশে ইসলামের আইন আসতেছে না।.....দালাল....দালাল....",
+        "মালাউনেরা বাংলাদেশে এতো ঘন ঘন কেনো আসে ?",
+        "আমি ও তো জানি যে তুই কি তুই একটা খানকি, মাগী, কালো চুদি",
+        "কুত্তালীগ সেলিমের আইনের আওতায় এনে  কঠিন শাস্তি হওয়া উচিত",
+        "দাদা এটা কোথাকার জায়গা বলুন আমাকে চুঁদতে হবে",
+        "সালা বেইমান বাংলাদেশের বরিশালের ছেলে গান গায় ভারতের তার মুখে কোনো কথাই মানায়না।",
+        "ভারত যখন দেখলো অনেক হিনদু ইসলাম গ্রহন করেছে তখনই জাকির নায়েকের পিছনে লাগছে",
+        "পতিতাদের জীবন খুব দুঃখের প্লিজ ওদের নিয়ে কোনো মজা করবেন না ওরা পেটের দায়ে এই খারাপ কাজ করে তাই ওদেরকে নিয়ে কোনো বাজে কথা বলবেন না",
+        "হিন্দুদের আঘাত করলে ভারতের জ্বলে।",
+        "মাগির ছেলে তোকে কে জেতে বলেছে",
+        "যখন দেখবে কলকাতার দাদারা আমার প্রশংসা করছে, তখনই বুঝবে যে আমি আমার দেশের বিরুদ্ধে কাজ করছি",
+        "দুর্নীতিবাজ পুলিশ দিয়ে অভিযানের নামে সাধারণ মানুষকেই হয়রানি করা হবে",
+]
+
+
+st.set_page_config(
+    page_title="HateGuard",
+    page_icon="🧊",
+    layout="centered",
+    initial_sidebar_state="expanded",
+)
+
+
+# fix sidebar
+st.markdown("""
+    <style>
+        .css-vk3wp9 {
+            background-color: rgb(255 255 255);
+            }
+        .css-18l0hbk {
+            padding: 0.34rem 1.2rem !important;
+            margin: 0.125rem 2rem;
+            }
+        .css-nziaof {
+            padding: 0.34rem 1.2rem !important;
+            margin: 0.125rem 2rem;
+            background-color: rgb(181 197 227 / 18%) !important;
+            }
+    </style>
+    """, unsafe_allow_html=True
+)
+hide_st_style = """
+            <style>
+            #MainMenu {visibility: hidden;}
+            footer {visibility: hidden;}
+            header {visibility: hidden;}
+            </style>
+            """
+st.markdown(hide_st_style, unsafe_allow_html=True)
+
+
+
+def app():
+
+    st.title("HateGuard")
+    
+    
+    st.markdown(
+        """A Bangla hate speech detection system using pre-trained Transformer Encoder. Used FGM,
+           AWP, Layer freezing and Attention Pooling for improving performance. A total of 21 experiment was carried out achieving 82% accuracy.
+    """
+    )
+    
+    
+    image = get_image()
+    st.image(image, use_column_width=True)
+    st.markdown("[![View in W&B](https://img.shields.io/badge/View%20in-W%26B-blue)](https://wandb.ai/shamim/HateGuard)")
+    
+    st.markdown('---')
+    
+    
+    
+    l = [f'Example {i}' for i in range(len(examples))]
+    text = st.selectbox("Examples", l)
+    idx = l.index(text)
+    text = st.text_area('Enter Text', examples[idx])
+       
+    
+    if st.button("Predict Scores", type="primary"):
+        with st.spinner("Predicting scores..."):
+            prob = infer(text).numpy()
+            st.success("Scores predicted successfully!")
+            
+            idx = np.argpartition(prob, -4)[-4:]
+            st.markdown('#### Results')
+            
+            idx = list(idx)
+            idx.sort(key=lambda x: prob[x].astype(float), reverse=True)
+            for i in idx:
+                class_name = get_class(i).capitalize()
+                class_probability = prob[i].astype(float)
+                st.write(f'{class_name}: {class_probability:.2%}')
+                st.progress(class_probability)
+
+app()
+
+# Display a footer with links and credits
+st.markdown("---")
+st.markdown("Built by [Shamim Ahamed](https://www.shamimahamed.com/). Dataset used [Bengali Hate v2.0](https://github.com/rezacsedu/Bengali-Hate-Speech-Dataset/blob/main/bengali_hate_v2.0.csv)")
 

dataset.py

@@ -0,0 +1,61 @@
+from torch import nn
+from transformers import AutoConfig, AutoModel, AutoTokenizer
+import torch
+from torch.utils.data import Dataset
+from utils import read_yaml
+
+
+
+
+class BanglaHSDataset(Dataset):
+    def __init__(self, tokenizer, max_length):
+        self.tokenizer = tokenizer
+        self.max_length = max_length
+        
+        
+    def __len__(self): return 0
+    
+    def __getitem__(self, text):
+        inputs = self.tokenizer(
+            text, 
+            max_length=self.max_length, padding='max_length',
+            truncation=True,
+            return_offsets_mapping=False
+        )
+        for k, v in inputs.items(): inputs[k] = torch.tensor(v, dtype=torch.long).unsqueeze(dim=0)
+        label = torch.tensor(0, dtype=torch.float)
+        return inputs, label
+
+
+
+
+def get_class(index):
+    ind2cat = [
+        'Geopolitical',
+        'Personal',
+        'Political',
+        'Religious',
+    ]
+    return ind2cat[index]
+
+
+
+
+
+if __name__ == '__main__':
+    cfg = read_yaml('./baseline.yaml')
+    
+    # cfg.Model.target_size = 6
+    # model = BanglaHS_Model(cfg.Model)
+    # #model.load_state_dict(torch.load('./model_fold-0_best.pt', map_location=torch.device('cpu')))
+    # model.eval()
+    
+    # ds = BanglaHSDataset(cfg.Dataset, model)
+    
+    # x = ds['Hello hi'][0]
+    
+    # with torch.no_grad():
+    #     y = model(x)
+    # print('y:', y)
+    
+    

model.py

@@ -0,0 +1,115 @@
+from torch import nn
+from transformers import AutoConfig, AutoModel, AutoTokenizer
+import torch
+
+
+def weight_init_normal(module, model):
+    if isinstance(module, nn.Linear):
+        module.weight.data.normal_(mean=0.0, std=model.config.initializer_range)
+        if module.bias is not None:
+            module.bias.data.zero_()
+    elif isinstance(module, nn.Embedding):
+        module.weight.data.normal_(mean=0.0, std=model.config.initializer_range)
+        if module.padding_idx is not None:
+            module.weight.data[module.padding_idx].zero_()
+    elif isinstance(module, nn.LayerNorm):
+        module.bias.data.zero_()
+        module.weight.data.fill_(1.0)
+
+
+
+class MeanPooling(nn.Module):
+    def __init__(self):
+        super(MeanPooling, self).__init__()
+        
+    def forward(self, last_hidden_state, attention_mask):
+        input_mask_expanded = attention_mask.unsqueeze(-1).expand(last_hidden_state.size()).float()
+        sum_embeddings = torch.sum(last_hidden_state * input_mask_expanded, 1)
+        sum_mask = input_mask_expanded.sum(1)
+        sum_mask = torch.clamp(sum_mask, min=1e-9)
+        mean_embeddings = sum_embeddings / sum_mask
+        return mean_embeddings
+
+
+class MeanPoolingLayer(nn.Module):
+    def __init__(self, 
+        hidden_size,
+        target_size,
+        dropout = 0,
+    ):
+        super(MeanPoolingLayer, self).__init__()
+        self.pool = MeanPooling()
+        self.fc = nn.Sequential(
+            nn.Dropout(dropout),
+            nn.Linear(hidden_size, target_size),
+            nn.Sigmoid()
+        )
+        
+    def forward(self, inputs, mask):
+        last_hidden_states = inputs[0]
+        feature = self.pool(last_hidden_states, mask)
+        outputs = self.fc(feature)
+        return outputs
+
+
+
+class HSLanguageModel(nn.Module):
+    def __init__(self,
+        backbone = 'microsoft/deberta-v3-small',
+        target_size = 1,
+        head_dropout = 0,
+        reinit_nlayers = 0,
+        freeze_nlayers = 0,
+        reinit_head = True,
+        grad_checkpointing = False,
+    ):
+        super(HSLanguageModel, self).__init__()
+        
+        self.config = AutoConfig.from_pretrained(backbone, output_hidden_states=True)
+        self.model = AutoModel.from_pretrained(backbone, config=self.config)
+        self.head = MeanPoolingLayer(
+            self.config.hidden_size,
+            target_size,
+            head_dropout
+        )
+        self.tokenizer = AutoTokenizer.from_pretrained(backbone);
+        
+        
+        if grad_checkpointing == True:
+            print('Gradient ckpt enabled')
+            self.model.gradient_checkpointing_enable()
+            
+        if reinit_nlayers > 0:
+            # Reinit last n encoder layers
+            # [TODO] Check if it is autoencoding model: Bert, Roberta, DistilBert, Albert, XLMRoberta, BertModel
+            for layer in self.model.encoder.layer[-reinit_nlayers:]: 
+                self._init_weights(layer)
+        
+        if freeze_nlayers > 0:
+            self.model.embeddings.requires_grad_(False)
+            self.model.encoder.layer[:freeze_nlayers].requires_grad_(False)
+        
+        if reinit_head:
+            # Reinit layers in head
+            self._init_weights(self.head)
+        
+        
+    def _init_weights(self, layer):
+        for module in layer.modules():
+            init_fn = weight_init_normal
+            init_fn(module, self)
+    
+
+    def forward(self, inputs):
+        outputs = self.model(**inputs)
+        outputs = self.head(outputs, inputs['attention_mask'])
+        return outputs
+
+
+if __name__ == '__main__':
+    
+    model = HSLanguageModel()
+    
+    
+    
+    

model_ind2cat.csv

@@ -0,0 +1,5 @@
+,labels
+0,Geopolitical
+1,Personal
+2,Political
+3,Religious

requirements.txt

@@ -0,0 +1,11 @@
+streamlit==1.21.0
+Pillow
+protobuf
+torchvision==0.15.2
+torch==2.0.1
+numpy
+pandas
+transformers==4.21.2
+tokenizers==0.12.1
+transformers[sentencepiece]
+clean-text==0.6.0

utils.py

@@ -0,0 +1,20 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+"""
+Created on Tue Jul 11 12:56:00 2023
+
+Copyright (c): Shamim Ahamed
+"""
+
+import yaml
+from addict import Dict
+
+class MyDict(Dict):
+    def __missing__(self, name):
+        raise KeyError(name)
+
+
+def read_yaml(fpath):
+    with open(fpath, mode="r") as file:
+        yml = yaml.safe_load(file)
+        return MyDict(yml)