Create app.py

app.py

@@ -0,0 +1,191 @@
+import streamlit as st
+import numpy as np
+from transformers import AutoTokenizer, RobertaTokenizerFast, AutoModelForSequenceClassification, RobertaForSequenceClassification
+import torch
+from collections import Counter
+from langdetect import detect, LangDetectException
+import re
+
+# Definisi huruf vokal
+def has_vowel(word):
+    vowels = 'aeiouAEIOU'
+    return any(char in vowels for char in word)
+
+# Definisi huruf sama berurutan
+def has_consecutive_letters(word):
+    count = 1
+    for i in range(1, len(word)):
+        if word[i] == word[i - 1]:
+            count += 1
+            if count >= 3:
+                return True
+        else:
+            count = 1
+    return False
+
+# Fungsi untuk mengecek apakah suatu kata hanya terdiri dari angka atau tanda baca
+def is_number_or_punctuation(word):
+    return word.isdigit() or re.match(r'^[\W_]+$', word)
+
+# Definisi model Transformers
+@st.cache_resource()
+def get_model():
+    tokenizer = AutoTokenizer.from_pretrained("flax-community/indonesian-roberta-base")
+    model1 = AutoModelForSequenceClassification.from_pretrained("yogie27/IndoRoBERTa-Base-Sentiment-Indonesian-Social-Media")
+    model2 = AutoModelForSequenceClassification.from_pretrained("yogie27/IndoRoBERTa-Base-Emotion-Indonesian-Social-Media")
+  
+    return tokenizer, model1, model2
+    #model2, model3
+
+tokenizer, model1, model2 = get_model() 
+
+st.image("banner_edit.png", use_container_width=True)
+header = st.title("IndoRoBERTa: Klasifikasi Sentimen dan Emosi Berbasis Teks Bahasa Indonesia.")
+note1 = st.caption("**Author: Yogie Oktavianus Sihombing**")
+note2 = st.write(
+    #"EMOSI dan SENTIMEN adalah dua konsep yang berbeda meskipun saling terkait. EMOSI adalah keadaan psikologis yang kompleks dan alami, seperti kebahagiaan atau kemarahan, yang terdiri dari pengalaman subjektif, respons fisiologis, dan respons perilaku. Emosi bersifat mentah dan dapat dipicu oleh berbagai situasi atau kondisi individu. 
+    "SENTIMEN adalah sikap mental atau pemikiran yang dipengaruhi oleh emosi, dan lebih terorganisir serta sering kali mencerminkan hubungan dengan objek sosial tertentu, seperti cinta atau kebencian. Sentimen menggabungkan aspek kognitif, fisiologis, dan sosial budaya, menjadikannya lebih dari sekadar respons emosional. (Ivanov, 2023)​")
+#note3 = st.write("Ujaran kebencian (HATE SPEECH) adalah tindakan komunikasi dalam bentuk provokasi, hasutan, atau penghinaan terhadap individu atau kelompok berdasarkan aspek seperti ras, warna kulit, etnis, gender, cacat, orientasi seksual, kewarganegaraan, agama, dan lain-lain. Hal ini dapat berupa perkataan, tulisan, atau tindakan yang dilarang karena berpotensi memicu tindakan kekerasan atau prasangka​.(Dictionary.com).")
+st.info("Input teks Anda di kolom bawah dan tekan 'ANALISIS' untuk mulai prediksi. Tekan 'RESET' untuk atur ulang halaman.")
+
+# Klasifikasi sentimen
+sentimen = {
+    2: 'POSITIVE',  
+    1: 'NEUTRAL',
+    0: 'NEGATIVE'
+}
+
+# Klasifikasi emosi
+emosi = {
+    4: 'SADNESS',
+    3: 'LOVE',
+    2: 'HAPPY',  
+    1: 'FEAR',
+    0: 'ANGER'
+}
+
+# Klasifikasi hatespeech
+hate = {  
+    1: 'BUKAN HATE SPEECH',
+    0: 'HATE SPEECH'
+}
+
+# Definisi kategori prediksi
+def get_confidence_level(prob):
+    if prob >= 0.90:
+        return "**Excellent**"
+    elif prob >= 0.80:
+        return "**Very High**"  
+    elif prob >= 0.70:
+        return "**High**"
+    elif prob >= 0.60:
+        return "**Moderate**"
+    else:
+        return "**Low**"
+
+# Membuat form
+user_input = st.text_area('**MASUKKAN / SALIN TEKS DARI MEDIA SOSIAL:**')
+with st.form(key='my_form'):
+    button = st.form_submit_button("ANALISIS")
+    reset_button = st.form_submit_button("RESET")
+
+    if button and user_input:
+        if len(user_input.split()) > 2:
+            english_word_count = 0
+            indonesian_word_count = 0
+            warning_count = 0
+            for word in user_input.split():
+                # Mengabaikan angka dan tanda baca
+                if is_number_or_punctuation(word):
+                    continue
+                try:
+                    lang = detect(word)
+                    if lang == 'en':
+                        english_word_count += 1
+                    elif lang == 'id':
+                        indonesian_word_count += 1
+                    if has_consecutive_letters(word):
+                        st.warning(f"Kata '{word}' memiliki tiga atau lebih huruf yang sama berurutan, mungkin mempengaruhi konteks dan prediksi.")
+                        warning_count += 1
+                    if not has_vowel(word):
+                        st.warning(f"Kata '{word}' tidak memiliki huruf vokal, mungkin mempengaruhi konteks dan prediksi.")
+                        warning_count += 1
+                except LangDetectException:
+                    # Tidak menampilkan peringatan jika kata hanya angka atau tanda baca
+                    continue
+
+            if warning_count > 7:
+                st.error("Warning lebih dari 7, analisis prediksi dihentikan, perbaiki kembali kalimat Anda.")
+            else:
+                if english_word_count > indonesian_word_count:
+                    st.warning("Kalimat ini dominan dalam bahasa Inggris, mungkin mempengaruhi konteks dan prediksi.")
+
+                inputs = tokenizer([user_input], padding=True, truncation=True, max_length=512, return_tensors='pt')
+
+                output1 = model1(**inputs)
+                output2 = model2(**inputs)
+                #output3 = model3(**inputs)
+
+                logits1 = output1.logits
+                logits2 = output2.logits
+                #logits3 = output3.logits
+
+                max_sentiment_index = torch.argmax(logits1, dim=1).item()
+                max_sentiment_prob = torch.softmax(logits1, dim=1).squeeze()[max_sentiment_index].item()
+
+                max_emotion_index = torch.argmax(logits2, dim=1).item()
+                max_emotion_prob = torch.softmax(logits2, dim=1).squeeze()[max_emotion_index].item()
+
+                #max_hatespeech_index = torch.argmax(logits3, dim=1).item()
+                #max_hatespeech_prob = torch.softmax(logits3, dim=1).squeeze()[max_hatespeech_index].item()
+
+                sentiment_confidence = get_confidence_level(max_sentiment_prob)
+                emotion_confidence = get_confidence_level(max_emotion_prob)
+                #hatespeech_confidence = get_confidence_level(max_hatespeech_prob)
+
+                st.write("Sentimen =", f"**{sentimen[max_sentiment_index]}**", ": Score =", f"**{max_sentiment_prob:.2%}**", f"({sentiment_confidence})")
+                st.write("Emosi =", f"**{emosi[max_emotion_index]}**", ": Score =", f"**{max_emotion_prob:.2%}**", f"({emotion_confidence})")
+                #st.write("Hate Speech =", f"**{hate[max_hatespeech_index]}**", ": Prediksi =", f"**{max_hatespeech_prob:.2%}**", f"({hatespeech_confidence})")
+        else:
+            st.error("Kalimat kurang dari 3 kata, input kembali pada kolom teks.")
+
+    if reset_button:
+        st.experimental_rerun()
+
+st.markdown("""
+    <style>
+    div.stButton > button:first-child {
+        background-color: green;
+        color: white;
+    }
+    div.stButton > button:last-child {
+        background-color: red;
+        color: white;
+    }
+    .stForm {
+        border: 2px solid blue;
+        padding: 1em;
+    }
+    </style>
+    """, unsafe_allow_html=True)
+
+# Menggabungkan beberapa catatan info
+st.markdown("""
+<div style="background-color: #002060; padding: 10px; border-radius: 5px; border: 1px solid #003399;">
+<h3 style="color: white;">Catatan:</h3>
+    <ol style="color: white;">
+        <li><strong>Analisis selain menggunakan bahasa Indonesia tidak disarankan.</strong></li>
+        <li><strong>Peringatan berwarna <span style="color: yellow;">KUNING</span> muncul saat analisis sebagai reminder.</strong></li>
+            <ul style="margin-left: 25px;">
+            <li><strong>Jika <span style="color: yellow;">peringatan</span> muncul < 7, kalimat tetap dapat diprediksi. </strong></li>
+            <li><strong>Jika <span style="color: yellow;">peringatan</span> muncul > 7, prediksi tidak berjalan, sesuaikan kembali input teks.</strong></li>
+            </ul> 
+        <li><strong>Input teks minimal 3 kata.</strong></li>
+    </ol>
+    
+""", unsafe_allow_html=True) 
+
+# margin HTML
+st.markdown("<div style='margin-top: 20px;'></div>", unsafe_allow_html=True)
+
+st.info("**Disclaimer** : Program ini masih dalam tahap uji coba.")