KLASIFIKASI HIBRIDA SENTIMEN DAN INTENSI PADA ULASAN APLIKASI PICSART MENGGUNAKAN INDOBERT

Ulasan Google Play Store merupakan sumber informasi bagi pemeliharaan perangkat lunak, tetapi jumlah data yang besar, bahasa tidak baku, ketidakseimbangan kelas, dan ketidaksesuaian antara teks dengan peringkat bintang menyulitkan proses analisis dan pengelompokan manual. Penelitian ini mengevaluasi model IndoBERT dengan class weighting untuk melakukan klasifikasi hibrida sentimen dan intensi terhadap 10.000 ulasan aplikasi Picsart berbahasa Indonesia ke dalam lima kelas target, yaitu laporan bug, saran fitur, negatif, positif, dan netral. Tiga kelas terakhir merepresentasikan polaritas sentimen, sedangkan laporan bug dan saran fitur merepresentasikan intensi atau jenis umpan balik pengguna. Prapemrosesan meliputi case folding, cleansing, dan normalization. Pelabelan awal dilakukan dengan bantuan Gemini Pro, sedangkan reliabilitas pedoman diuji oleh dua penilai manusia menggunakan Cohen’s Kappa. Uji ablasi menunjukkan bahwa class weighting meningkatkan rata-rata macro F1-score dari 68,10% menjadi 69,68% dan recall macro dari 67,21% menjadi 73,81%, tetapi menurunkan accuracy dari 80,68% menjadi 79,12%. Uji Kruskal-Wallis menghasilkan H sebesar 4.883,46 dengan p < 0,001. Hasil penelitian menunjukkan bahwa class weighting meningkatkan keseimbangan kinerja antarkelas dan analisis semantik teks diperlukan sebagai pelengkap peringkat bintang.