IMPLEMENTASI ARSITEKTUR CAPSNET DAN LSTM UNTUK KLASIFIKASI AUDIO DEEPFAKE BAHASA INDONESIA

Audio deepfake berbahasa Indonesia menjadi ancaman keamanan siber yang dapat dimanfaatkan untuk penipuan finansial dan penyebaran informasi palsu. Penelitian ini mengimplementasikan arsitektur hybrid CapsNet-LSTM untuk mengklasifikasikan audio berbahasa Indonesia ke dalam kelas asli dan palsu. Dataset yang digunakan bersumber dari Speech Dataset of Human and AI-Generated Voices berisi 42 file audio dari satu penutur, terdiri atas 21 rekaman suara asli dan 21 suara hasil voice cloning. Seluruh audio disegmentasi menjadi potongan 4 detik tanpa overlap dan disiapkan dalam dua varian, yaitu Dataset A tanpa pembuangan keheningan awal dan Dataset B dengan pembuangan keheningan awal. Fitur diekstraksi menggunakan Mel-Frequency Cepstral Coefficients (MFCC) sebagai input model. Pada dataset yang digunakan, model terbaik Dataset A mencapai F1-Score 95,76% dan model terbaik Dataset B mencapai F1-Score 97,38%, keduanya dengan batch size 16. Pembuangan keheningan awal pada Dataset B meningkatkan performa klasifikasi, dan validasi K-Fold Cross-Validation menghasilkan F1-Score rata-rata di atas 98%. Seluruh data berasal dari satu penutur, sehingga hasil ini merepresentasikan konsistensi model pada karakteristik suara penutur tersebut dan belum menggambarkan generalisasi terhadap penutur lain.