PENGEMBANGAN APLIKASI MOBILE PENERJEMAH BAHASA ISYARAT INDONESIA (BISINDO) MENGGUNAKAN YOLOV8

Penelitian ini mengembangkan aplikasi mobile untuk menerjemahkan gestur BISINDO ke teks, dilatarbelakangi oleh kesulitan dalam membedakan gestur BISINDO yang memiliki kemiripan visual tinggi, seperti PAGI–MALAM, MENGAPA–TERIMA KASIH, HARI–KUNING, TULI–INGAT, dan MALAM–HARI, yang rentan menyebabkan kesalahan klasifikasi. Penelitian ini bertujuan mengembangkan sistem penerjemah BISINDO berbasis computer vision yang mampu membedakan gestur-gestur mirip tersebut secara akurat dengan mengintegrasikan YOLOv8 untuk deteksi tangan secara spasial, MediaPipe Hands untuk ekstraksi 21 titik landmark tangan, dan Stacked LSTM untuk memahami pola gerakan secara temporal. Dataset WL-BISINDO (1.600 video, 32 gestur, 5 signer) digunakan dalam proses pelatihan. Hasil evaluasi menunjukkan YOLOv8s memperoleh mAP@50 sebesar 97,26% (precision 90,97%, recall 95,21%), sedangkan Stacked LSTM melalui skema Transfer Learning mencapai test accuracy sebesar 93,17% pada 32 kelas gestur asli (F1-score 92,61%). Pipeline end-to-end menghasilkan inference latency sekitar 27 ms yang memungkinkan pemrosesan secara responsif dan real-time. Sistem ini diimplementasikan menggunakan format TensorFlow Lite untuk inferensi on-device berbasis Android, sehingga berhasil menyediakan solusi penerjemahan gestur BISINDO yang akurat, cepat, dan mandiri tanpa ketergantungan koneksi internet\