PENGEMBANGAN SISTEM PEMBANGKIT SOAL ADAPTIF DENGAN MODEL TEXT-TO-TEXT TRANSFER TRANSFORMER (T5) DAN ITEM RESPON THEORY (IRT)

Automatic Question Generation (AQG) merupakan salah satu penerapan kecerdasan buatan di bidang pendidikan yang memungkinkan sistem membangkitkan soal secara otomatis. Namun, sistem AQG umumnya masih menghasilkan soal tanpa mempertimbangkan kemampuan individu sehingga tingkat kesulitan soal dapat menimbulkan rasa frustasi atau tidak tertantang. Selain itu, penelitian AQG adaptif umumnya masih menggunakan format jawaban esai sehingga memerlukan proses evaluasi yang lebih kompleks. Penelitian ini mengembangkan sistem AQG adaptif berbasis web yang mampu membangkitkan soal pilihan ganda menggunakan model Text-to-Text Transfer Transformer (T5-small) dengan penyesuaian tingkat kesulitan berdasarkan estimasi kemampuan pengguna melalui kombinasi Item Response Theory (IRT) dan Elo Rating System (ERS). Model T5-small di-fine-tuning menggunakan dataset RACE dan dievaluasi menggunakan metrik ROUGE, kemudian diintegrasikan ke dalam sistem sehingga pengguna dapat mengunggah dokumen PDF materi bahasa Inggris sebagai sumber pembangkitan soal. Selama proses latihan, estimasi kemampuan pengguna diperbarui setelah setiap respons untuk menentukan tingkat kesulitan soal berikutnya secara real-time. Hasil pengujian menunjukkan model memperoleh nilai ROUGE-L sebesar 0,2137 pada data uji. Simulasi terhadap 10 pengguna menunjukkan bahwa perubahan estimasi kemampuan memengaruhi tingkat kesulitan soal yang dibangkitkan. Dengan demikian, penelitian ini menghasilkan prototipe sistem AQG adaptif yang mampu membangkitkan soal pilihan ganda sesuai estimasi kemampuan pengguna. Kata kunci: Automatic Question Generation, Text-to-Text Transfer Transformer, Item Response Theory, Elo Rating System, soal pilihan ganda