Pengembangan Chatbot Akademik Berbasis Large Language Model Dengan Fine-Tuned Mistral 7B Instruct V0.3 Pada Domain Akademik Universitas Jenderal Achmad Yani Yogyakarta

Latar Belakang: Unjaya telah menyediakan pedoman akademik digital, namun belum memiliki sistem untuk akses informasi yang cepat dan interaktif. Pencarian informasi yang bersifat spesifik atau sering ditanyakan masih dilakukan secara manual melalui daftar isi atau pencarian teks, yang kerap tidak langsung mengarah pada jawaban yang eksplisit.
Tujuan: Penelitian ini bertujuan melakukan fine-tuning LLM Mistral 7B Instruct v0.3 menggunakan data pedoman akademik Unjaya untuk membangun fondasi chatbot akademik yang relevan dan kontekstual, serta mengevaluasi kemampuannya dalam merespons pertanyaan secara akurat.
Metode Penelitian: Mengadopsi metodologi Cross Industry Standard Process for Machine Learning with Quality Assurance (CRISP-ML(Q)), yang terdiri dari enam tahapan utama: business and data understanding, data preparation, modeling,
evaluation, deployment, serta monitoring and maintenance. Setiap tahapan disesuaikan dengan ruang lingkup penelitian yang mencakup proses fine-tuning dan evaluasi model.
Hasil: Penelitian menghasilkan model Mistral 7B Instruct v0.3 yang di-fine-tune menggunakan QLoRA pada domain Pedoman Akademik Unjaya. Pelatihan selama 1 epoch menghasilkan training loss sebesar 0.99 dan validation loss sebesar 0.94.
Evaluasi dengan BERTScore menunjukkan skor F1 sebesar 0.6421, precision 0.6323, dan recall 0.6525. Model telah dipublikasikan di Hugging Face Hub dan disiapkan untuk integrasi dalam sistem chatbot akademik.
Kesimpulan: Model hasil fine-tuning menunjukkan potensi adaptasi terhadap domain Pedoman Akademik Unjaya, meskipun masih terdapat keterbatasan performa dan indikasi hallucination. Penelitian ini menjadi landasan awal pengembangan chatbot akademik berbasis LLM untuk mendukung sistem informasi di perguruan tinggi.