Klasifikasi Sentimen Pengguna terhadap Fitur COD "Cek Dulu" Shopee di Media Sosial X Menggunakan Algoritma Naïve Bayes Classifier

Abstract

Shopee merupakan salah satu platform e-commerce terbesar di Indonesia yang menghadirkan fitur Cash on Delivery (COD) "Cek Dulu" sebagai inovasi untuk meningkatkan kepercayaan pengguna dalam bertransaksi, di mana pembeli dapat memeriksa barang terlebih dahulu sebelum melakukan pembayaran. Meskipun demikian, belum diketahui secara pasti bagaimana tanggapan pengguna terhadap fitur tersebut. Penelitian ini bertujuan untuk menganalisis sentimen pengguna terhadap fitur COD "Cek Dulu" pada media sosial X (Twitter) menggunakan metode Naïve Bayes Classifier. Dataset yang digunakan terdiri atas 641 tweet yang diberi label secara manual ke dalam tiga kelas sentimen, yaitu positif, negatif, dan netral, dengan distribusi kelas yang tidak seimbang (didominasi oleh kelas netral). Data diperoleh dari tweet berbahasa Indonesia yang membahas fitur COD "Cek Dulu" menggunakan teknik scraping dan dilakukan preprocessing berupa case folding, cleaning, tokenizing, filtering, dan stemming, kemudian diubah menjadi representasi numerik dengan pendekatan Bag of Words untuk pelatihan dan pengujian model klasifikasi. Penelitian ini menggunakan metode validasi silang dan evaluasi performa model dengan metrik precision, recall, dan accuracy. Hasil penelitian menunjukkan bahwa model Naïve Bayes memiliki akurasi sebesar 94,57%, precision sebesar 98,10%, dan recall sebesar 33,33%. Nilai recall yang rendah ini mengindikasikan adanya permasalahan ketidakseimbangan kelas (class imbalance), di mana model cenderung memprediksi kelas mayoritas (netral), sehingga model hanya cukup efektif dalam mengklasifikasikan kelas mayoritas tersebut, sementara kemampuannya mengenali kelas minoritas (positif dan negatif) masih terbatas. Penelitian ini diharapkan dapat memberikan kontribusi dalam pengembangan sistem analisis sentimen serta menjadi masukan bagi Shopee dalam meningkatkan kualitas layanannya.