OTOMATISASI PERBANDINGAN PRODUK BERDASARKAN BOBOT FITUR PADA TEKS OPINI
on
Jurnal Ilmiah
ILMU KOMPUTtR
Universitas Udayana
Vol. 6, No. 2, September 2013 ISSN 1979-5661
OTOMATISASI PERBANDINGAN PRODUK
BERDASARKAN BOBOT FITUR PADA TEKS OPINI
Yufis Azhar1), Agus Zainal Arifin2), Diana Purwitasari2)
-
1) Jurusan Teknik Informatika, Universitas Muhammadiyah Malang
-
2) Program Studi Teknik Informatika, Institut Teknologi Sepuluh Nopember Surabaya E-mail: yufis05@gmail.com
ABSTRACT
Product comparison based on text opinion can be done by extracting the features of the product. These features are generally assessed then used to compare one product with another product. Many researchers who use dictionary of opinion word to extract the feature. But it is not effective because it depends on the completeness of the dictionary words used. Therefore, this paper proposed a method to compare products based on the weight of the product's features without having to use a dictionary word that complete opinion. The method is to summarize the weights of the features possessed by a superior product to get the score of each product. The results showed that proposed method can improve the accuracy of the comparison of two products amounted to 81% of the previous methods that only 71%.
ABSTRAK
Proses otomatisasi perbandingan produk berdasarkan teks opini dapat dilakukan dengan cara mengekstrak fitur yang dimiliki produk tersebut. Fitur-fitur inilah yang umumnya dinilai kemudian digunakan untuk membandingkan suatu produk dengan produk yang lain. Banyak peneliti yang menggunakan kamus kata opini untuk mengekstrak fitur tersebut. Akan tetapi hal tersebut tidak efektif karena sangat bergantung pada kelengkapan kamus kata yang digunakan. Oleh karena itu, dalam penelitian ini diusulkan suatu metode untuk membandingkan produk berdasarkan bobot fitur produk tanpa harus menggunakan kamus kata opini yang lengkap. Caranya adalah dengan menjumlahkan bobot dari fitur-fitur unggul yang dimiliki oleh suatu produk untuk mendapatkan skor tiap produk. Hasil yang didapat menunjukkan bahwa penerapan metode tersebut dapat meningkatkan akurasi dari proses perbandingan dua buah produk sebesar 81% dari pada metode sebelumnya yang hanya 71%.
Kata Kunci: Teks Opini, Feature-based Opinion Mining, Perbandingan Produk
Permasalahan bagaimana mendapatkan fitur produk dari suatu teks opini cukup kompleks. Hal ini dikarenakan tidak semua kata benda yang terdapat dalam suatu teks opini adalah fitur produk. Harus ada suatu identifier yang dapat mengenali kata benda yang merupakan fitur produk. Hu menggunakan metode supervised untuk mengekstrak fitur produk dari suatu teks opini (M. Hu and B. Liu, 2004). Semua kata benda yang sering muncul dalam dokumen akan diekstrak menggunakan association rule dengan cara melihat hubungan antara kata tersebut dengan kata sifat dalam suatu kalimat. Kata sifat digunakan sebagai identifier dikarenakan kata ini seringkali digunakan oleh seseorang untuk mengekspresikan opininya. Kata benda yang berhasil terekstrak inilah yang kemudian dianggap sebagai fitur produk.
Pengekstrakan fitur produk ini memunculkan ide dari sebagian peneliti untuk melakukan perbandingan produk secara otomatis dengan memanfaatkan teks opini. Hal ini didasarkan pada pengamatan bahwa seorang calon pembeli cenderung lebih suka membandingkan kelebihan dan
kekurangan antara sebuah produk dengan produk lain sebelum melakukan pembelian. Liu membandingkan dua buah produk dengan mengamati tiap fitur dari kedua produk tersebut (Liu, B., Hu, M., dan Cheng, J., 2005). Sistem yang dibuat oleh Liu ini dinamakan opinion observer. Proses perbandingan ini diawali dengan mengekstrak fitur dari setiap produk yang akan dibandingkan. Kemudian, fitur yang telah terekstrak akan diberikan bobot berdasarkan jumlah komentar positif dan negatif untuk fitur tersebut. Bobot fitur tiap produk inilah yang dijadikan acuan untuk melakukan perbandingan.
Dari penelitian yang dilakukan oleh Hu, dapat disimpulkan bahwa untuk mengekstrak fitur produk, kata sifat digunakan sebagai salah satu indikator yang cukup kuat. Semakin dekat/kuat hubungan antara sebuah kata benda dengan suatu kata sifat, maka semakin besar peluang kata benda tersebut untuk diekstrak sebagai fitur produk. Karena pentingnya identifikasi kata sifat inilah, banyak peneliti yang memilih untuk menggunakan kamus kata sifat (opinion lexicon). Dengan memanfaatkan kamus ini, proses ekstraksi fitur produk menjadi lebih sederhana. Akan tetapi, penggunaan
kamus kata tersebut tidak sepenuhnya efektif. Dikarenakan metode ini sangat bergantung pada kelengkapan kamus kata yang disediakan. Belum lagi permasalahan yang muncul dalam penentuan polaritas suatu kata sifat akibat adanya ketergantungan kalimat. Misalnya dalam kalimat “This smartphone has a long battery life”, dapat dipastikan bahwa kata long dalam kalimat tersebut memiliki polaritas positif. Akan tetapi jika kata long tersebut muncul dalam kalimat “This application has a long loading time”, maka polaritasnya berubah menjadi negatif. Permasalahan inilah yang tidak bisa ditangani oleh penggunaan kamus kata. Sehingga sulit untuk diimplementasikan pada perbandingan produk yang memiliki fitur beragam.
Berdasarkan permasalahan tersebut, dalam penelitian ini diusulkan suatu metode untuk membandingkan produk berdasarkan bobot fitur tanpa harus menggunakan kamus kata opini yang lengkap.
Metode Double Propagation (DP) pertama kali diusulkan oleh Qiu (Qiu, et. al. 2009). Metode ini merupakan metode semi unsupervised. Disebut demikian karena metode ini masih membutuhkan kamus kata yang berisi sedikit kata sifat. Metode ini dapat melengkapi kamus katanya secara otomatis saat proses ekstraksi fitur produk berlangsung. Caranya adalah dengan menemukan fitur menggunakan kata sifat yang terdapat dalam kamus, kemudian memanfaatkan fitur yang telah terekstrak tadi untuk menemukan kata sifat lain yang terdapat dalam teks opini. Kata sifat baru tersebut secara otomatis akan ditambahkan dalam kamus kata. Proses ini berlangsung terus-menerus hingga tidak ada fitur dan kata sifat baru yang ditemukan. Metode ini juga mampu mengekstrak fitur yang tidak terkomentari secara langsung oleh suatu kata opini. Misalnya dalam kalimat “This smartphone has amazing screen and camera”, metode DP akan mampu mengekstrak dua buah fitur yakni screen dan camera. Sementara metode ekstraksi yang menggunakan bantuan kamus kata hanya akan mampu mengekstrak fitur screen saja, karena fitur itulah yang berelasi secara langsung dengan kata opini amazing. Proses lebih jelas tentang bagaimana cara kerja metode ini dapat dibaca pada paper yang ditulis oleh Qiu. Untuk proses perbandingan produk, metode ini dirasa cukup efektif dalam membantu mengenali lebih banyak fitur produk yang terdapat dalam teks opini. Sehingga diharapkan hasil perbandingannya pun juga lebih baik.
Terdapat 5 tahapan pada metode yang diusulkan dalam penelitian ini. Secara umum, masing-masing tahapan dapat dilihat pada Gambar 1.
Dalam tahap ini, dataset yang berupa teks opini akan diolah menggunakan aplikasi POS tagger dan dependency parser untuk mendapatkan jenis kata dan relasi ketergantungan tiap katanya. Dalam penelitian ini, digunakan library dari NLPStanford (nlp.stanford.edu/software). Dokumen hasil tagging dan dependency parsing inilah yang akan digunakan dalam proses ekstraksi fitur produk.
Gambar 1. Alur Kerja Metode Yang Diusulkan
Untuk mengekstrak fitur produk dari teks opini yang terdapat pada dataset, digunakan metode Double Propagation (DP). Seperti dijelaskan pada bagian sebelumnya, metode ini tidak membutuhkan kamus kata opini yang lengkap untuk dapat bekerja. Karena dalam prosesnya, metode ini tidak hanya akan mengekstrak fitur produk melainkan juga mengekstrak kata sifat yang dicurigai sebagai kata opini. Sehingga jika pada iterasi pertama ada beberapa fitur produk yang tidak terekstrak, diharapkan dengan adanya penambahan kata opini baru, fitur tersebut dapat diekstrak pada iterasi berikutnya.
Hasil akhir dari proses ini adalah daftar kata opini dan daftar fitur produk beserta bobot untuk masing-masing fitur. Bobot dari masing-masing fitur ini didapatkan melalui persamaan (1).
n
Wf = ∑pl , (1) i=ι
dimana Wf adalah bobot dari fitur f yang didapatkan melalui penjumlahan n skor polaritas kata opini p yang mengomentari fitur f. Skor polaritas suatu kata opini p akan bernilai 1 jika kata tersebut adalah kata opini positif, dan bernilai -1 jika kata tersebut adalah kata opini negatif.
Dalam proses ekstraksi produk yang dilakukan oleh DP, tidak semua fitur yang berhasil terekstrak relevan dengan produk yang sedang dianalisa. Hal ini biasanya terjadi karena kesalahan parsing atau tagging yang muncul akibat adanya kalimat opini yang tidak baku dalam dataset. Oleh karena itu, fitur yang berhasil diekstrak oleh metode double propagation perlu untuk dibersihkan. Caranya adalah dengan melakukan prunning terhadap fitur-fitur yang dianggap tidak relevan. Metode prunning yang diterapkan dalam aplikasi ini adalah dengan menghitung frekuensi kemunculan suatu fitur dalam seluruh dokumen review yang dimiliki oleh suatu produk. Prunning akan dilakukan dengan threshold tertentu. Jika suatu fitur memiliki frekuensi kemunculan kurang dari nilai threshold yang ditetapkan, maka fitur tersebut otomatis akan dibuang.
Pada tahap ini, fitur yang dimiliki oleh produk A dan produk B yang sedang dibandingkan akan dianalisa. Fitur yang dimiliki oleh kedua produk (beririsan) diambil sedangkan yang tidak beririsan dibuang atau diabaikan. Nantinya, hanya fitur-fitur yang beririsan ini saja yang akan digunakan pada proses berikutnya.
Skor tiap produk didapatkan dengan
menjalankan dua langkah berikut :
-
1. Bandingkan bobot fitur dari kedua produk
Bobot fitur yang didapatkan oleh setiap produk harus dibandingkan untuk mengetahui fitur dari produk mana yang lebih unggul. Sehingga nantinya tiap produk akan memiliki n buah fitur unggul.
-
2. Hitung skor produk
Skor yang didapatkan oleh masing-masing produk dihitung berdasarkan fitur unggul yang dimiliki oleh produk tersebut dan diolah menggunakan persamaan (2).
n
Sp = ∑ui , (2)
i=ι
dimana Sp adalah skor dari produk p, ui adalah frekuensi kemunculan fitur unggul ke-i yang dimiliki oleh fitur p, dan n adalah jumlah fitur unggul yang dimiliki oleh produk p.
Skor inilah yang nantinya akan digunakan untuk menentukan produk yang lebih diunggulkan pada saat dua produk dibandingkan.
masing 5 produk dari 2 buah domain yakni smartphone dan televisi diamati dengan masing-masing produk memiliki rata-rata 150 komentar. Komentar untuk tiap produk inilah yang nantinya disebut sebagai dokumen review dan berisi teks-teks opini. Jumlah keseluruhan dokumen opini untuk ketiga domain tersebut sebanyak 1.728 dokumen.
Skenario uji coba pertama dilakukan dengan melihat seberapa baik metode double propagation dalam mengekstrak fitur produk. Ekstraksi fitur dilakukan terhadap domain smartphone yang ada dalam dataset dengan menggunakan beberapa kata opini yang disimpan dalam kamus opini sebagai seed. Dua buah sistem, yakni opinion observer yang diusulkan oleh Liu serta sistem yang diusulkan dalam penelitian ini, yang menggunakan double propagation, digunakan untuk proses ekstraksi tersebut. Tabel 1 dan 2 menunjukkan hasil yang didapatkan pada proses uji coba tersebut. Dapat dilihat bahwa metode double propagation mampu mengekstrak fitur dengan jumlah yang stabil tanpa terpengaruh banyaknya kata yang terdapat dalam seed kamus kata. Berbeda dengan metode yang diusulkan oleh Liu dimana jumlah fitur yang berhasil diekstrak sangat bergantung pada banyaknya kata opini yang terdapat pada kamus kata. Demikian halnya dengan nilai recall yang didapatkan oleh kedua sistem, dimana metode double propagation cenderung menghasilkan nilai recall yang lebih stabil sedangkan opinion obeserver akan sangat bergantung pada banyaknya kata opini yang didefinisikan pada kamus kata di awal proses ekstraksi.
Uji coba dilakukan dengan menggunakan dataset dari situs amazon.com. Sebanyak masing-
Tabel 1. Uji Jumlah Fitur Terekstrak Untuk Domain Smartphone
|
Jumlah Kata Opini dalam Kamus Kata |
Jumlah Fitur Terekstrak | |
|
Opinion Observer |
Sistem yang Diusulkan | |
|
5 |
15 |
106 |
|
10 |
56 |
106 |
|
15 |
67 |
113 |
|
20 |
81 |
114 |
Tabel 2. Uji Recall untuk Domain Smartphone
|
Jumlah Kata Opini dalam Kamus Kata |
Recall | |
|
Opinion Observer |
Sistem yang Diusulkan | |
|
5 |
0,18 |
0,82 |
|
10 |
0,36 |
0,82 |
|
15 |
0,58 |
0,84 |
|
20 |
0,76 |
0,84 |
Tabel 3. Uji Akurasi Dengan 20 Kata Opini Dalam Kamus Kata
|
Domain |
Opinion Observer |
Sistem yang Diusulkan |
|
Smartphone |
0,71 |
0,81 |
|
Televisi |
0,67 |
0,78 |
Skenario uji coba kedua dilakukan dengan membandingkan setiap produk yang ada dalam dataset. Karena dalam dataset terdapat 5 produk untuk masing-masing domain, maka akan terdapat 10 kombinasi pasangan produk yang akan dibandingkan untuk setiap domain. Sistem akan melakukan pencarian nilai rekomendasi untuk melihat produk mana yang lebih unggul dari setiap pasangan yang dibandingkan. Hasil yang didapatkan oleh sistem tersebut akan dibandingkan dengan hasil perbandingan yang dilakukan oleh pakar. Dalam ujicoba kali ini data pakar didapatkan dari situs findthebest.com (www.findthebest.com). Dalam situs tersebut, setiap produk memiliki nilai rate yang didapatkan dari hasil analisa terhadap beberapa situs penyedia layanan rating, seperti CNET, PC Mag, Wire.com, dan PC World.. Nilai itulah yang dijadikan panduan untuk mengetahui produk mana yang lebih unggul ketika dilakukan perbandingan.
Nilai yang akan dilihat dalam ujicoba ini adalah nilai akurasi kesamaan hasil yang didapatkan oleh sistem dengan pakar. Persamaan (3) digunakan untuk menghitung nilai akurasi tersebut.
t akurasi = - ,
(3)
dimana t adalah jumlah perbandingan yang menghasilkan data yang sama antara sistem dengan pakar dan n adalah jumlah seluruh perbandingan yang dilakukan oleh sistem. Tabel 3 menunjukkan hasil pengukuran akurasi antara sistem yang diusulkan dengan sistem sebelumnya yang diusulkan oleh Liu (opinion observer).
Dari Tabel 3 dapat dilihat bahwa akurasi yang dihasilkan oleh metode yang diusulkan dapat mengalahkan metode yang diusulkan oleh Liu untuk semua domain. Hasil ini membuktikan bahwa metode pembobotan fitur yang diusulkan mampu meningkatkan akurasi perbandingan dua buah produk. Hal ini terjadi karena nilai recall yang didaptkan oleh sistem yang diusulkan lebih unggul sehingga jumlah fitur relevan yang diekstrak oleh sistem juga lebih banyak dari pada opinion observer yang sangat bergantung pada jumlah kamus kata yang didefinisikan di awal proses perbandingan.
Pemberian bobot terhadap fitur produk dengan menggunakan metode double propagation pada suatu proses perbandingan dua buah produk terbukti mampu meningkatkan hasil akurasi yang didapatkan oeh sistem. Hasil percobaan dari penelitian ini menunjukkan bahwa metode yang diusulkan mampu menemukan produk yang lebih unggul jauh lebih baik dibandingkan produk yang diusulkan oleh Liu. Dengan tingkat akurasi mencapai 81%, dibandingkan metode sebelumnya yang hanya 71%, metode ini dapat dipergunakan sebagai landasan untuk penelitian lain yang juga berhubungan dengan memanfaatkan teks opini dalam melakukan perbandingan produk.
M. Hu and B. Liu, 2004. “Mining and Summarizing Customer Reviews”. Proceedings of the 10th ACM International Conference on Knowledge Discovery and Data Mining (SIGKDD-2004), 8, pp. 168–174.
Liu, B., Hu, M., dan Cheng, J. (2005). Opinion observer: analyzing and comparing opinions on the Web. In Proceedings of the 14th international conference on World Wide Web. ACM, hal. 342-351
Qiu, Guang., Bing, Liu., Jiajun Bu and Chun Chen. 2009. “Expanding Domain Sentiment Lexicon through Double Propagation”. In Proceedings of IJCAI
M. Hu and B. Liu. 2007. “Mining Opinion Features in Customer Reviews”. Proceedings of the 19th National Conference on Artificial Intelligence., 7, pp. 755-760.
Zhang, Lei, Bing Liu, Suk Hwan Lim, Eamonn O’Brien-Strain. 2010. "Extracting and ranking product features in opinion documents." Proceedings of the 23rd International Conference on Computational Linguistics: Posters. Association for
Computational Linguistics.
Eirinaki, M., Pisal, S., & Japinder, S. 2011.
“Feature-based opinion mining and ranking”. Journal of Computer and System Sciences.
Discussion and feedback