Majalah Ilmiah Teknologi Elektro, Vol. 18, No. 1, Januari - April 2019

DOI: https://doi.org/10.24843/MITE.2019.v18i01.P09                                                               61

Analisis Komentar Hasil Belajar Siswa Menggunakan

Opinion Summarization

Luh Gede Putri Suardani1, Yoga Divayana2, Komang Oka Saputra3

[Submission: 19-12-2018, Accepted: 31-03-2019]

Abstract— The quality of a teacher has become the center of attention in research in the field of education. The quality of the teacher is not only measured by the qualifications and insights of a teacher, but also dedication and commitment in the classroom One of the things that can be used to assess the quality of teachers is to assess the opinions of students. Therefore, student opinions at the end of the class such as questionnaires are needed to help teachers understand student learning behavior and improve the quality of teaching in the classroom. Opinion summarization is a method to make summaries automatically from a set of opinions about a particular target. Opinion summarization will explore the features of one's opinion, capture whether the opinion includes positive or negative opinions, then summarize the results. Based on the results of testing and analysis that has been done in the previous discussion, it can be concluded that the accuracy value obtained is 93,44% with 97,66% precision and 92,85%. recall. This proves that the system that has been built is accurate and can help the company to see the performance of the teachers.

Intisari— Kualitas seorang guru telah menjadi pusat perhatian dalam penelitian di bidang pendidikan. Kualitas guru tidak hanya diukur oleh kualifikasi dan wawasan seorang guru, tetapi juga dedikasi dan komitmen di kelas Salah satu hal yang dapat digunakan untuk menilai kualitas guru adalah menilai pendapat siswa. Oleh karena itu, pendapat siswa di akhir kelas diperlukan untuk membantu guru memahami perilaku belajar siswa dan meningkatkan kualitas pengajaran di kelas. Opinion summarization adalah metode untuk membuat ringkasan secara otomatis dari serangkaian komentar tentang target tertentu. Opinion Summarization akan mengeksplorasi fitur-fitur pendapat seseorang, menangkap apakah opini termasuk pendapat positif atau negatif, kemudian merangkum hasilnya. Berdasarkan hasil pengujian dan analisis yang telah dilakukan pada pembahasan sebelumnya, dapat disimpulkan bahwa nilai akurasi yang diperoleh adalah 93,44% dengan presisi 97,66% dan recall 92,85%. Ini membuktikan bahwa sistem yang dibangun sudah akurat dan dapat membantu perusahaan untuk melihat kinerja para guru.

Kata Kunci— Lexicon, Opinion, Summarization, Teacher

  • I.    pendahuluan

Kualitas seorang pengajar telah menjadi pusat perhatian dalam penelitian di bidang pendidikan. Kualitas dari pengajar tidak hanya diukur dari kualifikasi dan wawasan dari seorang pengajar, tetapi juga dedikasi dan komitmen di dalam kelas [1]. Kualitas seorang pengajar di dalam kelas adalah hal yang kompleks untuk dinilai, karena tidak ada standar yang dapat

menilai hal tersebut. Menurut [8] salah satu hal yang dapat digunakan untuk menilai kualitas pengajar adalah dengan menilai dari pendapat siswa. Menurut [12] pendapat siswa pada akhir kelas berguna untuk memberikan evaluasi terhadap pengajar, materi dan cara pemberian materi. Oleh karena itu, pendapat siswa pada akhir kelas seperti kuesioner diperlukan untuk membantu pengajar memahami perilaku belajar siswa dan meningkatkan kualitas pengajaran di dalam kelas.

Secara umum, kuesioner digunakan sebagai instrumen pengumpulan data. Terdapat dua jenis kuesioner dipandang dari segi menjawabnya yaitu kuesioner tertutup dan kuesioner terbuka. Kuesioner tertutup merupakan kuesioner yang berisi pertanyaan tertutup yang membatasi jawaban responden dengan keharusan memilih jawaban-jawaban yang sudah tercantum dalam kuesioner. Sedangkan kuesioner terbuka merupakan kuesioner yang berisi pertanyaan terbuka yang memungkinkan responden memberikan jawaban yang dikehendaki dengan kata-kata yang dipilih sendiri. Jawaban dari kuesioner tertutup mudah untuk dianalisis dengan skala rating dan teknik statistika, namun jawaban dari kuesioner terbuka seperti komentar siswa sulit untuk dilakukan. Sebagian besar peneliti yang meneliti evaluasi pengajar hanya berfokus pada data kuantitatif dan mengabaikan data kualitatif. Namun, jawaban pribadi dari pertanyaan terbuka seperti apa yang terjadi di kelas setelah mengajar dari sudut pandang siswa memberikan feedback kepada pengajar untuk memperbaiki sistem pengajaran. Komentar siswa bisa saja mengandung pengetahuan subjektif mengenai seorang pengajar, metode mengajar, dan skill presentasi serta saran untuk meningkatkan kualitas mengajar [14]. Oleh karena itu, pengolahan analisis data kualitatif dari kuesioner terbuka seperti komentar siswa seusai kelas sangat penting dan dapat meningkatkan efektivitas mengevaluasi pengajar.

Komentar merupakan ulasan atau tanggapan atas berita, pidato, dan sebagainya (untuk menerangkan atau menjelaskan). Komentar merupakan pendapat yang berisi uraian (fakta) atau ulasan (opini) tentang suatu masalah. Penulis [7] mengatakan bahwa fakta adalah ekspresi obyektif tentang entitas, peristiwa dan propertinya. Contoh kalimat fakta adalah, ”My email is eldes300@hotmail.com”. Opini merupakan ekspresi subjektif yang menggambarkan sentimen, penilaian, atau perasaan orang terhadap entitas, peristiwa, dan propertinya. Contoh kalimat opini adalah,” I really like your class, you speak slow and I can understand your pronounciation.” Penelitian tekstual dalam bentuk fakta telah banyak dilakukan seperti, information retrieval, penelusuran web, klasifikasi teks, text clustering, dan lainnya. Sedangkan penelitian tekstual dalam bentuk opini hanya sedikit penelitian yang baru dilakukan [15]. Oleh karena itu, penelitian ini memfokuskan untuk menganalisis opini yang disampaikan pada komentar siswa.

p-ISSN:1693 – 2951; e-ISSN: 2503-2372

Untuk menganalisa opini siswa, pengajar dapat membaca seluruh komentar siswa dan membuat poin-poin mengenai hal-hal yang dapat mendorong proses belajar-mengajar lebih efektif. Namun, membaca dan menganalisa komentar dari banyak siswa merupakan masalah yang besar. Bukan hanya masalah dari segi kuantitas, tetapi juga banyak terdapat komentar yang tidak relevan. Oleh karena itu, opinion summarization diperlukan untuk mengatasi masalah tersebut [13].

Menurut [13] secara umum opinion summarization adalah pembuatan ringkasan secara otomatis dari satu set opini mengenai suatu target tertentu. Menurut [7], opinion summarization akan menggali fitur-fitur dari opini seseorang, menangkap apakah opini tersebut termasuk opini positif atau negatif, kemudian meringkas hasilnya.

EF English Live merupakan perusahaan di bidang kursus Bahasa Inggris online yang merupakan bagian dari EF Education First. EF English Live sudah membantu lebih dari 20 juta orang di seluruh dunia dalam mengembangkan keterampilan bahasa Inggris. Misi perusahaan adalah memanfaatkan teknologi untuk menghasilkan metode belajar bahasa Inggris yang lebih baik secara mendasar. Latar Belakang dari Nama English Live adalah karena perusahaan memiliki guru-guru dan pembelajaran online live 24/7. EF English Live memakai teknologi webinar untuk melakukan proses belajar mengajar.

Terdapat dua macam produk yang ditawarkan oleh EF English Live, yaitu kelas privat dan kelas grup. Kelas Privat merupakan kelas online selama 40 menit dengan satu guru dan satu siswa. Kelas Grup merupakan kelas online dengan 4-5 siswa yang selevel dengan waktu 45 menit.

Siswa diminta untuk mengevaluasi kualitas guru dan kesan keseluruhan kelas setelah kelas selesai. Form evaluasi dapat dilihat pada lampiran 1. Komentar yang digunakan merupakan data komentar dari kelas grup karena komentar dari kelas grup bersifat anonim dan lebih banyak data yang dapat dikumpulkan dari pada kelas privat.

Dari hal-hal yang telah dijelaskan diatas, penelitian ini akan menggunakan teknik Opinion Summarization untuk menganalisis komentar hasil belajar siswa untuk meningkatkan kualitas pengajar dengan studi kasus kursus online EF EnglishLive Bali Center

  • II.    Tinjauan Pustaka

Dari latar belakang yang sudah dijelaskan, berikut adalah tinjauan pustaka dari penelitian ini.

  • A.    State-of-The-Art

Dalam penelitian [15] terdapat proses document subjectivity dimana proses tersebut adalah proses untuk mengetahui apakah suatu kalimat termasuk opini atau tidak. Menurut Kim dalam Roque, ada tiga fase dalam opinion summarization yaitu mengidentifikasi aspek yang menjadi target opini (target detection), memprediksi sentiment (opinion orientation), dan membuat peringkasan (summary generation). Fase identifikasi aspek bertujuan untuk menemukan topik-topik penting yang ada dalam opini. Prediksi sentimen menentukan orientasi sentimental (positif atau negatif) dari aspek yang ditemukan di fase pertama. Serta membuat ringkasan adalah fase yang menentukan informasi

apa yang akan dimasukkan dalam ringkasan. Oleh karena itu, dalam penelitian ini terdapat empat subproses yaitu (i) Document Subjectivity, (ii) Target Detection, (iii) Opini Orientation, (iv) Summary Generation.

  • B.    Text Preprocessing

Penyimpanan data secara terstruktur dapat membantu pengolahan data yang dilakukan oleh komputer, karena data terstruktur dapat mempermudah penciptaan algoritma yang efisien. Oleh karena itu pada text mining, dibutuhkan pemrosesan data terlebih dahulu untuk mengubah data tekstual yang tidak terstruktur menjadi data yang terstruktur. Di dalam text mining proses untuk mendapatkan representasi terstruktur dari data tekstual mentah yang tidak terstruktur disebut text preprocessing.

  • C.    Tokenisasi

Tokenisasi adalah proses untuk membagi teks yang dapat berupa kalimat, paragraf atau dokumen, menjadi token-token. Sebagai contoh, tokenisasi dari kalimat "Aku baru saja makan bakso pedas. " menghasilkan enam token, yakni: "Aku", "baru", "saja", "makan", "bakso", "pedas".

  • D.    Part-of-Speech Tagging (POS)

Part-of-Speech Tagging atau disebut juga sebagai grammatical tagging atau word-category disambiguation adalah proses menandai sebuah kata dalam teks berdasarkan definisi dan konteksnya. POS Tagging akan menguraikan dan memproses kata-kata dengan memberikan tag sesuai dengan kedudukannya masing-masing. Dalam kasus ini proses POS Tagging berfungsi untuk menandai setiap kata dan mengidentifikasi fitur di dalamnya.

Penelitian ini menggunakan library Stanford Parser untuk melakukan pemilahan kata pada kalimat dan mengetahui kedudukan dari setiap kata (noun, verb, adjective, dan lainnya).

  • E.    Document Subjectivity

Menurut [15] Permasalahan yang pertama dihadapi dalam mengembangkan sistem opinion mining adalah menentukan apakah suatu teks tergolong kalimat opini atau bukan (document subjectivity). Opinion word adalah kata opini (pendapat) yang terdapat di dalam kalimat komentar. Sebuah kata akan dikategorikan sebagai opinion word adalah kata yang berkedudukan sebagai adjective dan verb.

  • F.    Target Detection

Target Detection digunakan untuk mengenali aspek yang menjadi target opini dalam suatu dokumen. Setelah proses menyaring kalimat-kalimat yang tidak mengandung opini dan mengandung opini dilakukan, proses selanjutnya adalah menentukan aspek yang dibicarakan dalam kalimat. Langkah ini dapat membantu kita menentukan apakah pendapat tentang entitas dan aspek mereka positif atau negatif.

  • G.    Opinion Orientation

Opinion Orientation digunakan untuk menentukan orientasi suatu kalimat opini, apakah termasuk ke dalam orientasi positif atau negatif. Di tahap ini, opinion word dan adverb yang sudah diekstrak akan diidentifikasi orientasinya. Sehingga untuk mengetahui orientasi masing-masing kata,

DOI: https://doi.org/10.24843/MITE.2019.v18i01.P09 diperlukan sebuah kamus yang mampu mencakup seluruh opinion word dan adverb beserta orientasinya. Kamus ini dikenal sebagai Opinion lexicon dan Adverb lexicon. Kedua kamus tersebut akan dibuat secara manual oleh penulis. Output dari proses ini yaitu orientasi (positif ata negatif) sebuah kalimat komentar.

  • H.    Opinion Summarization

Menurut [7], opinion summarization berbeda dengan text summarization biasa. Peringkasan opini tidak memotong kalimat ataupun menulis kembali dokumen seperti pada peringkasan teks klasik, namun opinion summarization akan menggali fitur-fitur dari review seseorang, menangkap apakah review tersebut review positif atau negatif, kemudian meringkas hasilnya.

  • I.    Precision dan Recall

Precision adalah rasio jumlah dokumen relevan yang ditemukan dengan total jumlah dokumen yang ditemukan oleh sistem. Recall adalah rasio jumlah dokumen relevan yang ditemukan kembali dengan total jumlah dokumen dalam kumpulan dokumen yang dianggap relevan. Tabel I menunjukkan tabel perhitungan precision dan recall. Nilai keduanya biasanya ditunjukkan dalam satuan persen (%). Persamaan untuk precision ditunjukkan pada persamaan (1) dan recall ditunjukkan pada persamaan (2).

#(item yang relevan yang ditemukan)      (1)

Precision = --------------------------------------

#(item yang ditemukan)

= P(relevan∖ditemukan)

Recall =


#(item yang relevan yang ditemukan)

#(semua item yang relevan)

(2)


= P(ditemukan∖relevan)

TABEL I

Variabel untuk Perhitungan Precision dan Recall

Relevan

Tidak Relevan

Ditemukan

True Positives (tp)

False

Positives (fp)

Tidak Ditemukan

True Negatives (tn)

False

Negatives (fn)

  • III.    Metode Penelitian

Metode penelitian dipaparkan sebagai berikut.

  • A.    Analisis Masalah

Data komentar siswa diambil dari halaman admin https://axis.englishtown.com/axis/login. Di dalam data komentar siswa terdapat tanggal dan jam kelas berlangsung, rating yang diberikan siswa dalam skala 0 – 5, dan komentar yang diberikan siswa.

  • B.    Lokasi Penelitian

Lokasi Penelitian bertempat di kursus online EF English Live Bali Center yaitu di Jl. Hayam Wuruk No.106, Denpasar dan di Kompleks Sunset Indah II, Blok B2-B3 Blok B2-B3 Jl. Boulevard, Kuta.

Spesifikasi perangkat keras yang digunakan dalam penelitian ini adalah sebagai berikut:

  • 1.    Processor Intel® Core ™ i5-6200U CPU @2.30GHz 2.40 GHz

  • 2.    Memory (RAM) 4.00 GB

  • 3.    Kapasitas Harddisk 500 GB

Spesifikasi perangkat lunak yang digunakan dalam penelitian ini adalah sebagai berikut:

  • 1.    Sistem operasi Windows 10 Professional

  • 2.    JDK dan JRE versi 1.8.0

  • 3.   Netbeans IDE 8.2

  • D.    Jenis dan Sumber Data

Data primer yang dibutuhkan dalam sistem ini adalah komentar hasil belajar siswa pada kursus online. Data ini dikumpulkan melalui halaman evaluasi siswa pada website kursus online EF EnglishLive. Data yang dikumpulkan merupakan 2000 data komentar siswa dari 20 guru. Data sekunder berupa data corpus kata opini dan kata adverb positif dan negatif yang diambil dari penelitian sebelumnya yaitu penelitian dari [7] yang dapat diambil secara online.

  • E.    Instrumen Penelitian

Instrumen penelitian yang digunakan merupakan kuisioner terbuka yang diberikan kepada siswa setelah melakukan proses pembelajaran yang bisa dilihat pada lampiran 1.

  • F.    Analisis Sistem

Proses-proses yang akan dilakukan adalah sebagai berikut. Data komentar yang telah dikumpulkan masuk ke proses tokenisasi, kemudian masuk ke dalam proses POS Tagging, lalu melakukan identifikasi komentar yang termasuk opini, mencari fitur, melakukan identifikasi opinion word dan adverb word menggunakan kamus Opinion Lexicon dan Adverb Lexicon untuk mendapatkan orientasi (kedudukan) sebuah kalimat, klasifikasi komentar menjadi positif dan negatif, dan yang terakhir Summary. Flowchart penelitian yang mendeskripsikan setiap metodologi pada penelitian ini ditunjukkan pada Gambar 1.

Gambar 1. Tampilan Login Form

  • G.    Pre-Processing

Tahap ini merupakan tahap awal untuk melakukan opinion summarization. Setelah dataset user review dikumpulkan, kalimat akan mengalami penguraian kata dan akan ditentukan kedudukannya. Terdapat beberapa tahap di dalam

C. Spesifikasi Perangkat Keras dan Perangkat Lunak

Luh Gede Putri Suardani: Analisis Komentar Hasil Belajar…


p-ISSN:1693 – 2951; e-ISSN: 2503-2372



preprocessing, yaitu tahap penguraian kata, POS Tagging, dan terakhir data yang sudah di proses akan masuk ke database.

Pada tahap ini proses yang dilakukan yaitu menormalisasikan komentar. Tujuan dari normalisasi yaitu agar kalimat bisa di proses secara optimal dan mendapatkan hasil yang maksimal. Tahap normalisasi dilakukan secara manual. Kalimat yang sudah dinromalisasi harus sesuai berdasarkan ketentuan berikut. Setiap kalimat harus memiliki satu buah fitur; setiap noun atau noun phrase.

  • H.    Opinion Word Extraction

Sebuah kalimat disebut sebagai kalimat opini apabila terdapat satu opinion word di dalamnya. Opinion word digunakan untuk mengekspresikan pendapat subjektif mengenai suatu hal. Dalam hal ini, kata sifat (adjactive) ditetapkan sebagai opinion word dengan syarat kalimat tersebut memiliki satu fitur produk. Setiap kalimat akan di parsing kembali untuk mengidentifikasi opinion word. Berdasarkan data tabel Penn Treebank Tagset, adjactive di tag sebagai JJ dan JJS. Perhatikan kalimat di bawah ini sebagai contoh. Kata “great” akan langsung ditangkap dan disimpan ke dalam database sebagai opini.

  • I.    Feature Word Extraction

Feature extraction atau ektraksi fitur adalah suatu tahap dimana di dalam sebuah kalimat, sistem akan mencari kata mana yang merupakan sebuah fitur. Teknik yang digunakan yaitu dengan mem-parsing setiap kata yang sudah berkedudukan. Selama proses parsing, sistem akan mencari pattern fitur (noun atau noun phrase) yang tepat sesuai dengan Penn Treebank Tagset.

Sistem akan menangkap pattern fitur di dalam sebuah kalimat. Dalam hal ini, ‘teacher’ merupakan sebuah fitur karena kata tersebut sesuai dengan pola NN. Noun atau noun phrase dianggap sebagai fitur apabila noun dan noun phrase tersebut terletak di awal kalimat. Jika noun ditemukan di bagian belakang kalimat, maka noun tersebut tidak dianggap sebagai fitur.

  • J.    Adverb Extraction

Menurut Penn Treebank Tagset, adverb (kata keterangan) memiliki tag sebagai RB. Dalam proses ini, akan dilakukan ekstraksi terhadap adverb pada kalimat di dalam komentar. Tujuannya ialah untuk menentukan dan memperjelas orientasi dari verb yang sudah diidentifikasi di proses sebelumnya. Tahap ini juga mengidentifkasi katakata negasi seperti “Not”, “Yet”, “Never”, dan sebagainya. Berikut contoh kalimat yang menggunakan adverb dan kata negasi.

  • K.    Sentence Orientation

Orientasi sebuah kalimat ditentukan oleh orientasi dari adjactive dan verb. Sebelum mencari orientasi dari sebuah kalimat, sistem terlebih dahulu mengetahui orientasi dari masing-masing opini dan adverb. Orientasi dibagi ke dalam dua jenis yaitu possitif dan negatif. Untuk mengetahui orientasi dari setiap opini dan adverb, diperlukan sebuah kamus yang dapat mencakup seluruh opini dan adverb (misalnya possitive adjactive : great, awesome, nice, cool, dan negative adjactive : bad, worse). Kamus ini dinamakan Opinion Lexicon dan Adverb Lexicon. Opinion Lexicon

berisikan adjective dan verb beserta dengan orientasinya. Sedangkan Adverb Lexicon berisikan kata keterangan dilengkapi dengan orientasinya. Cara untuk menentukan

opinion orientation adalah dengan menggunakan persamaan (5).

SHtorIenIaIion

(3)


OPorientationX OdVorientationlX °dvorientation2x -■ ■ X θdVorientat

Dimana sntorientation adalah Sentence Orientation, oporientation adalah Orientasi opinion word, dan advorientation adalah Orientasi adverb.

  • IV. Pembahasan

  • A.    Input Pada Sistem

Input pada sistem dalam penelitian ini dilakukan mulai dari pencarian data komentar pada halaman https://axis.englishtown.com/axis/login. Data komentar yang dikumpulkan sejumlah 2000 komentar untuk 20 pengajar, sehingga terdapat 100 komentar untuk 1 pengajar. Data tersebut merupakan data yang diambil manual secara acak dari tahun 2018 bulan Januari – Desember. Data yang bukan berbahasa Inggris akan dirubah ke Bahasa Inggris dengan translator online. Setelah melakukan translasi kalimat, data akan diperiksa secara manual apakah sudah sesuai dengan grammar. Jika sudah sesuai dengan grammar, data tersebut kemudian dimasukkan ke dalam database lokal EF English Live Bali dalam bentuk file CSV. Gambar 2 merupakan contoh data komentar dari halaman website EF English Live Bali.

CLASS DAlEv          EXIT SURVEY SUGGESTION                             COMMENT

2019-03-14 22:00            5                    I really like the teacher's fun and interesting teaching   I love this teacher, and his way Ofteaching

2019-03-14 22:00            5                    I really like the teacher's fun and interesting teaching   Excelente professor. Tornou a aula interessante e interativa,

style.                                             acrescentando bastante Vocabulario novo e incentivando a

participacao de todos

2019-03-14 03:00            5                    I really like the teacher's clear explanations and        very good

instructions. 2019-03-14 03:00         2               Ipreferiftheteacherusesmoreenthusiasmand S0i^lWJ⅛⅛

energy. 2019-03-07 21:00            5                    I really like the teacher's interactive teaching.           excellent, good job.

2019-03-05 21:00            5                    I really like the teacher's patient teaching style.         Paciente1 com senso de humor e respeito ao nivel dos

Participantes

2019-03-05 19:00            5                    I really like the teacher's interactive teaching.           Thank you very much. Your story was interesting, I could

know about many cities around the world.

Gambar 2. Contoh Data Komentar

  • B.    Preprocessing Data

Tahap preprocessing data digunakan untuk melakukan proses perubahan semua karakter untuk menghindari data yang kurang sempurna, gangguan pada data dan data-data yang tidak konsisten seperti merubah karakter huruf menjadi huruf kecil. Dalam proses preprocessing komentar dalam penelitian ini, fungsi yang dilakukan antara lain: melakukan translasi, normalisasi, case folding dan tokenisasi.

  • C.    Translasi Kalimat

Translasi kalimat bertujuan untuk mentranslasi kalimat sehingga kalimat yang semula berbahasa selain Bahasa Inggris akan dirubah ke dalam Bahasa Inggris. Proses translasi kalimat dilakukan secara manual.

TABEL III

Translasi Kalimat

Contoh Komentar               Proses Translasi

DOI: https://doi.org/10.24843/MITE.2019.v18i01.P09

DOI: https://doi.org/10.24843/MITE.2019.v18i01.P09

我非常喜欢老师的乐趣和有 趣的教学风格。

I really like the fun and interesting teaching style of the teacher.

Siempre se siente un poco desordenado. A veces el profesor no puede encontrar la pantalla cuando escribe la oración incorrecta.

It always feels a little messy. Sometimes the teacher can not find the screen when writing the incorrect sentence.

The network is pooooooorrrrrr

The network is pooooooorrrrrr

  • D.    Normalisasi Kalimat

Normalisasi kalimat bertujuan untuk menormalkan kalimat sehingga kalimat yang tidak baku menjadi baku sesuai grammar. Tabel III menunjukkan normalisai kalimat dari contoh komentar II.

TABEL IIIII

Normalisasi Kalimat

Contoh Komentar

Proses Normalisasi

I really like the fun and interesting teaching style of the teacher.

I really like the fun and interesting teaching style of the teacher.

It always feels a little messy. Sometimes the teacher can not find the screen when writing the incorrect sentence.

The class always feels a little messy. Sometimes the teacher can not find the screen when writing the incorrect sentence.

the network is pooooooorrrrrr

The network is poor.

  • E.    Case Folding Kalimat

Case Folding kalimat bertujuan untuk melakukan proses perubahan dari huruf besar menjadi huruf kecil. Tabel IV menunjukkan case folding kalimat dari contoh komentarIII.

TABEL IVV

Case Folding Kalimat

Contoh Komentar

Proses Translasi

I really like the fun and interesting teaching style of the teacher.

i really like the fun and interesting teaching style of the teacher

The class always feels a little messy. Sometimes the teacher can not find the screen when writing the incorrect sentence.

the class always feels a little messy. Sometimes the teacher can not find the screen when writing the incorrect sentence

the network is pooooooorrrrrr

the network is poor

  • F.    Tokenisasi Kalimat

Tokenisasi kalimat bertujuan untuk memecah dokumen menjadi kata-kata dengan memisahkan kata tersebut. Tabel V menunjukkan tokenisasi kalimat dari contoh komentar IV.

TABEL V

Tokenisasi Kalimat

Contoh Komentar

Proses Tokenisasi

i really like the fun and interesting teaching style of the teacher.

i, really, like, the, fun, and, interesting, teaching, style, of, the, teacher

the class always feels a little messy. sometimes the teacher can not find the screen when writing the incorrect sentence.

the, class, always, feels, a, little, messy, sometimes, the, teacher, can, not, find, the, screen, when, writing, the, incorrect, sentence

the network is poor.

the, network, is, poor

  • G.    POS Tagging

Luh Gede Putri Suardani: Analisis Komentar Hasil Belajar…

POS Tagging bertujuan untuk memisahkan kata per kata sesuai dengan tag masing-masing dengan menggunakan Stanford Parser. Tabel VI menunjukkan hasil dari POS Tagging.

TABEL VI

Pos Tagging

Contoh Komentar

Proses Translasi

i really like the fun and interesting teaching style of the teacher.

i-PRP really-RB like-VBP the-DT teacher-NN 's-POS fun-NN and-CC interesting-JJ teaching-NN style-NN

the class always feels a little messy. sometimes the teacher can not find the screen when writing the incorrect sentence.

the-DT class-NN always-RB feels-VBZ a-DT bit-NN messy-RB.-. sometimes-RB the-DT teacher-NN ca-MD n't-RB find-VB the-DT screen-NN when-WRB writing-VBG the-DT wrong-JJ sentence-NN

the network is poor.

the-DT network-NN is-VBZ poor-JJ

  • H.    Document Subjectivity

Document Subjectivitys bertujuan untuk memisahkan kalimat yang termasuk opini dan kalimat yang tidak termasuk opini. Tabel VII menunjukkan hasil dari Document Subjectivity.

TABEL VII

Document Subjectivity

Contoh Komentar

Proses Translasi

I really like the teacher 's fun and interesting teaching style .

Termasuk Opini

The class always feels a bit messy . Sometimes the teacher can't find the screen when writing the wrong sentence .

Termasuk Opini

The network is poor .

Termasuk Opini

  • I.    Target Detection

Target Detection bertujuan untuk mencari kata yang menjadi fitur opini. Tabel VIII menunjukkan hasil dari Target Detection.

TABEL VIII

Target Detection

Contoh Komentar

Proses Target Detection

I really like the fun and interesting teaching style of the teacher.

teacher

The class always feels a little messy. Sometimes the teacher can not find the screen when writing the incorrect sentence.

class

the network is pooooooorrrrrr

network

  • J.    Opinion Orientation

Opinion Orientation bertujuan untuk mendeteksi apakah opini termasuk opini positif atau negatif berdasarkan kamus opinion word. Tabel IX menunjukkan hasil dari Opinion Orientation.

TABEL IX

Opinion Orientation

p-ISSN:1693 – 2951; e-ISSN: 2503-2372

Contoh Komentar

Proses Opinion Orientation

I really like the teacher's fun and interesting teaching style .

positif

The class always feels a bit messy . Sometimes the teacher ca n't find the screen when writing the wrong sentence .

negatif

The network is poor .

negatif

K. Tampilan Antar Muka

Tampilan antar muka dari sistem yang telah dibangun adalah sebagai berikut.

Gambar 2. Tampilan Login Form

Tampilan dari Data Komentar ditunjukkan pada gambar 2. User dapat melihat komentar dari guru tersebut. Sistem berisikan komentar yang sudah dinormalisasi. Untuk menjalankan proses selanjutnya, user harus mengklik proses. Proses akan berjalan dan menghasilkan output seperti gambar

Gambar 3. Tampilan Data Komentar

Tampilan dari POS Tagging ditunjukkan pada gambar 3. User dapat melihat komentar dari guru tersebut. Kata-kata dalam kalimat berhasil di parsing dan diberi kedudukan dengan menggunakan metode POS Tagging ini. Kedudukan masing-masing kata di tag berdasarkan Penn Treebank Tagset.

Gambar 4: Tampilan Login Form

Tampilan dari Hasil Document Subjectivity ditunjukkan pada gambar 4. User dapat melihat komentar yang termasuk opini untuk guru tersebut.

Gambar 5. Tampilan Proses Document Subjectivity

Tampilan dari Target detection ditunjukkan pada gambar 5. User dapat melihat target yang dikomentar untuk setiap komentar. Tampilan dari Hasil Summary Generation pada gambar 6. User dapat melihat rangkuman jumlah komentar positif dan negatif dari target yang di komentar untuk guru tersebut.

Gambar 6. Tampilan Target Detection & Opinion Orientation

DOI: https://doi.org/10.24843/MITE.2019.v18i01.P09

Gambar 7. Tampilan Summary Generation

Dalam penelitian ini, sistem telah mengklasifikasi komentar sejumlah 2000 komentar dimana 1800 data merupakan data opini dan 200 data merupakan data bukan opini. Setelah membandingkan dengan pengujian manual ditemukan 1170 adalah data TP, 512 adalah data TN, 28 data FP dan 90 data FN. Dari data tersebut didapatkan hasil sebagai berikut.

TP        1170

precisi0n = (jF+FP) = (1170 + 28) = 97,66%

TP        1170

recal1 ^ (TP + FN) ^ (1170 + 90) ^ 92,85%

Menggunakan Sentence Scoring dengan Metode TF-IDF [Journal] // Seminar Nasional Aplikasi Teknologi Informasi (SNATI) Yogyakarta. - 2014. - 17 : Vol. 21. - pp. 1907-5022.

  • [7]    Hu Minqing and Liu Bing Mining and summarizing customer reviews [Conference] // Proceedings of the 2004 ACM SIGKDD international conference on Knowledge discovery and data mining - KDD '04. -2004. - 10.1145/1014052.1014073.

  • [8]    Kaewyong Phuripoj [et al.] The Possibility of Students Comments Automatic Interpret Using Lexicon Based Sentiment Analysis to Teacher Evaluation [Journal]. - 2015. - pp. 12-13.

  • [9]   Kamal Ahmad Review Mining for Feature Based Opinion

Summarization and Visualization [Journal].

  • [10]    Karnik, A. “Performance of TCP congestion control with rate feedback:TCP/ABR and rate adaptive TCP/IP,” M. Eng. thesis, Indian Institute ofScience, Bangalore, India, Jan. 1999.

  • [11]    Kaur Amandeep and Gupta Vishal A survey on sentiment analysis and opinion mining techniques // Journal of Emerging Technologies in Web Intelligence. - 2013. - 10.4304/jetwi.5.4.367-371..

  • [12]    Leong Chee Kian, Lee Yew Haur and Mak Wai Keong Mining sentiments in SMS texts for teaching evaluation [Journal] // Expert Systems with Applications. - 2012. - 10.1016/j.eswa.2011.08.113.

  • [13]    López Condori Roque Enrique and Salgueiro Pardo Thiago Alexandre Opinion summarization methods: Comparing and extending extractive and abstractive approaches [Journal] // Expert Systems with Applications. - 2017. - 10.1016/j.eswa.2017.02.006.

  • [14]    Rajput Quratulain, Haider Sajjad and Ghani Sayeed Lexicon-Based Sentiment Analysis of Teachers' Evaluation [Journal]. -10.1155/2016/2385429.

  • [15]    Rozi Imam Fahrur Imam Fahrur R, Implementasi Rule-Based Document [Report]. - pp. 29-41.

    akurasi =


TP + TN

TP + TN + FP + FN 1170 + 512

1170 + 512 + 28 + 90 = 93,44%

  • V. Kesimpulan

Berdasarkan hasil pengujian dan analisis yang telah dilakukan pada bahasan sebelumnya, maka dapat diambil beberapa kesimpulan bahwa nilai akurasi yang didapat adalah 93,44% dengan precision 97,66% dan recall 92,85%. Hal ini membuktikan bahwa sistem yang telah dibangun cukup akurat dan dapat membantu pihak perusahaan untuk melihat ringkasan komentar siswa untuk guru-guru.

Referensi

  • [1]    Balahadia Francis F., Fernando Ma. Corazon G. and Juanatas Irish C. Teacher's performance evaluation tool using opinion mining with sentiment analysis [Conference] // 2016 IEEE Region 10 Symposium (TENSYMP). - 2016. - 10.1109/TENCONSpring.2016.7519384.

  • [2]    Bjørkelund Eivind, Burnett Thomas H. and Nørvåg Kjetil A study of opinion mining and visualization of hotel reviews [Conference] // Proceedings of the 14th International Conference on Information Integration and Web-based Applications & Services - IIWAS '12. -2012. - 10.1145/2428736.2428773.

  • [3]    Chaowalit Orawan Abstractive Thai Opinion Summarization Title of Dissertation Abstractive Thai Opinion Summarization [Journal].

  • [4]    HaCohen-Kerner Yaakov and Badash Haim Positive and Negative Sentiment Words in a Blog Corpus Written in Hebrew [Conference] // Procedia Computer Science. - 2016. - 10.1016/j.procs.2016.08.257.

  • [5]    He Wu, Zha Shenghua and Li Ling Social media competitive analysis and text mining: A case study in the pizza industry [Journal] // International Journal of Information Management. - 2013. -10.1016/j.ijinfomgt.2013.01.001.

  • [6]    Hendy Evan Fabianus and Sigit Purnomo Y WP Pembangunan Perangkat Lunak Peringkas Dokumen dari Banyak Sumber

Luh Gede Putri Suardani: Analisis Komentar Hasil Belajar…

p-ISSN:1693 – 2951; e-ISSN: 2503-2372



[ Halaman ini sengaja di kosongkan]

ISSN 1693 – 2951

Luh Gede Putri Suardani: Analisis Komentar Hasil Belajar…