Majalah Ilmiah Teknologi Elektro, Vol. 20, No.2, Juli – Desember 2021

DOI: https://doi.org/10.24843/MITE.2021.v20i02.P19                                                              343

Pembangkit Pertanyaan Otomatis pada Materi

Pelajaran IPA Berbahasa Indonesia di Tingkat SD
Berdasarkan Revisi Taksonomi Bloom

Veronica Ambassador Flores1, Lie Jasa2, Rukmi Sari Hartati3 [Submission: 13-08-2021, Accepted: 25-08-2021]

Abstract— Creating questions on an exam is a complex process, because this process requires knowledge and takes a long time to make. The process of creating questions can be done more easily, quickly, and structured with the Automatic Question Generator (AQG) system. This application uses the Text Matching Method to find keywords in a paragraph, where the Expected Answer Type (EAT) method would identify these keywords. The EAT method helped to identify the type of answers in a paragraph therefore the type of questions would be recognized. The types of questions used are 5W + 1H consisting of Who, Where, When, Why, What, How, and How Many. The next method is the Template Based Method which played a role in compiling the question sentence based on the pre-registered template. The questions were produced using the Revised Bloom's Taxonomy concept. The trial result in 18 learning materials, showed that the application could generate 748 questions with an average level of accuracy of 89%.

Keywords — Automatic Question Generator, Expected Answer Type, Text Matching, Template Based

Intisari— Pembuatan pertanyaan pada suatu ujian merupakan proses yang kompleks, dikarenakan proses ini membutuhkan pengetahuan dan waktu yang lama dalam penyusunannya. Penyusunan pertanyaan dapat dilakukan dengan lebih mudah, cepat, dan terstruktur dengan adanya sistem Automatic Question Generator (AQG). Aplikasi ini memanfaatkan Metode Text Matching untuk menemukan kata kunci pada suatu paragraf, dimana kata kunci ini akan diidentifikasi menggunakan Metode Expected Answer Type (EAT). Metode EAT membantu untuk mengidentifikai jenis jawaban pada suatu paragraf sehingga dapat diketahui jenis pertanyaan yang akan di generate. Jenis pertanyaan yang digunakan yaitu 5W + 1H yang terdiri dari Siapa, Dimana, Kapan, Mengapa, Apa, Bagaimana, dan Berapa Banyak. Metode selanjutnya adalah Metode Template Based yang berperan dalam menyusun kalimat pertanyaan berdasarkan template yang sudah didaftarakan sebelumnya. Pertanyaan yang dihasilkan menggunakan konsep Revisi Taksonomi Bloom, dimana pertanyaan ini terdiri dari kategori (a) mengingat, (b) memahami, (c) mengaplikasikan, (d) menganalisis, (e) mengevaluasi dan (f) mencipta. Hasil uji coba dari 18 materi pembelajaran, aplikasi dapat meghasilkan 748 pertanyaan dengan tingkat rata-rata akurasi sebesar 89%.

Kata Kunci—Automatic Question Generator, Text Matching Expected Answer Type, Template Based

  • I.    Pendahuluan

Peningkatan dalam proses pembelajaran dapat diukur dengan mengevaluasi hasil belajar siswa melalui tes atau ujian [1]. Pembuatan pertanyaan pada suatu ujian merupakan proses yang kompleks, dikarenakan proses ini membutuhkan pengetahuan, pelatihan, pengalaman, dan sumber referensi yang variatif. Pembuatan pertanyaan secara manual juga akan menghabiskan banyak waktu dan energi, karena guru harus merangkum pertanyaan dari sumber yang berbeda seperti buku, bank soal, dokumen, media online, dan sumber lainnya [2] [3] [4] [5] [6] [7] [1]. Kurangnya waktu, membuat guru tidak dapat membuat banyak jenis pertanyaan, sehingga biasanya guru menggunakan pertanyaan yang telah digunakan dalam tes sebelumnya dan hanya mengganti nomor soal [8] [9]. Penyusunan soal dalam ujian adalah hal yang penting, karena sifat dari pertanyaan yang dihasilkan akan menentukan kualitas siswa yang dihasilkan oleh suatu Lembaga Pendidikan [6].

Penyusunan pertanyaan dapat dilakukan dengan lebih mudah, cepat, dan terstruktur dengan adanya sistem Automatic Question Generator (AQG). Automatic Question Generator adalah sistem yang dapat menghasilkan pertanyaan dari berbagai input yang tidak terstruktur, misalnya teks atau yang terstruktur, misalnya basisdata [3]

Pertanyaan-pertanyaan yang dihasilkan dalam penelitian ini berupa pertanyaan pada mata pelajaran IPA pada tingkat SD yang berbentuk essay atau uraian, hal ini dikarenakan pertanyaan essay akan lebih memberikan hasil yang akurat karena dapat menunjukkan apa yang siswa tahu dan apa yang siswa tidak tahu [10]. Salah satu metode yang biasa digunakan dalam penyusunan pertanyaan essay adalah Metode Taksonomi Bloom. Anderson dan Krathwohl melakukan revisi terhadap struktur Taksonomi Bloom dimana kata benda diubah kedalam konsep kata kerja (yang berada padaTaksonomi Revisi). Tujuan dari perubahan ini dibuat yaitu agar sesuai dengan visi-visi pendidikan. Guru SD juga sangat disarankan untuk menyusun soal quiz, middle test dan final test yang menggunakan pengkuran kemampuan kognitif siswa berdasarkan konsep Revisi Taksonomi Bloom, agar siswa terbiasa dengan soal yang selalu merangsang mereka untuk berpendapat atau berpikir [11]. Mata pelajaran IPA dipilih karena materi IPA mengandung banyak kata kunci yang sesuai dengan level bloom di tiap kalimatnya, sehingga akan lebih mudah dalam membangun dan menguji pertanyaan yang dihasilkan.

Penelitian [12] menggabungkan empat tahapan dalam pembuatan sistem AQG, yaitu: identifikasi kalimat deklaratif kedalam kelas kasar dan kelas halus, identifikasi pola pertanyaan, ekstraksi komponen kalimat serta pembuatan aturan pertanyaan. Kekurangan dari penelitian ini, yaitu sistem

Veronica Ambassador Flores: Pembangkit Pertanyaan Otomatis pada….


p-ISSN:1693 – 2951; e-ISSN: 2503-2372



yang dibuat belum bisa mengakomodasi kalimat yang mengandung dua atau lebih jenis kata kunci.

Penelitian [13] memanfaatkan Metode Named Entity Recognition (NER) untuk mengklasifikasikan entitas berdasarkan format nama orang, format tanggal, dan format lokasi. Setelah diklasifikasikan sistem akan menghasilkan pertanyaan yang dimulai dengan kata “apa”, “mengapa, “siapa”, “kapan”, “di mana”, “bagaimana”, “bagaimana-jika”, “bagaimana-jika tidak” dan lain-lain berdasarkan Metode Rule Based.

Penelitian [14] membuat sistem AQG yang bekerja dengan dua tahapan, pertama pemilihan kalimat pada paragraf yang kemudian diproses menggunakan pendekatan Parts of Speech Tagger (POS Tagger) untuk mendapatkan jenis informasi dari kalimat tersebut. Selanjutnya proses pembentukan pertanyaan menggunakan metode Named Entity Recognition (NER) untuk mengklasifikasikan jenis kalimat tersebut bersamaan dengan jenis pertanyaannya.

Penelitian [15] menghasilkan sebuah rancangan sistem berupa Expected Answer Type (EAT) untuk sistem tanya jawab berdasarkan Revisi Taksonomi Bloom. EAT untuk tipe pertanyaan factoid terdiri dari orang, organisasi, entitas, tanggal / waktu, ukuran, dan lokasi, sedangkan EAT non-factoid terdiri dari definisi, metode, dan alasan.

Penelitian yang dilakukan saat ini adalah hasil pengembangan dari penelitian mengenai Automatic Question Generator, dimana pertanyaan yang dibangkitkan berasal dari materi Berbahasa Indonesia yang dipadukan menggunakan metode EAT. Konsep pertanyaan juga mengikuti konsep Revisi Taksonomi Bloom, dimana penulis menambahkan kata kunci di tiap level bloom dari penelitian sebelumnya. Penelitian ini menggunakan data yang bersumber dari yaitu dokumen berformat *.doc atau *. pdf dan juga raw text. Penelitian ini menggunakan metode Teks Preprocessing sebagai metode ekstraksi teks dari dokumen dan Text Matching untuk mencari kata kunci pada suatu kalimat. Metode berupa Expected Answer Type digunakan untuk mengidentifikasi teks ke dalam entitas nama orang, nama tempat, tanggal, waktu dan mengklasifikasikannya kedalam jenis pertanyaan 5W+1H, yaitu Apa, Siapa, Dimana, Kapan, Mengapa dan Bagaimana. Penyusunan pertanyaan menggunakan Metode Template Based dimana tipe pertanyaannya didasarkan pada ketentuan yang ada pada konsep Revisi Taksonomi Bloom.

Penelitian ini bertujuan untuk membantu para guru agar dapat menyusun soal dengan cepat, mengurangi biaya dalam membangun struktur soal, mengurangi ketergantungan kepada manusia dalam menghasilkan pertanyaan, dan dapat meningkatkan kualitas pertanyaan dikarenakan soal yang dihasilkan dapat lebih bervariasi.

  • II.    Landasan Teori

Berikut merupakan teori pendukung untuk penelitian ini yang berasal dari berbagai sumber.

  • A.    Automatic Question Generator (AQG)

Automatic Question Generator (AQG) merupakan aplikasi yang dapat meciptakan kalimat pertanyaan berdasarkan teks

atau informasi lainnya yang diolah menggunakan algoritma dan pola tertentu. Aplikasi AQG sudah diterapkan kedalam banyak bahasa, sepert Bahasa Inggris, China, Punjabi, dan lain-lain. Sistem Automatic Question Generator (AQG) sendiri diharapkan dapat dikembangkan agar dapat berperan seperti manusia biasa yang dapat membangkitkan pertanyaan berdasarkan pelajaran atau ilmu yang telah dibaca atau dipelajari. Pertanyaan dapat dibuat karena manusia memiliki pengetahuan yang membuat manusia dapat memahami isi dari sebuah konten informasi [5].

  • B.    Revisi Taksonomi Bloom

Taksonomi Bloom merupakan sebuah kerangka dasar yang digunakan dalam pengkategorian tujuan kurikulum, penyusunan ujian, dan visi dari pendidikan lainnya. Taksonomi Bloom terbagi kedalam beberapa tingkatan yakni: Pengetahuan/Proses Mengingat, Pemahaman/Pengertian, Pengaplikasian/Penerapan, Analisis/Mengkaji, Sintesis, dan Evaluasi/Mengulas. Kerangka Taksonomi Bloom mengalami revisi agar dapat memenuhi visi dari pendidikan. Perubahan tersebut digagas oleh Kratwohl dan Anderson, menjadi: Menilik, Mengingat/Memikirkan, Mengerti/Mengetahui, Memahami, Menerapkan/Mempraktikkan, Mengevaluasi/ Mengulas, Menciptakan/Mewujudkan [16].

  • C.    Expected Answer Type (EAT)

Expected Answer Type (EAT) atau Lexical Answer Type (LAT) membantu dalam mengidentifikasi jenis jawaban yang akan diberikan sebagai respon dari sebuah pertanyaan. EAT dapat berupa Entity, Person, Number, Time, dan lain-lain. Tabel 1 menampilkan daftar Expected Answer Type pada sebuah pertanyaan.

TABEL 1

Expected Answer Type

Tipe Pertanyaan

EAT

When

Date/Time

Where

Location/Place

Why

Reason

What

Entity/Definition

Who

Person, Organization

How

Measure

How Many

Numeric

Expected Answer Type menganalisis jawaban pertanyaan pada sebuah paragraf menjadi salah satu dari kategori EAT, setelah menemukan kategori nya maka tipe pertanyaannya juga akan langsung didapatkan [17].

  • D.    Template Based

Metode Template Based menyusun sebuah kerangka pertanyaan berdasarkan template yang telah didefinisikan sebelumnya. Template yang didaftarkan didapatkan dengan menganalisis sekumpulan pertanyaan yang sudah ada. Pertanyaan yang diciptakan dalam penelitian ini adalah pertanyaan-pertanyaan yang digolongkan ke dalam pertanyaan Bahasa Indonesia [18].

Majalah Ilmiah Teknologi Elektro, Vol. 20, No.2, Juli – Desember 2021 DOI: https://doi.org/10.24843/MITE.2021.v20i02.P19

  • III.    Metode Penelitian

    TABEL 2

    Template Pola Pertanyaan


Teknik dan metode yang diimplementasi dalam perancangan sistem Automatic Question Generator (AQG) ini antara lain:

TEXT       ____

→ TRANSFORMATION

TEXT ---► Segmentationand

FILTERING

Document

QUESTION GENERATOR BASED «

TEMPLATE

Classificaion

Question

Gambar 1: Gambaran Umum

Berikut alur kerja dari “Pembangkit Pertanyaan Otomatis pada Materi Pelajaran IPA Berbahasa Indonesia di Tingkat SD Berdasarkan Revisi Taksonomi Bloom”

  • •    Sistem menerima masukan berupa teks atau materi dalam bentuk dokumen (*.doc atau *.pdf).

  • •    Transformasi Teks merupakan tahap untuk mem-parsing materi yang berbentuk dokumen menjadi teks yang dapat diolah.

  • •    Segmentasi Teks diperlukan untuk mendeteksi kalimat yang tidak relevan, seperti daftar isi, daftar gambar, header, footer, atau pola kalimat lainnya.

  • •    Text Filtering berisi cangkupan dari proses Text Preprocessing, yang terdiri dari: Case folding (mengubah kata menjadi huruf kecil), Filtering (membuang kata stopword), Tokenizing (pemecahan paragraf menjadi kalimat) [19] [20].

  • •    Classification menggunakan metode Text Matching untuk mendapatkan kata kunci pada kalimat.

  • •    Penggunaan Metode EAT disesuaikan dengan konsep berpikir Revisi Taksonomi Bloom untuk mengklasifikasikan kalimat sesuai kelasnya.

  • •    Pertanyaan dihasilkan dengan membangun pola berdasarkan template yang sudah dibuat.

  • A. Penerapan Expected Answer Type (EAT) dan Template Base

    Level

    Bloom

    EAT

    Pertanyaan

    Kata Kunci

    Template

    to

    IS

    Entity

    Apa

    Dinama kan, julukan, istilah

    Apakah + istilah dari + <NN>

    Sebutkan

    Dibagi, pembag ian, dibagi

    Sebutkan + pembagian dari + <NN>

    to

    Definisi

    Bagaimana

    ciri,

    Bagaimana + ciri dari + <NN>

    ⅛

    Method

    Jelaskan

    Tahap, tahapan

    Jelaskan + tahapan dari + <NN>

    K

    Reason

    Mengapa

    Karena, karena itu

    Mengapa + <NN>

Tabel 2 menampilkan template dari pola kalimat pertanyaan dalam Bahasa Indonesia. Setiap level bloom memiliki jenis pertanyaan yang berbeda-beda, seperti Siapakah, Apa, Apakah, Sebutkan, Kapan, Berapa, Berapakah, Dalam berapa, Dimana, Dimanakah, Berikan, Bagaimana, Jelaskan, Mengapa, dan Simulasikan,

Setiap jenis pertanyaan memiliki kata kunci yang memetakan pertanyaan yang dihasilkan. Setelah jenis pertanyaan dan kata kunci ditemukan, maka pertanyaan dapat disusun berdasarkan template-nya.

Rancangan contoh dari penerapan Metode EAT dan Template Base pada penelitian ini ditunjukkan pada Tabel 2 [15].


  • B.    Implementasi Sistem

Aplikasi ini dibangun menggunakan Aplikasi Python dan PHP dengan memanfaatkan library pendukung, yaitu :

  • •    class. pdf2text.php merupakan library PHP yang berfungsi untuk mengeksrak informasi pada file pdf kedalam bentuk teks.

  • •    DOMDocument merupakan library yang berfungsi untuk mem-parsing isi halaman HTML menjadi bentuk teks. Library ini digunakan untuk mem-parsing konten tautan dalam tag <body>.


Veronica Ambassador Flores: Pembangkit Pertanyaan Otomatis pada….


p-ISSN:1693 – 2951; e-ISSN: 2503-2372



• Ajax digunakan untuk menampilkan hasil pertanyaan yang sudah di generate ke website secara realtime.

C. Generate Pertanyaan

Pertanyaan dihasilkan dari paragraf yang sudah diekstraksi, proses pengekstraksian ini menghasilkan komponen yang akan membedakan tiap kata pada kalimat menjadi Kata Kunci sebagai penentu kategori pertanyaan, dan Target sebagai objek pertanyaan. Proses ekstraksi memiliki aturan yang berbeda tergantung dengan jenis kategori pertanyaannya. Pertanyaan kemudian dibentuk berdasarkan template yang telah di definisikan sebelumnya. Contoh dari tahapan proses pembangkit pertanyaan dari sebuah paragraph adalah sebagai berikut.

  • •    Proses 1 Text Transformation: Contoh paragraph yang sudah dikonversi kedalam bentuk raw teks : Sistem pernapasan adalah salah satu sistem vital yang berisi banyak organ penting, yang berfungsi untuk melakukan perputaran gas pada tumbuhan dan hewan. Sejarah evolusi, lingkungan tempat tinggal, dan ukuran tubuh yang menjadi bagian dari fisik makhluk hidup yang membuat adanya proses perputaran gas. Pada hewan darat, pernapasan berlangsung pada organ paru-paru. Perputaran gas di paru-paru terjadi pada kantung-kantung udara yang berukuran kecil. Kelompok jenis hewan mamalia serta reptil memiliki kantung-kantung udara yang biasanya disebut sebagai alveolus, namun pada golongan burung ini dinamakan dengan atria.

  • •    Proses 2 Teks Filtering: sistem pernapasan adalah salah satu sistem vital yang berisi banyak organ penting , yang berfungsi untuk melakukan perputaran gas pada tumbuhan dan hewan . sejarah evolusi , lingkungan tempat tinggal , dan ukuran tubuh yang menjadi bagian dari fisik makhluk hidup yang membuat adanya proses perputaran gas . pada hewan darat , pernapasan berlangsungpada organ paru-paru . perputaran gas di paru-paru terjadi pada kantung-kantung udara yang berukuran kecil . kelompok jenis hewan mamalia serta reptil memiliki kantung-kantung udara yang biasanya disebut sebagai alveolus , namun pada golongan burung ini dinamakan dengan atria

  • •    Proses 3 Teks Segmentation:

[LINE 1] sistem pernapasan adalah salah satu sistem vital yang berisi banyak organ penting ,

[LINE 2] yang berfungsi untuk melakukan perputaran gas pada tumbuhan dan hewan .

[LINE 3] sejarah evolusi ,

[LINE 4] lingkungan tempat tinggal ,

[LINE 5] dan ukuran tubuh yang menjadi bagian dari fisik makhluk hidup yang membuat adanya proses perputaran gas .

[LINE 6] pada hewan darat ,

[LINE 7] pernapasan berlangsungpada organ paru-paru . [LINE 8] perputaran gas di paru-paru terjadi pada kantung-kantung udara yang berukuran kecil .

[LINE 9] kelompok jenis hewan mamalia serta reptil memiliki kantung-kantung udara yang biasanya disebut sebagai alveolus,

[LINE 10] namun pada golongan burung ini dinamakan dengan atria .

  • •    Proses 4 Classsification :

[LINE 1] sistem pernapasan adalah salah satu sistem vital yang berisi banyak organ penting , (Definition) [LINE 7] pernapasan berlangsung pada organ paru-paru . (Location)

[LINE 8] perputaran gas di paru-paru terjadi pada kantung-kantung udara yang berukuran kecil . (Date/Time)

[LINE 10] kelompok jenis hewan mamalia serta reptil memiliki kantung-kantung udara yang biasanya disebut sebagai alveolus, (Definition)

[LINE 11] namun pada golongan burung ini dinamakan dengan atria . (Definition)

  • •    Proses 5 Component Extraction :

Definition Pattern 1: Target + Kata Kunci + Penjelasan sistem pernapasan (Target) + adalah(Kata Kunci) + salah satu dari sekian banyak sistem yang berisi organ dan struktur lainnya.(Penjelasan)

Definition Pattern 2: Penjelasan + Kata Kunci + Target kelompok jenis hewan mamalia serta reptil memiliki kantung-kantung udara yang biasanya (Penjelasan) + disebut(Kata Kunci) + alveolus , (Target)

  • •    Proses 6 Question Generator Based Template

Template Pertanyaan Definition 1 : <WH> + pengertian dari + <NN> + ?

Hasil Generate Pertanyaan : Apakah pengertian dari sistem pernapasan ?

Template Pertanyaan Definition 2 : <WH> + yang disebut dengan + <NN> + ?

Hasil Generate Pertanyaan : Apa yang disebut dengan alveolus?

  • IV. Pembahasan dan Analisis Sistem

Penelitian “Pembangkit Pertanyaan Otomatis pada Materi Pelajaran IPA Berbahasa Indonesia di Tingkat SD Berdasarkan Revisi Taksonomi Bloom” dibangun menggunakan Bahasa Pemogram Python, HTML, dan PHP. Pemograman HTML digunakan untuk membangun antarmuka yang menghubungkan antara aplikasi dan pengguna. Pemograman PHP digunakan untuk memproses informasi yang diberikan oleh pengguna ke dalam bentuk yang dapat diolah oleh (Python). Python digunakan untuk mengkonversi materi berupa teks menjadi beberapa pertanyaan.

Pada bagian ini, tes evaluasi dilakukan terhadap aplikasi AQG. Evaluasi dilakukan dengan membandingkan pertanyaan yang telah di generate dengan pola pertanyaan yang telah definisikan sebelumnya. Terdapat tiga kategori dari hasil

DOI: https://doi.org/10.24843/MITE.2021.v20i02.P19 pertanyaan yang dihasilkan yaitu TRUE, ACCEPTABLE, dan FALSE. Jika pertanyaan yang dihasilkan mengikuti pola pertanyaan, maka pertanyaan akan dikategorikan sebagai TRUE. Jika tidak, maka pertanyaan akan dikategorikan sebagai FALSE. Namun, terdapat beberapa pertanyaan yang dihasilkan tidak cocok dengan pola pertanyaan, tapi pertanyaan ini dapat diterima sebagai pertanyaan TRUE karena penguji dapat memahami maksud dari pertanyaan tersebut. Tipe pertanyaan ini dikategorikan sebagai ACCEPTABLE.

  • A.    Antarmuka Sistem AQG

Halaman input materi berupa Raw Text berfungsi untuk memasukkan materi yang sudah berupa teks mentah.

Gambar 2: Tampilan Halaman Input Materi (Raw Text)

Gambar 2 menunjukkan tampilan untuk memasukkan teks kedalam kolom yang sudah disediakan. Jika pengguna sudah selesai memasukkan materi, maka pengguna dapat menekan tombol Submit untuk mulai memproses materi tersebut.

Hasil Generate Pertanyaan

  • -    Jelaskan pengertian dari akar akar ?

I- Apakah pengertian dari akar akar ?

  • -    Dimanakah tempat masuk air ?

  • -    Apa yang disebut dengan akar primer ?

  • -    Dimanakah tempat penyimpanan cadangan makanan ?

  • •    Sebutkan sifat dari penyimpanan cadangan makanan?

  • -    Apa yang dinamakan dengan rambut akar ?

  • -    Bagaimana proses penyerapan air dapat terjadi?

  • -    Apakah fungsi dari penyerapan air?

Gambar 3: Antarmuka Hasil Pertanyaan

Antarmuka hasil pertanyaan akan menampilkan sekumpulan pertanyaan yang telah berhasil diolah.

  • B.    Keakuratan Generate Pertanyaan

Pengujian dilakukan dengan memberikan 18 materi pembelajaran mengenai modul IPA di tingkat Sekolah Dasar. Ujicoba dilakukan dengan membandingkan pertanyaan yang telah di generate dengan pola pertanyaan yang telah definisikan sebelumnya. Terdapat tiga kategori dari hasil pertanyaan yang dihasilkan yaitu TRUE, ACCEPTABLE, dan FALSE. Jika pertanyaan yang dihasilkan mengikuti pola pertanyaan, maka pertanyaan akan dikategorikan sebagai TRUE. Jika tidak, maka pertanyaan akan dikategorikan sebagai FALSE. Namun, terdapat beberapa pertanyaan yang dihasilkan tidak cocok dengan pola pertanyaan, tapi pertanyaan ini dapat diterima sebagai pertanyaan TRUE karena penguji dapat memahami maksud dari pertanyaan tersebut. Tipe pertanyaan ini dikategorikan sebagai ACCEPTABLE. Tabel 3 menampilkan hasil yang diberikan oleh aplikasi terhadap materi yang diberikan oleh pengguna.

TABEL 3

Hasil dari Pengujian AQG

No

Materi (Berupa Kalimat)

Hasil

Status

1

sistem pernapasan adalah salah satu sistem vital yang berisi banyak organ penting ,

Apakah pengertian dari sistem pernapasan?

True

2

perputaran gas di paru-paru terjadi pada kantung-kantung udara yang berukuran kecil,

Kapan terjadinya perputaran gas di paru-paru ?

Acceptable

3

kantung udara yang biasanya disebut sebagai alveolus,

Apa yang disebut dengan alveolus?

True

4

namun pada golongan burung ini dinamakan dengan atria .

Apa yang dinamakan dengan atria?

True

5

saluran yang terbesar pada serangga adalah trakea,

Apakah pengertian dari saluran yang terbesar ?

False

6

Tabel 3 merupakan data hasil pertanyaan yang diuji coba pada sistem. Aplikasi Automatic Question Generator (AQG) ini mampu memberikan pertanyaan berdasarkan materi yang diberikan oleh pengguna. Materi yang diujikan berjumlah 18 materi pembelajaran dengan total pertanyaan yang berhasil di generate sebanyak 748 pertanyaan. Detail hasil ujicoba dari Aplikasi Automatic Question Generator (AQG) dapat dilihat pada Tabel 4.

Veronica Ambassador Flores: Pembangkit Pertanyaan Otomatis pada….


p-ISSN:1693 – 2951; e-ISSN: 2503-2372



TABEL 4

Detail Hasil Ujicoba Aplikasi AQG

TABEL 5

Detail Hasil Ujicoba Keseluruhan Aplikasi AQG

Kata Kunci

T

A

F

Total Pertanyaan

Akurasi

Entity

17

3

1

21

95%

Date/ Time

28

7

8

43

81%

Size

15

4

3

22

86%

Location

30

5

5

40

88%

Definition

409

23

41

473

91%

Method

49

8

12

69

83%

Reason

55

11

14

80

83%

Tabel 4 menampilkan daftar kata kunci beserta jumlah pertanyaan yang dikategorikan sebagai True (T), False (F), dan Acceptable (A). Dari total 748 pertanyaan yang berhasil di generate, 21 diantaranya merupakan pertanyaan yang masuk kedalam kategori entity (entitas) dari 21 pertanyaan tersebut terdapat 17 pertanyaan yang berstatus True yaitu pertanyaan tersebut sudah benar dan bisa langsung digunakan dalam ujian, kemudian terdapat 3 pertanyaan yang berstatus Acceptable yang berarti pertanyaan tersebut tidak sesuai dengan pola pertanyaan namun pertanyaan tersebut dapat dipahamai oleh penguji, dan 1 pertanyaan False yang menandakan pertanyaan tersebut tidak sesuai dengan pola atau pertanyaan dan tidak dapat dipahami oleh penguji. Kategori definition terlihat memiliki jumlah pertanyaan paling banyak dibandingkan dengan kategori lainnya. Hal ini disebabkan karena pada sumber materi pembelajaran terdapat banyak kata kunci dari definition yaitu : kata “disebut” muncul sebanyak 78x, kata “ciri” muncul sebanyak 12x, kata “fungsi” muncul sebanyak 138x, kata “dimaksud” muncul sebanyak dua kali, kata “syarat” muncul sebanyak dua kali, kata “contoh” muncul sebanyak 34x, kata “peran” muncul sebanyak 15x, kata “bentuk” muncul sebanyak 24x, kata “sifat” muncul sebanyak 23x, kata “makna” muncul sebanyak satu kali, dan kata “adalah” muncul sebanyak 144x. Perhitungan nilai akuransi dari Kategori Entity dapat dilihat pada Persamaan 1 [12].

Entity Accuracy =

Entity True Value + Entity Acceptable Value Total of Entity Question

x 100%


(1)


Entity Accuracy =


17 + 3

x 100%


Entity Accuracy = 95%

Hasil pengujian secara keseluruhan pada Aplikasi Automatic Question Generator (AQG) dapat dilihat pada Tabel 5.

Total True

Total Acceptable

Total False

Total of Question

Akurasi

Nilai

603

61

84

748

89%

Perhitungan nilai akurasi dari Aplikasi Automatic Question Generator (AQG) dapat dilihat pada Persamaan 2 [12].

True + Acceptable Value             (1)

Accuracy = ---„ . ,   „---~.-----x 100%

Total of Question

603 + 61

Accuracy = —74g— x 100%

Accuracy = 89%

Hasil pengujian data dari Aplikasi Automatic Question Generator dapat diklasifikasikan kedalam kelas True, False dan Acceptable dengan tingkat akurasi sebesar 89%.

Berikut merupakan hasil pertanyaan yang telah di generate kedalam beberapa kategori. Pertanyaan yang dikategorikan sebagai TRUE yaitu sebagai berikut, kategori (Definition) : “Apa yang disebut dengan fertilisasi interna ?”, (Method) : “Bagaimana cara pembentukan dinding alveoli paru ?”, (Reason) : “Mengapa akar bisa tumbuh menembus tanah ?”, (Design) : “Simulasikan cara kerja paru-paru?”, (Entity) : “Sebutkan bagian dari hifa ?”, (Date/Time): “Kapan terjadinya difusi gas ?”, (Size) : “Berapakah jumlah konsentrasi karbon dioksida dalam darah arteri ?”, (Location) : “Dimanakah daerah cambium berada?”.

Pertanyaan yang dikategorikan sebagai FALSE yaitu sebagai berikut, kategori (Definition) : “Apa yang mempengaruhi bergantung pada otot-otot?”, (Method) : “Bagaimana proses perkembangan biologi dapat terjadi?”, (Reason) : “Mengapa alasan penggunaan benda ?”, (Design) : N/A, (Entity) : “Sebutkan bentuk dari bergantung pada otot-otot?”, (Date/Time) : “Kapan terjadinya darah dalam tubuh?”, (Size) : “Dalam berapa tahun sampai hujan turun ?”, (Location) : “Dimanakah daerah meningkatkan volume berada?”.

Pertanyaan yang dikategorikan sebagai ACCEPTABLE yaitu sebagai berikut, kategori (Definition) : “Apakah ciri dari jaringan ?”, (Method) : “Bagaimana proses tahap: telur dapat terjadi?”, (Reason) : “Mengapa secara bersamaan sangkar rusuk diperbesar ?”, (Design) : “Simulasikan cara kerja untuk mengurangi suhu tubuh ?”, (Entity) : “Berikan contoh dari bertelur ?”, (Date/Time) : “Kapan terjadinya jaringan pelindung baru ?”, (Size) : “Berapakah jumlah puncak gunung everest tekanan atmosfer ?”, (Location) : N/A.

V. Kesimpulan

Berdasarkan hasil analisis dan pembahasan diatas dapat disimpulkan bahwa Automatic System Generator dengan menggunakan algoritma Text Matching dan Expected Answer Type (EAT) dapat mencapai hasil rata-rata akurasi sebesar 89%. Metode Text Matching yang digunakan memiliki

DOI: https://doi.org/10.24843/MITE.2021.v20i02.P19 kelebihan yaitu satu kalimat dapat diidentifikasi lebih dari satu katu kunci, sehingga pertanyaan yang dihasilkan mejadi lebih banyak dan variatif.

REFERENSI

  • [1]    M. Liu, V. Rus and L. Liu, "AUTOMATIC CHINESE FACTUAL QUEATION GENERATION," Institute of Electrical and Electronics Engineers Transactions on Learning Technologies, vol. 10, no. 2, 2017.

  • [2]    A. P. Sari and A. Setiawan, "The Development of Internet-Based Economic Learning Media," IJAL, vol. 3, no. 2, 2018.

  • [3]    D. S. V and R. C. Samant, "An Overview of Automatic Question Generation," IJSETR, vol. 3, no. 10, 2014.

  • [4]    S. Rakangor and Y. R. Ghodasara, "LR OF AUTOMATIC QUESTION GENERATION," IJSRP, vol. 5, no. 1, 2015.

  • [5]    Aminudin, A. SN and B. Ahmad, "Automatic Question Generation (AQG) dari Dokumen Teks Bahasa Indonesia Berdasarkan Non-Factoid Question," JTIIK, vol. 5, no. 2, 2018.

  • [6]    Vijayalakshmi and B. B, "Automatic Question Paper Generation System," IJSRCSEIT, vol. 3, 2017.

  • [7]    M. Liu, V. Rus and L. Liu, "AUTOMATIC QUESTION MCQ GENERATION USING SIMILARITY STRATEGY," Institute of Electrical and Electronics Engineers Journal Transactions on Learning Technologies, vol. 2, 2016.

  • [8]    P. Setyawan, "Guru Tidak Kreatif Membuat Soal," 17 Februari 2012. [Online].                                                      Available:

https://news.okezone.com/read/2012/02/17/373/577405/guru-tidak-kreatif-membuat-soal. [Accessed 14 Februari 2020].

  • [9]    J. Spring, "American Education," in Sociocultural, Political, and Historical Studies in Education, New York, Routledge, 2015.

  • [19]    V. A. Flores, L. Jasa and Linawati, "Analisis Sentimen untuk Mengetahui Kelemahan dan Kelebihan Pesaing Bisnis Rumah Makan Berdasarkan Komentar Positif dan Negatif di Instagram," MITE, vol. 19, no. 1, 2020.

  • [20]    V. A. F. L. Wati, "Aplikasi Sistem Pakar Diagnosa Penyakit Anjing Berbasis Facebook Messenger," MITE, vol. 19, no. 1, 2020.

  • [10]    C. Gupta, A. Jain and A. S. D’Souza, "Essay Versus Multiple-Choice: A Perspective from the Undergraduate Student Point of View with its Implications for Examination," Gazi Medical Journal, vol. 27, no. 1, 2015.

  • [11]    R. Jusuf, W. Sopandi, Ratnawulan and U. S. Sa’ud, "Profil Karakteristik Soal Ujian Nasional IPA SD Berdasarkan Taksonomi Bloom Revisi," Visipena Journal, vol. 9, no. 1, 2018.

  • [12]    S. Basuki and S. F. Kusuma, "Automatic Question Generation For 5W-1H Open Domain of Indonesian Questions by Using Syntactical Template-Based Features from Academic Textbooks," JATIT, vol. 96, no. 12, 2018.

  • [13]    J. Kaur and A. K. Bathla, "A Review on Automatic Question Generation System From a Given Hindi Text," International Journal of Research in Computer Applications and Robotics, vol. 3, no. 6, 2015.

  • [14]    D. Swali, J. Palan and I. Shah, "Automatic Question Generation from Paragraph Development," International Journal of Advance Engineering and Research, vol. 3, no. 12, 2016.

  • [15]    C. Juliane, A. A. Armant, H. S. Sastramihardja and I. Supriana, "Question-Answer Pair Templates Based on Bloom's Revised Taxonomy," in 3rd AASEC 2018, Bandung, 2018.

  • [16]    I. G and A. R. P, "Taksonomi Bloom – Revisi Ranah Kognitif: Kerangka Landasan Untuk Pembelajaran, Pengajaran, Dan Penilaian," Premiere Educandum: Jurnal Pendidikan Dasar dan Pembelajaran, vol. 2, no. 2, 2012.

  • [17]    P. Pakray, P. Bhaskar, S. Pal, D. Das, S. Bandyopadhyay and A. Gelbukh, "JU_CSE_TE: System Description QA," in International Conference of the Cross-Language Evaluation Forum 2010 : Workshop on Question Answering in Multiple Languages (MLQA'10), Italy, 2010.

  • [18]    M. Fachrurrozi and N. Yusliani, "Sistem Pembangkit Pertanyaan Otomatis Dengan Metode Template-Based," Journal of Research in Computer Science and Applications, vol. 2, no. 1, 2013.

    Veronica Ambassador Flores: Pembangkit Pertanyaan Otomatis pada….


p-ISSN:1693 – 2951; e-ISSN: 2503-2372


{ Halaman ini sengaja dikosongkan }

p-ISSN:1693 – 2951; e-ISSN: 2503-2372

Veronica Ambassador Flores: Pembangkit Pertanyaan Otomatis pada..