JITTER- Jurnal Ilmiah Teknologi dan Komputer Vol. 2, No. 3 Desember 2021

Evaluasi Usability User Interface Website Menggunakan Metode Usability Testing Berbasis ISO 9241-11 (Studi Kasus PT.X)

Agus Ari Suhendraa1, Gusti Agung Ayu Putria2, Gusti Made Arya Sasmitab3 Program Studi Teknologi Informasi, Fakultas Teknik, Universitas Udayana Bukit Jimbaran, Bali, Indonesia-803611

e-mail: agusarishndra@gmail.com, agung.ayuputri@unud.ac.id, aryasasmitha@unud.ac.id

Abstrak

Pemanfaatan teknologi informasi dalam dunia bisnis berpotensi besar untuk lebih meningkatkan grafik penjualan, serta meningkatkan efisiensi dan kualitas layanan kepada pelanggan. PT.X adalah salah satu bidang bisnis jual beli barang elektronik yang mengembangkan usahanya dengan membuat website untuk mempermudah proses jual beli produk sejak tahun 201 . Sejak berdirinya website sampai saat ini tidak pernah dilakukan evaluasi mengenai usability sistem yang ada pada website. Penelitian ini bertujuan untuk mengevaluasi dari tingkat usability PT.X dengan metode usability testing berdasarkan dua atribut usability yaitu efektifitas dan efisiensi. Metode yang digunakan yaitu usability testing dengan standard SIO 241-11 dan teknik Performance Measurement. Adapun pada penelitian ini menggunakan 10 responden untuk menjalani task scenario pada usability testing. Hasil pengujian usability website PT.X mendapat tingkat efektivitas sebanyak 6 % dan efisiensi sebanyak 61% dimana nilai tersebut dapat tergolong kedalam status tidak baik dan tidak buruk Setelah mendapatkan hasil dari usability testing, peneliti membuat rekomendasi perbaikan yang nantinya diharapkan dapat digunakan sebagai acuan untuk dapat meningkatkan tingkat efektivitas dan efisiensi dari website PT.X.

Kata kunci: Usability, Efektivitas, Efisiensi, Usabilty Testing, ISO 9241-11

Abstract

Information technology in the business world has great potential to further improve sales charts, as well as improve efficiency and quality of service to customers. PT.X is one of the areas of the business of buying and selling electronic goods that has developed its business by creating a website to facilitate the process of buying and selling products since 2019. Since the establishment of the website until now there has never been an evaluation of the usability of the system on the website. This study aims to evaluate the usability level of PT.X with the usability testing method based on two usability attributes (effectiveness and efficiency). The method used is usability testing with SIO 9241-11 standard and Performance Measurement technique. As for this study, 10 respondents were used to undergo a task scenario in usability testing. The results of the usability testing of the PT.X website got an effectiveness level of 69% and efficiency as much as 61% where these values can be classified into bad and not bad status. After getting the results from usability testing, the researcher makes recommendations for improvements which are later expected to be used as a reference to increase the level of effectiveness and efficiency of the PT.X website.

Keywords : Usability, Effectiveness, Efficiency, Usability Testing, ISO 9241-11

  • 1.    Pendahuluan

Pemanfaatan teknologi informasi dalam dunia bisnis berpotensi besar untuk lebih meningkatkan grafik penjualan, serta meningkatkan efisiensi dan kualitas layanan kepada pelanggan maupun calon pelanggan. Teknologi informasi sangat memudahkan pelanggan dalam memperoleh informasi sebuah produk yang ingin mereka beli dibandingkan dengan

menggunakan cara konvensional[1]. Dibandingkan dengan cara konvensional yang dimaksud merupakan pelanggan harus datang pada toko offline untuk melihat dan mendapatkan informasi dari barang atau produk yang dibutuhkan. Dengan adanya sistem informasi seperti website ataupun aplikasi pada sebuah bisnis jual beli barang, akan sangat memudahkan pelanggan maupun pemilik bisnis untuk mendapatkan keuntungan yang ingin dicapai[2].

PT.X sebagai salah satu bidang bisnis jual beli barang elektronik telah membuat website sejak tahun 201 . Berdasarkan hasil wawancara yang telah dilakukan, setelah pembuatan website pada PT.X dapat dikatakan sangat berpengaruh dalam peningkatan keuntungan dari pihak mereka. Pada website PT.X tersebut menyediakan berbagai informasi mengenai barang yang mereka jual serta dapat melakukan transaksi langsung pada website tersebut, sehingga keuntungan yang didapatkan melebihi dari pada saat belum adanya website tersebut. Setelah melakukan wawancara dengan pemilik website, wawancara dilanjutkan dengan beberapa pengguna website untuk mengetahui bagaimana pendapat mereka tentang website tersebut. Pengguna website menyatakan bahwa terdapat permasalahan pada bagian bagian tertentu pada website PT.X, permasalahan yang hampir banyak diutarakan pengguna meliputi tampilan antaramuka atau user interface kurang menarik serta kurang sederhana terutama dalam pemilihan beberapa warna pada website. Adapun beberapa fitur pada website yang tidak bisa digunakan dan terutama beberapa barang yang ada pada website tidak dapat dipesan, tentunya beberapa permasalahan tersebut mempengaruhi dari tingkat usabiliy website.

Permasalahan dari website sangat mempengaruhi tingkat usability pada website, tingkat usablity website sangat penting dan bermanfaat untuk mengurangi kesalahan pada aktivitas pelanggan. Usability menurut ISO 241-11 merupakan tingkat dari kemudahan pengguna dalam hal mencapai efektivitas, efisiensi dan kepuasan penggunaan sistem informasi[3]. Untuk mengetahui tingkat usability pada website sangat perlu dilakukan pengujian terhadap website kepada pengguna.

Berdasarkan permasalahan yang telah diuraikan diatas maka dilakukan penelitian pada website PT.X untuk lebih mengetahui tingkat dari usability website PT.X. Hasil dari evaluasi usability yang dilakukan akan menghasilkan beberapa tampilan rekomendasi perbaikan berupa prototype yang diharapkan dapat digunakan sebagai acuan dalam perbaikan tampilan pada website dan juga dapat meningkatkan efektivitas, efisiensi dan kepuasan pengguna menjadi lebih baik.

  • 2.    Metodologi Penelitian

Jenis penelitian ini adalah penelitian survey dan evaluatif menggunakan metode Usability Testing ISO 241-11 dengan teknik Perfomance Measurement pada website PT.X Populasi dalam penelitian ini adalah costumer dari PT.X yang pernah menggunakan website PT.X. Teknik pengambilan sampel yang digunakan dalam penelitian ini adalah teknik Accidental Sampling.

Faulkner menyatakan bahwa untuk mendapatkan 0% permasalahan dalam usability maka diperlukan sebanyak minimal 10 orang pengguna untuk mengukur indikator dalam usability demi mendapatkan hasil akhir yang baik[4]. Oleh sebab itu, peneliti mengambil sebanyak 10 orang responden untuk melakukan usability testing. Penggambaran tahap penelitian yang dilakukan dapat dilihat pada gambar 1 sebagai berikut.

Gambar 1. Tahapan Penelitian


Gambar 1 merupakan gambaran dari kerangka penelitian yang akan peneliti lakukan Dimulai dengan observasi dan identifikasi masalah yang ditemukan. Setelah mendapatkan masalah yang ditemukan dilanjutkan dengan melakukan study literatur dari masalah yang didapatkan, lalu dilanjutkan dengan menentukan metode penelitian yang ingin digunakan Tahapan berikutnya yaitu melakukan pengujian dengan menggunakan metode yang telah ditentukan yaitu Usability Testing dengan standard ISO 241-11 untuk mengukur masalah usability efektivitas serta efisiensi dari website yang digunakan sebagai studi kasus.

Data yang dibutuhkan dalam mengukur aspek efektivitas adalah kesuksesan dalam menjalankas setiap tugas yang diberikan. Untuk mengukur tingkat efektivitas menggunakan persamaan 1[3].

Tugas berhasil selesai Total tugas dikerjakan

Effectiveness = x100% (1)

Untuk mengukur efisiensi pada website menggunakan teknik overall relative efficiency

Adapun data yang dibutuhkan untuk mengukur efisiensi adalah waktu pengerjaan setiap tugas

masing masing responden dan mengukur tingkat efisiensi 2[5].


satuan waktu yang digunakan yaitu detik. Untuk website akan dihitung menggunakan persamaan


Overall Relative Efficiency = x100%

(2)


Setelah mendapatkan hasil pengujian efektivitas dan efisiensi langkah selanjutnya yaitu pembuatan rekomendasi perbaikan yang diharapkan dapat membantu permasalahan sebelumnya dan ditutup dengan pembuatan kesimpulan penelitian.

3


Kajian Pustaka


Kajian pustaka merupakan tahapan yang digunakan dalam teori pada konsep usability testing berbasis ISO 241-11. Bagian kajian pustaka memaparkan berbagai teori yang didapatkan dari sumber buku, jurnal ataupun e-book dan berbagai penelitian sebelumnya yang memiliki masalah yang terkait satu sama lain dengan penelitian yang dilakukan.

  • 3.1    Website

Website merupakan kumpulan halaman web yang diakses publik dan saling terkait yang berbagi satu nama domain. Website dibuat dan dikelola untuk melayani berbagai tujuan. Website memiliki variasi yang hampir tidak ada habisnya, termasuk situs pendidikan, situs berita, forum, situs media sosial, situs e-commerce, dan sebagainya. Halaman-halaman dalam sebuah website biasanya merupakan campuran teks dan media lainnya. Meskipun demikian, tidak ada aturan yang mengatur bentuk website[6].

  • 3.2    Usability Testing berbasis ISO 9241-11

Usability merupakan sebuah manfaat atau kebergunaan yang ketika digunakan pada sebuah aplikasi/website yang bertujuan untuk dapat mengetahui level dari kebergunaan website untuk pengguna dengan dasar efektivitas, efisiensi, dan kepuasan. Adapun standard yang digunakan yaitu ISO 241-11 dimana dikatakan bahwa usability memiliki tiga aspek penting dalam pemahaman standard ISO 241-11 yaitu efektifitas, efisiensi dan kepuasan[7].

  • a.    Effectiveness, yaitu kelengkapan serta ketepatan pengguna untuk mencapai tujuannya.

  • b.    Efficiency, yaitu sumber daya yang dipergunakan pengguna untuk mencapai tujuannya.

  • c.    Satisfaction, yaitu keterbebasan pengguna dari rasa tidak nyaman.

Dari uraian diatas dapat disimpulkan usability adalah proses pengukuran terhadap tingkat kebergunaan layanan berupa aplikasi, website atau sistem untuk mengetahui bagaimana tingkat kepuasan pengguna, terhadap layanan yang mereka gunakan. Untuk melakukan pengujian usability menggunakan metode testing dan teknik Performance Measurement (PM) untuk mengukur efektivitas dan efisiensi[8].

  • 3.3    User Interface

User interface merupakan suatu komponen penting dalam perancangan sistem informasi yang melibatkan interaksi user untuk menghasilkan proses input serta output. HCI adalah semua aspek dari interaksi pengguna dan computer, tidak hanya hardware. Semuanya yang terlihat dilayar, membaca dalam dokumentasi dan dimanipulasi dengan keyboard (atau mouse) merupakan bagian dari user interface[ ].

User Interface berfungsi untuk menghubungkan atau penterjemah informasi antara pengguna dengan system operasi, sehingga computer dapat digunakan. Dengan demikian, user interface bisa juga diartikan sebagai mekanisme inter-relasi atau integrasi total dari perangkat keras dan lunak yang membentuk pengalaman bekomputer user interface dari sisi software bisa berbentuk Graphical User Interface (GUI) atau Command Line Interfae (CLI), sedangkan dari sisi hardware bias berbentuk Aplle Desktop Bus (ADB), USB, dan fire wire[10].

  • 4.    Hasil dan Pembahasan

Pada metode usability testing dengan menggunakan ISO 241-11 melibatkan lima pengguna sebagai objek penelitian. Metode usability testing memperoleh 8 permasalahan usability. Permasalahan disampaikan pengguna setelah pengguna menjalankan task scenario yang telah diberikan dalam menggunakan website. Berikut merupakan task scenario yang diberikan kepada responden (Rahmi, 201 ).

Tabel 4. 1 Task Skenario

Kode

Task Scenario

T1

Membuat akun dan log in website

T2

Masuk ke menu Home, Blog, Kontak

T3

Menggunakan Sub menu yang ada

T4

Menggunakan Filter Pencarian Barang

T5

Memasukan barang kedalam keranjang

T6

Melakukan pemesanan barang

T7

Melakukan transaksi hingga tahap pemilihan pembayaran

T8 Melakukan Log Out

Tabel diatas merupakan tesk scenario yang akan responden lakukan pada website PT.X, task tersebut berfungsi untuk mengetahui temuan masalah yang ada pada website serta mengetahui waktu penyelesaian dari task skenario dengan menggunakan metode usability testing sesuai dengan standard ISO 241-11.

  • 4.1    Pengukuran Efektifitas

Pengukuran tingkat efektifitas menggunakan penerapan teknik PM dan dilakukan setelah pengambilan data dari responden yang telah melakukan task. Hasil pengerjaan skenario pada website PT.X telah didokumentasikan dengan menggunakan timer dan mencatat permasalahan langsung, setelah itu melakukan rekapitulasi data. Data yang di rekap dilakukan dengan menghitung dari berapa banyak tugas yang dapat diselesaikan dari skenario yang telah diberikan responden.

Tabel 4. 2 Tingkat Keberhasilan Task Scenario

Responden

Jumlah Task yang Dikerjakan

Total Tugas

Nilai Completion Rate

R1

6

8

75%

R2

5

8

63%

R3

5

8

63%

R4

5

8

63%

R5

4

8

50%

R6

6

8

75%

R7

6

8

75%

R8

7

8

88%

R

5

8

63%

R10

6

8

75%

Rata-rata

6 %

Tabel diatas merupakan hasil dari tingkat keberhasilan proses task scenario yang telah dijalankan, terdapat beberapa scenario yang gagal di proses oleh responden pada website PT.X. Berdasarkan data pada tabel 4.15 menunjukan bahwa nilai rata-rata completion rate yang dihasilkan sebesar 6 %. Berdasarkan acuan ISO 241-11 pada tinjauan pustaka, jika nilai pada variable efektifitas diatas 78% dapat dibilang sangat baik namun bila hasil dibawah 4 % menempatkan pada kuartil bawah, maka dapat disimpulkan bahwa layanan website memiliki kualitas efektifitas yang terbilang seimbang. Terdapat task yang tidak dikerjakan karena adanya kegagalan pengerjaan tugas disebabkan oleh beberapa faktor iternal, yaitu.

  • 1.    Seringkali kebingungan karena tidak menemukan menu yang ingin dicari

  • 2.    Beberapa fitur yang tidak dapat berfungsi pada saat diklik.

  • 3.    Proses setelah penginputan data yang terlalu lama.

  • 4.    Koneksi internet yang tidak stabil atau masalah internal pada website.

  • 4.2    Efisiensi

Pengukuran efisiensi bernilai 0 jika responden dinyatakan gagal dalam pengerjaan task dan bernilai 1 jika berhasil dalam pengerjaan task. Contoh perhitungan dari rata-rata efisiensi tugas adalah sebagai berikut.

((lx70)+(0x32)+(lx45)+(lx5S)+(lx49)+(lx220)+(lx59)+(lx80)+(lx70)+(lx45)

Tingkat penyelesaian =                 - -;_-.:-::-.-.; -: -?:- :-.:                x100%

= 0. 5 x 100% = 5%

Berikut merupakan hasil perhitungan tingkat efisiensi website PT.X.

Tabel 4. 3 Hasil Perhitungan Tingkat Efisiensi

Kode Tugas

Rata-rata Efisiensi Tugas

Kategori

T1

0.

0%

T2

0.46

46%

T3

0.81

81%

T4

0.72

72%

T5

0.87

87%

T6

0.72

72%

T7

0.68

68%

T8

0. 5

5%

Rata-Rata

61,1%

Berdasarkan tebel diatas website PT.X mendapatkan tingkat keefisiensian dengan nilai rata-rata overall relative efficiency sebanyak 61.1%.

  • 4.3    Hasil Temuan Masalah pada Usability Testing

Hasil temuan permasalahan pada website PT.X didapatkan dari usability testing yang telah dilakukan dari 10 responden sebelumnya, dengan menggunakan standard ISO 241-11 yang merupakan standard dalam interaksi antarmuka pada website. Berikut merupakan temuan permasalahan yang didapatkan oleh responden, dapat dilihat pada tabel 4.4

Tabel 4. 4 Hasil Temuan Permasalahan pada Usability Testing

Kode Masalah

Temuan Masalah

Kritis/Saran

M1

Kurangnya shortcut menggunnakan akun google/lainnya sehingga perlu menginput data terlalu banyak

Pembuatan shortcut seperti website lain atau data yang diinput lebih sedikit

M2

Tidak adanya tampilan menu home/beranda

Disarankan untuk memberi beberapa menu utama sehingga tidak bingung dalam mencari menu

M3

Fitur filter tidak berfungsi dengan baik

Ada beberapa fitur yang tidak dapat di klik/tidak memproses apapun

M4

Beberapa fitur tidak berfungsi

Fitur yang tidak dapat diproses seharusnya tidak perlu ada pada tampilan

M5

Barang tidak bisa dipesan (stock masih)

Saya ingin memesan barang tetapi tidak bisa padahal tersisa 6 stock

M6

Warna tampilan dan font tidak baik

Sebaiknya warna utama pada website tidak full hitam dan terlalu mencolok

M7

Tidak bisa memasukan barang ke dalam keranjang

Ada bebebrapa barang yang tidak bisa dibeli

M8

Tidak bisa melakukan pembayaran

Tolong diperbaiki karena ingin melakukan transaksi secara online

Tabel diatas merupakan beberapa temuan masalah dari kelima responden yang telah melakukan task scenario. Dari temuan masalah yang didapatkan, masalah tersebut akan menjadi acuan dalam pembuatan rekomendasi perbaikan pada penelitian ini.

  • 4.4    Perbaikan Desain User Interface

Pada pembuatan rekomendasi perbaikan akan menjelaskan mengenai rekomendasi yang telah dibuat berdasarkan masalah yang didapat dari evaluasi sebelumnya menggunakan usability testing dengan standard ISO 1 42-11. Berikut merupakan beberapa tampilan menu yang dibuat.

Gambar 2. Rekomendasi Perbaikan Menu Log In

Gambar 2 merupakan tampilan design interface pada menu log in, sign up dan forgot password pada website PT.X. Adapun pemilihan warna dan font yang digunakan lebih elegan agar tidak terjadi permasalahan yang sama pada masalah yang ditemukan responden. Dari rekomendasi perbikan ketiga menu yang dibuat diharapkan dapat meningkatkan tingkat efektivitas dan efisiensi dari usability.

Gambar 3. Rekomendasi Perbaikan Menu 1

Gambar 3 merupakan rekomendasi perbaikan pada 2 menu utama pada website PT.X Rekomendasi dibuat untuk memperbaiki permasalahan pada beberapa fitur pendukung dan penempatan sub menu utama agar lebih jelas. Pada rekomendasi perbaikan ini diharapkan dapat menyelesaikan permasalahan yang ada pada masalah M2,M3 dan M4 pada tabel hasil temuan masalah usability oleh responden.

Gambar 4 Rekomendasi Perbaikan Menu 2



Gambar 4 merupakan rekomendasi perbaikan desain pada 3 menu utama website PT.X. Desain dibuat lebih modern dan minimalist agar user lebih nyaman membaca font yang digunakan serta tidak terlihat nyaman dimata pengguna yang ingin membaca mengenai website.

  • 5.    Kesimpulan

Evaluasi usability pada website PT.X bertujuan untuk mengukur tingkat usability dengan standard ISO 241-11 pada dua aspek yaitu efektivitas dan efisiensi. Pengukuran tingkat efektivitas mendapatkan nilai rata-rata sebesar 6 % dimana nilai tersebut masuk kedalam tingkat sedang atau normal. Sedangkan pada pengukuran aspek efisiensi menghasilkan nilai rata-rata overall relavive effeciency sebesar 61% dan juga masuk pada kategori normal Adapun perancangan rekomendasi perbaikan pada website PT.X dibuat dari permasalahan yang didapatkan oleh responden pada saat evaluasi usability testing dan diharapkan dapat digunakan sebagai acuan kedepannya dalam pengembangan website serta dapat meningkatkan tingkat aspek efektivitas dan efisiensi pengguna.

Daftar Pustaka

  • [1]    D. Handayani, I. K. Adi Purnawan, and G. M. Arya Sasmita, “Evaluation of the E Government Quality of Services Case Study X City Government,” Int. J. Trend Sci. Res. Dev.,   vol. 4, no. 4, pp. 356–361,   2020, [Online]. Available:

https://www.ijtsrd.com/papers/ijtsrd30854.pdf%0Ahttps://www.ijtsrd.com/engineering/ information-technology/30854/evaluation-of-the-egovernment-quality-of-services-case-study-x-city-government/dela-handayani.

  • [2]    S. Wardani, I. G. M. Darmawiguna, and N. Sugihartini, “Usability Testing Sesuai Dengan ISO 241-11 Pada Sistem Informasi Program Pengalaman Lapangan Universitas Pendidikan Ganesha Ditinjau Dari Pengguna Mahasiswa,” Kumpul. Artik. Mhs. Pendidik.

Tek. Inform., vol. 8, no. 2, p. 356, 201 , doi: 10.23887/karmapati.v8i2.18400.

  • [3]    D. S. Wibawa, “Evaluasi Usability Dan Perbaikan Antarmuka Pengguna Aplikasi Mobile Malang Menyapa Menggunakan Metode Usability Testing,” J-PTIIK J. Pengemb. Teknol. Inf. dan Ilmu Komput., vol. 4, no. , pp. 3185–31 2, 2020, [Online]. Available: http://repository.ub.ac.id/180482/.

  • [4]    A. Tinar, S. H. Wijoyo, and R. I. Rokhmawati, “Evaluasi Usability Tampilan Antarmuka Website Perpustakaan Politeknik Kesehatan Kemenkes Kota Malang menggunakan Metode Usability Testing dan Heuristic Evaluation,” J. Pengemb. Teknol. Inf. dan Ilmu Komput., vol. 3, no. 11, pp. 10453–10461, 201 .

  • [5]    R. Rahmi, I. M. A. Pradnyana, and M. W. A. Kesiman, “Usability Testing Berbasis ISO 241-11 Pada Aplikasi Salak Bali (Studi Kasus: Polres Buleleng),” Kumpul. Artik. Mhs.

Pendidik. Tek. Inform., vol. 8, no. 3, pp. 510–521, 201 .

  • [6]    D. N. Heny, “Analisis User Interface dan User Experience pada Website Sekolah Tinggi Teknologi Adisutjipto Yogyakarta,” Conf. Senat. STT Adisutjipto Yogyakarta, vol. 2, p 183, 2016, doi: 10.28 8 /senatik.v2i0.77.

  • [7]    Yumarlin MZ, “Evaluasi Penggunaan Website Universitas Janabadra Dengan Menggunakan Metode Usability Testing,” Inf. Interaktif, vol. 1, no. 1, pp. 34–43, 2016, [Online]. Available: http://www.e-journal.janabadra.ac.id/index.php/informasiinteraktif/ article/view/345.

  • [8]    S. E. P. Rosalinda, N. Ulinnuha, and D. Rolliawati, “Evaluasi Usability Sistem Informasi Manajemen Kepegawaian Berbasis Iso 241-11 Menggunakan Metode Partial Least Square,” J. Komunika J. Komunikasi, Media dan Inform., vol. 7, no. 3, pp. 127–134, 2018.

[ ] D. R. Anggitama, H. Tolle, and H. M. Az-Zahra, “Evaluasi Dan Perancangan User Interface Untuk Meningkatkan User Experience Menggunakan Metode Human Centered Design Dan Heuristic Evaluation Pada Aplikasi EzyPay,” J. Pengemb. Teknol. Inf. dan Ilmu Komput., vol. 2, no. 2, pp. 130–143, 2018.

  • [10]    A. Muqoddas, A. F. Yogananti, and H. Bastian, “Usability User Interface Desain pada Aplikasi Ecommerce (Studi Komparasi Terhadap Pengalaman Pengguna Shopee, Lazada, dan Tokopedia),” ANDHARUPA J. Desain Komun. Vis. Multimed., vol. 6, no. 1, pp. 73–82, 2020, doi: 10.33633/andharupa.v6i1.31 4.