JNATIA Volume 2, Nomor 1, November 2023

Jurnal Nasional Teknologi Informasi dan Aplikasinya

p-ISSN: 2986-3929

Evaluasi Desain Aplikasi Delivery Menggunakan Metode System Usability Scale

Matthew Novan Sidhartaa1, Luh Arida Ayu Rahning Putria2

aProgram Studi Informatika, Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Udayana, Bali

Jln. Raya Kampus UNUD, Bukit Jimbaran, Kuta Selatan, Badung, 08261, Bali, Indonesia 1[email protected] (Corresponding Author) 2[email protected]

Abstract

Technology continues to develop from time to time and has been widely used to support various forms of services, such as delivery service. However, not every aspect can be fulfilled by this kind of application. The delivery application which is selected by researcher in this paper is disguised. The application under this research will be evaluated in terms of UI/UX design. The usability testing method that will be used in the evaluation process is the system usability scale. The result shows that the system usability scale’s score on the application is at 54,16. To improve the application performance, especially in terms of UI/UX, the application can be redesigned for the next research.

Keywords: Delivery, UI/UX Design, Usability Testing, System Usability Scale

  • 1.    Pendahuluan

Di era modern seperti sekarang, teknologi menjadi hal yang tidak dapat dipisahkan dari kehidupan keseharian masyarakat global. Mulai dari orang dewasa yang bekerja sampai anak-anak yang bersekolah, semua memanfaatkan teknologi seperti smartphone dan laptop guna menunjang aktivitasnya. Menurut data yang diperoleh Badan Pusat Statistik (BPS), sebanyak 67,88% penduduk Indonesia yang berusia 5 tahun ke atas sudah memiliki ponsel atau handphone pada 2022. Persentase tersebut meningkat dibanding 2021 yang masih 65,87%, sekaligus menjadi rekor tertinggi dalam satu dekade terakhir [1]. Tidak hanya itu, sebagian besar dari perangkat tersebut juga terhubung dengan jaringan internet. Data mencatat bahwa di tahun 2022, dalam skala nasional terdapat 69,39% penduduk laki-laki berusia 5 tahun ke atas yang mengakses jaringan internet. Sedangkan, perempuan dari berbagai usia hanya sebesar 63,53%. Data-data tersebut mencerminkan bahwa perangkat teknologi dan internet telah banyak beredar di kalangan masyarakat. Teknologi tersebut digunakan untuk memperoleh berbagai layanan atau mengakses banyak hal, baik melalui aplikasi atau website. Salah satunya adalah aplikasi pemesanan makanan. Layanan pemesanan makanan (delivery) menjadi salah satu bentuk layanan dari restoran cepat saji. Layanan ini telah dikembangkan menggunakan teknologi yang beredar, sehingga pada akhirnya dapat diakses dari aplikasi. Namun, tidak seluruh aplikasi delivery ini dapat memberikan layanan yang baik di segala aspek, salah satunya adalah aspek UI/UX design. Terdapat sejumlah pengguna yang mengungkapkan ketidaknyamanannya terhadap tampilan aplikasi yang dianggap kurang mendukung. Guna meningkatkan kenyamanan pada aspek tersebut, maka dapat digunakan salah satu metode design yang disebut usability testing. Dalam penelitian ini, penulis telah memilih sebuah aplikasi delivery dan melakukan observasi. Berdasarkan observasi dari ulasan aplikasi di playstore [4], ditemukan fakta bahwa aplikasi ini menuai sejumlah kritik dikarenakan tampilan dan kinerjanya yang dirasa masih kurang oleh pengguna. Oleh karena itu, usability testing di tahap awal akan memberikan gambaran yang lebih jelas terkait kekurangan aplikasi. Sehingga, proses evaluasi dapat dilakukan secara maksimal.

Penelitian terdahulu seperti yang tercantum dalam sebuah jurnal menjelaskan bahwa usability testing diberikan kepada pengguna dengan cara meminta pengguna untuk melaksanakan

serangkaian tugas [2]. Dalam penelitian ini, usability testing juga menggunakan sejumlah aspek, seperti aspek efisiensi. Adapun, jurnal lainnya yang menjelaskan bahwa usability testing dapat dilakukan menggunakan metode system usability scale, bahkan sebanyak 2 kali [3]. Perbaikan terhadap aplikasi BMKG dilakukan karena dalam aplikasi ini diketahui masih menampilkan informasi secara kurang jelas serta tingkat kemudahan penggunaan yang masih rendah. System usability scale pertama dilakukan guna memperoleh penilaian dari desain aplikasi BMKG, sedangkan system usability scale yang kedua dilakukan untuk memperoleh penilaian responden/calon pengguna terhadap desain hasil evaluasi. Melalui penelitian ini, penulis berharap dapat memberikan peningkatan kepuasan pengguna terhadap aplikasi yang diteliti.

  • 2.    Metode Penelitian

    • 2.1   Studi Literatur

Penulis memulai penelitian dengan melakukan studi literatur terhadap sejumlah penelitian sebelumnya yang berfokus pada UI/UX design dan usability testing. Studi literatur bersumber dari jurnal serta artikel. Hal ini penting untuk dilakukan, supaya alur penelitian yang dilakukan menjadi terstruktur dan dapat memperoleh hasil yang tepat. Dimana, penelitian akan dimulai dengan studi literatur yang dilanjutkan ke tahap observasi review aplikasi di playstore untuk mengetahui perbandingan antara review positif dengan review negatif, serta rating aplikasi. Kemudian, pertanyaan akan disusun sesuai dengan ketentuan metode system usability scale (SUS) dan hasilnya akan dihitung sesuai aturan dalam metode SUS itu sendiri. Setelah selesai menghitung, maka akan dapat ditentukan apakah aplikasi yang diteliti memang perlu untuk dievaluasi atau tidak. Detail alur penelitian dapat dilihat pada gambar 1.

Gambar 1. Alur Penelitian

  • 2.2    Tahap Observasi

Pada tahap ini, dilakukan pengamatan terhadap ulasan para pengguna di playstore. Hal ini dilakukan untuk mengetahui apakah aplikasi yang dibahas dalam penelitian ini memang membutuhkan evaluasi dari segi UI/UX dan sistem atau tidak.

0—               ≡

  • ★ Febru a ry 26,2022

  • 1.    Cannot track driver based on their location nor contact them, so we cannot know where they are. I only got my orders >2 hours from my order time, without any informations on where my orders were. 2.

CS was not responsive at all. Cannot go through the operator. Tried Countlesstimes. 3. Bad app experience. App is slow and has a bad interface + lack of features. Very disappointing overall. Please do better next time. ^

76 people found this review helpful

Did you find this helpful? Yes No

⅛ —                    *

* April 30, 2023

Before update, this was a good app. Now i cannot even login or create new ID, the verification ID that i input was always said as incorrect.

Gambar 2. Ulasan pengguna

Dari gambar 2, diperoleh informasi bahwa pengguna masih banyak mengeluhkan kinerja sistem termasuk tampilan dari aplikasi. Misalnya saja pada ulasan pertama dengan rating bintang 1 yang mengeluhkan aspek satisfaction dari segi UI dan layanan yang lambat dari customer service. Selain itu, ketidakmampuan untuk melacak lokasi driver juga menjadi masalah pada aspek error. Pada ulasan kedua, nampak bahwa pengguna mengeluhkan aspek efficiency, dimana alur penggunaan aplikasi menjadi semakin sulit (lambat dalam memproses login) setelah aplikasi di update. Untuk memperjelas detail ulasan, penulis merangkumnya dalam tabel 1. Sebagai tambahan, jumlah ulasan yang digunakan untuk membuat tabel adalah 30 ulasan. Dimana, 1 user dapat memberikan 2 atau lebih deskripsi permasalahan yang menyebabkan kolom jumlah memiliki jumlah di atas 30 ulasan.

Tabel 1. Data Hasil Observasi

No.

Metrik

Permasalahan

Jumlah Ulasan Tiap Permasalahan

1.

Learnability

-

0

2.

Memorability

-

0

3.

Efficiency

Delay pesanan berjam-jam

9

4.

Error

Tidak dapat melacak driver

7

Kesulitan bahkan tidak dapat memesan

9

Gagal login dan register

8

5.

Satisfaction

Customer service tidak responsif

5

Desain tampilan kurang memuaskan (kekurangan fitur, desain yang terkesan kaku, pengalaman interaksi dengan desain tampilan yang kurang, dll)

6

  • 2.3 System Usability Scale (SUS)

System usability scale atau SUS merupakan salah satu bentuk usability testing yang memanfaatkan skala dengan rentang tertentu untuk mengetahui level usability dari sebuah sistem dalam aplikasi atau website [5]. Ada sejumlah kelebihan yang diperoleh dari penggunaan metode yang satu ini.

  • a.    Mudah digunakan dan diterima oleh responden.

  • b.    Terbukti valid dalam menentukan apakah sistem sudah memiliki level usability yang baik atau belum.

Selain itu, metode ini juga memiliki aturan menghitung sendiri, yakni sebagai berikut [5].

Setiap nilai pertanyaan pada urutan ganjil akan dikurangi 1.(1)

Setiap nilai pada pertanyaan di urutan genap akan digunakan untuk mengurangi angka 5.(2)

Nilai total dikali dengan 2,5.(3)

Rata-rata nilai SUS berada di angka 68 [4]. Apabila nilai sistem berada di bawah 68, maka hal ini mengindikasikan adanya permasalahan yang berpengaruh ke tingkat usability sistem. Dengan kata lain, sistem perlu untuk diperbaiki atau di redesign untuk meningkatkan performa aplikasi. Berdasarkan nilai SUS yang diperoleh, terdapat 4 indikator yang menjelaskan angka skor tersebut. Pertama adalah NPS (Net Promoter Scores) dengan 3 level (detractor, passive, dan promoter). Kedua adalah acceptable dengan 3 level (not acceptable, marginal, dan acceptable). Ketiga adalah adjective dengan 6 level (worst imaginable, poor, OK, good, excellent, dan best imaginable). Terakhir, adalah grade dengan 5 level dari urutan terendah ke tertinggi (F, D, C, B, A). Detail dapat dilihat pada gambar 3.

Detractor                       Passive Promoter

NPS:                                                  4

.     . . 1                       Not Acceptable                      Marginal              Acceptable

ACM pt3DI∙!

...              Worstlmaginable            Poor               OK Good Excellent Bestlmaginable

Adjective:              Illiilliilliillillllllllllllllllllllllllllllllllllllllim I I                                                                                                                                  lllllllllll Illlllllllllllllllllllllllllllllllllllllllllff

Grade:        F       DCBA

Iiiiiiiiiiiiiiiiiiiii

SUS Score: O 10    20    30    40    50    60    70    80    90    100

  • Gambar 3. Skala System Usability Scale

  • 2.4 Menyusun Pertanyaan SUS

Terdapat sejumlah aspek dalam usability testing. Aspek-aspek tersebut adalah learnability, memorability, efficiency, error, dan satisfaction [6]. Berikut penjelasannya.

  • a.    Learnability: berhubungan dengan seberapa mudah suatu aplikasi atau website digunakan. Kemudahan tersebut diukur dari pemakaian fungsi-fungsi dan fitur yang tersedia di dalamnya.

  • b.    Memorability:   berkaitan dengan kemampuan pengguna mempertahankan

pengetahuannya setelah jangka waktu tertentu. Kemampuan tersebut dipengaruhi oleh tata letak desain interface yang relatif tetap.

  • c.    Efficiency: berkaitan dengan kecepatan dalam pengerjaan “tugas” atau kecepatan akses dalam website atau aplikasi perangkat lunak tertentu.

  • d.    Error: berkaitan dengan kesalahan-kesalahan yang ditemukan pada fitur oleh pengguna selama berinteraksi dengan website atau aplikasi tertentu.

  • e.    Satisfaction: berkaitan dengan kepuasan pengguna setelah menggunakan website atau aplikasi. Pengukuran terhadap kepuasan juga meliputi aspek manfaat yang didapat dari pengguna selama menggunakan aplikasi tersebut.

Oleh karena itu, dalam penelitian ini pertanyaan SUS dibagi kedalam 5 aspek tersebut dengan rincian sebagai berikut [7].

  • a.    Learnability

  • 1.    Alur penggunaan aplikasi dapat saya pelajari dengan mudah.

  • 2.    Informasi yang disajikan mudah untuk dipahami.

  • 3.    Alur kerja aplikasi mudah untuk dipahami dan dimengerti.

  • 4.    Tanpa tutorial, saya mampu mempelajari penggunaan aplikasi.

  • b.    Memorability

  • 1.    Saya dapat dengan mudah mengingat alur penggunaan aplikasi.

  • 2.    Saya dapat dengan mudah menggunakan aplikasi kapanpun.

  • c.    Efficiency

  • 1.    Saya mampu mengakses setiap menu dengan cepat (seberapa cepat Anda mengakses setiap menu secara acak).

  • 2.    Saya mampu langsung menemukan hal yang ingin saya cari dalam aplikasi (seberapa cepat Anda mengakses setiap menu yang dituju).

  • d.    Error

  • 1.    Saya tidak menemukan menu yang error atau tidak sesuai dengan fungsinya.

  • e.    Satisfaction

  • 1.    Saya merasa bahwa tampilan aplikasi sudah sesuai dengan selera saya.

  • 2.    Mohon ceritakan kesulitan Anda dalam menggunakan aplikasi.

  • 3.    Setelah mencoba aplikasi, bagaimana Anda mendeskripsikan pengalaman Anda secara keseluruhan?

  • 2.5    Tahap Usability Testing

Usability testing adalah sebuah metode yang digunakan untuk mengevaluasi user experience dari sebuah produk aplikasi maupun website [8]. Pengujian ini dilakukan guna mengetahui seberapa user friendly sebuah aplikasi bagi pengguna. Ada 3 jenis usability testing.

  • a.    Moderated & unmoderated usability testing: Moderated testing adalah uji coba yang dapat diberikan secara langsung atau remote oleh peneliti. Pengujian ini dilakukan di bawah pengawasan para peneliti. Sedangkan, unmoderated testing tidak diawasi oleh peneliti. Moderated testing lebih unggul dari segi akurasi jawaban, sedangkan unmoderated testing lebih unggul dari segi biaya.

  • b.    Remote & in-person usability testing: Remote testing dilaksanakan dari jarak jauh dan dapat digunakan saat membutuhkan banyak sampel, namun hasil tidak detail. Sedangkan, in-person testing dilakukan dengan menempatkan pengguna, UX researcher atau moderator dalam satu tempat. Metode ini cocok untuk memperoleh data yang detail.

  • c.    Explorative test, assessment research, dan comparative research: Dalam tes eksploratif, pengguna diminta untuk melakukan brainstorming dan memberikan opini secara bebas. Untuk assessment research, akan dilakukan penelitian terkait penilaian, kepuasan, dan kemampuan dalam menggunakan produk dari pengguna. Terakhir, pada comparative research akan dilakukan pemilihan desain produk oleh pengguna dan membandingkannya dengan produk kompetitor.

Tahap ini dijalani untuk memperoleh gambaran yang lebih spesifik terkait detail kelemahan aplikasi. Berdasarkan jenis usability testing yang telah dijabarkan sebelumnya, proses usability testing dilakukan secara unmoderated karena para responden tidak diawasi secara langsung saat mereka menjawab survei. Disini, para responden diminta untuk menjawab online survey melalui google form guna mengetahui akurasi tingkat kepuasan pengguna secara lebih presisi. Pertanyaan yang diajukan berkaitan dengan aspek learnability, memorability, efficiency, error, dan satisfaction. Para responden berasal dari kalangan siswa, mahasiswa, karyawan, serta ibu rumah tangga. Rentang usia yang dipilih berkisar antara usia 15-64 tahun katrena usia tersebut

adalah usia produktif. Para responden dalam penelitian ini memiliki kisaran usia dari 13 - 46 tahun. Total user yang berpartisipasi dalam usability testing ini adalah 15 orang.

Setelah para user (responden) mengisi survei, maka setiap data yang masuk akan dikalkulasikan. Proses kalkulasi akhir akan menggunakan rumus berikut [9].

_ ∑x

x = —


n


(4)


Keterangan:

(5)

(6)

(7)


x = Nilai rata — rata ∑ x = Total skor SUS n = Total responden

  • 3.    Hasil dan Pembahasan

    • 3.1    Data Responden

Dari 15 orang responden yang menjawab survei dalam penelitian ini, diperoleh hasil yang dapat dilihat pada tabel 2.

Tabel 2. Data Responden

Skor SUS

Responden

Q1

Q2

Q3

Q4

Q5

Q6

Q7

Q8

Q9

Q10

1.

3

3

2

3

2

2

2

1

1

1

2.

4

4

3

3

4

4

5

4

5

3

3.

4

5

4

2

5

4

4

3

4

1

4.

5

1

5

5

4

4

1

3

5

5

5.

3

3

3

3

2

3

3

2

2

2

6.

5

5

5

5

5

5

5

5

5

5

7.

5

5

5

5

5

5

5

5

5

5

8.

2

3

2

1

2

4

5

2

4

2

9.

3

3

3

5

5

5

2

1

5

3

10.

3

3

3

5

4

4

3

3

3

1

11.

5

5

5

5

5

5

4

5

5

5

12.

2

1

4

1

5

1

5

1

2

2

13.

5

5

5

5

5

5

3

5

5

5

14.

3

2

2

1

1

1

3

3

2

3

15.

4

4

4

5

4

4

4

4

3

2

56

52

55

54

60

56

54

47

56

45

Hasil yang tertera pada tabel di atas belum diproses menggunakan aturan menghitung dalam metode SUS.

  • 3.2    Perhitungan Data Responden

Setelah data asli dari responden telah diperoleh, maka nilai-nilai yang terkumpul akan dikenakan aturan perhitungan dari metode system usability scale atau SUS. Disini, aturan yang diberlakukan sesuai dengan persamaan (1), (2), dan (3). Berikut adalah tabel 3 yang menjelaskan perhitungan data responden.

Tabel 3. Perhitungan Data Responden

Skor SUS

Total

Responden Q1

Q2

Q3 Q4

Q5

Q6

Q7

Q8

Q9

Q10

1.

2

2

1

2

1

3

1

4

0

4

20

2.

3

1

2

2

3

1

4

1

4

2

23

3.

3

0

3

3

4

1

3

2

3

4

26

4.

4

4

4

0

3

1

0

2

4

0

22

5.

2

2

2

2

1

2

2

3

1

3

20

6.

4

0

4

0

4

0

4

0

4

0

20

7.

4

0

4

0

4

0

4

0

4

0

20

8.

1

2

1

4

1

1

4

3

3

3

23

9.

2

2

2

0

4

0

1

4

4

2

21

10.

2

2

2

0

3

1

2

2

2

4

20

11.

4

0

4

0

4

0

3

0

4

0

19

12.

1

4

3

4

4

4

4

4

1

3

32

13.

4

0

4

0

4

0

2

0

4

0

18

14.

2

3

1

4

0

4

2

2

1

2

21

15.

3

1

3

0

3

1

3

1

2

3

20

41

23

40

21

43

19

39

28

41

30

Setelah dikenakan persamaan (1) dan (2) maka terakhir masing-masing nilai yang ada pada kolom total akan dikali 2,5 sesuai dengan persamaan (3). Setelah selesai, maka akan dijumlahkan seluruhnya. Hasilnya nampak pada tabel 4.

Tabel 4. Pengalian Nilai di Kolom Total dengan Nilai 2,5

Responden

Total

Total x 2.5

1.

20

50

2.

23

57,5

3.

26

65

4.

22

55

5.

20

50

6.

20

50

7.

20

50

8.

23

57,5

9.

21

52,5

10.

20

50

11.

19

47,5

12.

32

80

13.

18

45

14.

21

52,5

15.

20

50

Hasil

812,5

Setelah diperoleh hasil akhir, maka nilai tersebut dimasukkan ke dalam rumus mencari nilai rata-rata, sehingga dengan rumus di persamaan (4) akan diperoleh hasil sebagai berikut.

812,5

x = -jy = 54,16                                                            (8)

Hasil dari proses perhitungan menunjukkan bahwa skor yang diperoleh masih berada di bawah standar dari skor SUS. Jika dijelaskan menggunakan skala SUS, skor 54,16 memiliki status terendah di NPS (Net Promoter Scores) yakni detractor, level acceptable yang berada di garis marginal, level adjective yang berada di status OK, dan grade D.

  • 4.    Kesimpulan

Berdasarkan hasil penelitian, aplikasi delivery yang diteliti memiliki nilai akhir SUS sebesar 54,16 dan berada di bawah standar skor SUS yang berada di angka 68. Rinciannya berdasarkan skala SUS adalah NPS (Net Promoter Scores) di level detractor, level acceptable yang berada di garis marginal, level adjective yang berada di status OK, dan grade D. Hasil dari penelitian ini dapat dibawa ke tahap yang lebih lanjut, yakni redesign aplikasi dari segi desain maupun sistem. Sehingga, level usability dari aplikasi dapat mengalami peningkatan.

Daftar Pustaka

[Online]. Available at: https://sis.binus.ac.id/2022/02/07/mengenal-system-usability-scale/.

  • [6]   W. Handiwidjojo and L. Ernawati, “Pengukuran Tingkat Ketergunaan (Usability) Sistem

Informasi Keuangan Studi Kasus: Duta Wacana Internal Transaction (Duwit),” Jurnal Informatika dan Sistem Informasi, vol. 2, no. 1, p. 6, 2016, url: https://journal.uc.ac.id/index.php/JUISI/article/view/115.

  • [7]    P. Sukmasetya, A. Setiawan, and E. R. Arumi, “Penggunaan Usability Testing Sebagai Alat Evaluasi Website KRS Online Pada Perguruan Tinggi,” Jurnal Sains dan Teknologi, vol. 9, no. 1, p. 10, 2020, doi: https://doi.org/10.23887/jstundiksha.v9i1.24691.

  • [8]    H. Aliya, “Usability Testing: Arti, Metode, Langkah-Langkah, dan Manfaatnya,” glints, Accessed Date: 10 Juni 2023. [Online]. Available at: https://glints.com/id/lowongan/usability-testing-adalah/

  • [9]    Rasmila, Dandy, R. Nufus, R. A. P. Tamimi, “Analisis Website Pedulilindungi Menggunakan Pengujian SUS (System Usability Scale),” Jurnal Ilmu dan Teknik Komputer, vol. 6, no. 2, p. 5, 2022, doi: 10.22441/jitkom. v6i2.008.

218