Evaluasi Usability Aplikasi Workin dengan Metode SUS (System Usability Scale)
on
JNATIA Volume 1, Nomor 1, November 2022
Jurnal Nasional Teknologi Informasi dan Aplikasinya
Evaluasi Usability Aplikasi Workin dengan Metode SUS (System Usability Scale)
I Wayan Sugianaa1, I Made Widiarthaa2
aInformatics Department, Udayana University South Kuta, Badung, Bali, Indonesia, 80361 1wayansugiana777@gmail.com 2madewidiartha@unud.ac.id
Abstract
To measure usability of an app we can use many methods. One of them is SUS (System Usability Scale). This method provides a “quick and dirty”, reliable tool for measuring the usability. So in this paper the writer uses this method to measure usability of a prototype of an app named “Workin”. Workin is a mobile app that helps the user to manage their work. There are features such as work data statistics, timer, write down task, and reminder. The writer creates the prototype using Figma and uses Google Form to share the questioner that contains questions used on SUS (System Usability Scale) method to get the usability measure of the Workin App. The result from the questioner then calculated using a calculation that is available at SUS (System Usability Scale) method.
Keywords: Usability, Usability Test Method, SUS, System Usability Scale, Mobile App, Prototype, Manage work, Workin
Mengatur jam kerja sangatlah penting. Pekerja pria dan wanita dengan ketidaksesuaian jam kerja lebih mungkin mengalami depresi[1]. Sebuah penelitian memberikan sebuah hasil yang menunjukkan bahwa karyawan yang bekerja berjam-jam rentan menderita berbagai jenis masalah kesehatan kerja. Kondisi 'kesehatan terkait' merupakan rasio kemungkinan tertinggi dan ukuran kesehatan yang termasuk dalam kondisi ini adalah durasi tidur pendek, kelelahan, gangguan tidur, masalah tidur dan cedera. Pekerja yang bekerja berjam-jam memiliki peluang lebih tinggi untuk mengalami masalah kesehatan kerja, dan durasi tidur yang pendek menghasilkan hubungan yang paling kuat dengan jam kerja yang panjang di antara ukuran kesehatan dalam kondisi kesehatan terkait. Temuan menekankan efek merusak dari jam kerja yang panjang pada kesehatan kerja [2].
Oleh karena masalah yang telah dijelaskan sebelumnya maka di rancanglah aplikasi bernama Workin. Workin merupakan sebuah aplikasi mobile yang dapat membantu user mengatur pekerjaannya, terdapat beberapa fitur di aplikasi ini diantaranya adalah fitur yang menampilkan statistik terkait pekerjaan user seperti berapa lama user menghabiskan waktu bekerja dalam satu hari, berapa banyak jumlah pekerjaan yang sudah diselesaikan, dan berapa banyak pekerjaan yang belum diselesaikan. Selain itu terdapat fitur timer untuk mengatur timer berapa lama user ingin bekerja. Selain itu juga terdapat fitur task dimana user dapat mencatat pekerjaan-pekerjaan yang harus diselesaikan. Dan terdapat fitur reminder dimana user dapat mengatur pengingat hal-hal yang harus dilakukan oleh user. Selain fitur, aplikasi ini juga memperhatikan user interface dimana aplikasi ini memiliki user interface yang mudah dimengerti dan mudah digunakan. Alasan mengapa aplikasi ini juga memikirkan aspek user interface adalah UI karenanya merupakan landasan interaksi manusia komputer. Terlepas dari seberapa baik kebutuhan fungsional tercakup, jika program tidak efektif, sederhana, dan penting bagi hati
pengguna, aplikasi akan gagal [3]. Untuk saat ini aplikasi Workin masih hanya berupa prototype aplikasi di situs Figma yang sudah mencapai tahap high fidelity wireframing dimana prototype telah memiliki user interface yang sudah dilengkapi dengan warna, font style serta aset lainnya yang sesuai dengan tampilan jadi dari aplikasi Workin nantinya serta sudah dapat menggambarkan flow dari aplikasi.
Namun karena masih dalam tahap perancangan prototype, aplikasi Workin ini masih belum diketahui ukuran usability-nya. Ukuran usability dari suatu aplikasi perlu diketahui untuk mengetahui seberapa baik kegunaan dari aplikasi yang diuji untuk merencanakan pengembangan aplikasi kedepannya agar dapat memenuhi keinginan dari user. Untuk menguji usability tersebut terdapat beberapa metode yang dapat digunakan. Salah satunya adalah dengan metode SUS (System Usability Scale). SUS (System Usability Scale) menyediakan alat yang “cepat dan kotor”, yang dapat diandalkan untuk mengukur usability. Metode SUS ini terdiri dari 10 item kuesioner dengan 5 pilihan respons untuk responden; dari sangat setuju hingga sangat tidak setuju. Metode ini awalnya dibuat oleh John Brooke pada tahun 1986, metode ini memungkinkan untuk mengevaluasi berbagai macam produk dan layanan, termasuk hardware, software, perangkat mobile, website, dan aplikasi [4].
Pada penelitian ini, penulis akan melakukan penelitian dengan metode SUS untuk mengukur usability dari prototype aplikasi Workin. Harapannya dengan hasil dari usability test dengan metode SUS dapat digunakan untuk mengetahui nilai usability yang didapatkan untuk prototype aplikasi Workin.
Penelitian ini dilakukan dengan beberapa tahap penelitian yang akan dilakukan.
Tahapan penelitian ini mengacu kepada penelitian yang berjudul “Penggunaan Metode System Usability Scale Untuk Mengukur Aspek Usability Pada Media Pembelajaran Daring Di Universitas XYZ” [5]. Adapun langkah penelitiannya adalah sebagai berikut :
-
a. Perumusan Masalah
-
b. Studi Literatur
-
c. Metode yang Digunakan
-
d. Pengumpulan Data
-
e. Analisis
-
f. Kesimpulan
Pada tahapan perumusan masalah, masalah yang ditetapkan adalah mengukur usability dari prototype aplikasi workin. Penelitian ini bertujuan untuk mendapatkan hasil ukuran usability dari prototype aplikasi workin.
Pada tahapan studi literatur, penulis membaca beberapa literatur yang terkait dengan penelitian.
-
2.3.1. Prototype
Prototype adalah representasi pra-produksi dari beberapa aspek konsep atau desain akhir. Pembuatan prototype sering kali menentukan sebagian besar penyebaran sumber daya dalam pengembangan dan mempengaruhi keberhasilan proyek desain[6].
-
2.3.2. Usability
Usability mengacu pada karakteristik yang melekat pada suatu produk untuk digunakan oleh setiap pengguna, yang meliputi kriteria efisiensi, kemudahan, kepraktisan, dan kepuasan [7]. Usability pada suatu sistem sangat penting agar sistem dapat terus digunakan oleh pengguna. Pengguna akan merasakan pengalaman terbaik saat menggunakan sistem yang memiliki kegunaan tinggi[8]
Pada tahapan ini, penulis menentukan metode yang akan digunakan pada penelitian ini adalah metode SUS (System Usability Scale).
-
2.4.1. Metode SUS
System Usability Scale merupakan suatu alat yang digunakan untuk melakukan pengujian terhadap usability sistem komputer yang berfokus pada user atau pengguna[9].
-
2.4.2. Kuesioner SUS
Dalam metode SUS, terdapat kuesioner dengan 10 buah pertanyaan. Adapun pertanyaan yang diberikan ditampilkan pada tabel (1). Kuesioner SUS menggunakan 5 point skala likert[10]. Para responden akan memberikan penilaian untuk setiap pertanyaan berdasarkan skala 1 sampai 5 berdasarkan seberapa setuju mereka dengan pernyataan yang ada di dalam kuesioner SUS. Skala 5 berarti sangat setuju, sedangkan skala 1 berarti sangat tidak setuju[5].
Adapun 10 buah pertanyaan yang digunakan pada metode SUS ini merupakan pertanyaan yang sudah diatur oleh metode itu (bernilai default). Dari pertanyaan tersebut akan menghasilkan skor SUS dengan nilai maksimal 100. Berikut adalah pertanyaan yang digunakan pada metode SUS:
Tabel 1. Pertanyaan Kuesioner SUS
No Pertanyaan
-
1 Saya pikir saya akan sering menggunakan aplikasi ini
-
2 Saya rasa aplikasi ini seharusnya tidak serumit ini
-
3 Saya pikir aplikasi ini mudah untuk digunakan
-
4 Saya pikir saya akan membutuhkan bantuan dari orang teknis untuk
dapat menggunakan aplikasi ini
-
5 Saya menemukan bahwa berbagai fungsi di aplikasi ini terintegrasi
dengan baik
-
6 Saya pikir terlalu banyak inkonsistensi di dalam aplikasi ini
-
7 Saya rasa kebanyakan orang akan belajar menggunakan aplikasi ini
dengan sangat cepat
-
8 Saya menemukan aplikasi ini sangat susah untuk digunakan
-
9 Saya merasa sangat percaya diri / nyaman dalam menggunakan
aplikasi ini
-
10 Saya perlu mempelajari banyak hal sebelum saya dapat
menggunakan aplikasi ini
-
2.4.3. Menghitung skor SUS
Adapun cara menghitung skor SUS adalah sebagai berikut[11]:
-
a. Nilai setiap pertanyaan untuk setiap responden dihitung dengan mengurangi skor setiap pilihan jawaban yang diberikan. Jika tipe
pertanyaannya positif, maka skor pilihan jawaban dikurangi 1, sehingga ditulis xi-1. Sebaliknya, jika tipe pertanyaannya negatif, maka kurangkan angka 5 dengan skor pilihan jawaban yang dipilih, sehingga ditulis 5 - xi. b. selanjutnya jumlahkan seluruh skor pertanyaan untuk masing-masing responden.
-
c. Untuk mendapatkan skor SUS setiap responden, total skor (point b) dikalikan dengan 2,5.
-
d. Skor SUS dari keseluruhan responden didapat dari rata-rata skor SUS untuk setiap responden. adapun rumusannya sebagai berikut:
∑"= 1 xi/n
(1)
keterangan:
xi : nilai score responden
N : jumlah responden
-
2.4.4. Menginterpretasikan skor SUS
Dalam menginterpretasikan hasil skor SUS, ada lima cara yang bisa digunakan yaitu dengan berdasarkan pada interpretasi perbandingan peringkat persentil, peringkat, sifat, tingkat penerimaan, dan NPS dari skor SUS itu sendiri dan dapat dilihat dalam bentuk gambar skala interpretasi pada gambar 2 berikut ini [10]:
_______________________ Detractor_______________________Passive Promoter
NPS:
Acceptable' NotAcceptable Marginal Acceptable
... i Worst Imaginable Poor OK Good Excellent Best Imaginable
Adjective: ...................
Grade: F DCBA
.......I.............
SUS Score: O 10 20 30 40 50 60 70 80 90 100
Gambar 1. Skala interpretasi skor SUS [10]
Adapun penjelasan dari skala interpretasi skor SUS tersebut adalah sebagai berikut:
-
a. NPS (Net Promoter Score)
Nilai NPS menunjukkan seberapa mungkin user merekomendasikan produk yang diuji. Skala ini memiliki tiga kategori yakni detractor, passive, dan promoter. Bila bernilai detractor user tidak akan merekomendasikan produk yang diuji malah akan menjelekkan produk yang diuji ke orang lain, bila bernilai passive user tidak akan merekomendasikan produk yang diuji maupun menjelekkan produk yang diuji ke orang lain, bila bernilai promoter user akan merekomendasikan produk yang diuji ke orang lain.
-
b. Acceptable
Nilai acceptable akan menunjukkan seberapa diterima produk yang diuji oleh user.
-
c. Adjective
Nilai adjective akan menunjukkan nilai sifat dari produk yang diuji oleh user yang terdiri dari worst imaginable, poor, ok, good, excellent, dan best imaginable.
-
d. Grade
Nilai grade akan menunjukkan nilai dari aplikasi yang diwakilkan dengan huruf F hingga A.
-
2.5. Pengumpulan Data
Pada tahapan ini, penulis mengumpulkan data dengan menggunakan kuesioner yang dibuat dengan Google Forms. Adapun data yang dikumpulkan adalah sebagai berikut:
-
a. Data diri responden yang berupa email, nama, dan pekerjaan.
-
b. Data apakah saat ini responden telah memiliki jam bekerja teratur.
-
c. Data apakah menurut responden aplikasi ini penting.
-
d. Data jawaban dari pertanyaan metode SUS dengan skala 1- 5.
Data yang terkumpul pada penelitian ini sejumlah 26 data yang didapat dari responden yang mengisi kuesioner pada Google Forms. Dari data tersebut, semua responden merupakan mahasiswa dan sebagian besar responden tidak memiliki jadwal kerja yang teratur dan semua responden mengatakan bahwa aplikasi Workin ini merupakan aplikasi yang penting.
Setelah menyebarkan kuesioner dan mendapatkan respon dari responden maka data tersebut akan dikumpulkan untuk menganalisis hasil yang didapatkan setelah itu akan dilakukan perhitungan dengan metode SUS untuk mendapatkan ukuran usability dari aplikasi Workin.
Adapun contoh perhitungan untuk mendapatkan SUS Score adalah sebagai berikut :
SUS Score Rl = ((Ql - 1) + (5 - Q2) + (Q3 - 1) + (5 - Q4) + (£5 - 1) + (5 - Q6)
+ (Q7 - 1) + (5 - Q8) + (Q9 - 1) + (5 - QlO)) * 2.5
SUS Score Rl = ((4 - 1) + (5 - 3) + (4 - 1) + (5 - 2) + (4 - 1) + (5 - 2) + (5 - 1)
+ (5 - 2) + (4 - 1) + (5 - 2)) * 2.5
SUS Score Rl = 75
Berikut tabel nilai jawaban kuesioner dari responden dan hasil perhitungan SUS Score-nya:
Tabel 2. Data responden dan perhitungan SUS Score
Responden Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Q10 SUS Score
|
R1 |
4 |
3 |
4 |
2 |
4 |
2 |
5 |
2 |
4 |
2 |
75 |
|
R2 |
5 |
2 |
4 |
1 |
5 |
1 |
5 |
1 |
4 |
1 |
92.5 |
|
R3 |
5 |
5 |
5 |
1 |
5 |
1 |
5 |
1 |
5 |
1 |
90 |
|
R4 |
4 |
1 |
5 |
2 |
4 |
1 |
4 |
1 |
5 |
1 |
90 |
|
R5 |
5 |
3 |
5 |
2 |
5 |
2 |
4 |
1 |
4 |
2 |
82.5 |
|
R6 |
5 |
2 |
4 |
1 |
4 |
2 |
5 |
1 |
4 |
1 |
87.5 |
|
R7 |
5 |
2 |
4 |
2 |
4 |
1 |
5 |
1 |
4 |
2 |
85 |
|
R8 |
5 |
1 |
5 |
1 |
5 |
1 |
5 |
1 |
5 |
1 |
100 |
|
R9 |
4 |
5 |
4 |
1 |
4 |
2 |
5 |
1 |
4 |
1 |
77.5 |
|
R10 |
4 |
2 |
4 |
3 |
4 |
2 |
4 |
2 |
3 |
5 |
62.5 |
|
R11 |
4 |
1 |
4 |
1 |
4 |
1 |
4 |
1 |
4 |
2 |
85 |
|
R12 |
3 |
2 |
4 |
2 |
4 |
2 |
5 |
1 |
4 |
3 |
75 |
|
R13 |
3 |
4 |
4 |
3 |
3 |
3 |
2 |
3 |
3 |
4 |
45 |
|
R14 |
4 |
3 |
4 |
2 |
4 |
2 |
5 |
2 |
4 |
2 |
75 |
|
R15 |
4 |
2 |
4 |
3 |
4 |
2 |
4 |
4 |
4 |
3 |
65 |
|
R16 |
5 |
1 |
5 |
1 |
5 |
2 |
4 |
2 |
5 |
1 |
92.5 |
|
R17 |
3 |
4 |
4 |
2 |
4 |
3 |
5 |
2 |
4 |
5 |
60 |
|
R18 |
3 |
2 |
5 |
2 |
4 |
3 |
4 |
1 |
3 |
2 |
72.5 |
|
R19 |
4 |
2 |
3 |
3 |
4 |
2 |
5 |
2 |
5 |
2 |
75 |
|
R20 |
3 |
2 |
5 |
1 |
5 |
1 |
5 |
1 |
5 |
1 |
92.5 |
|
R21 |
5 |
2 |
4 |
2 |
4 |
2 |
4 |
2 |
3 |
4 |
70 |
|
R22 |
4 |
2 |
4 |
3 |
3 |
4 |
3 |
2 |
3 |
3 |
57.5 |
|
R23 |
3 |
3 |
4 |
2 |
4 |
2 |
4 |
2 |
4 |
4 |
65 |
|
R24 |
5 |
2 |
5 |
2 |
5 |
2 |
5 |
2 |
5 |
2 |
87.5 |
|
R25 |
4 |
3 |
4 |
1 |
3 |
3 |
5 |
2 |
4 |
2 |
72.5 |
|
R26 |
5 |
5 |
5 |
5 |
5 |
5 |
5 |
5 |
5 |
5 |
50 |
|
Nilai rata-rat |
a skor SUS |
76.25 |
Berdasarkan nilai skor SUS yang sudah dihitung sebelumnya, langkah berikutnya adalah menentukan interpretasi dari nilai skor SUS yang telah didapatkan. Adapun interpretasi yang didapatkan adalah:
Tabel 3. Interpretasi nilai skor SUS
|
Nilai rata-rata skor SUS NPS Acceptable Adjective |
Grade |
|
76.25 Passive Acceptable Good |
B |
Makna dari interpretasi nilai skor SUS tersebut adalah sebagai berikut:
-
a. NPS = Passive
Nilai NPS yang bernilai passive berarti user tidak akan merekomendasikan aplikasi ini ke orang lain namun juga tidak akan menjelekkan aplikasi ini ke orang lain.
-
b. Acceptable = Acceptable
Nilai acceptable yang bernilai acceptable berarti user dapat menerima aplikasi ini.
-
c. Adjective = Good
Nilai adjective yang bernilai good berarti secara sifat aplikasi ini bernilai baik.
-
d. Grade = B
Nilai grade yang bernilai B berarti secara nilai huruf aplikasi ini bernilai B.
Berdasarkan hasil dari penelitian yang dilakukan, perhitungan nilai usability dari prototype aplikasi Working dengan metode SUS (System Usability Scale) mendapatkan nilai rata-rata skor SUS serta interpretasi dari nilai rata-rata tersebut sehingga dari perhitungan dan interpretasi yang telah dilaksanakan dapat memberikan ukuran usability dari prototype aplikasi Working yang diuji. Dimana prototype aplikasi Workin mendapatkan nilai rata-rata skor SUS 76.25, nilai NPS mendapatkan nilai passive, nilai acceptable mendapatkan nilai acceptable, nilai adjective mendapatkan nilai good, serta nilai grade mendapatkan nilai B.
References
-
[1] S. Kim, W. Jeong, S. Jang, E. Park and S. Park, "Is Work Hour Mismatch Associated with Depression?", Safety and Health at Work, vol. 12, no. 1, pp. 96-101, 2021. Available: 10.1016/j.shaw.2020.09.009.
-
[2] K. Wong, A. Chan and S. Ngan, "The Effect of Long Working Hours and Overtime on Occupational Health: A Meta-Analysis of Evidence from 1998 to 2018", International Journal of Environmental Research and Public Health, vol. 16, no. 12, p. 2102, 2019. Available: 10.3390/ijerph16122102.
-
[3] M. Joshi, S. Umredkar and S. Das, "Application of interpretive structural modeling in user interface design", Materials Today: Proceedings, 2022. Available:
10.1016/j.matpr.2022.08.427 [Accessed 3 October 2022]
-
[4] "System Usability Scale (SUS) | Usability.gov", Usability.gov, 2022. [Online]. Available: https://www.usability.gov/how-to-and-tools/methods/system-usability-scale.html. [Accessed: 03- Oct- 2022].
-
[5] D. Kesuma, "Penggunaan Metode System Usability Scale Untuk Mengukur Aspek Usability Pada Media Pembelajaran Daring di Universitas XYZ", JATISI (Jurnal Teknik Informatika dan Sistem Informasi), vol. 8, no. 3, pp. 1615-1626, 2021. Available: 10.35957/jatisi.v8i3.1356.
-
[6] B. Camburn et al., "Design prototyping methods: state of the art in strategies, techniques, and guidelines", Design Science, vol. 3, 2017. Available: 10.1017/dsj.2017.10.
-
[7] L. Zaina, R. Fortes, V. Casadei, L. Nozaki and D. Paiva, "Preventing accessibility barriers: Guidelines for using user interface design patterns in mobile applications", Journal of Systems and Software, vol. 186, p. 111213, 2022. Available: 10.1016/j.jss.2021.111213 [Accessed 3 October 2022].
-
[8] Mochammad Aldi Kushendriawan, Harry Budi Santoso, Panca O. Hadi Putra and Martin Schrepp, "Evaluating User Experience of a Mobile Health Application ‘Halodoc’ using User Experience Questionnaire and Usability Testing", Jurnal Sistem Informasi, vol. 17, no. 1, pp. 58-71, 2021. Available: 10.21609/jsi.v17i1.1063.
-
[9] C. Damayanti, A. Triayudi and I. Sholihati, "Analisis UI/UX Untuk Perancangan Website Apotek dengan Metode Human Centered Design dan System Usability Scale", JURNAL MEDIA INFORMATIKA BUDIDARMA, vol. 6, no. 1, p. 551, 2022. Available:
10.30865/mib.v6i1.3526.
-
[10] I. Aprilia H.N., P. Santoso and R. Ferdiana, "Pengujian
Usability Website menggunakan System Usability Scale", Jurnal Ilmu Pengetahuan dan Teknologi Komunikasi, vol. 17, no. 1, pp. 31 - 38, 2015.
-
[11] F. Handayani and A. Adelin, "Interpretasi Pengujian Usabilitas
Wibatara Menggunakan System Usability Scale", Techno.Com, vol. 18, no. 4, pp. 340-347, 2019. Available: 10.33633/tc.v18i4.2882.
516
Discussion and feedback