MERPATI VOL. 7, NO. 2 AGUSTUS 2019

p-ISSN: 2252-3006

e-ISSN: 2685-2411

Evaluasi Aspek Usability pada Aplikasi Simalu Menggunakan Metode Usability Testing

Ni Luh Putri Ari Wedayanti, Ni Kadek Ayu Wirdiani, I Ketut Adi Purnawan Program Studi Teknologi Informasi, Fakultas Teknik, Universitas Udayana

Bukit Jimbaran, Bali, Indonesia, telp. (0361) 701806

e-mail: [email protected], [email protected], [email protected]

Abstrak

Tingkat usability dapat mempengaruhi kemudahan penggunaan suatu aplikasi termasuk aplikasi mobile, sehingga penting untuk dilakukanya evaluasi. Aplikasi Simalu merupakan sebuah aplikasi lokal Bali yang bergerak dalam bidang kebersihan lingkungan. Simalu tergolong aplikasi baru karena dirilis pada awal bulan Januari tahun 2018 dan belum pernah dilakukan evaluasi usability sebelumnya. Evaluasi usability dilakukan untuk meningkatkan User Experience pengguna, sehingga aplikasi dapat diterima dan digunakan lebih mudah oleh pengguna. Metode yang digunakan untuk melakukan evaluasi yaitu usability testing dengan teknik Retrospective Think Aloud dan Performance Measurement. Hasil yang didapatkan adalah aplikasi Simalu memiliki kualitas yang belum dapat dikatakan efektif, efisien dan memenuhi kepuasan pengguna, sehingga perbaikan desain juga dilakukan agar aplikasi lebih baik lagi untuk memenuhi harapan pengguna.

Kata kunci: Aplikasi Simalu, Evaluasi Usability, User Experience, Usability Testing, Retrospective Think Aloud, Performance Measurement.

Abstract

The usability level can influence how easy the use of an application including a mobile application, so it is important to perform an evaluation. The Simalu application is Bali’s local application that focuses on environmental hygiene. Simalu is classified as a new application as it was released in early January 2018 and has never been evaluated before. Usability evaluation is employed in aim to improve user experience so that the application can be accepted and used more easily by users. The methods applied for the evaluation are usability testing with Retrospective Think Aloud and Performance Measurement techniques. The result shows that the Simalu application has not yet possessed effective and efficient qualities and it also has not yet fulfilled users’ satisfaction, so improvements in the design are also required so that the application can better meet the users’ expectations.

Keywords: Simalu Application, Usability Evaluation, User Experience, Usability Testing,

Retrospective Think Aloud, Performance Measurement.

  • 1.     Pendahuluan

Teknologi informasi di era globalisasi saat ini berkembang dengan pesat sehingga memudahkan masyarakat dalam melakukan aktifitasnya [1]. Smartphone merupakan salah satu contoh perkembangan teknologi informasi yang saat ini sedang berkembang pesat [2]. Smartphone memiliki berbagai macam kemampuan dalam menjalankan berbagai aktivitas dengan mudah untuk mendukung produktifitas [3]. Hasil dari survei Asosiasi Penyelenggara Jasa Internet Indonesia pada tahun 2017, menyatakan bahwa persentase kepemilikian smartphone mencapai 50,08% dari jumlah populasi penduduk di Indonesia sebesar 262 juta orang. Perkembangan smartphone yang sedang berkembang pesat juga mendorong para developer berlomba-lomba untuk memanfaatkan situasi ini dengan menciptakan aplikasi-aplikasi baru yang dapat bermanfaat bagi para penggunanya. Salah satu hal yang harus diperhatikan dalam proses pengembangan aplikasi baru yaitu aspek usability [4]. Penelitian sebelumnya yang berjudul A Conceptual Framework for Measuring the Quality Aspects of Mobile Learning menyatakan bahwa masih banyak aplikasi mobile di pasaran yang sulit untuk digunakan dan dipelajari oleh penggunanya dikarenakan tingkat usability yang rendah. Rendahnya usability dari suatu sistem dapat mempengaruhi keputusan pengguna untuk

menggunakan aplikasi tersebut secara terus menurus atau dapat beralih menggunakan aplikasi lain [5].

Contoh aplikasi mobile baru yang sedang berkembang adalah aplikasi Simalu. Aplikasi Simalu adalah sebuah aplikasi lokal Bali yang bergerak dalam bidang sosial mengenai kebersihan lingkungan yang dirilis pada awal bulan Januari tahun 2018. Aplikasi Simalu tergolong aplikasi baru yang masih memiliki permasalahan berkaitan dengan aspek usability. Permasalahan yang terjadi yaitu pengguna mengeluhkan sering terjadi eror saat menggunakan aplikasi, fitur yang ditawarkan tidak berfungsi dengan baik, terdapat penempatan fitur yang tidak sesuai dan icon yang digunakan dinilai ambigu sehingga dapat membuat pengguna baru merasa bingung dan memiliki persepsi yang berbeda saat menggunakan aplikasi. Pengujian usability terhadap aplikasi juga belum pernah dilakukan sebelumnya. Pengujian suatu sistem yang baru atau sedang dijalankan perlu dilakukan agar sistem berjalan sesuai dengan fungsionalitas yang diharapkan serta kesalahan maupun kekurangan dapat dideteksi dan diperbaiki sesegera mungkin [6]. Permasalahan berdasarkan yang telah dibahas, agar aplikasi dapat diterima dan digunakan dengan mudah oleh pengguna, maka perlu dilakukan Pengujian usability.

Pengujian dilakukan dengan metode Usability Testing menggunakan standar ISO 924111 yang mengukur variabel efektifitas, efisiensi, dan kepuasan pengguna dalam menggunakan aplikasi Simalu. Teknik yang digunakan yaitu Retrospective Think Aloud (RTA) dan Performance Measurement. Retrospective Think Aloud digunakan karena dapat mengukur kepuasaan pengguna saat menggunakan suatu sistem, Performance Measurement digunakan karena dapat mengukur efektifitas dan efisiensi.

  • 2.    Metodologi Penelitian

Metodologi penelitian berisi tahapan atau gambaran dari penelitian yang dilakukan. Metodelogi bermanfaat pada setiap penelitian untuk mempermudah mengerjakan penelitian yang dibuat. Metodelogi penelitian yang dibahas meliputi alur penelitian, data, responden penelitian, dan dasar pengembangan rekomendasi perbaikan yang digunakan didalam melakukan penelitian.

  • 2.1    Alur Penelitian

Alur penelitian merupakan tahapan atau urutan yang sudah ditetapkan dalam melakukan penelitian. Tahapan penelitian disesuaikan dengan tahapan pada analisis dan evaluasi usability dengan metode usability Testing pada aplikasi Simalu. Alur yang dilakukan dalam proses penelitian ini dapat dilihat pada Gambar 1.

Gambar 1. Alur Penelitian

Alur yang dilakukan dalam proses penelitian meliputi mengidenfikasi masalah, merumuskan masalah, menentukan tujuan dan manfaat, melakukan studi literatur dengan mencari refrensi seperti penelitian terdahulu, menentukan metode pengujian, menentukan responden, melakukan pengumpulan data untuk mendapatkan hasil pengujian, melakukan pengujian, melakukan pengolahan data, menganalisa hasil pengujian, membuat rekomendasi perbaikan, dan selanjutnya menarik kesimpulan.

  • 2.2    Data

Data diperlukan untuk mendukung keberhasilan dari evaluasi yang dihasilkan. Faktor yang perlu diperhatikan dalam melaksanakan penelitian ini yaitu sumber data, jenis data, metode pengumpulan data dan pengolahan data.

  • a.    Sumber Data

Sumber data yang digunakan dalam penelitian ini terdiri dari data primer dan sekunder. Data primer adalah hasil pengujian dari responden terhadap aplikasi Simalu menggunakan metode usability Testing. Data sekunder yaitu bersumber pada studi literatur yang meliputi penelitian terdahulu, jurnal ilmiah, buku, e-book, dan website resmi.

  • b.    Jenis Data

Jenis data yang digunakan dalam penelitian ini terdiri dari data kuantitatif dan kualitatif. Data kuantitatif yaitu hasil dari pengujian usability Testing dengan teknik Performance Measurement. Data kualitatif yaitu hasil dari pengujian usability Testing dengan teknik Retrospective Think Aloud (RTA).

  • c.    Metode Pengumpulan Data

Metode pengumpulan data yang digunakan dalam melakukan penelitian adalah observasi, task scenario dan wawancara. Observasi yaitu melakukan pengamatan serta melihat dari dekat bagaimana aplikasi digunakan oleh para responden sehingga peneliti dapat mengenalisa permasalahan-permasalahan yang muncul [7]. Pemberian task scenario yaitu merupakan sekumpulan tugas yang harus dikerjakan oleh responden saat menggunakan aplikasi yang akan dievaluasi, serta melakukan wawancara untuk pengumpulan data secara langsung guna memperoleh kedalaman informasi yang dibutuhan.

  • d.    Pengolahan Data

Data yang telah dikumpulkan pada tahap pengumpulan data selanjutnya diolah. Data yang telah diolah kemudian dilakukan analisis hasil. Pegolahan data dalam penelitan evaluasi aspek usability untuk meningkatkan user experience pada aplikasi Simalu adalah sebagai berikut.

  • a)    Performance Measurement

Teknik Performance Measurement digunakan untuk mengukur bagaimana keefektifitasan dan keefisiensian aplikasi Simalu saat digunakan oleh pengguna. Pengukuran efektifitas dapat dihitung berdasarkan kesuksesan dan kegagalan task yang telah dikerjakan oleh setiap responden. Efektifitas dihitung dengan menetapkan angka biner “1” jika responden berhasil mengerjakan task dan “0” jika responden gagal. Rumus yang digunakan untuk menghitung tingkat dari keberhasilan responden dapat dilihat pada persamaan (1), sedangkan Rumus yang digunakan untuk menghitung tingkat dari kegagalan responden dapat dilihat pada persamaan (2).

Berhasil=

Jumlah tugas yang berhasil dilakukan   × 100%        (1)

Jumlah total tugas

Gagal=

Jumlah tugas yang gagal dilakukan Jumlah total tugas

Rumus untuk menghitung tingkat dari keberhasilan responden yang digunakan yaitu banyaknya tugas yang berhasil dikerjakan dibagi banyaknya total tugas yang diberikan yang hasilnya dikalikan 100%. Rumus untuk menghitung tingkat dari kegagalan responden yang digunakan yaitu banyaknya tugas yang gagal dikerjakan dibagi banyaknya total tugas yang diberikan yang hasilnya dikalikan 100%. Hasil perhitungan dari task berhasil dan gagal nantinya menentukan apakah aplikasi Simalu sudah efektif untuk digunakan, apabila nilai rata-rata task yang dikerjakan berhasil mencapai 100 % maka aplikasi Simalu dapat dikatakan sudah efektif.

Pengolahan data untuk dimensi efisiensi dapat dilakukan dengan memperhitungkan rata-rata waktu responden dalam mengerjakan setiap task yang diberikan dengan satuan detik. Waktu pengerjaan mulai dihitung setelah peneliti selesai membacakan task scenario yang diberikan sampai responden telah selesai mengerjakan task. Hasil perhitungan yang didapat

nantinya menunjukkan task mana saja yang membutuhkan waktu paling lama untuk diselesaikan berdasarkan rata-rata waktu untuk mengerjakan setiap task dari seluruh responden yang ada [8].

  • b)    Retrospective Think Aloud

Data Retrospective Think Aloud diperoleh dengan melakukan wawancara kepada responden saat melihat ulang hasil video rekaman. Wawancara dilakukan untuk mengetahui pengalaman dan pendapat responden selama menggunakan aplikasi Simalu. Pengolahan data dilakukan dengan megumpulkan hasil verbalisasi pemikiran responden. Verbalisasi tersebut meliputi kesan pesan ataupun kesulitan yang diutarakan responden beserta saran yang diberikan saat sesi pengujian selesai dilaksanakan.

  • 2.3    Responden Pengujian

Penelitian ini melibatkan sebanyak 10 orang responden. Pengelompokan responden dibagi menjadi dua kategori yaitu, lima responden kategori pemula adalah masyarakat umum yang termasuk generasi X (1965-1980) dan tidak terbiasa menggunakan aplikasi mobile, dan lima responden kategori trampil adalah android developer dan mahasiswa perguruan tinggi yang termasuk generasi millennials (1981-2000) dan terbiasa menggunakan aplikasi mobile. Pembagian kategori dilakukan untuk melihat bagimana penilaian aplikasi dari sisi dua kategori pengguna yang berbeda.

  • 2.4    Dasar Pengembangan Rekomendasi Perbaikian

Dasar penentuan perbaikan yang digunakan untuk memberikan rekomendasi perbaikan aplikasi yaitu berdasarkan pengujian dengan teknik Retrospective Think Aloud. Hasil verbalisasi responden berupa kritik dan saran yang diberikan untuk dijadikan bahan rekomendasi perbaikan. Literatur tambahan juga digunakan sebagai panduan dalam melakukan perbaikan aplikasi Simalu yaitu menggunakan teori The Golden Rules of User Interface Design oleh Ben Shneiderman dan Catherine Plaisant dalam bukunya yang berjudul Designing the User Interface: Strategies for Effective Human Computer Interaction.

  • 3.    Kajian Pustaka

Kajian pustaka memuat semua pustaka yang dijadikan acuan pada penelitian. Sumber-sumber yang digunakan dalam penelitian diperoleh dari buku, internet, maupun jurnal. Kajian pustaka yang dijadikan landasan dalam melakukan penelitian yaitu user experience, usability, metode evaluasi usability, usability testing.

  • 3.1    User Experience

User Experience merupakan bentuk interaksi antara manusia dan komputer (Human Computer Interaction) yang meliputi website, aplikasi mobile, dan aplikasi desktop. User Experience berhubungan dengan persepsi atau respon seseorang yang dihasilkan pada saat menggunakan suatu produk [9]. User Experience terdiri dari 4 elemen yang saling tergantung diantaranya adalah Branding, Usability, Functionality, dan Content.

  • 3.2    Usability

Usability merupakan bagian dari User Experience. Usability diambil dari kata usable yang berarti tingkatan kualitas dari suatu produk yang mudah digunakan, mudah dipelajari dan mendorong pengguna untuk menggunakannya sebagai alat bantu dalam menyelesaikan tugas [10]. Usability dapat digunakan untuk mengukur kualitas penggalaman pengguna saat berinteraksi dengan sebuah produk seperti website atau aplikasi.

  • 3.3    Metode Evaluasi Usability

Metode evaluasi usability yang berfokus pada pengguna dijelaskan oleh Panayiotis Zaphiris dalam bukunya yang berjudul Human Computer Interaction Research in Web Design and Evaluation antara lain meliputi Usability Testing, Usability Inspection, Usability Inquiry, dan Usability Model / Metricsbased. Empat metode Usability yang ada tiap-tiap metode masih memiliki beberapa teknik yang dapat digunakan untuk melakukan evaluasi usability.

  • 3.4    Usability Testing

usability Testing adalah salah satu kategori metode dalam evaluasi usability yang digunkan untuk mengevaluasi sebuah produk dengan mengujinya langsung pada pengguna. Tujuannya adalah untuk mengidentifikai masalah uji ketergunaan seperti, mengumpulkan data kualitatif dan kuantitatif, mengukur kemudahan, mengukur efisiensi dan menentukan kepuasan pengguna dengan produk (usability.gov). 10 teknik dalam metode Usability Testing yang dapat digunakan peneliti untuk melakukan Evaluasi usability meliputi Thinking-Aloud Protocol, Shadowing Method, Co-Discovery Learning, Coaching Method, Question-Asking Protocol, Teaching Method, Restrospective Testing, Performance Measurement, Remote Testing, dan Eye Tracking.

  • 4.    Hasil dan Pembahasan

Bagian ini menampilkan hasil dari proses pengolahan data pada penelitian. Pengolahan data di dapat dari pengujian dengan menggunakan teknik Performance Measurement dan Retrospective Think Aloud. Data yang telah diolah kemudian dilakukan analisis hasil.

  • 4.1    Hasil Pengujian

Hasil pengujian pada bagian ini menampilkan hasil dari proses pengolahan data yang di dapat. Hasil pengolahan data berasal dari pengujian dengan menggunakan teknik Performance Measurement dan Retrospective Think Aloud. Teknik Performance Measurement dan Retrospective Think Aloud menghasilkan tingkat efektifitas, efesiensi dan kepuasan pengguna dalam menggunaka aplikasi.

  • a.    Performance Measurement

Bagian ini menampilkan hasil pengujian menggunakan teknik Performance Measurement. Pengujian dengan menggunakan teknik Performance Measurement digunakan untuk mengukur variabel efektifitas dan efisiensi. Hasil dari proses pengolahan data efektifitas dan efisiensi yang telah di dapat dari pengujian yang telah dilaksanakan adalah sebagai berikut. a) Efektifitas

Pengukuran efektifitas dihitung dari rata-rata nilai berdasarkan kesuksesan dan kegagalan dari 29 task yang dikerjakan oleh 10 responden. Responden telah ditentukan dengan dua kategori yaitu trampil dan pemula. Rata-rata nilai dari task yang berhasil dikerjakan oleh responden kategori trampil dapat dilihat pada Tabel 1.

Tabel 1. Hasil Data Task Berhasil Responden Kategori Trampil

Kode Responden

Jumlah Task yang Berhasil dikerjakan

Total Tugas

Berhasil

Rata-rata

R1

27

29

93,10

79%

R2

23

29

79,31

R3

23

29

79,31

R4

19

29

65,51

R5

22

29

75,86

Tabel 1 merupakan hasil rata-rata nilai dari task yang berhasil dikerjakan oleh 5 responden kategori trampil. Rata-rata nilai yang dihasilkan adalah sebesar 79%. Rata-rata nilai dari task yang gagal dikerjakan oleh responden kategori trampil dapat dilihat pada Tabel 2.

Tabel 2. Data Hasil Task Gagal Responden Kategori Trampil

Kode Responden

Jumlah Task yang Berhasil dikerjakan

Total Tugas

Berhasil

Rata-rata

R1

2

29

6,89

21%

R2

6

29

20,68

R3

6

29

20,68

R4

10

29

34,48

R5

7

29

24,13

Tabel 2 merupakan hasil rata-rata nilai dari task yang gagal dikerjakan oleh 5 responden kategori trampil. Rata-rata nilai yang dihasilkan adalah sebesar 21%. Rata-rata nilai dari task yang berhasil dikerjakan oleh responden kategori pemula dapat dilihat pada Tabel 3.

Tabel 3. Hasil Data Task Berhasil Responden Kategori Pemula

Kode Responden

Jumlah Task yang Berhasil dikerjakan

Total Tugas

Berhasil

Rata-rata

R6

20

29

68,96

64%

R7

19

29

65,51

R8

17

29

58,62

R9

17

29

58,62

R10

20

29

68,96

Tabel 3 merupakan hasil rata-rata nilai dari task yang berhasil dikerjakan oleh 5 responden kategori pemula. Rata-rata nilai yang dihasilkan adalah sebesar 64%. Rata-rata nilai dari task yang gagal dikerjakan oleh responden kategori pemula dapat dilihat pada Tabel 4.

Tabel 4. Hasil Data Task Gagal Responden Kategori Pemula

Kode Responden

Jumlah Task yang Berhasil dikerjakan

Total Tugas

Berhasil

Rata-rata

R6

9

29

31,03

36%

R7

10

29

34,48

R8

12

29

41,37

R9

12

29

41,37

R10

9

29

31,03

Tabel 4 merupakan hasil rata-rata nilai dari task yang berhasil dikerjakan oleh 5 responden kategori pemula. Rata-rata nilai yang dihasilkan adalah sebesar 64%.

  • b)      Efesiensi

Pengukuran efisiensi dilakukan dengan memperhitungkan rata-rata waktu dengan satuan detik dalam mengerjakan 29 task yang diberikan oleh 10 responden. Responden telah ditentukan dengan dua kategori yaitu trampil dan pemula. Hasil data lama waktu pengerjaan berdasarkan responden kategori trampil dapat dilihat pada Tabel 5.

Tabel 5. Pengolahan Data Efisiensi Responden Kategori Trampil

Task Scenario

Kode Responden

Rata-rata

R1

R2

R3

R4

R5

TS1

7

6

6

6

7

6.4

TS2

46

46

56

63

90

60.2

TS3

33

81

136

121

157

105.6

TS4

22

20

28

19

38

25.4

TS5

41

36

54

56

48

47

TS6

9

8

14

10

8

9.8

TS7

20

20

23

35

71

33.8

TS8

6

7

7

8

7

7

TS9

8

12

16

22

14

14.4

TS10

23

13

30

19

18

20.6

TS11

13

11

15

17

21

15.4

TS12

17

19

18

21

17

18.4

TS13

20

27

38

18

18

24.2

TS14

14

15

21

15

13

15.6

TS15

8

6

19

36

8

15.4

TS16

17

57

27

96

28

45

TS17

11

13

24

34

17

19.8

TS18

8

6

12

11

6

8.6

TS19

18

21

18

37

20

22.8

TS20

7

6

9

6

7

7

TS21

15

14

25

27

20

20.2

TS22

37

64

84

67

99

70.2

TS23

8

7

14

11

10

10

TS24

8

7

10

11

7

8.6

TS25

25

42

21

42

45

35

TS26

9

25

18

28

29

21.8

TS27

50

45

46

53

43

47.4

TS28

39

97

204

133

90

112.6

TS29

15

10

20

16

17

15.6

Rata-rata

30

Tabel 5 merupakan hasil pengolahan data untuk mengukur variabel efisiensi. Hasil yang terdapat pada Tabel 5 dapat diketahui bahwa rata-rata waktu untuk mengerjakan setiap task bagi responden kategori trampil adalah 30 detik. Hasil data lama waktu pengerjaan berdasarkan responden kategori pemula dapat dilihat pada Tabel 6.

Tabel 6. Pengolahan Data Efisiensi Responden Kategori Pemula

Task Scenario

Kode Responden

Rata-rata

R6

R7

R8

R9

R10

TS1

8

7

6

5

6

6.4

TS2

203

237

262

207

201

222

TS3

30

41

68

85

50

54.8

TS4

64

50

31

52

24

44.2

TS5

212

129

113

130

114

139.6

TS6

19

18

14

12

14

15.4

TS7

220

162

243

134

122

176.2

TS8

29

13

7

7

6

12.4

TS9

25

16

21

14

14

18

TS10

32

21

25

18

24

24

TS11

27

23

31

15

15

22.2

TS12

27

26

29

22

22

25.2

TS13

55

90

29

46

52

54.4

TS14

15

21

19

14

12

16.2

TS15

39

22

16

29

32

27.6

TS16

19

31

38

54

28

34

TS17

45

58

33

39

14

37.8

TS18

20

10

9

18

9

13.2

TS19

96

59

34

35

29

50.6

TS20

6

17

11

9

7

10

TS21

14

21

26

12

29

20.4

TS22

133

110

137

120

81

116.2

TS23

22

15

10

10

9

13.2

TS24

9

16

9

10

12

11.2

TS25

43

70

69

68

39

57.8

TS26

92

61

41

27

43

52.8

TS27

85

75

61

58

72

70.2

TS28

150

174

136

104

135

139.8

TS29

85

36

21

15

19

35.2

Rata-rata

52

Tabel 6 merupakan hasil pengolahan data dengan teknik Performance Measurement. Pengolahan data yang dilakaukan untuk mengukur variabel efisiensi. Hasil yang terdapat pada

Tabel 6 dapat diketahui bahwa rata-rata waktu untuk mengerjakan setiap task bagi responden kategori pemula adalah 30 detik.

  • b.      Retrospective Think Aloud

Bagian ini menampilkan hasil pengujian menggunakan teknik Retrospective Think Aloud. Pengujian dengan menggunakan teknik Retrospective Think Aloud digunakan untuk mengukur variabel kepuasan pengguna saat menggunakan aplikasi Simalu. Hasil pengujian menggunakan teknik Retrospective Think Aloud dengan responden kategori trampil dapat dilihat pada Tabel 7.

Tabel 7. Hasil Data Retrospective Think Aloud Kategori Trampil

KR

Masalah/Kesulitan yang dialami

Kritik dan Saran yang diberikan

R1

  • 1.  Pengguna  tidak   mengetahui

pada fitur setor langsung dapat terhubung ke google maps untuk mencari rute bank sampah yang dipilih.

  • 2.  Kesulitan mencari fitur FAQ.

  • 3.  Instagram Simalu tidak dapat

dibuka.

  • 4.  Kesulitan   menemukan  slider

agar dapat terhubung ke website Simalu.

  • 1.    Berikan     tambahan     informasi

pemberitahuan    verifikasi    secara

langsung.

  • 2.    Sebaiknya   ketika   akun   belum

terverifikasi pengguna tidak dapat login terlebih dahulu.

  • 3.    Verifikasi akun sebaiknya lewat sms dengan memberikan kode unik untuk memperudah pengguna.

  • 4.    Sebaiknya ditambahkan fitur edit foto.

Tabel 7 merupakan hasil data dari responden kategori trampil. Hasil data diperoleh dengan menggunakan teknik Retrospective Think Aloud. Hasil data pengujian menggunakan teknik Retrospective Think Aloud dengan responden kategori pemula dapat dilihat pada Tabel 8 sebagai berikut.

Tabel 8. Hasil Data Retrospective Think Aloud Kategori Pemula

KR

Masalah/Kesulitan yang dialami

Kritik dan Saran yang diberikan

R6

  • 1.  Salah melakukan daftar akun.

  • 2.  Kesulitan mencari fitur ubah kata

sandi.

  • 3.  Kesulitan mencari alamat yang

sesuai pada fitur jemput sampah.

  • 4.  Kesulitan mencari detail riwayat

transaksi.

  • 5.  Kesulitan   menemukan   bank

sampah terdekat.

  • 1.    Sebaiknya fitur untuk mendafatar lebih ditonjolkan

  • 2.    Peringatan untuk mendaftar ketika belum mepunyai akun fontnya lebih

diperbesar.

  • 3.    Sebaiknya     berikan     tambahan

peringatan      agar      pengguna

memverifikasi akun terlebih dahulu.

  • 4.    Sebaiknya  verifikasi  akun  jangan

melalui email tolong buat agar lebih mudah melakukan verifikasi.

Tabel 8 merupakan hasil data dari responden kategori pemula. Hasil data diperoleh dengan menggunakan teknik Retrospective Think Aloud.

  • 4.2    Analisis Hasil Pengujian

Bagian ini menjelaskan analisis hasil pengujian yang telah dilakukan dengan menggunakan teknik Performance Measurement dan Retrospective Think Aloud. Analisis dilakukan untuk memberi penjelasan lebih dalam mengenai maksud dari hasil data yang telah diperoleh untuk mendapatkan kesimpulan.

  • a.    Performance Measurement

Hasil pengujian dengan teknik Performance Measurement akan dilakukan analisis hasil. Hasil yang didapat adalah berupa tingkat efektifitas dan efisiensi pada aplikasi. Hasil analisis dari data Performance Measurement yang telah diperoleh adalah sebagai berikut.

  • a)    Efektifitas

Hasil berdasarkan pengolahan data yang telah di peroleh dari responden kategori trampil menunjukan bahwa rata-rata responden berhasil mengerjakan task yaitu sebesar 79%, sedangkan rata-rata responden gagal mengerjakan task yaitu sebesar 21%. Adanya kegagalan yang dialami responden menunjukan bahwa aplikasi Simalu memiliki kualitas yang belum dapat dikatakan efektif karena responden masih belum dapat sepenuhnya berhasil menyelesaikan task yang diberikan. Hasil dari pengolahan data menunjukan bahwa kegagalan terjadi pada saat responden mengerjakan task 2, 3, 5, 15, 17, 22, 25, 26, 27 dan 28.

Hasil berdasarkan pengolahan data yang telah di peroleh dari responden kategori pemula menunjukan bahwa rata-rata responden berhasil mengerjakan task yaitu sebesar 64%, sedangkan rata-rata responden gagal mengerjakan task yaitu sebesar 36%. Adanya kegagalan yang dialami responden menunjukan bahwa aplikasi Simalu memiliki kualitas yang belum dapat dikatakan efektif karena responden masih belum dapat sepenuhnya berhasil menyelesaikan task yang diberikan. Hasil dari pengolahan data menunjukan bahwa kegagalan yang terjadi pada saat responden mengerjakan task 2, 3, 5, 7, 15, 16, 17, 22, 25, 26, 27, 28, dan 29. Kegagalan yang dialami oleh responden dapat dijadikan acuan untuk memperbaiki aplikasi Simalu agar kedepannya meminimalisir kegagalan yang akan dialami responden saat menggunakan aplikasi.

  • b)    Efesiensi

Hasil berdasarkan pengolahan data efisiensi yang telah diperoleh dari responden kategori trampil rata-rata waktu untuk mengerjakan setiap task adalah 30 detik, berdasarkan rata-rata yang diperoleh menunjukan bahwa task 2, 3, 5, 22, 25, 27, dan 28 merupakan task yang membutuhkan waktu paling lama untuk diselesaikan dan mempunyai nilai efisiensi yang tinggi jika dibandingkan dengan nilai efisiensi untuk task lainnya, sehingga untuk task 2, 3, 5, 22, 25, 27, dan 28 masih belum memiliki kualitas yang dapat dikatakan efisien saat digunakan oleh responden kategori trampil karena responden membutuhkan waktu yang lama untuk menyelesaikan task tersebut.

Hasil berdasarkan pengolahan data efisiensi yang telah diperoleh dari responden kategori pemula rata-rata waktu untuk mengerjakan setiap task adalah 52 detik, berdasarkan rata-rata yang diperoleh menunjukan bahwa task 2, 5, 7, 13, 22, 25, 27, dan 28 merupakan task yang membutuhkan waktu paling lama untuk diselesaikan dan mempunyai nilai efisiensi yang tinggi jika dibandingkan dengan nilai efisiensi untuk task lainnya, sehingga untuk task 2, 3, 4, 5, 7, 19, 22, 25, 27, dan 28 masih belum memiliki kualitas yang dapat dikatakan efisien saat digunakan oleh responden kategori trampil karena responden membutuhkan waktu yang lama untuk menyelesaikan task tersebut.

  • b.    Retrospective Think Aloud

Hasil berdasarkan analisis rekapan kesulitan ataupun masalah yang dihadapi oleh responden dapat disimpulkan bahwa didapati responden kategori trampil mengalami kesulitan maupun masalah pada 12 fitur saat menggunakan aplikasi Simalu, sedangkan responden kategori pemula mengalami kesulitan maupun masalah pada 13 fitur. Adanya masalah atau kesulitan yang ditemukan membuat responden baik kategori trampil maupun pemula menjadi merasa kurang puas saat menggunakan aplikasi Simalu, ini dikarenakan fitur-fitur yang ada pada aplikasi sulit ditemukan oleh responden karena baik dari tata letak yang sulit ditemukan maupun icon yang dinilai kurang sesuai dengan isinya dan ambigu.

Hasil berdasarkan analisis rekapan saran dari responden dapat diketahui bahwa dari responden kategori trampil memberikan saran pada 25 fitur yang ada pada aplikasi Simalu, sedangkan responden kategori pemula memberikan saran pada 20 fitur. Saran yang diberikan oleh responden akan dijadikan sebagai bahan rekomendasi untuk memperbaiki aplikasi agar lebih baik lagi dan memenuhi kepuasan pengguna saat menggunakan aplikasi Simalu.

  • 4.3    Rekomendasi Perbaikan

Rekomendasi yang diberikan berupa rancangan mockup. Dasar yang digunakan untuk membuat rekomendasi perbaikan menggunakan teori Eight Golden Rules oleh Benn Shneiderman dan hasil pengujian usability yang telah dilakukan. Desain perbaikan aplikasi Simalu yang telah dibuat akan ditampilkan sebagai berikut.

a.     Halaman Masuk dan Daftar

Gambar 2. Perbandingan Tampilan Halaman Masuk dan Daftar


Gambar 2 merupakan perbandingan tampilan halaman masuk dan daftar. Tampilan sebelah kiri merupakan tampilan sebelum dilakukan perubahan dan tampilan kanan sesudah dilakukan perubahan. Perbaikan yang dilakukan yaitu dengan melakukan penyederhanaan tampilan.

b.     Halaman Beranda

* SlMAty

O


Jemput Sampah


Setor Langsung


Terbaru dart Simafu

Anda menemui langsung Bank Sampah Isrdekai

Bank Sampah akan menjemput sampah anda

Home

Rtwayat



SESUDAH


SEBELUM


Gambar 3. Perbandingan Tampilan Halaman Beranda

Gambar 3 merupakan perbandingan tampilan halaman utama menu beranda. Tampilan sebelah kiri merupakan tampilan sebelum dilakukan perubahan dan tampilan kanan sesudah dilakukan perubahan. Perbaikan yang dilakukan yaitu dengan melakukan perbuahan bahasa atau istilah serta penyederhanaan dan penyesuaian tata letak fitur.

c.     Halaman Riwayat

Gambar 5. Perbandingan Tampilan Halaman Riwayat


Gambar 5 merupakan perbandingan tampilan halaman utama menu riwayat. Tampilan sebelah kiri merupakan tampilan sebelum dilakukan perubahan dan tampilan kanan sesudah dilakukan perubahan. Perbaikan yang dilakukan yaitu dengan melakukan penyederhanaan fitur serta melakukan perubahan bahasa atau istilah.

d.     Halaman Akun


SEBELUM



Gambar 6. Perbandingan Tampilan Halaman Akun


Gambar 6 merupakan perbandingan tampilan halaman utama menu akun. Tampilan sebelah kiri merupakan tampilan sebelum dilakukan perubahan dan tampilan kanan sesudah dilakukan perubahan. Perbaikan yang dilakukan yaitu dengan melakukan perubahan bahasa atau istilah serta penyederhanaan dan penyesuaian tata letak fitur.

  • 5.     Kesimpulan

Penerapan metode Usability Testing dilakukan dengan cara mengukur bagaimana keefektifitasan, keefisiensian, dan kepuasan pengguna dalam menggunakan aplikasi Simalu. Efektifitas dapat dihitung berdasarkan keberhasilan dan kegagalan task yang telah dikerjakan oleh responden. Efisiensi dapat dihitung berdasarkan lama waktu pengerjaan yang dilakukan oleh responden dalam menyelesaikan task yang diberikan. Kepuasan didapat dengan cara merekam aktifitas responden ketika sedang mengerjakan sejumlah task yang diberikan. Video hasil rekaman yang ada diputarkan kembali untuk mendorong ingatan responden mengenai apa yang telah dikerjakan sehingga, dapat memberikan informasi kesalahan, keluhan maupun saran perbaikan. Hasil berdasarkan pengujian menunjukkan bahwa aplikasi Simalu memiliki kualitas yang belum dapat dikatakan efektif, efisien dan memenuhi kepuasan pengguna. Aplikasi Simalu belum dapat memberikan pemahaman yang maksimal melalui tampilan yang ada baik kepada responden kategori tampil maupun pemula. Hal tersebut menyebabkan responden mengalami kesulitan dalam mencapai tujuannya untuk mencari informasi yang diinginkan dan membuat kinerja responden juga menjadi tidak maksimal dalam menggunakan aplikasi. Perbaikan rekomendasi desain yaitu dengan melakukan penambahan, penyederhanaan dan penyesuaian tata letak fitur serta konsistensi penggunaan bahasa dan istilah. Rekomendasi yang telah dibuat diharapkan dapat menjadikan aplikasi Simalu menjadi efektif dan efisien saat digunakan agar aplikasi lebih baik lagi untuk memenuhi kepuasan pengguna.

Daftar Pustaka

  • [1]    M. G. Arsawiguna, A. A. K. Agung, C. Wiranatha, dan K. S. Wibawa, “Rancang Bangun

Aplikasi Game Tajen Berbasis Android menggunakan Artificial Intelligence,” Lontar Komputer, vol. 6, no. 2, hal. 84–95, 2015.

  • [2]     R. H. Y. Fung, D. K. W. Chiu, E. H. T. Ko, K. K. W. Ho, dan P. Lo, “Heuristic Usability

Evaluation of University of Hong Kong Libraries’ Mobile Website,” Journal of Academic Librarianship, vol. 42, no. 5, hal. 581–594, 2016.

  • [3]     I. P. P. Andika, P. A. Bayupati, dan N. K. A. Wirdiani, “Rancang Bangun Aplikasi

Pendeteksi Tipe dan Nilai Resistor Berbasis Android,” Lontar Komputer, vol. 6, no. 1, hal. 529–540, 2015.

  • [4]    S. R. Wardhana, D. Purwitasari, dan S. Rochimah, “Analisis Sentimen pada Review

Pengguna Aplikasi Mobile untuk Evaluasi Faktor Usability,” Jurnal Sistem dan Informatika, vol. 11, no. 1, hal. 128–136, 2016.

  • [5]    H. Hoehle dan V. Venkatesh, “Mobile Application Usability: Conceptualization and

Instrument Development,” MIS Quarterly, vol. 39, no. 2, hal. 435–472, 2015.

  • [6]    M. Yudha, P. Mahendra, I. N. Piarsa, dan D. P. Githa, “Geographic Information System

of Public Complaint Testing Based on Mobile Web (Public Complaint),” Lontar Komputer, vol. 9, no. 2, hal. 95–103, 2018.

  • [7]    A. A. K. Oka Sudana, I. W. G. Mayun Kepakisan, dan N. K. Dwi Rusjayanthi,

“Implementation of Tree Structure and Recursive Algorithm for Balinese Traditional Snack Recipe on Android Based Application,” International Journal of Interactive Mobile Technologies, vol. 10, no. 4, hal. 43–47, 2016.

  • [8]    D. H. Syaifullah, M. A. Puspasari, dan A. Hanifah, “Analisis User Experience pada

Penggunaan Aplikasi Mobile Jakarta Smart City,” Prosiding SNTI dan SATELIT 2017, vol. 2017, no. 10, hal. 217–232, 2017.

  • [9]    R. A. Murdiono, H. Tolle, dan A. P. Kharisma, “Evaluasi User Experience pada Aplikasi

Mobile Penjualan Tiket Online,” Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, vol. 2, no. 5, hal. 2078–2085, 2018.

  • [10]    M. D. Fahmi, H. M. Az-zahra, dan R. K. Dewi, “Perbaikan Usability Aplikasi Pemesanan Tiket Bioskop Menggunakan Metode Usability Testing dan USE Questionnaire,” Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, vol. 2, no. 12, hal. 6653–6660, 2018.

Evaluasi Aspek Usability pada Aplikasi Simalu Menggunakan Metode Usability Testing

(Ni Luh Putu Ari Wedayanti)

124