Usability Testing Sistem Love Bali Menggunakan Teknik Performance Measurement dan Concurrent Think Aloud (CTA)

Putu Tulus Nugraha, I Made Sukarsa, Ni Kadek Dwi Rusjayathi

Program Studi Teknologi Informasi, Fakultas Teknik, Universitas Udayana Bukit Jimbaran, Bali, Indonesia, telp. (0361) 701806

e-mail: tulusnugraha97@gmail.com, sukarsa@unud.ac.id, dwi.rusjayanthi@unud.ac.id

Abstrak

Tingkat usability dapat mempengaruhi kemudahan penggunaan suatu aplikasi sehingga penting untuk dilakukan evaluasi. Aplikasi Love Bali merupakan platform resmi Pemerintah Provinsi Bali yang digunakan oleh wisatawan asing dan domestik untuk mendata dirinya sebelum mengunjungi Bali. Love Bali tergolong aplikasi baru karena pertama kali diluncurkan pada tahun 2020 dan sebelumnya belum pernah dilakukan evaluasi usability. Evaluasi usability dilakukan untuk meningkatkan User Experience pengguna, sehingga aplikasi dapat diterima dan digunakan lebih mudah oleh pengguna. Metode yang digunakan untuk melakukan evaluasi adalah usability testing dengan teknik Concurrent Think Aloud dan Performance Measurement. Hasil yang didapatkan yaitu Aplikasi Love Bali memiliki kualitas yang belum dapat dikatakan efektif, efisien dan memenuhi kepuasan pengguna seperti fitur bahasa dan logout yang sulit ditemukan sehingga perbaikan desain juga dilakukan seperti perubahan letak fitur registrasi dan ganti password agar aplikasi dapat menjadi lebih baik lagi untuk memenuhi harapan pengguna.

Kata Kunci: Concurrent Think Aloud, Evaluasi Usability, Performance Measurement

Abstract

The level of usability can affect the ease of use of an application so it is important to evaluate it. Love Bali Application is the official platform of the Bali Provincial Government that is used by foreign and domestic tourists to register themselves before visiting Bali. Love Bali is classified as a new application because it was first launched in 2020 and previously there has never been usability evaluation. Usability evaluation is carried out to improve the user's User Experience, so that the application can be accepted and used more easily by users. The method used to evaluate is usability testing with Concurrent Think Aloud and Performance Measurement techniques. The results obtained are that the Love Bali application has qualities that cannot be said to be effective, efficient and meet user satisfaction such as language and logout features that are difficult to find so that design improvements are also made such as changing the location of the registration feature and changing passwords so that the application can be even better to meet user expectations.

Keyword: Concurrent Think Aloud, Usability Evaluation, Performance Measurement

  • 1.    Pendahuluan

Perkembangan teknologi informasi dapat mempermudah manusia dalam melakukan pekerjaan dan aktivitas sehari–hari, salah satu contohnya adalah smartphone. Smartphone adalah perangkat keras yang ukurannya lebih kecil dibandingkan personal komputer sehingga dapat dibawa kemana-mana, smartphone dapat mempermudah akses penggunaan aplikasi dan internet.[1] Salah satu aplikasi yang dapat diakses menggunakan smartphone adalah Aplikasi Love Bali.

Aplikasi Love Bali merupakan aplikasi berbasis web dan mobile yang digagas oleh Pemerintah Provinsi Bali untuk mengimplementasikan kebijakan baru yaitu Rencana Pembangunan Menyeluruh Era Baru Bali (Nangun Sat Kerthi Loka Bali). Visi dari Love Bali bertujuan untuk menjaga kesucian, keharmonisan alam, masyarakat dan budaya Bali ( https://lovebali.baliprov.go.id/. Aplikasi Love Bali dapat digunakan oleh wisatawan dalam melakukan kontribusi dan mendata dirinya sebelum mengunjungi Bali. Aplikasi Love Bali dapat diakses dengan cara mengunduh Aplikasi Mobile Love Bali pada Play Store atau mengunjungi alamat Website Love Bali. Aplikasi Love Bali dibuat berdasarkan adanya Peraturan Gubernur Bali Nomor 27 Tahun 2020 tentang penerimaan dan penggunaan kontribusi wisatawan serta SE Gub No 15243 Tahun 2020 tentang persyaratan wisatawan berkunjung ke Bali.

Aplikasi Love Bali diluncurkan untuk pertama kali pada tahun 2020 yang dapat diakses melalui website dan aplikasi mobile dengan total unduhan sebanyak kurang lebih 10.000 unduhan dengan rating 3,2 pada Playstore. Aplikasi Love Bali sendiri masih mendapatkan keluhan dari penggunanya seperti kesulitan menemukan fitur untuk mengubah bahasa, kesulitan untuk mengisi data, sering terjadi error saat menggunakan aplikasi. Permasalahan pada Aplikasi Love Bali merupakan bagian dari masalah usability. Usability testing merupakan sebuah metode evaluasi untuk mengetahui tingkat kemudahan pengguna dalam berinteraksi dengan sebuah sistem informasi.[2] Proses pengembangan Aplikasi Love Bali dalam pembuatan dan pengujian perlu memperhatikan aspek Usability untuk meningkatkan User Experience. Berdasarkan permasalahan usability pada Aplikasi Love Bali maka perlu dilakukan pengujian usability untuk meningkatkan User Experience. Pengujian Aplikasi Love Bali dilakukan dengan metode usability testing menggunakan Standar ISO 9241-11 yang mengukur variabel efektifitas, efisiensi dan kepuasan pengguna.[3]

Pengujian dengan metode usability testing pada Aplikasi Love Bali menggunakan teknik Performance Measurement dan Concurrent Think Aloud dilakukan untuk mengukur variabel efektifitas, efisiensi dan kepuasan pengguna ketika menggunakan Aplikasi Love Bali. Pengujian usability testing pada Aplikasi Love Bali dilakukan bertujuan untuk mengetahui tingkat efektifitas, efisiensi dan kepuasan pengguna Aplikasi Love Bali serta memberikan rekomendasi perbaikan.

  • 2.    Metodelogi Penelitian

Metodologi penelitian berisi tahapan atau gambaran dari penelitian yang dilakukan. Metodelogi bermanfaat pada setiap penelitian untuk mempermudah mengerjakan penelitian yang dibuat. Metodelogi penelitian yang dibahas meliputi alur penelitian, data, responden penelitian, dan dasar pengembangan rekomendasi perbaikan yang digunakan didalam melakukan penelitian.

  • 2.1    Alur Penelitian

Alur penelitian merupakan tahapan atau urutan yang sudah diterapkan dalam melakukan penelitian. Tahapan penelitian ini disesuaikan dengan tahapan pada analisis dan evaluasi usability dengan metode usability testing pada Aplikasi Love Bali. Alur proses penelitian dapat dilihat pada Gambar 1.

Gambar 1. Alur Penelitian

Gambar 1 merupakan alur penelitian yang dilakukan dalam penelitian yang berjudul “Usability Testing Sistem Love Bali Menggunakan Teknik Performance Measurement dan Concurrent Think Aloud (CTA)” meliputi identifikasi masalah, merumuskan masalah, tujuan dan manfaat, melakukan studi literatur, menentukan variabel metode penelitian, menentukan responden, pengumpulan data dan melakukan pengujian usability testing, melakukan pengolahan data, mengalaisis data dan membuat rekomendasi perbaikan.

  • 2.2    Data

Penelitian ini memerlukan data untuk mendukung keberhasilan dari analisis dan evaluasi yang dihasilkan. faktor yang perlu diperhatikan dalam melaksanakan penelitian ini yaitu analisis data, sumber data, jenis data, metode pengumpulan data dan pengolahan data.

  • 2.2.1    Analisis Data

Penelitian ini menggunakan metode deskriptif analisis untuk menganalisis dan mengevaluasi aspek usability untuk meningkatkan User Experience pada Sistem Love Bali. Metode survei deskriptif berupa mencatat kondisi atau sikap untuk menjelaskan apa yang ada saat ini. Metode survei deskriptif adalah suatu metode penelitian yang mengambil sampel dari suatu populasi dan menggunakan kuesioner sebagai alat pengumpulan data.

  • 2.2.2    Sumber Data

Sumber data yang digunakan dalam penelitian ini terdiri dari data primer dan data sekunder. Data primer Dalam penelitian ini adalah hasil survei terhadap responden mengenai pengujian usability pada Sistem Love Bali menggunakan metode usability testing. Data sekunder dalam penelitian ini adalah bersumber dari studi literatur. Studi literatur yang digunakan diperoleh dari jurnal ilmiah, website resmi dan e-book yang berkaitan dengan analisis dan evaluasi aspek usability menggunakan metode usability testing.

  • 2.2.3    Jenis Data

Jenis data yang digunakan dalam penelitian ini terdiri dari data kualitatif dan data kuantitatif. Data kualitatif diperoleh dari pengujian usability testing Menggunakan teknik Concurrent Think Aloud. Data kuantitatif dalam penelitian ini adalah Hasil pengujian Usability Testing menggunakan teknik Performance Measurement.

  • 2.2.4    Metode Pengumpulan Data

Pengumpulan data yang digunakan dalam penelitian Usability Testing Sistem Love Bali Menggunakan Teknik Performance Measurement dan Concurrent Think Aloud (CTA) adalah melakukan Obeservasi dan wawancara serta task scenario yang digunakan untuk melakukan pengujian pada aplikasi.

  • 2.2.5    Pengolahan Data

Data yang telah dikumpulkan pada tahap pengumpulan data diolah untuk kemudian dilakukan analisis hasil. pengolahan data dalam penelitian Usability Testing Sistem Love Bali Menggunakan Teknik Performance Measurement dan Concurrent Think Aloud (CTA). Teknik Performance Measurement digunakan untuk mengukur bagaimana keefektifitasan dan keefisienan Sistem Love Bali saat digunakan oleh pengguna. Ukuran efektivitas dapat dihitung berdasarkan kesuksesan dan kegagalan task yang telah dikerjakan oleh setiap responden. Efektifitas dihitung dengan menetapkan angka biner “1” jika responden berhasil mengerjakan task dan “0” jika responden gagal mengerjakan task. Responden dikatakan gagal apabila responden tidak berhasil menyelesaikan task yang diberikan karena salah masuk menu yang diinginkan atau menyerah dan bertanya kepada peneliti.[4] Pengolahan data untuk variabel efisiensi dapat dilakukan dengan memperhitungkan rata-rata waktu responden dalam mengerjakan setiap task yang diberikan dengan satuan detik. Waktu pengerjaan mulai dihitung setelah peneliti selesai membacakan task scenario yang diberikan sampai responden telah selesai mengerjakan task.

Data Concurrent Think Aloud diperoleh dengan melakukan wawancara kepada responden saat responden berinteraksi dengan Sistem Love Bali. Wawancara tersebut dilakukan untuk mengetahui pengalaman dan pendapat responden selama menggunakan Sistem Love Bali. Pengolah data dilakukan dengan mengumpulkan hasil verbalisasi pemikiran responden. Verbalisasi tersebut meliputi kesan pesan ataupun kesulitan yang diungkapkan responden beserta saran yang diberikan saat responden selesai mengerjakan suatu task.

  • 2.3    Responden Penelitian

Penelitian ini melibatkan sebanyak sepuluh orang responden yang dikelompokan dibagi menjadi dua kategori, yaitu lima responden kategori pemula adalah masyarakat umum yang termasuk Generasi X (1965-1980) dan tidak terbiasa menggunakan aplikasi mobile dan tidak terbiasa mengakses situs web, dan lima orang responden kategori mahir adalah mahasiswa perguruan tinggi yang termasuk generasi Millennials (1981-2000) dan terbiasa menggunakan aplikasi mobile dan terbiasa mengakses situs web.

  • 2.4    Dasar Rekomendasi Perbaikan

Hasil dari penelitian Usability Testing Sistem Love Bali Menggunakan Teknik Performance Measurement dan Concurrent Think Aloud (CTA) nantinya akan menentukan apakah Sistem Love Bali perlu dilakukannya perbaikan dari desain tampilannya. Perbaikan dari desain dilakukan dengan tujuan untuk meningkatkan User Experience pada Sistem Love Bali agar Sistem Love Bali lebih baik lagi untuk memenuhi harapan pengguna. Dasar

penentuan perbaikan yang digunakan untuk memberikan rekomendasi perbaikan Sistem Love Bali adalah berdasarkan hasil pengujian usability testing yang sudah dilakukan, dasar teori The Golden Rules of User Interface Design oleh Ben Shneiderman dan Catherine Plaisant dalam bukunya yang berjudul Designing the User Interface: Strategies for Effective Human Computer Interaction [5] dan menggunakan literatur ilmu Human Computer Interaction (HCI) dalam buku yang berjudul The Essential Guide to User Interface Design an Introduction to GUI Design Principles and Techniques oleh oleh Wilbert O. Galitz.[6]

  • 3.    Kajian Pustaka

Kajian pustaka yang digunakan dalam penelitian yang berjudul” Usability Testing Sistem Love Bali Menggunakan Teknik Performance Measurement dan Concurrent Think Aloud (CTA)” adalah sebagai berikut.

  • 3.1    Usability

Usability merupakan bagian dari User Experience. Usability diambil dari kata usable yang berarti tingkat kualitas dari suatu produk yang mudah digunakan, mudah dipelajari dan mendorong pengguna untuk menggunakannya sebagai alat bantu dalam menyelesaikan tugas. [7] Usability adalah suatu kualitas atribut yang dapat mengukur seberapa mudah user interface tersebut digunakan. Sedangkan definisi usability menurut International Standards Organization (ISO) 9241-11 adalah sejauh mana sebuah produk untuk bisa digunakan oleh pengguna tertentu untuk tujuan tertentu dengan efektif, efisien, dan kepuasan dalam konteks pengguna tertentu. Usability dapat digunakan untuk mengukur kualitas pengalaman pengguna saat berinteraksi dengan sebuah produk seperti website, software, perangkat, atau aplikasi. Usability dapat dikatakan ideal ketika bagaimana suatu produk dapat menyesaikan tugas pengguna dengan baik

  • 3.2    Usability Testing

Usability Testing adalah salah satu metode dalam Evaluasi Usability yang mengobservasi pengguna desain kemudian diambil data dan menganalisanya.[8] Usability Testing mengacu pada evaluasi produk atau layanan dengan menguji dari perwakilan pengguna. Biasanya, saat peserta mencoba untuk menyelesaikan tugas-tugas khusus sementara pengamat melihat, mendengar, dan membuat catatan. Tujuannya adalah untuk mengidentifikasi masalah kegunaan, mengumpulkan data kualitatif, kuantitatif, dan menentukan kepuasan pengguna dengan produk

  • 3.3    System Usability Scale

System Usability Scale sebagai pengukuran kepuasan pengguna yang dimana penggunaan kuesioner SUS sangat cepat dan data yang dihasilkan dapat dipercaya. Menggunakan kuesioner SUS mendapatkan manfaat yaitu.

  • 1.    Mampu mengatur responden karena penggunaan skala yang mudah.

  • 2.    Dapat digunakan dalam jumlah kecil dengan hasil terpecaya.

  • 3.    SUS mampu membedakan secara efektif system yang baik untuk digunakan dan yang tidak.

Skor akhir SUS berada pada kisaran 0-100. Berdasarkan skor akhir SUS akan diketahui berapa tingkat usability dari aplikasi. Grade scale yang digunakan adalah 0 - 60 untuk grade scale F, >60-70 untuk grade scale D, >70-80 untuk grade scale C, >80-90 untuk grade scale B, dan >90-100 untuk grade scale A.[9]

  • 4.    Hasil dan Pembahasan

Bagian ini membahas tentang hasil pengujian dari Performance Measurement, System Usability Scale (SUS), Concurrent Think Aloud dan Rekomendasi Perbaikan berupa mockup.

  • 4.1    Performance Measurement

Bagian ini menampilkan hasil pengujian menggunakan teknik Performance Measurement. Pengujian dengan menggunakan teknik Performance Measurement digunakan untuk mengukur variabel efektifitas dan efisiensi. Hasil dari proses pengolahan data efektifitas dan efisiensi yang telah di dapat dari pengujian yang telah dilaksanakan adalah sebagai berikut.

  • 4.1.1    Efektifitas

Pengukuran efektifitas dihitung dari rata-rata nilai berdasarkan keberhasilan dan kegagalan dari 28 task scenario aplikasi mobile Love Bali yang dikerjakan oleh 10 responden yang telah ditentukan dengan dua kategori responden yaitu mahir dan pemula. Hasil pengolahan data efektifitas dapat dilihat pada Tabel 1.

Tabel 1. Hasil Data Task Scenario Responden Kategori Mahir

Kode

Responden

Jumlah Task yang Berhasil dikerjakan

Total Tugas

Berhasil

Rata-rata

R1

24

28

85,71

88%

R2

25

28

89,28

R3

24

28

85,71

R4

25

28

89,28

R5

25

28

89,28

Kode

Responden

Jumlah Task yang Gagal dikerjakan

Total Tugas

Gagal

Rata-Rata

R1

4

28

14,28

12%

R2

3

28

10,71

R3

4

28

14,28

R4

3

28

10,71

R5

3

28

10.71

Tabel 1 merupakan hasil dari nilai rata–rata task yang berhasil dikerjakan dan gagal dikerjakan oleh responden kategori mahir. Hasil dari rata-rata keberhasilan dan kegagalan pengerjaan task scenario Aplikasi Love Bali oleh responden kategori mahir menunjukan bahwa Sistem Love Bali memiliki kualitas yang belum dapat dikatakan efektif karena responden masih belum dapat sepenuhnya berhasil mengerjakan task yang diberikan. Hasil data task scenario responden kategori pemula dapat dilihat pada Tabel 2.

Tabel 2. Hasil Data Task Scenario Responden Kategori Pemula

Kode

Responden

Jumlah Task yang Berhasil dikerjakan

Total Tugas

Berhasil

Rata-rata

R6

23

28

82,14

81%

R7

21

28

75

R8

24

28

85,71

R9

22

28

78,57

R10

23

28

82,14

Kode

Responden

Jumlah Task yang Gagal dikerjakan

Total Tugas

Gagal

Rata-Rata

R6

5

28

17,85

19%

R7

7

28

25

R8

4

28

14,28

R9

6

28

21,42

R10

5

28

17,85

Tabel 2 merupakan hasil dari nilai rata–rata task yang berhasil dikerjakan dan gagal dikerjakan oleh responden kategori pemula. Hasil dari rata-rata keberhasilan dan kegagalan pengerjaan task scenario Aplikasi Love Bali oleh responden kategori pemula menunjukan bahwa Sistem Love Bali memiliki kualitas yang belum dapat dikatakan efektif karena responden masih belum dapat sepenuhnya berhasil mengerjakan task yang diberikan.

  • 4.1.2    Efisiensi

Pengukuran efisiensi dilakukan dengan memperhitungkan rata-rata waktu responden dalam mengerjakan task yang diberikan dengan satuan detik. Hasil pengolahan data efisien dari kategori responden mahir dan pemula ditampilkan pada Tabel 3.

Ta

bel 3. Hasil Data Efisiensi Responden Kategori Mahir

Task Scenario

Kode Responden

Rata-rata

R1

R2

R3

R4

R5

TS1

7

8

6

6

7

6,8

TS2

23

15

25

17

27

21,4

TS3

12

11

13

12

11

11,8

TS4

17

17

18

16

15

16,6

TS5

6

8

7

9

8

7,6

TS6

5

7

6

8

8

6,8

TS7

55

50

57

53

58

54,6

TS8

30

35

33

42

38

35,6

TS9

111

116

107

120

118

114,4

TS10

3

4

4

5

3

3,8

TS11

29

30

25

32

28

28,8

TS12

11

10

6

11

7

9

TS13

3

4

3

4

3

3,4

TS14

32

40

30

37

45

36,8

TS15

17

10

16

12

15

14

TS16

3

4

3

3

4

3,4

TS17

62

55

32

29

57

47

TS18

6

5

3

3

6

4,6

TS19

15

14

20

18

16

16,6

TS20

9

10

7

9

8

8,6

TS21

25

31

24

27

33

28

TS22

4

4

3

5

3

3,8

TS23

10

8

11

9

9

9,4

TS24

7

8

6

8

9

7,6

TS25

10

7

9

8

7

8,2

TS26

8

7

7

6

9

7,4

TS27

10

11

9

10

9

9,8

TS28

10

7

6

8

6

7,4

Rata-rata

19

Tabel 3 merupakan hasil rata-rata waktu pengerjaan task scenario Aplikasi Love bali dari responden kategori mahir. Berdasarkan nilai rata-rata setiap task yang dikerjakan menunjukan bahwa Aplikasi Love Bali belum dapat dikatakan efisien karena terdapat beberapa task dengan waktu pengerjaan yang lebih lama dibandingkan dengan rata-rata waktu pengerjaan keseluruhan task scenario. Hasil data efisiensi responden kategori pemula ditampilkan pada Tabel 4.

Tabel 4. Hasil Data Efisiensi Responden Kategori Pemula

Task Scenario

Kode Responden

Rata-rata

R6

R7

R8

R9

R10

TS1

8

10

10

9

8

9

TS2

31

43

40

37

45

39,2

TS3

15

18

15

19

21

17,6

TS4

23

30

25

35

33

29,2

TS5

13

15

11

10

13

12,4

TS6

10

13

11

11

12

11,4

TS7

85

133

87

75

129

101,8

TS8

48

53

47

55

63

53,2

TS9

213

236

253

248

237

237,2

TS10

7

5

8

8

6

6,8

TS11

47

49

63

53

62

54,8

TS12

17

21

18

20

15

18,2

TS13

3

4

4

3

5

3,8

TS14

73

69

61

83

68

70,8

TS15

22

19

24

26

20

22,2

TS16

6

6

5

7

5

5,8

TS17

76

63

110

136

141

105,2

TS18

3

3

8

7

7

5,6

TS19

36

30

27

31

33

31,4

TS20

17

12

19

15

16

15,8

TS21

35

32

37

29

36

33,8

TS22

5

5

6

4

5

5

TS23

17

12

20

17

19

17

TS24

11

13

10

15

12

12,2

TS25

11

11

13

10

10

11

TS26

10

12

14

15

11

12,4

TS27

15

17

14

17

19

16,4

TS28

15

17

14

14

18

15,6

Rata-rata

35

Tabel 4 merupakan hasil rata-rata waktu pengerjaan task scenario Aplikasi Love bali dari responden kategori mahir. Berdasarkan nilai rata-rata setiap task yang dikerjakan menunjukan bahwa Aplikasi Love Bali belum dapat dikatakan efisien karena terdapat beberapa task dengan waktu pengerjaan yang lebih lama dibandingkan dengan rata-rata waktu pengerjaan keseluruhan task scenario.

  • 4.2    Usability Scale (SUS)

Data dari hasil kuesioner System Usability Scale (SUS) adalah berupa data skor dari setiap pernyataan yang diberikan kepada responden. Data skor SUS responden kategori mahir terhadap Aplikasi Love Bali ditampilkan pada Tabel 5.

Tabel 5. Data Skor Kuesioner SUS Responden Kategori Mahir

Kode Responden

Pernyataan

Skor SUS

P1

P2

P3

P4

P5

P6

P7

P8

P9

P10

R1

5

2

5

2

3

1

4

2

3

1

80

R2

5

3

4

3

4

2

3

1

4

2

72,5

R3

4

2

5

1

3

3

4

2

3

1

75

R4

4

1

5

2

3

1

4

2

3

2

77,5

R5

3

2

4

1

3

2

3

2

3

1

70

Rata-rata

75

Tabel 5 merupakan hasil pengolahan data dari kuesioner System usability Scale (SUS) responden kategori mahir yang digunakan untuk mengukur kepuasan pengguna. Grade scale dari skor SUS responden kategori mahir adalah Grade C dengan rentang skor rata-rata yaitu >70-80. Data skor SUS responden kategori pemula ditampilkan pada Tabel 6.

Tabel 6. Data Skor Kuesioner SUS Responden Kategori Pemula

Kode Responden

Pernyataan

Skor SUS

P1

P2

P3

P4

P5

P6

P7

P8

P9

P10

R6

4

2

4

2

4

1

4

2

4

2

77,5

R7

4

2

3

2

4

1

4

3

3

2

70

R8

5

3

4

2

4

3

5

2

4

1

77,5

R9

4

2

3

2

4

2

4

1

3

2

72,5

R10

4

3

4

2

4

2

4

2

4

1

75

Rata-rata

74,5

Tabel 6 merupakan hasil pengolahan data dari kuesioner System usability Scale (SUS) responden kategori pemula yang digunakan untuk mengukur kepuasan pengguna. Grade scale dari skor SUS responden kategori mahir adalah Grade C dengan rentang skor rata-rata yaitu >70-80.

  • 4.3    Concurrent Think Aloud

Pengujian dengan menggunakan teknik Concurrent Think Aloud digunakan untuk mengukur variabel kepuasan pengguna saat menggunakan Sistem Love Bali. Data Concurrent Think Aloud diperoleh dari melakukan wawancara kepada responden secara langsung ketika sedang mengerjakan task yang diberikan. Hasil data Concurrent Think Aloud responden kategori mahir ditampilkan pada Tabel 7.

Tabel 7 Hasil Data Concurrent Think Aloud Responden Mahir

K R

Masalah yang dialamai

Kritik dan Saran yang diberikan

R5

  • 1.    Kesulitan mencari fitur untuk mengubah bahasa

  • 2.    Kesulitan mengganti tgl lahir ketika melengkapi data profil

  • 3.    Kesulitan mengganti tgl lahir pada data anak

  • 4.    Kesulitan mencari fitur mengganti mata uang

  • 5.    Tidak dapat melakukan pembayaran

  • 6.    Kesulitan mencari fitur check in atau check out.

  • 1.    Penempatan fitur ubah bahasa sangat susah ditemukan karena penempatannya yang didalam fitur gabung kurang cocok

  • 2.    Fitur tanggal lahir pada halaman ganti profil susah digunakan karena pengaturan untuk mengganti tahun terletak di bagian yang berbeda tan tidak terlalu menonjol sehingga sulit ditemukan dan pengaturan bulan harus di tekan berkali – kali.

  • 3.    Fitur tanggal lahir pada halaman anak susah digunakan karena pengaturan untuk mengganti tahun terletak di bagian yang berbeda tan tidak terlalu menonjol sehingga sulit ditemukan dan pengaturan bulan harus di tekan berkali – kali.

  • 4.    Fitur mengganti mata uang susah ditemukan

  • 5.    Icon fitur check in atau check out kurang cocok, lebih baik diganti dengan button yang bertuliskan check in/ check out

Tabel 7 merupakan hasil data dari responden kategori mahir ketika menggunakan Aplikasi Love Bali yang diperoleh dengan menggunakan teknik Concurrent Think Aloud. Hasil data Concurrent Think Aloud Responden pemula ditampilkan pada Tabel 8.

Tabel 8 Hasil Data Concurrent Think Aloud Responden pemula

KR

Masalah yang Dialamai

Kritik dan Saran yang Diberikan

R8

  • 1.    Kesulitan mencari fitur untuk mengubah bahasa

  • 2.    Kesulitan melakukan verifikasi akun

  • 3.    Kesulitan mengganti tgl lahir saat mengisi data profil

  • 4.    Kesulitan mengganti tgl lahir pada data anak

  • 5.    Salah memilih fitur edit data anak.

  • 6.    Salah memasukan password pada fitur ganti password

  • 7.    Kesulitan mencari fitur untuk mengganti mata uang

  • 8.    Tidak dapat melakukan pembayaran

  • 9.    Kesulitan mencari fitur check in atau check out.

  • 1.    Fitur mengubah bahasa susah dicari, lebih baik ditempatkan pada halaman utama

  • 2.    Sebaiknya tambahkan fitur untuk melihat password pada registrasi

  • 3.    Verifikasi sebaiknya bisa melalui sms

  • 4.    Fitur tanggal lahir pada halaman ganti profil susah digunakan karena pengaturan untuk mengganti tahun terletak di bagian yang berbeda dan tidak terlalu menonjol sehingga sulit ditemukan

  • 5.    Sebaiknya tambahkan informasi untuk penambahan data anak harus 17 tahun kebawah

  • 6.    Fitur tanggal lahir pada halaman anak susah digunakan karena pengaturan untuk mengganti tahun terletak di bagian yang berbeda dan tidak terlalu menonjol sehingga sulit ditemukan.

  • 7.    Lebih baik tambahkan fitur untuk dapat melihat password saat mengganti password

  • 8.    Fitur mengatur mata uang sulit ditemukan karena terletak pada fitur pengaturan, sebaiknya diletakan langsung didalam halaman profil

  • 9.    Fitur Check in atau check out susah dicari, lebih baik iconnya diganti dengan yang lebih cocok sehingga mudah dicari

Tabel 8 merupakan hasil data dari responden kategori mahir ketika menggunakan Aplikasi Love Bali yang diperoleh dengan menggunakan teknik Concurrent Think Aloud.

  • 4.4    Rekomendasi Perbaikan

Rekomendasi perbaikan yang diberikan berupa mockup berdasarkan dasar teori The Golden Rules of User Interface Design oleh Ben Shneiderman dan Catherine Plaisant dalam bukunya yang berjudul Designing the User Interface: Strategies for Effective Human Computer Interaction, Human Computer Interaction (HCI) dalam buku yang berjudul The Essential Guide to User Interface Design an Introduction to GUI Design Principles and Techniques oleh oleh Wilbert O. Galitz dan dari hasil pengujian usability yang telah dilakukan. Rekomendasi perbaikan pada halaman gabung dapat dilihat pada Gambar 2.

KeOldkon Pnvou

Syarat dan Ketentuan

KeOfakan Pernecmtan

Pectamyaan yang


Pengatixan


Petur⅛uk AplιkΛ⅜


Gambar 2. Halaman Gabung

Gambar 2 merupakan perbandingan tampilan halaman gabung sebelum dan sesudah dilakukan perbaikan. Tampilan fitur registrasi yang sebelumnya berupa teks berwarna merah dan terlihat tidak begitu menonjol tampilannya diperbaiki menjadi sebuah button tersendiri sehingga tampilan fitur registrasi terlihat lebih menonjol. Fitur Mata uang yang sebelumnya berada pada pengaturan dipindahkan langsung pada halaman gabung agar lebih mudah untuk ditemukan. Rekomendasi perbaikan pada halaman jelajahi dapat dilihat pada Gambar 3.


Gambar 3. Halaman Jelajahi

Gambar 3 merupakan perbandingan tampilan halaman jelajahi sebelum dan sesudah dilakukan perbaikan. Perbaikan tampilan pada halaman jelajahi yaitu pada penambahan fitur bahasa yang dibuatkan button tersendiri sehingga mudah untuk ditemukan oleh pengguna. Rekomendasi perbaikan halaman registrasi dapat dilihat pada Gambar 4.

Gambar 4. Halaman Registrasi

Gambar 4 merupakan perbandingan tampilan halaman registrasi sebelum dan sesudah dilakukan perbaikan. Perbaikan tampilan yang dilakukan yaitu penambahan fitur lihat password dengan tampilan berupa icon sehingga pengguna tidak kesulitan ketika melakukan input pada kolom password dan konfirmasi password dan penambahan fitur registrasi menggunakan akun seperti Facebook dan Telegram. Rekomendasi perbaikan halaman ganti profil dapat dilihat pada Gambar 5.

Gambar 5. Halaman Ganti Profil

Gambar 5 merupakan perbandingan tampilan halaman ganti profil sebelum dan sesudah dilakukan perbaikan. Perbaikan tampilan yang dilakukan yaitu pada pengisian data tanggal lahir dimana tampilan sebelumnya berupa kolom kosong dan jika di tekan akan menampilkan gambar seperti kalender untuk menginputkan data tanggal lahir. Tampilan tanggal lahir diubah menjadi beberapa kolom yaitu kolom hari, bulan dan tahun dimana pada kolom hari

dan tahun diinputkan secara manual sedangkan pada kolom bulan ketika ditekan akan menampilkan list bulan. Tampilan ketika menginputkan data tanggal lahir dapat dilihat pada Gambar 6.

Gambar 6. Tampilan Tanggal Lahir

Gambar 6 merupakan perbandingan tampilan dari penginputan data tanggal lahir. Perubahan tampilan tanggal lahir dilakukan dengan merubah tampilan menjadi list bulan. Rekoemndasi perbaikan halaman ganti password dapat dilihat pada Gambar 7.

Gambar 7. Halaman Ganti Password

Gambar 7 merupakan perbandingan tampilan halaman ganti password sebelum dan sesudah dilakukan perbaikan. Perbaikan yang dilakukan yaitu menambahkan fitur lihat password berupa icon sehingga pengguna dapat melihat data yang sedang diinputkan. Rekomendasi perbaikan halaman anak dapat dilihat pada Gambar 8.

Gambar 8. Halaman Anak

Gambar 8 merupakan perbandingan tampilan halaman anak sebelum dan sesudah dilakukan perubahan. Perubahan tampilan yang dilakukan pada halaman anak dengan menambahkan informasi yaitu data anak maksimal berusia 17 tahun dan membuat icon untuk fitur edit. Rekomendasi perbaikan halaman jelajahi dapat dilihat pada gambar 9.

Gambar 9. Halaman Jelajahi

Gambar 9 merupakan perbandingan tampilah halaman perjalanan sebelum dan sesudah dilakukan perubahan. Perubahan yang dilakukan pada halaman perjalanan adalah mengganti icon fitur check in check out dengan icon baru yang disertai dengan teks.

  • 5.    Kesimpulan

Kesimpulan yang dihasilkan berdasarkan penelitian yang telah dilakukan adalah pengujian variabel efektifitas menggunakan metode Usability Testing dengan teknik Performance Measurement yaitu berdasarkan kegagalan yang dialami oleh responden

kategori mahir dan pemula menunjukan bahwa Aplikasi Love Bali memiliki kualitas yang belum dapat dikatakan efektif karena responden belum dapat sepenuhnya berhasil menyelesaikan task yang diberikan. Rata–rata responden gagal mengerjakan task pada Aplikasi Love Bali untuk responden mahir sebesar 12% dan untuk responden pemula sebesar 19%. Pengujian variabel efisiensi menggunakan metode Usability Testing dengan teknik Performance Measurement yaitu berdasarkan lama waktu responden mengerjakan task menunjukan rata–rata waktu untuk mengerjakan setiap task Aplikasi Love Bali adalah 19 detik untuk responden mahir dan 35 detik untuk responden pemula. Pengujian variabel kepuasan menggunakan metode Usability Testing dengan teknik Concurrent Think Aloud yaitu adanya masalah atau kesulitan yang ditemukan membuat responden mahir dan pemula merasa kurang puas saat menggunakan aplikasi Love Bali. Rekomendasi perbaikan yang ditawarkan dalam penelitian ini adalah berupa desain yang dibuat menggunakan perangkat Adobe XD.

Daftar Pustaka

  • 1.    Wulandari, P., Perancangan User Interface Aplikasi Rumah Sehat Retno Berbasis Smartphone dan Evaluasi System Usability Scale (SUS). JURNAL ILMU KESEHATAN BHAKTI SETYA MEDIKA, 2021. 6(1): p. 21-29.

  • 2.    Yuliyana, T., I.K.R. Arthana, and K. Agustini, Usability Testing pada Aplikasi POTWIS. JST (Jurnal Sains dan Teknologi), 2019. 8(1): p. 12-22.

  • 3.    Hussain, A., E.O. Mkpojiogu, and Z. Hussain, Usability evaluation of a web-based health awareness portal on Smartphone devices using ISO 9241-1 1 model. Jurnal Teknologi, 2015. 77(4): p. 1-5.

  • 4.    Utami, N.W., I.K.R. Arthana, and I.G.M. Darmawiguna, Evaluasi Usability Pada E-Learning Universitas Pendidikan Ganesha Dengan Metode Usability Testing. Jurnal Nasional Pendidikan Teknik Informatika: JANAPATI, 2020. 9(1): p. 107-118.

  • 5.    Susila, C.B., Analisis User Interface Pada Website Stainu Pacitan Menggunakan Metode Eight Golden Rules. Jurnal Qua Teknika, 2020. 10(1): p. 26-35.

  • 6.    Ananda, R.A., A.E.B. Waspada, and R.D.W. Utomo, Fenomena desain user interface Gojek menurut persepsi pengguna generasi X. Jurnal Seni dan Reka Rancang: Jurnal Ilmiah Magister Desain, 2020. 2(2): p. 141-160.

  • 7.    Pramono, W.A., H.M. Az-Zahra, and R.I. Rokhmawati, Evaluasi Usability pada Aplikasi MyTelkomsel dengan Menggunakan Metode Usability Testing. Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer e-ISSN, 2019. 2548: p. 964X.

  • 8.    Saputra, E., Z. Mazalisa, and R. Andriyani, Usability Testing Untuk Mengukur Penggunaan Website Inspektorat Kota Palembang. Jurnal mahasiswa Teknik Informatika, 2014.

  • 9.    Sidik, A., Penggunaan System Usability Scale (SUS) Sebagai Evaluasi Website Berita Mobile. Technologia: Jurnal Ilmiah, 2018. 9(2): p. 83-88.