Jurnal Elektronik Ilmu Komputer Udayana

Volume 12, No 1. August 2023

p-ISSN: 2301-5373

e-ISSN: 2654-5101

IMPLEMENTASI A/B TESTING SEBAGAI PENINGKATAN PENGALAMAN PENGGUNA PADA APLIKASI MASTERFISH DIUKUR DENGAN CONVERSION RATE

I Ketut Santa Wijayaa1, Cokorda Rai Adi Pramarthaa2 aInformatics Departement, Mathematic and Science Faculty, Udayana University Denpasar, Indonesia 1[email protected] 2[email protected]

Abstract

In this Current technological developments, especially technology in the service sector, which is engaged in helping MSME communities whose system needs are becoming increasingly complex, can be seen from the widespread use and development of multi-sector information systems such as information management systems in villages or government as well as those engaged in the health sector. In 2022, most of them will start using a mobile-based system that can be accessed anywhere. With such a system, its use will be more efficient and flexible. However, to achieve an interface design that is friendly and acceptable to the user, validation is needed to determine whether the design that has been made has met the criteria required by the user. Sometimes the first design that is made does not necessarily meet the desired criteria. Therefore, we need an approach in the form of A/B testing where this is a method of comparison between design 1 and design 2, which is seen to be better in terms of usability level. This method was chosen to ensure that every existing assumption can be validated, whether or not it is true. Every time you optimize your designs, apart from being made for automation, a/b testing is usually used to help entities understand what users or the market want.

Keywords: User Experience, User Interface, A/B Testing method, Usability Testing .

  • 1.    Introduction

Dengan perkembangan teknologi sekarang terutama teknologi di bidang jasa yang bergerak dalam membantu masyarakat UMKM yang kebutuhan sistemnya semakin kompleks, dilihat dari maraknya penggunaan dan pengembangan sistem informasi multibidang seperti sistem pengelolahan informasi di desa atau pemerintahan maupun yang bergerak di bidang kesehatan. Di tahun 2022 ini kebanyakan mulai menggunakan sistem yang berbasis mobile yang sifatnya bisa diakses dimana saja, dengan sifatnya yang seperti itu maka penggunaannya akan jadi lebih efisien dan fleksibel, namun dalam pengembangan sistem ini perlu dikembangkan desain antarmukanya terlebih dahulu sebagai salah satu aspek perancangan sebuah sistem, tentunya dalam merancang sebuah desain antarmuka harus selalu memperhatikan kemudahan dalam menggunakan sistem, namun kadang kala sebelum kita mengembangkan sistem tersebut harus diuji dahulu supaya memastikan bahwa rancangan yang kita buat sudah memenuhi standar pengguna.

Untuk mencapai desain antarmuka yang ramah dan dapat diterima oleh pengguna, maka dibutuhkan sebuah validasi apakah desain yang sudah dibuat sudah memenuhi kriteria yang dibutuhkan oleh user. Kadang desain pertama yang dibuat belum tentu memenuhi kriteria yang diinginkan. Maka dari itu dibutuhkan sebuah pendekatan berupa A/B Testing dimana ini merupakan sebuah metode komperasi antara desain 1 dengan desain 2 yang diliat mana yang lebih baik dari segi tingkat usabilitynya, metode ini dipilih untuk memastikan bahwa setiap asumsi asumsi yang ada dapat divalidasi benar atau tidaknya setiap melakukan optimasi kepada desain yang dibuat, selain dibuat untuk otomasi biasanya a/b testing ini juga digunakan untuk membantu entitas memahami apa yang pengguna atau pasar inginkan.

Walaupun begitu metode ini tidak luput dari namanya kritik dan masalah, metode ini memiliki kompleksitas dari cara perancangannya dan hasil dari metode ini, namun penulis akan mencoba membandingkan apakah metode ini dapat digunakan untuk mengevaluasi sebuah desain yang telah dibuat. Penelitian ini tidak serta merta harus menerima dan menolak metode A/B Testing ini, tetapi

melihat sejauh mana metode A/B Testing ini digunakan dan bagaimana proses dari penelitian serta hasil akhir nanti yang didapat dari penelitian ini[2].

Sesuai dengan uraikan diatas , dalam penelitian ini kami bertujuan untuk mencoba menguji A/B Testing ini untuk diterapkan pada aplikasi masterfish, sehingga diharapkan penelitian ini dapat memberikan wawasan dan pengetahuan baru tentang A/B Testing ini.

  • 1.1    User Experience

User Experience adalah bagaimana pengalaman pengguna dalam menggunakan sebuah produk, dalam penelitian ini menggunakan aplikasi. Cara menilai sebuah kebergunaan sebuah aplikasi ada banyak caranya misal dari melihat UI dari aplikasi tersebut atau flow yang singkat dan tidak bertele-tele. Dengan kata lain aplikasi yang banyak pengunjungnya dan mampu menyelesaikan masalah dari pengguna adalah aplikasi yang memiliki user experience yang baik.

Pada sebuah aplikasi, bisa dikatakan user experience lebih penting dari dari produk itu sendiri, karena andai kata aplikasi anda memiliki user experience yang buruk seperti tata letak yang berantakan, alur tugas yang bertele tele, memiliki banyak fitur namun dibandingkan aplikasi kompetitor yang memiliki user experience yang bagus, jelas pengguna akan berpaling dari aplikasi anda ke aplikasi kompetitor karena sesuai definisinya user experience lebih mementingkan kenyamanan penggunaan produk dari prespektif pengguna itu sendiri. Untuk proses user experience ini ada beberapa tahap seperti :

  • 1.    Emphatize: memahami bagaimana kebutuhan pengguna itu sendiri.

  • 2.    Define: Menentukan karakteristik dan mencari objek permasalahan.

  • 3.    Ideate: Perancangan kerangka dan ide.

  • 4.    Prototype: Membuat gambaran kerangka kerja yang sudah jadi

  • 5.    Test: Kerangka kerja yang sudah jadi diujikan ke pada pengguna.[1]

  • 1.2    User Interface

User Interface adalah sebuah desain antarmuka dari sebuah produk, dalam hal ini aplikasi yang langsung berinteraksi dengan pengguna itu sendiri. Biasanya desain antarmuka mencangkup warna, typografi, icon, layout, dan illustrasi.[3]

  • 1.3    Masterfish app

Masterfish App adalah sebuah aplikasi prototipe E-Commerce yang bergerak dibidang jual beli ikan hias, yang memiliki fitur seperti pesan produk dalam hal ini ikan hias dan pengguna dapat berjualan ikan secara online melalui prototipe ini. Untuk kasus yang akan digunakan ilaha halaman pemesanan produk ikan hias.

  • 1.4    A/B Testing

A/B Testing adalah sebuah langkah pengujian yang dilakukan oleh seseorang untuk membandingkan dua variasi desain atau halaman pada situs untuk mengetahui mana yang baik dari diantara dua variasi tersebut[4].

  • 2.    Research Methods

    A. Analisis dan Pengumpulan Data

Pengumpulan data menggunakan metode survey media online dan didapat berupa 5 responden yang akan diajak untuk menguji 2 buah prototipe yang akan diujikan secara paralel. B. A/B Method

  • 1.    Langkah Pertama melakukan pemilihan halaman yang akan diuji dimana disini kami menguji alur dari awal pemesanan produk sampai selesai, disini kami membandingkan alur pemesanan antara variasi 1 dengan 2.

  • 2.    Menentukan Goals

  • a.    Seberapa sulit mengakses halaman pada task yang diberikan.

  • b.    Apakah user dapat mudah mengakses setiap halaman yang ada.

  • c.    Apakah user dapat mudah memiliki kontrol terhadap aplikasi.

  • 3.    Tujuan dari pengujian ini adalah

  • a. Untuk mengukur tingkat kemudahan alur antara 2 versi desain yang diujikan

  • C. Validasi testing

Setelah selesai mengujikan para responden diharapkan mengisi kuiesioner untuk mengetahui desain mana yang paling tinggi tingkat kebergunaanya, untuk mengukur hal tersebut disini kami menggunakan Conversion rate, untuk rumus sebagai berikut,

— x 100


Xn


(1)


Penjelasan

X      = jumlah goals/tujuan yang dicapai

Xn     = jumlah responden.[4]

3.


Result and Discussion


  • 3.1.    Tes Validasi desain 1

Untuk mendapatkan hasil maksimal disini kami menggunakan aplikasi usability testing untuk memudahkan segala proses usability, dan dimana disini kami mendapatkan data convertion rate berupa data sebagai berikut,

Ξ Study Overview

z⅛ Responses collected: 8

  • 4    blocks on this study

Completed                    Dropped-off                      Time

Users who finished the study         Users who dropped-off the study         Overall average time

63%          Susers       38%            3users       2m15.1s

Image 1. variasi desain 1

Dimana didapat 8 responden adalah sebanyak 5 sample yang berhasil menyelesaikan 3 goals yang diberikan sedangkan 3 sample lainnya gagal menyelesaikan goalsnya. Berdasarkan analisa kami bahwa user masih beradaptasi dengan hasil desain yang pertama, maka untuk hasil conversion ratenya adalah

  • 5    x 100 = 62.5%

8

  • 3.2.    Tes Validasi desain 2

Sama seperti hasil validasi desan 1 untuk hasil maksimal disini kami menggunakan aplikasi usability testing untuk memudahkan segala proses usability, dan dimana disini kami mendapatkan data convertion            rate            berupa           data           sebagai            berikut,

Q Study Overview

.∙i. Responses collected: 8

  • 4    blocks on this study

Completed                    Dropped-off                      Time

Users who finished the study         Users who dropped-off the study         Overall average time

100%         8users       0%              Ousers       34.2s

Image 2. Variasi desain 2

Pada hasil validasi desain 2 mendapatkan banyak nilai yang bagus dari responden dimana dari 16 responden yang dibagi ke setengahnya mengalami peningkatan signifikan dari varian pertama yang dimana semua sample mampu menyelesaikan tasknya jauh lebih baik sebelumnya. Maka hasil conversion ratenya adalah,

  • 8    x 100 = 100%

8

Sehingga dapat disimpulkan bahwa varian kedua memiliki tingkat usability yang sangat baik serta improvisasi dari desain pertama.

4.    Conclusion

Berdasarkan penelitian yang dilaksanakan dapat diambil kesimpulan bahwa implemetasi metode A/B testing pada aplikasi masterfish menggunakan perhitungan conversion rate, dengan adanya pendekatan usability menggunakan A/B Testing maka dapat disimpulkan dari berberapa hal sebagai berikut:

  • 1.    Hasil pengukuran dengan menggunakan metode A/B testing menggunakan jumlah sample 16 responden yang dibagi ke dua varian yang dimana varian pertama memiliki nilai sekitar 62.5% dan varian kedua memiliki nilai sekitar 100% yang dapat disimpukan bawah varian kedua memiliki tingkat usability yang sangat tinggi serta improvisasi dari varian pertama.

References

  • [1]    B. S. Muhammad Multazam, Irving Vitra Paputungan, “Perancangan user interface danUser experience pada placeplus menggunakan pendekatan user centered design,”Informatics Dep. Univ. Islam Indones., vol. 1, no. 2, 2020.

  • [2]    J. Nielsen, “Usability 101: Introduction to usability. Nielsen Norman Group. 2003.” 2018.

  • [3]    Shneiderman, B. (2005). Designing the User Interface. In B. Shneiderman, & B. S. Plasant.United States of America: Person Education Inc.

  • [4]    What is human-computer interaction (HCI)? The Interaction Design Foundation. (n.d.). Retrieved October 4,  2022, from https://www.interaction-design.org/literature/topics/human-computer-

interaction

Halaman ini sengaja dibiarkan kosong

158