Mengetahui Tingkat Kematangan Aplikasi pada Start up IT Menggunakan Metode CMMI dan TMMi

MERPATI VOL. 7, NO. 1 APRIL 2019

ISSN: 2252-3006

Mengetahui Tingkat Kematangan Aplikasi pada Start up IT Menggunakan Metode CMMI dan TMMi

Desak Made Novita, I Made Sukarsa, I Ketut Adi Purnawan

Program Studi Teknologi Informasi, Fakultas Teknik, Universitas Udayana

Bukit Jimbaran, Bali, Indonesia Telp. (0361) 701806

e-mail: [email protected], [email protected], [email protected]

Abstrak

Perkembangan teknologi informasi menyebabkan perusahaan atau organisasi mengembangkan perangkat lunak secara terus menerus. Salah satunya start up IT yang memperhatikan produk yang dibuat sehingga sesuai dengan kebutuhan pengguna. Proses pembuatan serta proses pengujian menjadi hal penting dalam melakukan pengembangan sistem. CMMI dan TMMi merupakan solusi untuk dapat mengetahui tingkat kematangan dari proses yang telah dilakukan. Penelitian dilakukan pada 11 kelompok start up IT dengan wawancara serta penyebaran kuesioner. Pengukuran terhadap tingkat kematangan mendapatkan hasil yang berbeda antara CMMI dan TMMi. Tingkat kematangan dengan menggunakan CMMI menghasilkan level 2 (Managed) sedangkan dengan TMMi menghasilkan 6 team mendapat level 3, 3 team berada pada level 2 dan 2 team berada pada level 1.

Kata Kunci: Audit TI, Metode CMMI, Metode TMMi, Start up IT, Tingkat Kematangan

Abstract

The development of information technology causes companies or organizations to develop software continuously. One of them is start up IT that pays attention to products that are made so that they fit the user's needs. The manufacturing process and the testing process are important in developing the system. CMMI and TMMi are solutions to be able to find out the maturity level of the process that has been done. The study was conducted in 11 IT start-up groups and interviews and questionnaires were conducted. Measurements on the level of maturity get different results between CMMI and TMMi. Maturity level using CMMI produces level 2 (Managed) while TMMi produces 6 teams get level 3, 3 teams are at level 2 and 2 teams are at level 1.

Keywords: IT Audit, CMMI Method, TMMi Method, Start up IT, Maturity Level

• 1.     Pendahuluan

Start up merupakan sebuah organisasi yang dibentuk dengan tujuan untuk mencari modal bisnis yang repeatable dan scalable [1]. Start up IT lebih memanfaatkan teknologi informasi dalam produk yang dibuat. Jumlah start up di Indonesia menurut database Tech in Asia 2306 start up pada tahun 2016 [2]. Start up di Indonesia tidak seluruhnya berhasil dalam membangun sebuah start up. Kegagalan yang dialami oleh start up disebabkan beberapa faktor. Faktor kegagalan membangun sebuah start up berdasarkan CBInsights tahun 2016 yaitu produk yang tidak dibutuhkan pasar, banyaknya membuang uang, tim yang tidak baik, dan kalah dalam kompetensi [1]. Pembuatan sebuah produk berupa software haruslah menjadi suatu perhatian khusus bagi para start up IT. CMMI (Capability Maturity Model Integration) merupakan suatu best practice yang dikembangkan oleh Software Engineering Insitute (SEI) - Carnegie Mellon University [3]. Metode CMMI membantu start up IT untuk dapat mengetahui peningkatan proses pengembangan aplikasi untuk kedepannya. Tahap pengujian untuk meningkatkan kualitas produk juga menjadi suatu perhatian khusus dalam peningkatan proses perangkat lunak. TMMi (Test Maturity Model Integration) dikembangkan oleh TMMi Foundation. TMMi merupakan suatu model pelengkap dari CMMI yang bertujuan sebagai pedoman untuk peningkatan proses pengujian [4]. Kedua metode CMMI dan TMMi digunakan pada penelitian sehingga diketahui perbandingan hasil tingkat kematangan (maturity level) terhadap proses pembuatan serta proses pengujian aplikasi.

Penelitian sebelumnya yang membahas mengenai audit dengan menggunakan metode CMMI diantaranya adalah “Measurement of Capability Maturity Model Integration Implementation

Impact for Application Development Process Improvement in Telkomsigma” oleh Satrio dan Lumban yang mengukur dampak penerapan Capability Maturity Model Integration (CMMI) untuk proses pengembangan aplikasi pada Telkomsigma. Hasil yang didapatkan yaitu perbandingan pencapaian tujuan praktik CMMI dari masing-masing sampel proyek sebelum dan sesudah penerapan CMMI di Telkomsigma [3]. Penelitian lainnya mengenai CMMI dilakukan oleh Widodo dengan judul “Evaluasi Proses Pengembangan Perangkat Lunak pada Virtual Team Development Menggunakan CMMI Versi 1.3” membahas mengenai tingkat kematangan dan tingkat kapabilitas proses pengembangan perangkat lunak pada VTD dengan menggunakan CMMI for development versi 1.3 [5]. Penelitian dengan judul “Software Test Process Assessment Methodology” yang dilakukan oleh Sudarsanam menggunakan metode TMMi. Sudarsanam membahas mengenai metode untuk menilai proses area TMMi untuk masing-masing tingkat kematangan disetiap level TMMi [4].

Permasalahan mengenai banyaknya start up IT yang gagal dikarenakan produk yang dibuat tidak sesuai dengan kebutuhan pasar menjadi dasar yang melatarbelakangi dilakukannya audit terhadap tingkat kematangan proses pengembangan aplikasi. Fokus penelitian yang dilakukan yaitu melakukan pengukuran untuk mengetahui maturity level dengan menggunakan metode CMMI dan TMMi pada 11 kelompok start up. Proses pengukuran dengan mengkomparasi CMMI dan TMMi menjadi pembeda terhadap penelitian yang dilakukan sebelumnya.

• 2.    Metodologi Penelitian

Tahap penelitian yang dilakukan dibagi menjadi dua yaitu tahap untuk metode CMMI dan untuk metode TMMi. Tahapan dijabarkan sebagai berikut.

Gambar 1. (a) Alur Penelitian Metode CMMI            (b) Alur Penelitian Metode TMMi

Tahap penelitian yang dilakukan dalam proses audit yaitu: definisi masalah merupakan tahap awal yang dilakukan untuk mengetahui secara mendalam permasalahan yang ada di lingkungan start up IT. Definisi masalah dilakukan dengan studi kepustakaan melalui beberapa jurnal maupun wawancara langsung. Definisi masalah dilakukan untuk menjadi dasar tujuan dan metodelogi yang digunakan dalam melakukan penelitian. Penentuan sampel proyek dilakukan dengan turun langsung ke lapangan untuk melakukan pengamatan terhadap beberapa kelompok

start up dimana proyek yang dibuat sesuai dengan metode yang digunakan dalam penelitian. Tahap identifikasi proses area menjadi pembeda pada kedua metode, identifikasi dilakukan khusus pada metode CMMI untuk mengetahui proses area yang diterapkan dalam setiap kelompok start up. Pengumpulan data dilakukan berupa wawancara dan penyebaran kuesioner. Tujuan dari kuesioner untuk mendapatkan bukti yang kompeten sehingga dapat mendukung kesimpulan [6]. Data kuesioner diolah dengan menggunakan pengukuran yang telah ditetapkan pada CMMI dan TMMi. Hasil pengolahan data kuesioner menghasilkan maturity level disetiap kelompok start up kemudian dilakukan analisis menyangkut perbandingan hasil disetiap proses area maupun pada maturity level dibeberapa start up. Pemberian saran perbaikan diberikan jika adanya perbandingan hasil yang didapatkan sehingga kelompok start up dapat meningkatkan proses pengembangan yang lebih baik.

• 2.1    Identifikasi Proses Area CMMI

Identifikasi proses area dilakukan untuk mengetahui proses area yang diterapkan pada kelompok start up dalam membuat suatu aplikasi. Pemilahan proses area dilakukan dengan wawancara dan menyebarkan kuesioner yang menjelaskan mengenai seluruh proses area sehingga mempermudah proses identifikasi. Tabel 1 merupakan contoh dari kuesioner identifikasi proses area. Kuesioner bertujuan untuk memahami responden terhadap beberapa variabel yang dipertimbangkan dalam implementasi [7]. Responden memberikan tanda (√) pada kolom jawaban yang mencerminkan situasi di organisasi [8].

Tabel 1. Contoh Rancangan Kuesioner Identifikasi Proses Area CMMI

Level	Proses Area	Deskripsi	Diterapkan	Tidak diterapkan
Level 2	Requirements Management (Pengelolaan Kebutuhan)	Tujuan dari Requirements Management (REQM) adalah untuk mengelola persyaratan produk yang dibuat menyangkut komponen yang dibutuhkan.
	Project Planning (Perencanaan Proyek)	Tujuan Perencanaan Proyek (PP) adalah menetapkan dan memelihara rencana dari kegiatan pembuatan aplikasi.

Penyebaran kuesioner identifikasi proses area hanya diberikan satu pada setiap start up yang menjadi ketua ataupun yang lebih memahami proses kerja. Hasil dari identifikasi menjadi acuan untuk rancangan kuesioner tingkat kematangan CMMI. Hanya proses area yang diterapkan saja yang dibuatkan kuesioner.

• 2.2    Jumlah Responden Kuesioner Tingkat Kematangan

Pemberian kuesioner tingkat kematangan diberikan pada seluruh anggota dalam kelompok start up. Tabel 2 merupakan penjabaran jumlah responden disetiap kelompok start up IT.

Tabel 2. Jumlah Responden Kuesioner Tingkat Kematangan

Kelompok Start up	Jumlah Anggota
Start up A	2
Start up B	5
Start up C	3
Start up D	2
Start up E	5
Start up F	2
Start up G	6
Start up H	3
Start up I	3

Start up J	3
Start up K	5

• 2.3    Pengolahan Data Kuesioner CMMI

Pengolahan data dilakukan setelah semua data yang dibutuhkan sudah terkumpul diantaranya data dari hasil wawancara dan kuesioner. Pengolahan data dilakukan dengan perhitungan lembar kuesioner yang telah diisi oleh responden.

• 2.3.1    Kriteria dan Pembobotan Kuesioner CMMI

Kuesioner yang disebar kepada seluruh responden memiliki 4 bobot jawaban dimulai dari 0 sampai 3 [5].

Tabel 3. Kriteria dan Pembobotan Kuesioner CMMI

Kriteria	Bobot
NI (Not Implemented)	0
PI (Partially Implemented)	1
LI (Largely Implemented)	2
FI (Fully Implemented)	3

Identifikasi jawaban dari kuesioner tingkat kematangan menghasilkan nilai pencapaian setiap

proses area yaitu dengan cara mencari hasil nilai rata-rata responden tiap proses area

menggunakan Persamaan (1):

.          .                   Iumlah point bobot jawaban

Nilai pencapaian area proses =

Jumlahresponden

Contoh dalam melakukan Persamaan (1) yaitu sebagai berikut:

Proses Area          : REQM

Jumlah Pernyataan: 5

Jumlah Responden: 4

Tabel 4. Contoh Pengukuran Nilai Pencapaian Proses Area

Pernyataan	Banyaknya jawaban	Penyelesaian
1	LI = 3, PI = 1	Nilai = (LI*2)+(PI*1)/4 =(3*2)+(1*1)/4 = 1,75
2	NI = 3, PI = 1	Nilai = (NI*0)+(PI*1)/4 =(3*0)+(1*1)/4 = 0,25
3	FI = 4	Nilai = (FI*3) /4 =(4*3)/4 = 3
4	LI = 1, PI = 1, FI= 2	Nilai = (LI*2)+(PI*1) +(FI*3)/4 = (1*2)+(1*1) +(2*3)/4 = 2,25
5	PI= 4	Nilai = (PI*1) /4 =(4*1)/4 = 1
Nilai Proses Area		= 1,75 + 0,25 + 3 + 2,25 + 1 /5 = 1,65

Persamaan (1) digunakan untuk menghitung setiap nilai pada pernyataan yang ada pada kuesioner disetiap areanya, kemudian hasil nilai yang didapat dijumlahkan secara keseluruhan dan dibagi jumlah pernyataan di proses area yang dicari.

• 2.3.2    Penilaian Spesific Goals CMMI

Angka nilai pencapaian tiap proses area telah diketahui, selanjutnya menentukan proses area tersebut tercapai atau tidak tercapai. Tabel 5 merupakan penilaian specific goals pada CMMI.

Tabel 5. Kriteria Penilaian Spesific Goals

Kriteria	Rentang Nilai Rata-Rata
Tidak Tercapai	0 sampai 1,9
Tercapai	2 sampai 3

Rentang nilai 0-1,9 masuk kedalam kriteria specific goals “tidak tercapai” sedangkan rentang nilai 2-3 masuk kedalam kriteria specific goals “tercapai”[5].

• 2.3.3  Penentuan Maturity Level CMMI

Penentuan terhadap tingkat kematangan atau biasa disebut maturity level menggunakan equivalent staging pada CMMI [9]. Beberapa aturan equivalent staging disetiap levelnya dapat dijelaskan sebagai berikut.

• a.    Pencapaian level 2, jika semua proses area yang ditetapkan untuk tingkat kematangan 2 harus mencapai level 2 atau 3

• b.    Pencapaian level 3, jika semua proses area yang ditetapkan untuk tingkat kematangan 2 dan 3 harus mencapai level 3.

• c.    Pencapaian level 4, jika semua proses area yang ditetapkan untuk tingkat kematangan 2, 3, dan 4 harus tercapai.

• d.    Pencapaian level 5, jika semua proses area pada tingkat kematangan 2, 3, 4. 5 harus tercapai

• 2.3.4    Menghitung Nilai Persentase CMMI

Menghitung persentase dapat dilakukan dengan menghitung terlebih dahulu jumlah proses area di level yang dicari kemudian dikali 3 yang merupakan nilai tertinggi dari bobot

jawaban kuesioner [9].

(2)

(3)

a = jumlah proses area × 3 _n     (total nilai PA x 100)

% = ---------- a

Sebagai contoh jumlah proses area yang diterapkan pada level 2 sebanyak 5 dari 7

proses area dengan nilai pencapaian yang didapat pada masing-masing proses area. Langkah pertama yaitu mencari total dari keseluruhan nilai yang ada pada level 2 (diketahui total nilai PA 9,56), kemudian menghitung Persamaan (2) sehingga α = 7*3 = 21. Langkah untuk mencari Persamaan (3) yaitu % = (9,56*100)/21= 45,52%. Hasil yang didapat menunjukkan besarnya pencapaian disetiap levelnya.

• 2.4    Pengukuran Kuesioner Tingkat Kematangan TMMi

Pengukuran terhadap jawaban responden dilakukan dengan menghitung terlebih dahulu nilai % ke-n dengan cara menjumlahkan jawaban seluruh anggota dalam 1 kelompok start up kemudian dibagi dengan jumlah responden yang menjawab dalam 1 kelompok start up. Perhitungan dapat dijabarkan pada Tabel 6.

Tabel 6. Contoh Pengukuran Kuesioner Tingkat Kematangan TMMi

Pernyataan	R1	R2	R3	Nilai %n
1	50%	70%	60%	50+70+60/3 = 60.00
2	75%	80%	55%	75+80+55/3 = 70.00
3	75%	50%	60%	75+50+60/3 = 61.67
4	50%	50%	45%	50+50+45/3 = 48.33
5	70%	85%	55%	70+85+55/3 = 70.00
6	75%	85%	80%	75+85+80/3 = 80.00
7	70%	85%	85%	70+85+85/3 = 80.00
8	70%	50%	40%	70+50+40/3 = 53.33
Pencapaian PA Test Policy and Strategy				= 60+70+61.67+48.33+ 70+80+80+53.33/8 = 65.42%

Hasil dari nilai %n kemudian di total dan dibagi dengan banyaknya pernyataan yang ada pada proses area yang diukur (dalam contoh menggunakan proses area test policy and strategy).

• 2.4.1    Penentuan Maturity Level TMMi

Menentukan maturity level pada TMMi dilakukan dengan menilai terlebih dahulu pencapaian PA di setiap levelnya menggunakan skala rating kemudian menentukan maturity level yang didapatkan dari nilai skala yang paling kecil [10].

Skala Rating:

N     = Not Achieved (0% - ≤ 15%)

P      = Partially Achieved (>15% - ≤ 50%)

L      = Largely Achieved (>50% - ≤ 85%)

F      = Fully Achieved (>85% - 100%)

Tabel 7 menjelaskan tentang contoh penggunaan skala rating pada proses area di maturity level 2:

Tabel 7. Contoh Penggunaan Skala Rating di Proses Area Level 2

NO	PROSES AREA	TEAM X		MATURITY LEVEL 2 RATING
		%	RATING
PA1	Test Policy and Strategy	59.04	L	?
PA2	Test Planning	57.89	L
PA3	Test Monitoring and Control	62.35	L
PA4	Test Design and Execution	59	L
PA5	Test Environment	54.85	L

Rating terkecil pada Tabel 7 yaitu L (Largely Archieved) maka level 2 dapat dikatakan Largely Archieved dan dapat lanjut ke level berikutnya. Tabel 8 menjelaskan tentang contoh penggunaan skala rating pada proses area di maturity level 3.

Tabel 8. Contoh Penggunaan Skala Rating di Proses Area Level 3

NO	PROSES AREA	TEAM X		MATURITY LEVEL 3 RATING
		%	RATING
PA1	Test Organization	62.33	L	?
PA2	Test Program Training	40	P
PA3	Test Lifecycle and Integration	60.33	L
PA4	Non-functional Testing	62.26	L
PA5	Peer Reviews	57.33	L

Rating terkecil pada Tabel x yaitu P (Partially Archieved) maka level 3 dapat dikatakan Partially Archieved dan tidak dapat lanjut ke level berikutnya. Hasil maturity level TMMi untuk team x masih berada pada maturity level 2 Managed disebabkan pada level 3 masih terdapat rating P pada proses area Test Program Training. Syarat untuk mencapai maturity level 3, rating seluruh PA harus L (Largely Archieved) atau F (Fully Archieved).

• 3      Kajian Pustaka

Kajian pustaka memuat materi yang menjadi referensi penelitian ini. Referensi yang dimuat yakni terkait metode CMMI dan TMMi.

• 3.1    CMMI

Capability Maturity Model Integration (CMMI) adalah sebuah model pengembangan proses yang dikembangkan oleh Software Engeneering Institute (SEI), Carnegie Mellon University [3]. CMMI memiliki tujuan untuk membantu perubahaan atau organisasi dalam meningkatkan proses pengembangan serta pemeliharaan produk atau jasa [11]. CMMI menjelaskan 25 Process Area (PA) dengan setiap proses memiliki specific dan generic goals yang dapat menjadi kerangka tingkat kematangan perusahaan pengembang perangkat lunak. Proses Area (PA) disusun berdasarkan tingkat kematangan (maturity level). Terdapat 5 tingkat kematangan CMMI yang dimulai dari level 1 (initial) sampai level 5 (optimizing) [12], lebih jelasnya dapat lihat pada Tabel 9.

Tabel 9. Lima Tingkat Kematangan CMMI

Level	Deskripsi
1 (Initial)	Proses pada tingkatan ini masih ad hoc, tidak dapat diprediksi, kurangnya proses control yang baik. Masalah pada tingkat initial

	yang biasanya dihadapi pada organisasi yaitu masih sulit membuat komitmen antarstaff [13]
2 (Managed)	Proses pada tingkatan ini telah direncanakan, dilaksanakan, diukur, dan dikontrol dengan baik sesuai dengan kebijakan organisasi
3 (Defined)	Proses pada tingkatan ini telah dijelaskan dalam bentuk standar, prosedur, tool, dan metode yang baik dan dapat dipahami
4 (Quantitatively Managed)	Proses pada tingkatan ini sudah memiliki tujuan yang terukur dan terarah untuk kualitas produk dan dikelola dengan baik
5 (Optimizing)	Proses pada tingkatan ini telah berfokus pada peningkatan proses secara berkelanjutan dengan menggunakan inovasi teknologi yang lebih baik.

Proses Area (PA) pada CMMI memiliki proses area yang berbeda disetiap levelnya. Sebanyak 25 proses area dijabarkan pada Tabel 10.

Tabel 10. Proses Area CMMI

Process Area	Maturity Level
Requirements Management	2
Project Planning	2
Project Monitoring and Control	2
Supplier Agreement Management	2
Measurement and Analysis	2
Process and Product Quality Assurance	2
Configuration Management	2
Requirements Development	3
Technical Solution	3
Product Integration	3
Verification	3
Validation	3
Organizational Process Focus	3
Organizational Process Definition	3
Organizational Training	3
Integrated Project Management for IPPD	3
Risk Management	3
Integrated Teaming	3
Integrated Supplier Management	3
Decision Analysis and Resolution	3
Organizational Environment for Integration	3
Organizational Process Performance	4
Quantitative Project Management	4
Organizational Innovation and Deployment	5
Causal Analysis and Resolution	5

• 3.2   TMMi

TMMi dikembangkan oleh TMMi Foundation sebagai pedoman dan kerangka acuan untuk peningkatan proses pengujian dan diposisikan sebagai model pelengkap untuk CMMI

• [4 ].Sama seperti representasi CMMI staged representation, TMMi juga menggunakan konsep tingkat kematangan untuk penilaian dan perbaikan proses. Terdapat 5 level kematangan pada TMMi, dimana disetiap levelnya memiliki satu set area proses yang perlu diterapkan organisasi untuk mencapai kedewasaan di level tersebut [4].

Tabel 11. Lima Tingkat Kematangan TMMi

Level	Deskripsi
1 (Initial)	Proses pengujian pada tingkatan ini sumber daya, peralatan dan staf yang ahli masih kurang. Tujuan pengujian pada level ini menunjukkan kalau system dan perangkat lunak bekerja
2 (Managed)	Proses pengujian pada tingkatan ini sudah dikelola. Tujuan pengujian pada level ini yaitu system dan perangkat lunak sudah memenuhi spesifikasi.
3 (Defined)	Proses pengujian pada tingkatan ini sudah didefinisikan dengan baik dari perencanaan awal pengujian dan seluruh proses standar organisasi ditingkatkan secara berkala.
4 (Measured)	Proses pengujian pada tingkatan ini telah terukur secara menyeluruh. Terdapat pengujian terhadap kualitas produk dan pada kerusakan yang ada diberikan tingkat keparahan kemudian diprioritaskan untuk diperbaiki.
5 (Optimization)	Proses pengujian pada tingkatan ini didefinisikan dengan baik dan dikelola. Biaya dan efektivitas dimonitor. Terdapat prosedur yang ditetapkan dalam memilih dan mengevaluasi proses pengujian.

Proses Area (PA) pada TMMi memiliki proses area yang berbeda disetiap levelnya. Sebanyak 16 proses area dijabarkan pada Tabel 12.

Tabel 12. Proses Area TMMi

Proses Area	Maturity Level
Test Policy and Strategy	2
Test Planning	2
Test Monitoring and Control	2
Test Design and Execution	2
Test Environment	2
Test Organization	3
Test Training Program	3
Test Lifecycle and Integration	3
Non-functional Testing	3
Peer Review	3
Test Measurement	4
Product Quality Evaluation	4
Advanced Reviews	4
Defect Prevention	5
Quality Control	5
Test Process Optimization	5

• 4.    Hasil dan Pembahasan

Penelitian dilakukan terhadap 11 kelompok start up IT yang sedang mengembangkan perangkat lunak. Audit dilakukan dengan 2 metode yang berbeda dimana proses pengembangan menggunakan CMMI sedangkan untuk proses pengujian menggunakan TMMi.

• 4.1    Hasil Metode CMMI

Tahap awal untuk proses CMMI yaitu dilakukan identifikasi proses area. Hasil terhadap identifikasi didapatkan dengan wawancara kepada ketua dari kelompok start up dan diberikan kuesioner identifikasi proses area untuk memudahkan melakukan perekapan data.

StartUp

Proses Area

REQM

PP

PMC

SAM

MA

PPQA

CM

RD

TS

Pl

VER

VAL

OPF

OPD

OT

IPM

RSKM

IT

ISM

DAR

OEI

OPP

QPM

OID

CAR

StartUpfK

y'

■J

M

'J

v

Y

√

√

StartUpB

y'

Y1

√

y'

Y1

√

y'

y'

Y1

■J

M

-J

'J

Y1

√

J

■J

Y1

√

√

StartUpC

y'

√

y'

y'

√

Y1

y'

√

-J

N1

•J

Y1

√

J

√

√

StartUpD

Y1

Y1

√

y'

Y1

√

√

Y1

Y1

√

√

Y1

√

Y1

Y1

StartUpE

y'

Y1

y'

Y1

y'

y'

y'

Y1

■J

V

-J

V

√

Y1

Y1

√

√

StartUpE

y'

Y1

√

Y1

y'

√

y'

y'

Y1

M

4

y'

√

Y1

Y1

√

√

StartUpG

√

Y1

√

y'

Y1

√

y'

√

Y1

√

V

-J

Y1

J

Y1

Y1

√

√

StartUpH

y'

Y1

√

y'

y'

y'

√

y'

Y1

■J

■J

Y1

√

StartUpl

y'

Y1

√

y

y'

√

y'

Y1

Y1

Y1

√

-j

√

>l

Y1

Y1

√

StartUpJ

y'

Y1

Y1

y'

y'

y'

Y1

■J

■j

Y1

√

StartUpK.

y'

Y1

√

Y1

y'

√

y'

J

Y1

√

Gambar 5. Hasil Identifikasi Proses Area CMMI

Hasil dari identifikasi proses area menjadi pedoman dalam pembuatan kuesioner tingkat kematangan pada CMMI. Proses area yang diterapkan saja (yang diberi tanda √) dibuatkan kuesioner yang akan disebarkan keseluruh anggota masing-masing kelompok start up. Hasil jawaban dari responden kemudian diolah untuk mencari maturity level dari masing-masing kelompok start up. Hasil penilaian kuesioner tingkat kematangan seluruh kelompok start up yang telah diolah dapat dijabarkan pada Tabel 13.

Tabel 13. Hasil Penilaian Metode CMMI

Kelompok Start up	Proses Area Maturity Level 2 CMMI							%
	REQM	PP	PMC	SAM	MA	PPQA	CM
Start up A	1.76	1.65	1.78	1.76	1.85	1.9	0	50.95
Start up B	2.35	2.16	2.1	0.72	0	0	1.33	42.09
Start up C	1.8	1.64	1.8	2.08	0.87	1.37	0	45.52
Start up D	1.96	2.15	2.1	0	1.9	2.1	2.2	59.09
Start up E	2.6	2.39	2.1	0	0	2.37	2.28	55.90
Start up F	2.06	1.89	2.13	0	1.81	1.95	0	46.85
Start up G	1.6	1.07	0.96	1.05	1.5	0	1.19	35.09
Start up H	2.4	2.03	2.25	0	0	2.62	0	44.28
Start up I	2.26	1.85	1.96	0	0	1.83	1.42	44.38
Start up J	2.2	1.92	2	0	0	2.16	1.52	46.66
Start up K	1.8	1.69	1.94	1.53	1.48	2	1.91	58.80

Seluruh proses yang ada pada kelompok start up baru mencapai tingkat kematangan level 2 yaitu Managed. Seluruh proses area pada level 2 masih belum mencapai kriteria “Tercapai” sehingga tidak dapat lanjut ke level berikutnya.

• 4.2    Hasil Metode TMMi

Berbeda dengan CMMI, pada metode TMMi tidak dilakukannya indentifikasi proses area melainkan langsung dilakukannya penyebaran kuesioner tingkat kematangan. Proses area yang digunakan yaitu sebanyak 16 sesuai dengan banyaknya proses area pada TMMi. Hasil penilaian kuesioner tingkat kematangan dari seluruh kelompok start up yang telah diolah dapat disimpulkan pada Tabel 14.

Tabel 14. Hasil Penilaian Metode TMMi

Kelompok Start up	Maturity Level TMMi
Start up A	1
Start up B	3
Start up C	2
Start up D	3
Start up E	3
Start up F	3
Start up G	2
Start up H	3
Start up I	1
Start up J	3
Start up K	2

Hasil yang didapat pada 11 kelompok start up didapatkan 6 start up yang masuk kedalam maturity level 3 (Managed). Menandakan bahwa proses pengujian yang dilakukan sudah didefinisikan dengan baik dari perencanaan awal pengujian dan seluruh proses standar organisasi sudah mulai ditingkatkan. Start up C, G dan K mendapatkan maturity level 2 (Defined) menandakan bahwa proses pengujian sudah dikelola dan sesuai spesifikasi yang ditentukan dalam kelompok start up sedangkan start up A dan I masih berada di maturity level 1 dikarenakan proses yang ada pada level 2 masih belum baik. Perlu adanya peningkatan dalam melakukan proses pengujian aplikasi.

• 4.3    Pemberian Rekomendasi

Pemberian rekomendasi dilakukan terhadap proses area yang kurang. Rekomendasi proses area CMMI yaitu pada proses area REQM, PP, PMC, SAM, MA, PPQA, dan CM. Rekomendasi menggunakan standar CMMI serta ITIL. ITIL merupakan kerangka kerja standar yang mengacu pada proses praktik terbaik dan manajemen operasional [14]. Rekomendasi proses area TMMi diberikan terhadap proses area yang masuk kedalam rating P (Partially Archieved). Rekomendasi menuju Level 2 pada proses area: Test Policy and Strategy, Test Planning, Test Design and Execution. Rekomendasi menuju Level 3 diberikan pada proses area Test Program Training

• 5.     Kesimpulan

Kesimpulan yang didapat dari penelitian dengan menggunakan CMMI dan TMMi yaitu dapat diketahui letak tingkat kematangan terhadap proses pembuatan serta proses pengujian aplikasi yang dilakukan oleh 11 start up IT. Hasil yang didapat dengan menggunakan metode CMMI yaitu 11 team start up masih berada pada maturity level 2 Managed. Proses yang tercapai diantaranya REQM (6 team), PP (4 team), PMC (6 team), SAM (1 team), PPQA (5 team) dan CM (2 team). Hasil yang didapat dengan menggunakan metode TMMi, pada proses pengujian dari 11 start up yaitu terdapat 6 team berada pada level 3, 3 team berada pada level 2 dan 2 team berada pada level 1.

Daftar Pustaka

• [1]    Perdani, Maria D.K., Widyawan, & Paulus I.P. (2018). Faktor-Faktor yang Mempengaruhi Pertumbuhan Startup Di Yogyakarta, Seminar Nasional Teknologi Informasi dan Komunikasi 2018 (SENTIKA 2018).

• [2]    Aptika, Puslitbang & IKP, Balitbang SDM, & Incubie IPB. (n.d.). Faktor Kesuksesan dan Kegagalan Inkubator Bidang ICT Penelitian Joint Research. KOMINFO. Retrieved May 25, 2017,                                                                            from

https://balitbangsdm.kominfo.go.id/?mod=publikasi&a=dl&page_id=204&cid=29&download_i d=148

• [3]    Satrio, S. and G. F. Lumban (2014). Measurement of Capability Maturity Model Integration Implementation Impact for Application Development Process Improvement in Telkomsigma. International Journal of Software Engineering and Its Applications, Vol 8.

• [4]    Sudarsanam. (2013). Software Test Process Assessment Methodology. Journal of Engineering, Computers & Applied Sciences (JEC&AS), ISSN No: 2319-5606 Volume 2, No.6

• [5]    Widodo, W. (2016). Evaluasi Proses Pengembangan Perangkat Lunak Pada Virtual Team

Development Menggunakan CMMI Versi 1.3. Journal Informatika, Vol 10.

• [6]    Hanief, Shofwan. (2013). Audit TI untuk Menemukan Pola Best Practice Pengelolaan TI pada Perbankan (Studi Kasus PT. Bank Syariah Mandiri Cabang Denpasar). Lontar Komputer Vol. 4, no. 2

• [7]    Ambara Putra, I Putu Ade., Sukarsa, I Made., Agung Bayupati, I Putu. 2015. Audit Ti Kinerja Manajemen Pt. X Dengan Frame Work Cobit 4.1. Lontar Komputer, Vol.6,No.1

• [8]    Dian Sasmita Ratih, Gusti Ayu., Agung Bayupati, I Putu., Sukarsa, I Made.2014. Measuring the Performance of IT Management in Financial Enterprise by Using COBIT. International Journal Information Engineering and Electronic Business, 2014, 1, 15-24

• [9]    Yucalar, Fatih, Senol Zafer Erdogan. (2009). A Questionnaire Based Method For Cmmi Level 2 Maturity Assessment. Journal Of Aeronautics And Space Technologies, Volume 4, Number 2.

• [10]    TMMI Foundation. (2012). TMMi Assessment Method Application Requirements (TAMAR) Release 1.0. TMMi Foundation.

• [11]    Hakim, A. B. (2015). Penerapan CMMI Pada Perusahaan Kecil: Studi Kasus PT. Logix System Technology. STIMIK ESQ, Volume 1, Nomor 1.

• [12]    Tama, B. A. and I. Silanegara (2009). Strategi Pemilihan Kontraktor Perangkat Lunak dengan Memanfaatkan Pengetahuan Terhadap Capability Maturity Model Integration For Development (CMMI For Dev). Jurnal Sistem Informasi (JSI), Vol 1.

• [13]    Kausatria. (2011). Penilaian Tingkat Kematangan Tiga Proses Area Level 2 CMMI Versi 1.2 pada Small Independent Software Vendor Di Indonesia (Studi Kasus: Inovasia). Widyariset, Vol. 14 No.3

• [14]    Bharaditya, I Wayan P., Sukarsa, I Made., Wira Buana, Putu. 2017. Internal Control Improvement for Creating Good Governance. International Journal Information Engineering and Electronic Business, 2017, 3, 9-17.

Mengetahui Tingkat Kematangan Aplikasi pada Start up IT Menggunakan Metode CMMI    11

dan TMMi (Desak Made Novita)