Hanya sedikit hal yang bisa menggagalkan sebuah proyek lebih cepat daripada tim yang sepenuhnya mengandalkan tebakan dan insting. Tidak masalah apakah Anda punya tim yang melakukan riset pasar untuk produk baru atau Anda adalah sekolah atau lembaga pemerintah yang menyusun kebijakan baru — jika Anda tidak memiliki data yang kuat, setiap keputusan yang Anda ambil bisa berakhir jauh lebih mahal daripada yang pernah Anda bayangkan.
Penelitian evaluasi adalah cara organisasi menghindari kesalahan yang memalukan dan sebenarnya sepenuhnya dapat dicegah. Anda menggunakan berbagai metode untuk mengumpulkan dan menilai informasi yang dapat membantu Anda menjawab pertanyaan tentang suatu produk, program, proses, atau pengalaman pengguna.
Ini terdengar memakan waktu, dan memang bisa demikian, tetapi juga bisa sangat berharga. Menurut Qualtrics, terlalu banyak tim riset yang sudah mencoba mengambil jalan pintas. Sekitar 95 persen peneliti kini menggunakan alat AI secara rutin atau sedang bereksperimen dengannya. NORC juga membagikan presentasi industri tahun 2026 yang mengklaim bahwa 40 persen wawancara nonprobabilitas pada tahun 2025 kemungkinan besar adalah penipuan.
Memutuskan untuk mengumpulkan umpan balik dengan cepat selalu bermanfaat, tetapi umpan balik yang buruk hanya mengarahkan Anda ke arah yang salah lebih cepat. Di sinilah penelitian evaluasi berperan.
Apa itu penelitian evaluasi?
Jadi, apa tujuan dari penelitian evaluasi?
Metode penelitian evaluasi memberi tim cara untuk mengumpulkan bukti tentang efektivitas dan nilai dari program, produk, atau kebijakan. Hal ini membantu menentukan apakah solusi yang Anda perkenalkan ke dunia telah memenuhi tujuan yang tepat atau justru menimbulkan konsekuensi yang tidak diinginkan.
Meskipun ini terdengar sangat mirip dengan proses ilmiah yang sebagian besar digunakan oleh lembaga pemerintah atau tim kesehatan, sebenarnya ini adalah strategi pengumpulan data yang cukup umum untuk banyak kasus penggunaan. Organisasi dapat menggunakan penelitian evaluasi untuk hal-hal seperti peluncuran produk, program pelatihan, proyek nirlaba, proses internal baru, alat AI, atau alur onboarding.
Pekerjaan ini dirancang secara langsung, dengan fokus pada pertanyaan-pertanyaan yang benar-benar penting, seperti
- Apakah berhasil?
- Untuk kelompok mana hal itu berhasil?
- Berapa biayanya?
- Apa yang tidak berjalan dengan baik?
- Apakah ada sesuatu yang perlu diubah?
Menjawab pertanyaan-pertanyaan tersebut sejak dini dapat menghemat banyak sumber daya perusahaan, terutama saat mereka menyusun roadmap produk atau merancang proses baru yang berdampak pada banyak orang. Anda bisa dengan cepat mengetahui apakah apa pun yang sedang Anda kerjakan sepadan dengan waktu, uang, dan upaya yang benar-benar dikeluarkan untuknya. Dan setelah Anda mengetahuinya, Anda dapat mengambil keputusan yang lebih tepat tentang apakah Anda harus melanjutkan, memperbaiki langkah berikutnya, mengubah audiens, atau bahkan menghentikannya sama sekali.
Kasus penggunaan penelitian evaluasi yang umum di dunia nyata
Kami telah menyebutkan yang paling jelas: pengembangan produk. Tidak ada perusahaan yang seharusnya terus membangun produk yang tidak akan dibayar oleh pelanggan mana pun, atau yang sebenarnya tidak pernah memberikan apa yang diharapkan. Namun, metode penelitian evaluasi juga dapat membantu memberikan wawasan tentang
- Pengalaman pengguna (UX) dan kegunaan: Jika tim produk benar-benar dapat melihat kapan pelanggan mengalami kesulitan saat checkout, atau menyerah pada sebuah aplikasi, mereka dapat menggunakan wawasan UX tersebut untuk memperbaiki masalah sebelum menskalakannya ke kelompok yang lebih besar.
- Pelatihan karyawan: Dengan penelitian evaluasi, perusahaan dapat membandingkan skor sebelum dan sesudah pelatihan, meninjau umpan balik karyawan, dan membuat perubahan pada pelatihan yang benar-benar meningkatkan perilaku.
- Program kesehatan masyarakat: Sebuah klinik dapat menguji apakah pesan teks pengingat meningkatkan kehadiran janji temu bagi pasien yang paling mungkin melewatkan perawatan.
- Program sosial: Sebuah organisasi nirlaba dapat memeriksa apakah program kesiapan kerja menghasilkan wawancara, penempatan, atau retensi yang lebih baik, alih-alih hanya berhenti pada angka kehadiran.
- Alur kerja AI: Tim dukungan dapat mengukur apakah alat triase AI mengurangi tumpukan pekerjaan tanpa mengirim masalah mendesak ke antrean yang salah.
Kapan sebaiknya Anda melakukan penelitian evaluasi?
Penelitian evaluasi bermanfaat untuk produk, program, atau strategi apa pun yang akan beralih dari tahap ide awal menuju sesuatu yang benar-benar digunakan orang. Anda menggunakannya sepanjang siklus hidup proyek atau program.
Anda memulai dengan penelitian formatif — mirip dengan jenis riset pasar yang Anda lakukan sebelum membangun produk atau bisnis baru. Kemudian, di tengah jalan, Anda mengevaluasi prosesnya untuk melihat apakah segala sesuatunya diterapkan dengan benar, dan mengatasi tantangan yang belum Anda pikirkan sebelumnya. Di akhir proyek, Anda mengukur dampak akhir dan melihat apakah Anda benar-benar mencapai apa pun yang ingin Anda capai.
Metode penelitian evaluasi sangat ideal ketika Anda akan menambahkan fitur baru ke roadmap produk, membuat perubahan pada UX, atau memberikan program pelatihan. Anda juga dapat menggunakannya ketika Anda mencoba mengumpulkan bukti untuk investor sebelum mereka memberi Anda pendanaan.
Banyak perusahaan sebenarnya juga mulai menggunakan penelitian evaluasi untuk strategi AI. Pemerintah Inggris bahkan menyatakan bahwa intervensi AI harus diukur terhadap kondisi saat ini dan dinilai melalui pertanyaan proses, dampak, dan nilai dari uang yang dikeluarkan.
Apa saja jenis-jenis penelitian evaluasi?
Kami telah menyinggung hal ini secara singkat, tetapi empat jenis utama penelitian evaluasi adalah evaluasi formatif, sumatif, proses, dan hasil.
| Type | When to use it | Purpose |
|---|---|---|
|
Penelitian evaluasi formatif |
Sebelum peluncuran atau pengujian awal |
Perbaiki titik lemah sebelum menjadi mahal |
|
Penelitian evaluasi sumatif |
Setelah proyek berakhir |
Putuskan apakah pekerjaan layak mendapat dukungan lebih |
|
Penelitian evaluasi proses |
Selama pelaksanaan |
Lihat apakah pekerjaan berjalan sesuai rencana |
|
Penelitian evaluasi hasil |
Setelah hasil muncul |
Ukur apa yang berubah bagi audiens |
Penelitian evaluasi formatif adalah investigasi tahap awal, dan merupakan jenis yang paling sering tergoda untuk dilewati oleh banyak perusahaan. Ini dilakukan selama pengembangan suatu program atau produk. Inti dari semuanya adalah mengidentifikasi area yang perlu ditingkatkan dan diharapkan dapat membuat perubahan positif pada program sebelum diluncurkan.
Penelitian evaluasi sumatif dilakukan ketika proyek berakhir, dan melihat pertanyaan-pertanyaan utama, seperti apakah inisiatif tersebut mencapai tujuannya. Bagi perusahaan yang menguji suatu produk, misalnya, itu mungkin berarti melihat apakah orang-orang benar-benar menggunakan produk tersebut, dan apakah produk itu memberikan manfaat yang dijanjikan perusahaan.
Evaluasi proses melihat pelaksanaan proyek. Misalnya, jika sebuah klinik memutuskan untuk mengotomatiskan pesan teks pengingat bagi pasien untuk mengurangi ketidakhadiran, mereka perlu melihat apakah pesan teks dikirim pada waktu yang tepat, apakah pesan tersebut masuk ke kotak masuk, apakah sesuai dengan standar layanan kesehatan, dan apakah nomor teleponnya benar.
Terakhir, evaluasi hasil melihat apa yang terjadi sebagai akibat dari berfungsinya proyek atau proses tersebut. Bagi tim SDM, itu bisa berarti retensi meningkat. Bagi sebuah klinik, lebih sedikit orang yang melewatkan janji temu. Bagi tim pelatihan, kinerja sehari-hari menjadi lebih baik. Apa pun tujuannya, evaluasi hasil memberi tahu Anda apakah pekerjaan itu sepadan untuk dilakukan.
Metode utama penelitian evaluasi
Dua jenis utama penelitian evaluasi sama dengan jenis yang akan Anda lihat pada hampir semua bentuk penelitian: kuantitatif dan kualitatif. Yang pertama melihat angka, dan yang kedua melihat makna dan pemikiran di balik angka-angka tersebut.
Penelitian evaluasi kuantitatif
Penelitian evaluasi kuantitatif adalah opsi yang berfokus pada angka. Anda mengajukan pertanyaan yang dirancang untuk mendapatkan angka nyata dari responden. Tergantung pada apa yang Anda analisis, Anda mungkin mencari biaya, tingkat penyelesaian, skor pelatihan, peringkat kepuasan, waktu yang dihemat dalam satuan jam, tingkat adopsi, atau jumlah kesalahan. Yang Anda dapatkan adalah sesuatu yang sangat mudah ditampilkan dalam sebuah dasbor.
Sekilas, penelitian kuantitatif dapat dengan sangat cepat memberi tahu Anda apakah alur onboarding baru benar-benar meningkatkan aktivasi, apakah AI dukungan mengurangi tumpukan tiket, atau apakah program pelatihan meningkatkan skor tes. Meski begitu, ini hanya dapat diandalkan ketika datanya bersih. Jika sampelnya buruk atau pertanyaannya mengarahkan, Anda akan berakhir dengan angka yang salah.
Penelitian evaluasi kualitatif
Penelitian evaluasi kualitatif melihat lebih dalam, melampaui angka. Dibutuhkan lebih banyak usaha untuk mengumpulkannya, meskipun ada banyak alat survei untuk penelitian yang dapat membantu.
Untuk wawasan kualitatif, Anda menjalankan wawancara, mengirimkan formulir dengan pertanyaan survei terbuka, mengelola kelompok fokus, dan mengumpulkan observasi atau komentar pengguna. Alih-alih hanya bertanya “berapa banyak orang yang menggunakan ini,” Anda mengajukan pertanyaan seperti, “apa yang mereka rasakan saat menggunakannya?” atau “di mana mereka mengalami kesulitan, dan mengapa?”
Pertanyaan survei produk yang terfokus dapat memberi tahu perusahaan jauh lebih banyak tentang apa yang benar-benar dibutuhkan pelanggan mereka dibandingkan skor kepuasan standar. Namun, sekali lagi, Anda perlu berhati-hati agar tidak secara tidak sengaja mengarahkan responden ke jawaban tertentu.
Apa saja langkah-langkah penelitian evaluasi?
Dengan penelitian evaluasi, jalur terbaik biasanya adalah memulai dari keputusan yang perlu Anda buat dan bekerja mundur.
- Tentukan tujuannya: Putuskan dengan tepat apa yang Anda nilai, berdasarkan keputusan yang perlu Anda buat. Misalnya, Anda mungkin sedang mencari tahu apakah onboarding untuk alat baru harus ditingkatkan sebelum dirilis ke publik.
- Putuskan siapa yang membutuhkan jawabannya: Cari tahu siapa yang perlu menggunakan temuan tersebut. Bisa jadi seorang pendiri, pemimpin produk, seluruh dewan, kepala departemen, atau mitra pendanaan. Orang yang berbeda akan membaca informasi dengan fokus tertentu dalam pikiran mereka.
- Tentukan jenis evaluasi: Pilih penelitian evaluasi formatif, sumatif, proses, atau hasil berdasarkan waktunya. Draf awal? Formatif. Uji coba yang sudah selesai? Sumatif. Peluncuran yang berantakan? Proses. Perubahan di dunia nyata? Hasil.
- Pilih metodenya: Gunakan pertanyaan kuantitatif ketika Anda membutuhkan jumlah, tingkat, skor, biaya, atau persentase. Gunakan pertanyaan kualitatif ketika Anda membutuhkan cerita di balik angka. Sebagian besar studi penelitian pada akhirnya menggabungkan keduanya.
- Bangun alat penelitian: Kumpulkan contoh pertanyaan survei dan rancang survei, panduan wawancara, penilaian, atau daftar periksa Anda juga. Pastikan setiap pertanyaan benar-benar akan membantu Anda semakin dekat untuk membuat keputusan.
- Kumpulkan datanya: Mulai mengumpulkan informasi. Jika Anda mengumpulkan data dengan survei, pastikan Anda mengirimkannya kepada audiens yang tepat, pada waktu yang sesuai, dan memberikan cukup waktu untuk benar-benar merespons.
- Baca temuannya: Menganalisis data survei terkadang bisa menjadi bagian yang paling sulit. Yang Anda cari adalah pola yang bermasalah. Apakah alat tersebut membantu pengguna baru tetapi mengganggu pengguna tingkat lanjut? Apakah pelatihan meningkatkan skor tanpa mengubah perilaku? Apakah program menjangkau audiens yang paling mudah sambil melewatkan audiens yang dituju?
- Ambil keputusan: Terakhir, kirimkan informasi kepada orang yang tepat, dalam format yang tepat (tayangan slide, PowerPoint, grafik visual). Lalu gunakan informasi tersebut untuk membuat keputusan Anda.
Bagaimana cara mengumpulkan data untuk penelitian evaluasi?
Ada banyak cara untuk mengumpulkan data untuk penelitian evaluasi; beberapa orang bahkan menggunakan AI untuk membantu mempercepat prosesnya. Metode penelitian evaluasi yang Anda gunakan benar-benar bergantung pada data yang ingin Anda peroleh pada akhirnya.
Opsi yang umum meliputi
- Survei dan kuesioner: Membuat survei adalah salah satu cara termudah untuk mengumpulkan data kuantitatif dan kualitatif dengan cepat. Anda dapat mengirimkan survei kepada orang-orang secara online, dan menggabungkan pertanyaan dengan skala peringkat, opsi pilihan ganda, dan beberapa pertanyaan terbuka.
- Wawancara: Wawancara membutuhkan lebih banyak waktu, tetapi jika Anda bisa mendapatkan seseorang yang berharga untuk menyetujuinya, mereka dapat memberi Anda kedalaman kualitatif yang jauh lebih banyak yang dapat Anda gunakan untuk membuat keputusan cerdas. Baik Anda menggunakan wawancara terstruktur atau semi-terstruktur, tentukan pertanyaan-pertanyaan penting terlebih dahulu — dan patuhi pertanyaan tersebut.
- Tinjauan dokumen dan catatan: Catatan yang ada mungkin menyembunyikan lebih banyak informasi daripada yang Anda ketahui. Tiket dukungan, catatan pengembalian dana, bidang CRM, catatan kehadiran, skor pelatihan, analisis produk, email keluhan, transkrip panggilan, dan data janji temu semuanya dapat mengungkapkan pola yang jika tidak akan luput dari perhatian.
- Kelompok fokus: Kelompok fokus adalah versi wawancara yang lebih sosial. Mereka berguna untuk program komunitas, konsep produk, pesan kesehatan masyarakat, materi pelatihan, dan perubahan layanan di mana bahasa memiliki bobot yang besar.
- Tes dan penilaian: Tes tepat untuk keterampilan, pengetahuan, atau kinerja tugas. Gunakan untuk program pelatihan, alur onboarding, tugas prototipe, persiapan sertifikasi, atau perubahan proses di mana orang perlu membuktikan bahwa mereka dapat melakukan sesuatu.
Ingat, alat sering kali sangat membantu di sini. Jotform adalah salah satu alat survei terbaik yang dapat digunakan tim untuk mengumpulkan data untuk penelitian evaluasi. Dengan pembuat survei tanpa kode, siapa pun dapat membuat formulir khusus yang menggabungkan berbagai jenis pertanyaan, memberi Anda umpan balik yang sangat mendalam.
Contoh pertanyaan penelitian evaluasi yang efektif
Menyusun pertanyaan yang tepat untuk diajukan biasanya merupakan salah satu bagian yang lebih sulit dalam melakukan penelitian. Sebelum Anda mulai menulis pertanyaan penelitian, hal yang paling berharga untuk dilakukan adalah memikirkan dengan cermat keputusan yang ingin Anda buat dan apa yang perlu Anda nilai.
Berikut adalah gambarannya di beberapa area umum.
Produk dan pengalaman pengguna
Tim produk membutuhkan pertanyaan yang mengungkap hambatan. Jangan hanya menanyakan apakah pelanggan menyukai sesuatu — orang menyukai banyak hal yang tidak pernah mereka gunakan, tidak pernah mereka bayar, dan tidak pernah mereka rekomendasikan. Sebaliknya, gunakan pertanyaan seperti
- Berapa persentase pengguna pertama kali yang menyelesaikan penyiapan tanpa menghubungi dukungan?
- Langkah mana yang menyebabkan paling banyak penurunan selama onboarding?
- Berapa lama waktu yang dibutuhkan pengguna untuk menyelesaikan tugas utama?
- Bagian mana dari pengalaman yang terasa tidak jelas atau menjengkelkan?
- Fitur mana yang terasa cukup berguna untuk kembali digunakan?
- Apa yang akan membuat Anda berhenti menggunakan produk ini setelah minggu pertama?
Pelatihan dan program internal
Untuk pelatihan, lampaui ketergantungan pada sertifikasi dan tingkat penyelesaian. Ajukan pertanyaan seperti
- Berapa persentase peserta yang meningkatkan skor penilaian mereka setelah pelatihan?
- Berapa banyak peserta yang menggunakan proses baru dalam waktu 30 hari?
- Bagian mana dari pelatihan yang paling membantu Anda selama pekerjaan nyata?
- Apa yang masih terasa sulit untuk diterapkan tanpa bantuan?
- Apakah manajer memberi Anda cukup waktu atau dukungan untuk menggunakan apa yang Anda pelajari?
- Apakah perubahan kinerja sepadan dengan biaya program?
Kesehatan masyarakat dan program sosial
Sebuah kampanye kesehatan masyarakat, program komunitas, atau layanan nirlaba dapat terlihat berhasil padahal melewatkan orang-orang yang seharusnya dijangkau. Ajukan pertanyaan
- Berapa banyak orang dari kelompok sasaran yang berpartisipasi?
- Berapa persentase yang menyelesaikan seluruh program?
- Kelompok peserta mana yang mengalami peningkatan terbesar?
- Apa yang berubah dalam perilaku, pengetahuan, akses, atau kepercayaan diri?
- Apa yang membuat program lebih sulit digunakan daripada yang diharapkan?
- Apakah ada efek samping negatif yang tidak direncanakan oleh siapa pun?
Evaluasi formatif selama pengembangan
Pertanyaan formatif adalah pertanyaan yang harus diajukan tim sebelum pesta peluncuran, kampanye berbayar, atau peluncuran penuh. Gunakan pertanyaan seperti
- Berapa persentase penguji yang memahami proposisi nilai utama?
- Berapa banyak pengguna yang menyelesaikan tugas prototipe tanpa instruksi tambahan?
- Versi konsep mana yang berkinerja lebih baik dalam pengujian awal?
- Apa yang disalahpahami pengguna saat kontak pertama?
- Kekhawatiran apa yang akan menghentikan Anda untuk mencoba ini?
- Apa yang perlu diubah sebelum ini siap?
Perlu diingat bahwa Anda tidak perlu memulai dengan formulir kosong. Templat formulir evaluasi siap pakai dari Jotform memberikan dasar yang berguna untuk tim Anda. Anda dapat memulai dengan templat untuk kepuasan pelanggan, umpan balik produk, evaluasi pelatihan, evaluasi kursus, umpan balik acara, tinjauan implementasi, kinerja karyawan, dan kualitas layanan. Lalu, edit pertanyaannya hingga sesuai dengan keputusan yang sebenarnya ingin Anda buat.
Lakukan penelitian evaluasi Anda dengan Jotform
Jika Anda mulai berpikir bahwa sesi penelitian evaluasi akan bermanfaat bagi perusahaan Anda, memiliki teknologi yang tepat akan menghemat banyak waktu dan tenaga.
Jotform membantu dengan bagian-bagian rumit dalam mengumpulkan informasi. Misalnya, sebuah tim produk sedang menguji alur onboarding baru, sementara tim SDM sedang mengukur hasil pelatihan, dan sebuah organisasi layanan kesehatan sedang mengumpulkan umpan balik pasca-kunjungan. Ketiganya membutuhkan formulir yang berbeda, tetapi tidak satu pun dari mereka harus menunggu pengembang hanya untuk mengajukan pertanyaan yang lebih baik. Dengan pembuat formulir seret dan lepas dari Jotform, Anda dapat membuat survei, jajak pendapat, formulir umpan balik, penilaian, formulir pendaftaran, dan evaluasi program tanpa kode.
Logika kondisional juga sangat membantu. Artinya, jika seseorang mengatakan mereka meninggalkan checkout, mereka dapat melihat tindak lanjut tentang apa yang menghentikan mereka. Jika seorang peserta pelatihan mengatakan mereka tidak menggunakan proses baru, mereka dapat memperoleh pertanyaan tentang hambatan tersebut.
Anda juga dapat mengarahkan tanggapan ke Jotform Table, tempat tim Anda dapat mengurutkan kiriman, meninjau pola, dan menghasilkan laporan ringkasan visual alih-alih menyusun semuanya secara manual.
Untuk penelitian evaluasi yang sensitif, Jotform juga menawarkan formulir berkemampuan HIPAA dan dukungan kepatuhan GDPR.
Coba Jotform secara gratis untuk membuat survei evaluasi, mengumpulkan data yang lebih bersih, dan mengubah tanggapan menjadi keputusan yang benar-benar dapat dipertanggungjawabkan.
Pertanyaan umum tentang penelitian evaluasi
Empat jenis utamanya adalah penelitian evaluasi formatif, sumatif, proses, dan hasil. Pekerjaan formatif menangkap masalah selagi idenya masih lunak. Pekerjaan sumatif menilai sesuatu yang sudah selesai. Pekerjaan proses memeriksa apakah peluncuran berhasil. Pekerjaan hasil menanyakan apakah ada sesuatu yang berubah setelah orang menggunakannya.
Untuk mengetahui apakah suatu produk, program, atau proses mencapai tujuannya, dan apakah itu sepadan dengan energi, uang, dan sumber daya yang dikeluarkannya. Hal ini juga dapat membantu menangkap masalah tak terduga sejak dini jika Anda cermat dalam menggunakan strategi tersebut sepanjang siklus hidup proses secara penuh.
Artikel ini ditujukan untuk manajer produk, peneliti UX, pemasar, pendiri startup, dan tim bisnis yang ingin memahami bagaimana penelitian evaluasi membantu menilai produk, program, strategi, dan pengalaman pengguna.
Kirim Komentar: