Istilah pilot study atau studi pilot bisa memiliki dua pengertian yang berbeda di dalam penelitian ilmu ssosial. Pertama, studi pilot bisa diartikan sebagai studi kelayakan (feasibility study). Dalam pengertian ini, studi pilot adalah merupakan sebuah versi kecil dari sebuah penelitian atau suatu percobaan (trial run), yang dilaksanakan sebagai persiapan bagi studi yang lebih besar.

Kedua, studi pilot juga bisa merupakan sebuah pengujian awal atau upaya coba-coba atas instrumen penelitian.

Keuntungan dari pelaksanaan uji pilot ini ada beberapa, di antaranya:

• memberi peringatan lebih awal tentang di mana kemungkinan penelitian utama akan gagal,
• menjadi petunjuk kepada peneliti pada bagian mana protokol akan gagal dijalankan, 
• memastikan apakah metoda atau instrumen yang diusulkan atau direncanakan oleh peneliti cukup baik, sederhana, pantas ataukah terlalu rumit.

Dari pengalaman pribadi dalam melakukan eksperimen, menurut pendapat saya kedua definisi di atas sangat tepat. Kami pernah melakukan eksperimen berbasis komputer. Eksperimen tersebut harus dijalankan dengan sebuah program komputer yang dibuat atas pesanan (tailor-made). Ketika programer telah menyelesaikan program permainan yang kami pesan, kami tidak langsung melaksana uji pilot menggunakan subjek. Saya dan tim melakukan pengujian instrumen tersebut menggunakan beberapa komputer di dalam jaringan. Tujuan kami yang pertama adalah memastikan bahwa program tersebut telah mencakup semua desain yang direncanakan. Misalnya, kami memastikan bahwa setiap subjek bisa login secara bersamaan, bisa mendapatkan identitas mereka, dan bisa mengetahui kinerja mereka selama permainan. Selain itu kami juga memastikan bahwa program tersebut tidak berjalan dengan tersendat-sendat sehingga bisa menyebabkan subjek menjadi bosan, marah, dan ingin keluar dari permainan. Kami juga memastikan apakah program tersebut tidak terbebani sehingga menjadi ngadat atau bahkan mati sama-sekali ketika semua subjek yang direncanakan melakukan permainan secara serentak. Terakhir, yang paling penting adalah memastikan bahwa data dari permainan tersebut terekam di dalam server.

Pengujian seperti di atas kami lakukan berkali-kali. Setiap kali kami menemukan masalah, maka kami harus memperbaikinya dan mengujinya lagi. Demikian seterusnya hingga tidak ada lagi masalah yang kami temukan pada program tersebut, baik dari sisi berjalanannya sistem maupun dari sisi rencana atau desain eksperimen. Selama pengujian ini beberapa kali kami harus menyederhanakan permainan, mengubah aturan, atau menambah aturan baru, selama tidak menyimpang dari tujuan penelitian.

Jadi prosedur yang kami lakukan di atas sesuai dengan definisi uji pilot yang pertama.

Setelah yakin dengan jalannya program komputer dan semua aturan permainan yang belum diakomodasi di dalam program komputer tersebut, baru kami melakukan pengujian menggunakan subjek. Subjek yang kami pilih juga adalah subjek yang mendekati atau sama dengan subjek yang nanti menjadi target penelitian utama.

Di dalam tahap ini, kami sudah melaksanakan secara ketat semua protokol eksperimen. Misalnya, sebagai peneliti saya tidak terlibat di dalam eksperimen dan menyerahkan semua pelaksanaan kepada eksperimenter asisten. Tujuannya adalah agar eksperimen tersebut bersifat double-blind, yang mana baik eksperimenter asisten dan subjek sama-sama tidak tahu hipotesis penelitian. Contoh lain, setiap peserta duduk di komputer setelah mereka diundi. Identitas yang mereka dapatkan pun adalah hasil undian (karena mereka akan berkompetisi dengan subjek yang lain). Kalimat sapaan dan instruksi serta aturan lain juga dibakukan. Jadi, bisa dikatakan bahwa pada tahap uji pilot ini, kami telah melaksanakan penelitian utama, namun dengan skala yang lebih kecil.

Mengenai skala yang lebih kecil ini, kami menggunakan jumlah subjek yang lebih kecil dibandingkan dengan yang direncanakan. Misalnya, jika di eksperimen utama kami merencanakan 40 subjek, maka di uji pilot ini kami hanya menggunakan 10-15 subjek. Kedua, jika di dalam eksperimen utama kami menggunakan 30 kali transaksi, maka di dalam pengujian ini kami hanya menggunakan 10 transaksi. Namun, walau menggunakan transaksi yang lebih sedikit, kami tetap memasukkan semua perintah, instruksi, atau aturan permainan seperti jika eksperimen utama dilakukan.

Setelah pengujian ini kami laksanakan, kami bersama tim kemudian mengevaluasi hasil pengujian ini. Jika kami menyadari bahwa ada protokol yang tidak benar, maka kami harus mencatat hal tersebut. Seandainya disimpulkan bahwa kesalahan protokol tersebut bisa mempengaruhi hasil atau simpulan, maka bisa jadi pengujian pilot harus diulang kembali. Sebagai contoh, pada pengujian pilot pertama kami membiarkan subjek untuk memilih komputer yang ia sukai. Seandainya ia datang bersama dengan satu atau lebih temannya, maka ada kemungkinan bahwa mereka akan duduk berdekatan. Jika kedekatan posisi mereka tersebut dianggap akan mempengaruhi hasil, misalnya karena 5 orang wanita yang datang bersamaan duduk di kelompok yang sama dan 5 orang pria yang datang belakangan juga duduk di kelompok yang lain, sementara kedua kelompok harus bertransaksi, maka simpulan bisa menjadi bias terhadap gender subjek. Jadi, pengaturan secara acak menggunakan undian mungkin harus dilaksanakan.

Sebagian orang mungkin akan berpendapat bahwa jika kasusnya hanya satu dan seperti di atas, maka pengujian pilot ulang mungkin tidak mendesak untuk dilaksanakan. Namun, ada kalanya bukan hanya satu protokol yang lemah atau tidak terlaksana. Misalnya, peneliti lupa memberitahu bahwa subjek dengan kinerja tertinggi akan mendapat imbalan tambahan, selain imbalan yang telah didapatnya. Pemberitahuan ini mungkin akan membuat suasana kompetisi antar peserta menjadi lebih tinggi dibandingkan jika pemberitahuan ini tidak ada. Satu atau dua protokol lain mungkin juga tidak terlaksana pada pengujian pertama dan dari para peneliti menduga bahwa simpulan penelitian akan terpengaruh jika protokol-protokol tersebut dijalankan. Artinya, pengujian pilot bisa jadi harus kembali dilaksanakan.

Kalau kita simpulkan, pengujian pilot adalah sebuah tahap yang sangat penting di dalam sebuah penelitian sosial, terutama penelitian dengan desain eksperimen maupun survei. Sebagai catatan, pengujian pilot juga sangat disarankan untuk penelitian survei yang baik yang menggunakan kuesioner maupun yang tidak.



18 Juni 2014



Sumber:
Edwin R. van Teijlingen & Vanora Hundley, 2001. The importance of pilot study. Social Research Update, UK.

Label: eksperimen, metoda penelitian, pilot study, survei