Istilah pilot study atau studi pilot bisa memiliki dua pengertian yang berbeda di dalam penelitian ilmu ssosial. Pertama, studi pilot bisa diartikan sebagai studi kelayakan (feasibility study). Dalam pengertian ini, studi pilot adalah merupakan sebuah versi kecil dari sebuah penelitian atau suatu percobaan (trial run), yang dilaksanakan sebagai persiapan bagi studi yang lebih besar.

Kedua, studi pilot juga bisa merupakan sebuah pengujian awal atau upaya coba-coba atas instrumen penelitian.

Keuntungan dari pelaksanaan uji pilot ini ada beberapa, di antaranya:

• memberi peringatan lebih awal tentang di mana kemungkinan penelitian utama akan gagal,
• menjadi petunjuk kepada peneliti pada bagian mana protokol akan gagal dijalankan, 
• memastikan apakah metoda atau instrumen yang diusulkan atau direncanakan oleh peneliti cukup baik, sederhana, pantas ataukah terlalu rumit.

Dari pengalaman pribadi dalam melakukan eksperimen, menurut pendapat saya kedua definisi di atas sangat tepat. Kami pernah melakukan eksperimen berbasis komputer. Eksperimen tersebut harus dijalankan dengan sebuah program komputer yang dibuat atas pesanan (tailor-made). Ketika programer telah menyelesaikan program permainan yang kami pesan, kami tidak langsung melaksana uji pilot menggunakan subjek. Saya dan tim melakukan pengujian instrumen tersebut menggunakan beberapa komputer di dalam jaringan. Tujuan kami yang pertama adalah memastikan bahwa program tersebut telah mencakup semua desain yang direncanakan. Misalnya, kami memastikan bahwa setiap subjek bisa login secara bersamaan, bisa mendapatkan identitas mereka, dan bisa mengetahui kinerja mereka selama permainan. Selain itu kami juga memastikan bahwa program tersebut tidak berjalan dengan tersendat-sendat sehingga bisa menyebabkan subjek menjadi bosan, marah, dan ingin keluar dari permainan. Kami juga memastikan apakah program tersebut tidak terbebani sehingga menjadi ngadat atau bahkan mati sama-sekali ketika semua subjek yang direncanakan melakukan permainan secara serentak. Terakhir, yang paling penting adalah memastikan bahwa data dari permainan tersebut terekam di dalam server.

Pengujian seperti di atas kami lakukan berkali-kali. Setiap kali kami menemukan masalah, maka kami harus memperbaikinya dan mengujinya lagi. Demikian seterusnya hingga tidak ada lagi masalah yang kami temukan pada program tersebut, baik dari sisi berjalanannya sistem maupun dari sisi rencana atau desain eksperimen. Selama pengujian ini beberapa kali kami harus menyederhanakan permainan, mengubah aturan, atau menambah aturan baru, selama tidak menyimpang dari tujuan penelitian.

Jadi prosedur yang kami lakukan di atas sesuai dengan definisi uji pilot yang pertama.

Setelah yakin dengan jalannya program komputer dan semua aturan permainan yang belum diakomodasi di dalam program komputer tersebut, baru kami melakukan pengujian menggunakan subjek. Subjek yang kami pilih juga adalah subjek yang mendekati atau sama dengan subjek yang nanti menjadi target penelitian utama.

Di dalam tahap ini, kami sudah melaksanakan secara ketat semua protokol eksperimen. Misalnya, sebagai peneliti saya tidak terlibat di dalam eksperimen dan menyerahkan semua pelaksanaan kepada eksperimenter asisten. Tujuannya adalah agar eksperimen tersebut bersifat double-blind, yang mana baik eksperimenter asisten dan subjek sama-sama tidak tahu hipotesis penelitian. Contoh lain, setiap peserta duduk di komputer setelah mereka diundi. Identitas yang mereka dapatkan pun adalah hasil undian (karena mereka akan berkompetisi dengan subjek yang lain). Kalimat sapaan dan instruksi serta aturan lain juga dibakukan. Jadi, bisa dikatakan bahwa pada tahap uji pilot ini, kami telah melaksanakan penelitian utama, namun dengan skala yang lebih kecil.

Mengenai skala yang lebih kecil ini, kami menggunakan jumlah subjek yang lebih kecil dibandingkan dengan yang direncanakan. Misalnya, jika di eksperimen utama kami merencanakan 40 subjek, maka di uji pilot ini kami hanya menggunakan 10-15 subjek. Kedua, jika di dalam eksperimen utama kami menggunakan 30 kali transaksi, maka di dalam pengujian ini kami hanya menggunakan 10 transaksi. Namun, walau menggunakan transaksi yang lebih sedikit, kami tetap memasukkan semua perintah, instruksi, atau aturan permainan seperti jika eksperimen utama dilakukan.

Setelah pengujian ini kami laksanakan, kami bersama tim kemudian mengevaluasi hasil pengujian ini. Jika kami menyadari bahwa ada protokol yang tidak benar, maka kami harus mencatat hal tersebut. Seandainya disimpulkan bahwa kesalahan protokol tersebut bisa mempengaruhi hasil atau simpulan, maka bisa jadi pengujian pilot harus diulang kembali. Sebagai contoh, pada pengujian pilot pertama kami membiarkan subjek untuk memilih komputer yang ia sukai. Seandainya ia datang bersama dengan satu atau lebih temannya, maka ada kemungkinan bahwa mereka akan duduk berdekatan. Jika kedekatan posisi mereka tersebut dianggap akan mempengaruhi hasil, misalnya karena 5 orang wanita yang datang bersamaan duduk di kelompok yang sama dan 5 orang pria yang datang belakangan juga duduk di kelompok yang lain, sementara kedua kelompok harus bertransaksi, maka simpulan bisa menjadi bias terhadap gender subjek. Jadi, pengaturan secara acak menggunakan undian mungkin harus dilaksanakan.

Sebagian orang mungkin akan berpendapat bahwa jika kasusnya hanya satu dan seperti di atas, maka pengujian pilot ulang mungkin tidak mendesak untuk dilaksanakan. Namun, ada kalanya bukan hanya satu protokol yang lemah atau tidak terlaksana. Misalnya, peneliti lupa memberitahu bahwa subjek dengan kinerja tertinggi akan mendapat imbalan tambahan, selain imbalan yang telah didapatnya. Pemberitahuan ini mungkin akan membuat suasana kompetisi antar peserta menjadi lebih tinggi dibandingkan jika pemberitahuan ini tidak ada. Satu atau dua protokol lain mungkin juga tidak terlaksana pada pengujian pertama dan dari para peneliti menduga bahwa simpulan penelitian akan terpengaruh jika protokol-protokol tersebut dijalankan. Artinya, pengujian pilot bisa jadi harus kembali dilaksanakan.

Kalau kita simpulkan, pengujian pilot adalah sebuah tahap yang sangat penting di dalam sebuah penelitian sosial, terutama penelitian dengan desain eksperimen maupun survei. Sebagai catatan, pengujian pilot juga sangat disarankan untuk penelitian survei yang baik yang menggunakan kuesioner maupun yang tidak.



18 Juni 2014



Sumber:
Edwin R. van Teijlingen & Vanora Hundley, 2001. The importance of pilot study. Social Research Update, UK.

Label: eksperimen, metoda penelitian, pilot study, survei

Pernah mendengar nama sambalado, atau sambal dalam bahasa Indonesia, sambalado biru? Saya yakin hanya segelintir orang yang tahu dengan sambal jenis ini atau berwarna ini. Sebagian besar yang lain tidak akan percaya bahwa ada nama sambal dengan warna biru karena cabe hanya memiliki dua warna: hijau dan merah.

Namun, yakinlah bahwa sambal jenis ini ada dan sebagian masyarakat Payakumbuh, terutama, setahu saya, yang tinggal atau berasal dari Kenagarian Tujuah Koto Talago (dan mungkin saja di beberapa kenagarian yang lain) tahu dengan sambal ini. 

Tampilan sambal itu kurang-lebih seperti gambar di bawah ini--walau, jujur nih, wujudnya tidak seperti ini, setidaknya yang lekat di benak saya! Nanti kalau sudah terhidang di depan saya akan saya foto dan pajang.


Ya, sambalado biru itu tidak lain adalah sambal yang dibuat dari cabe hijau!

Mengapa disebut dengan sambalado biru? Apakah orang-orang Payakumbuh, khususnya kampung saya, buta warna, yang tidak bisa membedakan biru dengan hijau. Sama-sekali tidak demikian. Jika anda menanyakan resepnya kepada mereka, pasti mereka akan menyebutkan bahwa anda harus mencari cabe muda berwarna hijau, bukan biru. Jadi ini hanya masalah penamaan dan konsensusnya, terutama untuk sambal jenis ini.

Sekali lagi, masalah sambalado biru adalah konsensus persepsi masyarakat setempat. Artinya, setiap kali anda menanyakan kepada masyarakat setempat, mereka akan mengatakan bahwa namanya adalah sambalado biru.

Warna biru memiliki panjang gelombang antara 450-480 nm, sedangkan warna hijau memiliki panjang gelombang 480-560 nm. Jadi, ketika anda memikirkan atau membicarakan warna biru, maka warna yang anda pikirkan atau bicarakan itu adalah warna di antara rentang panjang gelombang 450-480 nm; sedangkan ketika anda memikirkan atau membicarakan warna hijau, maka ia adalah warna pada rentang 480-560 nm.


Kembali ke masalah "biru" pada sambal tadi, setiap kali masyarakat setempat anda tanyai dan mereka menjawab "biru", maka anda tahu bahwa ada perbedaan antara biru secara faktual (yaitu warna dengan panjang gelombang 480-560) dengan secara perseptual (yaitu warna dengan panjang gelombang 450-480 nm) masyarakat setempat. Jika anda melakukan belasan kali pengamatan, misalnya dengan menanyai selusin orang, dan mereka selalu menjawab "biru" untuk sambal berwarna hijau, maka anda akan menyimpulkan, berdasarkan sampel itu, bahwa ada ketidaktepatan jawaban dengan fakta. Dan, ketidaktepatan itu konsisten pada satu area.

Mari kita ibaratkan setiap observasi itu dengan sebuah tembakan dari sebuah senapan ke papan sasaran yang memiliki sasaran tembak berbentuk lingkaran kecil hingga besar, yang mana lingkaran terkecil adalah sasaran yang seharusnya dituju oleh senapan tersebut jika senapan itu bisa menembak sasaran dengan jitu, akurat. Jika senapan menembak di luar dari lingkaran terkecil itu, maka senapan itu dikatakan tidak akurat.

Jika jawaban "hijau" adalah wilayah di lingkaran paling kecil di tengah sasaran dan menggambarkan ketepatan persepsi hijau dengan fakta hijau, maka lingkaran yang lebih besar adalah simpangan dari jawaban hijau. Dalam kasus sambalado biru ini, kita mendapatkan konsistensi jawaban masyarakat setempat bahwa hijau disebut dengan biru: mereka konsisten menyebut sambalado hijau sebagai sambalado biru. Dalam diagram di bawah ini, pola jawaban tersebut adalah seperti pola tembakan yang ditunjukkan oleh gambar kanan atas. Sebanyak, kurang-lebih, 17 observasi konsisten berada di wilayah yang berdekatan, namun, kita tahu, mereka keliru karena tidak "menembak" ke lingkaran terkecil sasaran.

Seandainya pertanyaan yang sama diajukan ke wilayah yang lain, yang cukup jauh dari Payakumbuh, maka anda mungkin akan bisa berharap bahwa responden akan menjawab sambalado hijau itu adalah hijau, bukan biru. Dengan kata lain, kita bisa mendapatkan kesesuaian antara konsensus dengan fakta. Dalam diagram yang sama, peta jawaban itu adalah seperti pola tembakan di kanan bawah.



Di dalam konteks penelitian ilmiah, masalah "sambalado biru" ini dikenal dengan masalah validitas dan reliabilitas. Kata "valid" menurut definisi di thefreedictionary[dot]com "...is based on or borne out by truth or fact or has legal force". Sedangkan kata "reliable" adalah "...yielding the same or compatible results in different clinical experiments or statistical trials".

Dengan demikian, validitas berhubungan dengan ketepatan pengamatan atau observasi kita dengan fakta dari apa yang hendak kita amati. Pengamatan yang valid adalah, misalnya, jika seorang peneliti menggunakan satu metoda penelitian kepada berbagai responden, atau beberapa peneliti menggunakan berbagai metoda penelitian, mendapatkan respon bahwa gambar di atas adalah sambalado hijau atau sambal cabe hijau dan faktanya cabe yang digunakan memang cabe yang memiliki panjang gelombang 480-560 nm.

Sementara itu, reliabilitas (=andal) berhubungan dengan konsensus atau kesepakatan hasil observasi yang berulang-ulang. Makna konsensus tidak sekaligus berarti bahwa ia berhubungan dengan fakta, ia hanya berhubungan dengan kesamaan (atau kedekatan) hasil observasi. Contohnya, konsensus penamaan biru untuk hijau di atas. Atau jika kembali kepada gambar tembakan senapan di atas, adalah seperti gambar di kanan atas tersebut: senapan tersebut andal, namun gagal menembak sasaran.

Setiap peneliti harus menyadari bahwa setiap kali ia melakukan penelitian, mereka secara implisit sedang menguji reliabilitas dan validitas senapannya. Senapannya bisa saja menuju sasaran yang sama dengan yang dicapai oleh peneliti sebelumnya, atau tidak. Jika ia berhasil menembak sasaran yang sama dengan orang lain, tembakannya bisa jadi telah berhasil mengenai sasaran yang sesungguhnya (artinya senapannya sama validnya dengan senapan orang sebelumnya), yaitu gambar kanan bawah, sehingga hasil penelitiannya valid dan andal; atau ia hanya mengenai sasaran yang sama dengan orang yang sebelumnya, namun tidak mengenai sasaran yang sesungguhnya (artinya senapannya tidak valid, namun sama andal dengan senapan orang sebelumnya), yaitu gambar kanan atas.

Peneliti yang tidak berhati-hati memilih alat, model, atau metoda bisa terjebak membuat simpulan seakan-akan ia telah menemukan fakta atau kebenaran--padahal bukan--hanya karena ia mendapatkan simpulan yang sama dengan pengamatan atau observasinya yang lalu atau dengan observasi orang lain. Ia terjebak untuk menyimpulkan bahwa simpulannya valid dan bahwa ia berhasil mengamati fakta.

Contoh yang cukup mudah dicerna adalah fenomena melihat fatamorgana berupa genangan air di tengah padang pasir atau jalan raya di siang hari yang terik. Jika anda saat itu bersama dengan beberapa teman anda bisa melihat genangan air di depan anda, maka apakah berarti faktanya ada air? Bisa jadi ada air, bisa jadi tidak ada sama-sekali. Fakta bahwa anda sama-sama melihat air tidak berarti bahwa air itu ada. Pengamatan anda semua sama-sama andal, namun belum tentu valid.



Anda yakin pengamatan atau penelitian anda valid? Berhati-hatilah.



Pulau Lombok,  27 Agustus 2012

Sumber gambar dan informasi tambahan:
http://precisionconsultingcompany.com/designandco_144_la_0.jpg
http://img.inforesep.com/wp-content/uploads/2009/09/inforesep-sambal-hijau.jpg
http://www.edupaint.com/warna/ragam-warna/1639-intip-yuk-panjang-gelombang-dari-masing-masing-warna.html
http://www.langitberita.com/wp-content/uploads/2011/06/fata-morgana.jpg

Sebelum meneruskan tulisan ini, saya ingin mengatakan bahwa tulisan ini tidak membahas dengan lengkap dan rinci tentang pengukuran reaksi pasar dan cara mengukurnya. Tulisan ini hanya ingin menggambarkan secara ringkas bahwa volume perdagangan tidak sesuai untuk pengukuran reaksi pasar atau reaksi investor.

Return saham atau return abnormal atau return abnormal kumulatif lebih sesuai untuk mengukur reaksi investor terhadap sebuah berita atau peristiwa dibandingkan dengan volume perdagangan saham yang terjadi di sekitar peristiwa yang sedang diamati.

Contohnya adalah sebagai berikut.

Misalnya dari ketiga alternatif di atas, kita pilih perubahan harga (=return harga) dan volume perdagangan untuk contoh. Misalnya ada dua komoditas: beras dan mobil. Jika harga kedua barang tersebut turun, maka kita bisa perkirakan bahwa permintaan terhadap barang itu naik.

Misalkan harga beras turun dari Rp.10.000 per kilo menjadi Rp.7.000 per kilo dan harga mobil turun dari Rp.200 juta menjadi Rp.150 juta sebuah. Karena harga turun, maka permintaan naik dan jumlah yang terjual juga naik.

Perubahan harga beras adalah sebesar (7000 - 10000)/10000 atau 30%. Katakan terjadi peningkatan penjualan menjadi 1000 kg, maka volume perdagangan beras karena perubahan harga adalah Rp.7 juta rupiah.

Perubahan harga mobil adalah (150 - 200)/200 atau 25%. Katakan terjadi penjualan 2 unit mobil karena penurunan harga tersebut, sehingga volume perdagangan beras karena perubahan harga adalah Rp.300 juta.

Mari kita bandingkan persentase perubahan harga beras dan perubahan harga mobil: 30% banding 25%. Artinya, perubahan harga lebih tinggi pada beras daripada mobil.

Sebaliknya, volume perdagangan mobil jauh lebih besar daripada volume perdagangan beras: Rp.300 juta berbanding Rp.7 juta.

Jadi, dengan volume perdagangan kita hanya mengetahui besar transaksi yang terjadi. Perbedaan harga komoditas menutupi fakta bahwa reaksi orang lebih besar terhadap barang lain yang volume perdagangannya (dalam rupiah) lebih rendah. Oleh sebab itulah maka penggunaan volume perdagangan tidak digunakan (lagi) untuk mengukur reaksi pasar atau reaksi investor terhadap sebuah berita. Yang lebih baik mengukur reaksi atau persepsi adalah perubahan harga dan ukuran lain yang diturunkan darinya.


Sleman, May 2011

Di dalam dunia akademik, sangat mudah menemukan sebuah karya ilmiah yang ditulis oleh beberapa penulis. Mungkin bahkan lebih banyak paper yang ditulis oleh lebih daripada satu orang daripada hanya satu orang. Namun, penulis artikel ilmiah yang seorang diri tetap ada dan lazim.


Yang menjadi pertanyaan bagi sebagian orang adalah bagaimana tatacara pengurutan nama penulis pada sebuah karya ilmiah. Misalnya, jika ada dua orang penulis yang berkontribusi terhadap artikel ilmiah tersebut, siapa yang harus disebut pertama dan siapa yang harus disebut kedua, dan seterusnya jika ada lebih daripada satu atau lebih daripada dua orang penulis.


Setahu saya, jurnal menyerahkan kepada para penulis siapa yang harus disebutkan pertama, kedua, ketiga, dan seterusnya. Artinya, para penulis diminta untuk menentukan siapa yang akan disebut pertama dan siapa yang berikutnya.


Sebagai informasi, di dalam beberapa jurnal, ada ketentuan jika penulis lebih dari dua orang, maka hanya nama penulis yang pertama akan disebut sedangkan nama penulis kedua dan seterusnya hanya akan disingkat et al. atau dkk (dan kawan-kawan di dalam bahasa Indonesia). Artinya, jika suatu hari karya tersebut dikutip oleh orang lain, nama penulis yang akan disebut hanya nama penulis pertama. Misalnya paper yang ditulis Hamdi, Hasan, dan Husin hanya akan dikutip sebagai Hamdi et al. atau Hmadi dkk. Nama dua penulis lain tidak secara eksplisit dikutip.


Lain masalahnya jika penulis hanya ada dua orang. Jika hanya dua orang, maka nama kedua penulis akan disebut di dalam pengutipan karya tersebut. Misalnya, jika paper ditulis oleh Mahmud dan Masykur, maka pengutipan tetap Mahmud dan Masykur.


Kembali ke masalah di atas, siapa yang harus disebut lebih awal dan siapa yang harus disebut lebih akhir?


Jika kita berpijak pada azas kontribusi, maka penyebutan nama diurut dari besaran atau signifikansi kontribusi. Artinya, penulis yang disebut lebih awal berkontribusi lebih besar daripada penulis yang disebut setelahnya. Pemerintah Indonesia agaknya menganut azas ini, sehingga di dalam penghitungan angka kredit dosen atau peneliti, poin kredit yang diterima penulis pertama akan lebih tinggi daripada penulis setelahnya.


Sementara itu, di sebagian negara yang lain, prinsip penghitungan seperti itu tidak dipakai. Di sebagian besar jurnal akuntansi yang saya perhatikan, penyebutan nama penulis adalah secara alfabetis. Anda tahu siapa Ross L. Watts dan Jerold L. Zimmerman, tidak pernah akan menemukan nama Watts setelah nama Zimmerman, walaupun Zimmerman lebih tua dan senior daripada Watts. Penyebabnya, di negara lain, semua penulis dianggap berkontribusi setara, sehingga para penulis tidak terlalu peduli dengan urutan pertama atau kedua.


Saat ini di Indonesia telah secara regular diselenggarakan simposium, seminar, konferensi dan telah ada banyak jurnal yang bersedia menerbitkan paper ilmiah para dosen. Jadi, cukup mudah menemukan paper ilmiah di Indonesia saat ini karena banyak yang akan menampungnya.


Tulisan saya ini didasarkan kepada kejengkelan saya ketika beberapa kali menemukan artikel yang ditulis oleh beberapa orang namun dengan motivasi pencantuman nama yang tidak baik.


Di salah satu konferensi yang saya ikuti, saya menemukan sebuah paper yang ditulis oleh empat orang namun dengan kualitas penulisan yang buruk, banyak salah ketik, dan dengan abstrak yang ditulis oleh seseorang ber-TOEFL 300-an. Jika sebuah paper benar-benar hasil kontribusi empat orang penulis, maka saya yakin tidak sedemikian buruk kualitasnya. Investigasi saya kemudian menunjukkan bahwa tiga di antara penulis tersebut adalah dosen dan satu orang lagi adalah mahasiswa S1.


Si mahasiswa ini ditaruh di urutan ketiga. Saat membaca paper itu saya sangat yakin bahwa paper itu berasal dari skripsi si mahasiswa. Satu atau dua orang dosen yang lain bisa jadi adalah pembimbing skripsinya, namun jelas tidak demikian dengan dosen ketiga. Setahu saya tidak ada tiga orang pembimbing bagi sebuah skripsi, bahka disertasi pun tidak jarang hanya dibimbing oleh dua orang.


Melalui tulisan ini saya hendak memberitahu kepada mahasiswa bahwa ia berhak untuk ditaruh di posisi pertama dari urutan penulis. Adalah sebuah kebanggaan tersendiri jika nama anda disebut di dalam sebuah paper lain di dalam sebuah konferensi maupun tidak. Anda berhak karena anda yang memiliki ide, anda yang bersusah payah diminta untuk merumuskan ide anda, anda yang dihardik dosen, ditolak dosen ketika anda hendak menemuinya dan kalaupun diterima anda hanya diberi waktu 5 menit atau sambil berjalan, dan kemudian disuruh menambahi ini-itu sambil ia mencoreti draf skripsi anda. Oleh karena itu, apapun alasannya, kontribusi andalah yang terbesar.


Bagaimana jika kemudian skripsi itu diminta diterbitkan di jurnal atau konferensi dan si dosen tersebut yang merevisinya, apakah si dosen tidak berhak menjadi penulis pertama?


Jawaban saya, tetap TIDAK. Jurnal atau konferensi manapun selalu memberikan panduan penulisan naskah yang bisa anda penuhi dengan mudah. Anda tinggal mengedit, mengerat, atau menambahi sedikit, maka skripsi anda sudah bisa diterima di jurnal atau konferensi tersebut untuk diseleksi. Apakah pantas seorang dosen kemudian menjadi penulis pertama hanya karena ia memenceti tombol-tombol komputer satu malam saja  untuk sebuah karya yang telah anda tulis berbulan-bulan?


Jujur saya kecewa dengan paper yang saya temukan tadi dan kecewa kepada dosen yang mengangkangi mahasiswanya tersebut. Jika kita bisa meminta mahasiswa kita menulis paper, mengapa kita tidak bersedia meluangkan sedikit waktu untuk itu? Jika kita ingin mendidik mahasiswa untuk jujur, mengapa kita tidak memberi teladan lebih dulu?


Mahasiswa yang membaca tulisan ini dan merasa pernah atau sedang dibujuk oleh dosen anda untuk menyerahkan karya anda untuk sebuah konferensi atau jurnal, saatnya anda menolak bujukan tersebut. Dengan cara yang lebih halus anda bisa meminta agar anda sendiri yang mengedit karya anda tersebut dan mengirimkan sendiri karya tersebut. Jangan anda mau dibodohi dengan ditempatkan sebagai penulis kedua karena sesungguhnya tujuannya hanya agar ia dianggap sebagai penulis utama dan dengan demikian akan mendapat poin yang lebih tinggi. Ketika anda menyerahkan karya anda kepada orang lain untuk ia edit dan kirim, pada saat itu benalu lain akan ikut menumpang.


Saya bersyukur satu paper itu terperiksa oleh saya dan para penulis dengan bodohnya mengungkapkan diri mereka sehingga tiga batang benalu gagal menumpang hidup di dunia akademis Indonesia.




Sleman, 29 September 2010

Misalkan anda ingin tahu apakah sebuah program penurunan berat badan efektif atau tidak memotivasi seseorang untuk menurunkan berat badan. Pada program penurunan tersebut seorang subyek akan diminta untuk memberi penghargaan kepada dirinya sendiri (self-reward) jika ia bisa menurunkan berat badan, misalnya, 1 kg dalam dua pekan.


Untuk tujuan penelitian ini, anda memiliki 20 orang subyek yang gemuk. Ke-20 orang ini anda pisahkan menjadi dua: kelompok pertama adalah kelompok yang akan diberi penghargaan atas keberhasilannya menurunkan berat badan sesuai skedul. Sebagai kelompok kontrol adalah kelompok kedua yang tidak disuruh melakukan apapun ketika berat badannya turun.


Katakan studi anda dilakukan selama dua bulan dan evaluasi keefektifan program dilakukan setiap pekan. Oleh karena itu, jika program efektif, maka setiap pekan, secara rata-rata, subyek akan mengalami penurunan berat badan 0,5 kg. Untuk menentukan keefektifan program tersebut, maka anda harus menimbang berat badan subyek setelah program penurunan berat badan berjalan selama satu pekan.


Misalkan anda dapatkan rata-rata penurunan berat badan dari kelompok eksperimen--yaitu kelompok yang memberi penghargaan kepada dirinya sendiri--adalah 0,49 kg sedangkan dari kelompok kontrol--yaitu kelompok yang tidak diminta melakukan apapun jika berat badan mereka turun sesuai dengan target per pekan--adalah 0,37 kg. Untuk menentukan apakah program tersebut efektif atau tidak, anda bisa melakukan uji-t (t-test) dengan membandingkan rata-rata penurunan berat badan kelompok eksperimental dengan rata-rata penurunan berat badan kelompok kontrol.


Bagaimana jika anda memiliki tiga program penurunan berat badan yang lain: program yang meminta subyek untuk memberi hukuman kepada dirinya jika gagal mencapai target penurunan berat badan, program yang menggabungkan pemberian penghargaan jika berhasil dan pemberian hukuman jika gagal mencapai target penurunan berat badan, dan program yang hanya meminta subyek untuk memonitor, tanpa melakukan apapun, penurunan berat badan.


Jika anda ingin mengetahui apakah keefektifan satu program berbeda dari keefektifan program yang lain, anda bisa sebenarnya melakukan 10 kali uji-t terhadap kelima kelompok tersebut, yaitu uji beda rata-rata:
Kelompok 1 vs. Kelompok 2
Kelompok 1 vs. Kelompok 3
Kelompok 1 vs. Kelompok 4
Kelompok 1 vs. Kelompok 5
Kelompok 2 vs. Kelompok 3
Kelompok 2 vs. Kelompok 4
Kelompok 2 vs. Kelompok 5
Kelompok 3 vs. Kelompok 4
Kelompok 2 vs. Kelompok 5
Kelompok 4 vs. Kelompok 5


Namun, walaupun secara teknis anda bisa saja melakukan pengujian data dengan cara tersebut, analisis seperti ini bisa mendatangkan masalah yang serius. Jika peneliti menetapkan level alpha pada 5%, artinya si peneliti berani menanggung risiko kesalahan tipe I--yaitu secara keliru menolak H0--sebesar 5% untuk setiap pengujian yang ia lakukan. Jika hanya satu kali uji-t dilakukan, maka peluang kita untuk membuat kesalahan Tipe I tidak lebih daripada 5%. Masalahnya, bagaimana jika uji-t dilakukan sebanyak 10 kali atau 100 kali?


Walaupun peluang melakukan kesalahan Tipe I di setiap pengujian hanya 5%, namun kesalahan Tipe I secara keseluruhan meningkat sejalan dengan jumlah pengujian yang kita lakukan. Akibatnya, semakin banyak uji-t yang kita lakukan, semakin tinggi peluang bahwa satu atau lebih dari temuan kita yang signifika akan mencerminkan kesalahan Tipe I, dan akan semakin besar peluang kita membuat simpulan yang keliru tentang efek dari variabel independen terhadap variabel dependen.


Probabilitas pembuatan kesalahan Tipe I jika 10 uji-t dilakukan adalah sekitar 40% atau 4 dari 10 pengujian berpeluang memiliki kesalahan Tipe I*. Artinya, dari 10 pengujian di atas, kita bisa mengatakan bahwa ada setidaknya 4 program yang berbeda keefektifannya dengan program yang lain ketika sebenarnya program-program tersebut tidak memeliki keefektifan yang berbeda. Jika ini yang terjadi dan simpulan itu ternyata terjadi ketika anda membandingkan keefektifan program penurunan berat badan tertentu dengan kelompok kontrol, maka anda akan keliru menyimpulkan bahwa program tersebut efektif--padahal tidak.


Cara pertama untuk mengatasi masalah ini adalah dengan melakukan penyesuaian Bonferroni (Bonferroni adjustment). Caranya, level alpha yang anda tetapkan dibagi dengan jumlah pengujian yang akan anda lakukan. Dalam kasus di atas, berarti anda membagi 5%/10 = 0,5%. Dengan cara ini, peluang anda membuat kesalahan Tipe I akan sangat rendah, 0,5% dari keseluruhan pengujian.


Kelemahan metoda ini adalah bahwa uji-t akan membuat anda kehilangan efek-efek tertentu jika saja level alpha lebih liberal. Dalam bahasa lain, anda membuat diri anda terlalu berhati-hati sehingga sangat mungkin sebagian besar Ha telah anda tolak atau meningkatkan peluang kesalahan Tipe II. Karena anda terlalu hati-hati, maka anda justru akan cenderung menyimpulkan bahwa tidak ada perbedaan keefektifan antar program--sementara sebenarnya ada program yang berbeda keefektifannya.


Kelemahan kedua adalah jika uji-t yang dilakukan harus banyak. Semakin banyak uji-t yang dilakukan, semakin kecil angka penyesuain, semakin besar kemungkinan anda menolak Ha.


Cara yang lebih aman adalah dengan menjalan prosedur statistik yang disebut dengan analysis of variance (ANOVA). ANOVA memang dirancang untuk menganalisis data dari disain penelitian yang memiliki lebih daripada dua kondisi. ANOVA menganalisis perbedaan antara rata-rata semua kondisi di dalam eksperimen secara serentak. Jadi, bukannya melakukan uji-t berpasangan satu-persatu seperti di atas, ANOVA menguji apakah setiap set dari rata-rata berbeda satu dengan yang lain dengan menggunakan hanya satu uji statistis dengan mempertahankan alpha pada level 5% lepas dari berapapun jumlah kelompok yang ada di dalam pengujian. Dengan kata lain, ketika ada 5 kelompok eksperimental dan kontrol dan peneliti ingin mengetahui apakah sebuah keefektifan sebuah kelompok berbeda dengan kelompok yang lain, ANOVA hanya perlu melakukan satu kali pengujian. Pengujian yang hanya satu kali ini membuat alpha tetap 5% atau peluang kesalahan Tipe I tetap 5%, tidak naik menjadi 40% seperti pada pengujian satu-per-satu di atas.


*Catatan:
Rumus perhitungan probabilitas pembuatan kesalahan Tipe I adalah 1 - (1 - alpha)^c, yang mana c adalah jumlah pengujian atau perbandingan yang dilakukan.






Sleman, 4 May 2010
Sumber: Mark E. Leary, Introduction to Behavioral Research Methods, pp. 265-7.

Ada dua isu metodologis yang berhubungan dengan masalah rotasi secara wajib dan kualitas audit ini. Pertama adalah rasionalitas dugaan bahwa rotasi secara wajib bisa meningkatkan kualitas audit. Isu yang kedua berhubungan dengan unit analisis.  
Rasionalitas hubungan pergantian auditor wajib dengan kualitas audit
Klaim seperti yang disampaikan oleh DeFond dan Francis (2xxx) bahwa tidak ada teori dan tidak ada bukti bahwa kualitas audit akan meningkat melalui rotasi wajib adalah klaim yang penulis duga adalah klaim yang bias. Beberapa penelitian memang tidak mendukung klaim mereka itu. Johnson, Khurana, dan Reynolds (2xxx) menemukan bukti bahwa pada perusahaan dengan tenure auditor yang lebih pendek (2-3 tahun) menunjukkan level akrual takekspektasian yang lebih tinggi dibandingkan dengan perusahaan dengan tenure auditor medium (4-8 tahun). Sementara itu untuk perusahaan sampel dengan auditor tenure yang panjang (>9 tahun) mereka tidak menemukan bukti bahwa ada peningkatan yang secara statistik akrual takekspektasian dibandingkan dengan perusahaan sampel dengan auditor tenure medium. Myers, Myers, dan Omer (2xxx) menemukan bahwa auditor tenure yang lebih panjang berhubungan dengan kualitas laba yang lebih tinggi. Mereka mengukur kualitas laba menggunakan akrual abnormal absolut dan akrual sekarang absolut. Sehingga, klaim mereka, tidak ada bukti bahwa perputaran wajib atas auditor maupun kantor akuntan itu bisa meningkatkan kualitas laporan keuangan. Bukti justru menunjukkan bahwa tenure yang pendek berhubungan dengan kecurangan audit yang lebih tinggi dan kemungkinan kecurangan tersebut menurun ketika audit tenure bertambah lama (Carcello dan Nagy, 2xxx). 

Namun, tidak benar bahwa tidak ada penelitian yang membuktikan bahwa rotasi akan meningkatkan independensi. Penelitian Dopuch et al. (2xxx) di atas jelas membuktikan bahwa rotasi secara wajib justru membuat independensi auditor lebih tinggi dibandingkan jika tidak ada aturan rotasi auditor maupun retensi auditor sama-sekali. Penulis memperhatikan bahwa peneliti yang menolak ide rotasi wajib, terutama DeFond dan Francis (2xxx), umumnya tidak mengutip bukti yang didapat oleh Dopuch et al. (2xxx) tersebut. Penulis menduga bahwa nilai penting riset tersebut akan lebih besar jika riset ini terbit setelah kasus Enron/Andersen terkuak dan akan makin kuat jika SOX telah diberlakukan. Sebelumnya, Casterella, Knechel, dan Walker (2xxx) menemukan bukti bahwa auditor tenure berhubungan positif dengan kualitas audit. Bukti yang lebih akhir diberikan oleh Carey dan Simnett (2xxx). Mereka meneliti apakah terjadi penurunan kualitas audit sehubungan dengan tenure seorang partner audit yang panjang dengan menggunakan tiga ukuran kualitas laba yang umum: propensitas auditor untuk menerbitkan opini audit going concern, pengujian atas arah dan nilai absolut dari akrual modal kerja abnormal, dan analisis tentang seberapa jauh target laba utama bisa dicapai atau tidak tercapai (beating or missing). Untuk observasi tenure partner yang panjang, mereka menemukan bahwa ada propensitas yang lebih rendah untuk menerbitkan opini going concern. Kemudian, tidak ada bukti adanya hubungan antara tenure audit yang panjang baik dengan arah maupun nilai absolut dari akrual modal kerja abnormal. Untuk ukuran kualitas audit yang ketiga, mereka menemukan bukti bahwa acuan laba dicapai untuk observasi tenure partner audit yang panjang. Menurut mereka, temuan ini, terkait dengan propensitas untuk menerbitkan opini audit going concern dan dengan seberapa jauh target laba utama tercapai atau tidak, menunjukkan bahwa ada perusakan kualitas audit sehubungan dengan tenure partner audit yang panjang. 
Sesuai dengan penjelasan di bagian awal, penulis lebih condong untuk mendukung ide perotasian wajib bagi kantor akuntan dan auditor demi mempertahankan independensi auditor. Tidak ada akademisi yang ragu untuk menyatakan bahwa auditor memang bisa tidak independen—seberapapun lamanya ia bertugas. Sebaliknya, tidak ada akademisi yang dengan yakin menyatakan bahwa auditor pasti selalu independen. Keraguan tersebut sudah ada, misalnya, sejak Mautz dan Sharaf (1xxx) karena konsep independensi tersebut terlalu abstrak dan sukar untuk diukur apalagi disaksikan oleh pihak lain yang berkepentingan dengan independensi auditor. Tidak penting seberapa lama auditor mengklaim bisa mempertahankan sikap independensinya sepanjang masa tugasnya, faktanya adalah independensinya telah “ternodai” sejak saat pertama mereka menerima fee dari klien mereka. Tidak peduli seberapa besar fee tersebut, dalam jangka panjang aliran pendapatan akan sedikit-banyak akan menciptakan ketergantungan. Fakta bahwa ia independen atau tidak adalah fakta yang hanya bisa diketahui oleh auditor dan kliennya, bukan hal yang bisa dicerap oleh pengguna informasi keuangan.

Penulis sepakat dengan pendapat Antle dan Nalebuff (1xxx) dan Kinney (1xxx) bahwa laporan keuangan harus dipandang sebagai laporan bersama antara auditor dengan manajemen perusahaan. Antle dan Nalebuff (1xxx) berpendapat bahwa laporan tersebut menjadi sebuah usaha bersama (joint venture) jika auditor tidak bersedia memberikan opini wajar tanpa pengecualian terhadap laporan manajemen. Pada titik ini, auditor dan klien memulai negosiasi di mana auditor kemudian akan menawarkan laporan revisian. Klien bisa mengancam akan memecat auditor dan mencari auditor lain yang lebih bersedia menerima pandangan manajemen. Kemungkinan lain, mereka memutuskan untuk memperluas audit untuk mendapatkan fakta yang lebih banyak. Pada akhirnya, kompromi akan terjadi, laporan direvisi, dan auditor menerbitkan opini wajar tanpa pengecualian atas laporan revisian tersebut. 
Jadi, jelas bahwa hanya kedua pihak ini yang memiliki pengetahuan relatif lebih luas dan dalam tentang kondisi keuangan perusahaan. Bahkan, pengetahuan auditor atas laporan keuangan itu sendiri terbatas sebanyak informasi yang diberikan kepada mereka dan mereka pandang memadai. Oleh karena itu, keharusan rotasi auditor dan kantor akuntan tidak boleh dipandang sebagai sebuah keraguan terhadap independensi auditor. Namun, sebaliknya, aturan tersebut harus dipandang sebagai cara untuk mengurangi risiko litigasi yang bisa ditanggung oleh auditor jika suatu saat informasi yang disampaikan manajemen perusahaan adalah informasi yang keliru.
Masalah-masalah yang muncul pada tahun-tahun pertama audit, seperti biaya pemulaian (start-up) audit yang tinggi dan risiko kekeliruan audit yang tinggi, adalah masalah yang bisa dipecahkan. Dopuch et al.(2xxx) menemukan bukti bahwa ketika kepada auditor diberlakukan aturan pergantian wajib, independensinya lebih tinggi daripada jika tidak ada aturan rotasi tersebut. Bahkan independensi tertinggi adalah jika kepada auditor diberlakukan aturan rotasi dan retensi wajib. Mereka menemukan bahwa ketika kedua aturan ini diberlakukan kepada kelompok subyek-auditor, frekuensi laporan yang bias ada pada level terrendah. Jadi, aturan tentang keharusan klien meretensi auditor selama waktu tertentu atau larangan untuk mengganti auditor sebelum mencapai tenure tertentu adalah salah satu pemecahan atas masalah-masalah yang muncul sehubungan dengan penugasan auditor pada klien baru. Bukti empiris jelas sudah tersedia.

Jadi dengan demikian jelas ada hubungan yang logis dan valid antara rotasi wajib dengan kualitas audit. Ketika harus mengaudit klien baru, auditor memiliki skeptisisme yang lebih tinggi terhadap klien ini. Sikap skeptis ini membuat auditor lebih berhati-hati dalam menjalankan prosedur auditnya. Auditor akan berusaha menghindari kekeliruan audit yang akan memberi dampak buruk kepada mereka. Sikap skeptis auditor ini dalam menjalankan tugas pada auditor yang baru ini yang kemudian akan membuat auditor melakukan pekerjaan yang lebih baik dan lebih berkualitas. 
Di sisi lain, penulis bahkan memiliki keyakinan bahwa hubungan antara tenure yang panjang dengan kualitas audit justru mungkin lemah. Tenure yang panjang hanya akan membuat auditor lebih paham dengan bisnis klien sehingga menganggap bahwa tugas mereka lebih mudah karena sudah menjadi rutinitas. Tenure yang panjang tersebut bisa membuat auditor menjadi kehilangan sikap skeptisismenya karena beranggapan bahwa klien mereka akan berperilaku sama dari perioda ke perioda. Jika auditor telah kehilangan sikap skeptisismenya ini, maka ada kemungkinan bahwa mereka akan menerapkan prosedur audit yang longgar. Klien yang curang akan bisa memanfaatkan peluang ini. Jika ini terjadi maka tenure justru bukan meningkatkan kualitas audit, namun justru sebaliknya. 

Penulis sadar bahwa kedua pendapat tersebut bisa diperdebatkan. Namun, yang jelas adalah klaim atau pernyataan bahwa tidak ada teori maupun bukti bahwa kualitas audit lebih baik ketika masa tugas auditor dibatasi adalah sebuah klaim yang bias. Justru sebaliknya, lebih banyak bukti yang menunjukkan bahwa auditor tidak lagi bersikap independen ketika mereka telah terlibat terlalu dalam dengan kliennya, baik menurut ukuran lama penugasan maupun jenis penugasan.
Level unit analisis
Isu unit analisis adalah isu penting yang harus diperhatikan peneliti. Unit analisis variabel “kualitas audit” ada dua: auditor secara individu dan kantor akuntan publik. Peneliti seringkali mengabaikan perbedaan kedua hal ini karena mungkin sulit untuk membedakan secara tegas antara hasil pekerjaan auditor yang ditugasi untuk sebuah tugas audit dengan hasil pekerjaan kantor akuntan. Auditor bekerja menggunakan prosedur audit yang telah ditetapkan oleh perusahaan. Ia bisa saja mematuhi aturan itu atau, sebaliknya, bisa saja tidak mematuhinya. Apapun hasil pekerjaannya, opini auditor tidak lepas dari opini kantor akuntan publik. Makanya, tidak jarang peneliti mengabaikan masalah ini.  

Nagy (2xxx) misalnya mengukur perbedaan kualitas laporan keuangan eks-klien Andersen yang diaudit oleh kantor akuntan yang baru pengganti Andersen yang telah bubar. Kualitas laporan keuangan—yang ia pertukarkan dengan kualitas audit—diukur dengan akrual diskresioner. Akrual diskresioner eks-klien Andersen diekspektasi akan lebih rendah ketika mereka diaudit oleh auditor baru karena sikap auditor baru yang lebih konservatif terhadap eks-klien Andersen. Nagy tidak secara eksplisit menunjukkan bahwa ia membedakan antara kualitas auditor yang menjalankan pekerjaan itu dengan kualitas kantor akuntan yang mengaudit eks-klien Andersen.
Memang tidak mudah untuk membedakan apakah keberadaan akrual diskresioner yang menurunkan laba pada eks-klien Andersen adalah hasil dari pekerjaan auditor yang bertugas ataukah hasil dari penggunaan prosedur audit yang telah ditetapkan oleh kantor akuntan tempat auditor tersebut berada. 

Penulis lebih cenderung menyatakan bahwa penelitian dengan unit analisis individu auditor seharusnya adalah penelitian yang berhubungan tugas atestasi atas sebuah informasi. Auditor memang ditugaskan oleh kantornya, namun kualitas dari tugas yang ia jalankan lebih berhubungan dengan kualitas ia sebagai seorang pribadi dibandingkan dengan kualitas kantor akuntan. Ia memang menggunakan prosedur audit yang dimiliki oleh kantor tersebut, namun, sesuai dengan Watkins, Hillisons, dan Morecroft (2xxx), penggunaan prosedur atau teknologi audit dengan benar adalah lebih penting daripada kemilikan prosedur audit. Dalam hal ini, yang menggunakan prosedur audit dalam sebuah penugasan adalah auditor, bukan kantor akuntan, sehingga kualitas audit adalah kualitas auditor di dalam penugasan tersebut. Kantor hanya sebagai penyedia sumberdaya dan dalam hal tertentu tidak memiliki kemampuan untuk memastikan bahwa prosedur audit tertentu telah dijalankan atau tidak.
Pertanyaannya, penelitian manakah yang menggunakan unit analisis kantor akuntan publik? Jawaban atas pertanyaan ini cukup sulit karena, seperti penelitian Nagy (2xxx) di atas, walaupun auditor melakukan tugas secara individual dan mereka dalam beberapa hal bertanggungjawab atas pekerjaan mereka, auditor harus mematuhi prosedur yang dibuat oleh kantor akuntan mereka. Barangkali contoh penelitian tentang kualitas auditor dengan unit analisis kantor akuntan adalah penelitian yang dilakukan oleh Colbert dan Murray (1xxx). Yang mereka teliti memang adalah peringkat sebuah kantor akuntan menurut hasil dari AICPA’s Private Companies Practice Section (PCPS) Peer Review Program. Colbert dan Murray (1xxx) di sini memang ingin mengetahui apakah kualitas kantor akuntan, yang diukur dengan program peer review di atas, berhubungan dengan ukuran kantor akuntan. Penelitian ini dengan jelas menunjukkan bahwa unit analisis penelitian ini adalah kualitas kantor akuntan.

Simpulan yang bisa ditarik adalah bahwa peneliti harus memperhatikan unit analisis. Tidak bisa menyatakan bahwa sebuah unit analisis adalah auditor individual hanya ketika subyek penelitian adalah partner audit seperti pada penelitian Carey dan Simnett (2xxx). Peran auditor secara individual lebih besar dalam penerapan satu prosedur audit dibandingkan dengan peran kantor akuntan karena jika tidak maka perhatian SOX tidak pula akan secara khusus diberikan pada rotasi partner auditor. Walau demikian, mungkin dibutuhkan penelitian yang lebih jauh juga untuk menentukan siapa yang lebih berpengaruh terhadap, misalnya, opini audit: apakah partner auditor atau kantor akuntan sebagai sebuah kesatuan.
Pengukuran
Masalah terbesar penelitian yang meneliti kualitas audit, baik sebagai variabel independen maupun variabel dependen, adalah ukuran kualitas audit. Ada dua hal yang menurut penulis penting diperhatikan oleh terkait dengan masalah pengukuran ini. Pertama, kualitas audit harus didefinisikan dengan tepat. Definisi DeAngelo (1xxx) bisa digunakan. Kualitas audit seharusnya berhubungan dengan pekerjaannya dan oleh karena itu hanya atas dasar kualitas pekerjaan kualitas diukur. Kualitas memang tidak akan sama antar kantor akuntan, apalagi antar kantor dengan ukuran yang berbeda secara material. Kualitas kantor berukuran besar dengan kantor yang hanya berskala lokal atau regional pasti akan berbeda. Kualitas auditor yang berpengalaman mengaudit di suatu industri memang akan berbeda dengan auditor yang tidak berpengalaman mengaudit di industri tersebut. Namun, hal itu tidak berarti bahwa kualitas audit atau kualitas auditor bisa diukur dengan ukuran kantor akuntan atau spesialisasi kantor akuntan. Perbedaan kualitas memang terbukti terjadi antar ukuran kantor akuntan, namun bukan berarti bahwa ukuran kantor akuntan tersebut adalah kualitas audit atau kualitas auditor. Kasus Enron cukup untuk menunjukkan bahwa proksi tersebut tidak valid. 

Terkait dengan hal itu, peneliti harus bisa membedakan antara kualitas persepsian dan kekuatan pemonitoran. Penjelasan tentang kedua hal ini telah ada di bagian di atas atau bisa dilihat pada paper Watkins et al. (2xxx) yang salah satu inti dari paper tersebut adalah bahwa ukuran kantor akuntan bukanlah ukuran kualitas aktual, namun hanya persepsi dan berhubungan dengan kinerja di masa lalu. Salah satu contoh kekuatan pemonitoran adalah kemampuan auditor untuk memberi opini audit sesuai dengan kondisi perusahaan sehingga bisa mengurangi kekeliruan opini tipe I dan II. Contoh penelitian seperti ini adalah Geiger dan Rama (2xxx).
Kedua, ukuran kualitas audit harus disesuaikan dengan unit analisis. Peneliti hendaknya tidak keliru menggunakan ukuran kualitas auditor individual untuk menunjukkan kualitas kantor akuntan. Ukuran kantor akuntan—kalau dipaksakan ingin tetap dipakai—sebagai proksi kualitas audit sebenarnya lebih sesuai sebagai ukuran kualitas kantor akuntan daripada kualitas pekerjaan seorang auditor. Di sisi lain, akrual diskresioner atau akrual abnormal yang sekarang banyak digunakan untuk mengukur kualitas laporan keuangan—sebagai surogasi kualitas audit—lebih sesuai sebagai ukuran kualitas auditor individual, bukan kualitas kantor akuntan publik. Selain karena di dalam setiap tugas hanya ada satu auditor kepala yang bertugas, bukannya sebuah kantor akuntan, kualitas pekerjaan seorang auditor bisa berbeda di setiap penugasan, tergantung dari banyak faktor. Faktor tersebut bisa berhubungan dengan klien, misalnya kompleksitas bisnis klien dan risiko klien; kompetensi auditor, misalnya pengalaman auditor, pelatihan atau pendidikan auditor; maupun independensi auditor, seperti lama auditor menjadi auditor kepala di klien tersebut, persentase fee yang ia terima dari klien tersebut dibandingkan dengan total pendapatannya.

Simpulan yang bisa penulis sampaikan adalah bahwa ukuran kualitas harus memang mengukur hasil pekerjaan auditor. Peneliti tidak seharusnya menggunakan variabel lain yang bervariasi dengan kualitas audit sebagai ukuran kualitas audit. Oleh karena itu penting bagi peneliti untuk secara tepat mendefinisikan secara operasional kualitas audit yang akan ia ukur. Definisi operasional yang keliru akan mendorong simpulan penelitian yang juga keliru.



Sleman, May 2009
*Catatan kepada pembaca. Anda bisa memanfaatkan semua bahan di sini untuk tujuan keilmuan, misalnya dengan menggunakan pertanyaan-pertanyaan penelitian di dalam paper ini untuk keperluan penelitian anda. Semua tulisan di paper ini, termasuk artikel-artikel lain di blog ini adalah karya asli dan untuk itu bisa dijadikan acuan secara ilmiah--misalnya dengan cara memberi kredit kepada link ini. Namun, untuk mencegah penjiplakan karya, saya meniadakan keterangan rinci tentang sumber bacaan--itupun hanya dengan menghilangkan tiga digit akhir dari tahun penerbitan artikel sumber. Pembaca yang berminat dengan masalah ini, termasuk membutuhkan semua bahan acuan saya, bisa mengirimkan email melalui formulir komentar di blog ini.

Label: metoda penelitian, pergantian auditor

(Saat ini, artikel saya ini dan dua artikel yang lain yaitu ini dan ini telah dipinjam tanpa izin di http://perpusol-samsam.blogspot.com/search/label/AUDITING.)


Bertahun-tahun peneliti akuntansi, terutama pengauditan, secara tidak sadar terkecoh dengan proksi kualitas audit atau kualitas auditor. Mereka biasanya mengacu kepada DeAngelo (1981) sebagai dasar untuk menggunakan ukuran kantor akuntan publik (KAP) sebagai proksi kualitas audit. Padahal, DeAngelo menyatakan bahwa yang ia maksud dengan kualitas audit adalah:


"the market-assessed joint probability that a given auditor will both (a) discover a breach in the client's accounting system and (b) report the breach".


Jelas di dalam pernyataan itu adalah bahwa kualitas ditentukan oleh kompetensi dan independensi auditor. Auditor yang kompeten adalah auditor yang bisa menemukan adanya pelanggaran sedangkan auditor yang independen adalah auditor yang "bersedia" melaporkan" pelanggaran tersebut.


Kedua, pernyataan di atas didasarkan pada asumsi DeAngelo bahwa kualitas ditentukan dari sisi suplai audit saja, yaitu dari sisi auditor, tidak dari sisi permintaan, yaitu klien. Konsekuensi dari asumsi tersebut adalah DeAngelo hanya mempertimbangkan kualitas atas dasar apa yang bisa diberikan oleh auditor, bukan apa yang juga diminta atau dibutuhkan oleh klien. Selain itu juga mengabaikan, misalnya, kualitas sistem informasi klien, risiko klien, dll.


Ketiga, yang paling penting, frasa "market-assessed" menunjukkan bahwa kualitas audit ditentukan oleh penilaian pasar. Implisit dari pernyataan ini adalah bahwa kualitas auditor diukur dari persepsi pengguna laporan keuangan tentang kualitas auditor atau dengan kata lain adalah reputasi auditor.


Apakah reputasi bisa menunjukkan kualitas? Reputasi adalah perspektif masa lalu. Seseorang yang bereputasi baik adalah orang yang dari dulu hingga sekarang dianggap memiliki kualitas baik. Demikian juga auditor.


Mengapa KAP besar (8/6/5/4/3) adalah auditor dengan reputasi baik? Selain dengan dasar apa yang telah dilakukan oleh KAP tersebut di masa lalu, reputasi juga didasarkan pada sumber daya yang dimiliki oleh KAP tersebut. Semakin besar sebuah KAP, semakin besar sumber daya yang dimilikinya. Sumber daya yang lebih besar diekspektasi memiliki hubungan dengan kualitas audit yang juga baik.


Tapi, mana yang lebih penting antara kepemilikian sumber daya dibandingkan dengan penggunaaan sumber daya?


Kasus Enron/Andersen adalah bukti bahwa penggunaan sumber daya (untuk tujuan pemberian opini yang independen) lebih penting daripada kepemilikan sumber daya. Andersen adalah sebuah KAP yang besar namun reputasinya di masa lalu justru tidak menunjukkan bahwa ia akan selalu memiliki kualitas audit yang baik.


Apakah reputasi audit tetap bisa dijadikan ukuran kualitas audit?


Kasus Enron/Andersen menunjukkan bahwa kualitas tidak sama sekali bisa diukur dengan ukuran KAP. Dari awal DeAngelo memaksudkan bahwa ukuran KAP adalah proksi bagi reputasi auditor. Namun, ia sendiri dengan sengaja, sepertinya, memaksakan reputasi audit sebagai proksi bagi kualitas audit. Menurut saya, ini terjadi karena belum adanya ukuran kualitas audit yang mapan--bahkan hingga sekarang.


Watkins, Hillison, dan Morecroft (2004) memisahkan antara persepsi tentang kualitas audit dengan kualitas audit itu sendiri. Persepsi tentang kualitas audit itu adalah, mengikuti DeAngelo, reputasi auditor. Sedangkan kualitas audit adalah kemampuan auditor untuk memastikan bahwa kecurangan tidak terjadi (setidaknya secara material) dan "berani" melaporkan adanya kecurangan tersebut.


Jadi, bagaimana mengukur kualitas audit? Ini adalah pertanyaan yang sangat sulit untuk dijawab. Kualitas sebuah pekerjaan sangat erat hubungannya dengan apa yang dilakukan seseorang di dalam pekerjaannya dan hasil pekerjaannya. Artinya, kualitas bisa bervariasi antar pekerjaan atau penugasan. Dua laporan akuntan publik yang dihasilkan dari satu kantor akuntan yang sama bisa memiliki kualitas yang berbeda.


Kualitas audit tidak bisa dipastikan sama antar penugasan karena ada dua sisi yang mempengaruhinya: auditor dan klien. Kepemilikan sumber daya audit yang besar oleh auditor tidak mesti akan menghasilkan sebuah laporan keuangan yang bebas dari kecurangan. Auditor sendiri memiliki persepsi awal tentang klien, seperti risiko pengauditan atas klien. Auditor yang salah persepsi tentang risiko bisnis klien akan menghasilkan pendapat yang juga keliru.


Pasokan informasi dari klien turut mempengaruhi pekerjaan auditor. Selain itu adalah konflik keagenan di dalam diri klien. Konflik itu tidak akan sama setiap tahun--walau juga tidak setiap tahun akan berubah--misalnya karena perubahan komposisi kepemilikan atau keluar/masuk bursa saham.


Saat ini ada tren besaran akrual diskresioner (terutama yang abnormal) sebagai proksi kualitas audit. Audit yang berkualitas adalah audit yang membuat perusahaan tidak melaporkan akrual diskresioner yang abnormal.


Tepatkah? Debatable, memang.


Pendapat yang tidak menyetujui berpijak bahwa akrual diskresioner adalah proksi bagi manajemen laba. Auditor tidak ditugaskan dan tidak menelisik keberadaan manajemen laba di dalam perusahaan. Sepanjang bahwa perusahaan mematuhi GAAP dan memiliki dasar yang kuat bagi setiap akrual mereka, maka akrual diskresioner tidak akan mempengaruhi opini audit. Sehingga, akrual diskresioner bukanlah ukuran kualitas audit.


Di sisi lain, pendapat yang mendukung menyatakan bahwa auditor memiliki tugas untuk memastikan bahwa laporan keuangan bebas dari kecurangan. Tugas auditor saat ini, menurut mereka, beralih kepada aspek legal (dalam hal ini adalah GAAP). Padahal ekspektasi pengguna tetap pada kemampuan mereka menemukan dan melaporkan kecurangan. Nah, salah satu ukuran kecurangan di dalam akuntansi adalah besaran akrual diskresioner.


Inti dari artikel ini ada dua. Pertama, jika anda hendak mengukur kualitas audit jangan mengukur dengan reputasi mereka (dalam hal ini diproksi dengan ukuran kantor akuntan publik). Dimensi kualitas dengan reputasi tidaklah sama. Kedua, peneliti yang hendak menggunakan akrual diskresioner sebagai proksi kualitas juga harus berhati-hati. Persepsi orang tentang akrual ini lebih condong pada manajemen laba--sesuatu yang tidak dipandang merupakan tugas auditor untuk menemukannya.


Benarkah demikian?


Bahasan tentang hal ini akan ada di artikel selanjutnya.




Sleman, April 2009