EVALUASI KEBIJAKAN PUBLIK

EVALUASI KEBIJAKAN PUBLIK EVALUASI KEBIJAKAN PUBLIK DISKRIPSI DAN RELEVANSI Evaluasi kebijakan dalam perspektif alur proses/siklus kebijakan publik, menempati posisi terakhir setelah implementasi kebijakan, sehingga sudah sewajarnya jika kebijakan publik yang telah dibuat dan dilaksanakan lalu dievaluasi. Dari evaluasi akan diketahui keberhasilan atau kegagalan sebuah kebijakan, sehingga secara normatif akan diperoleh rekomendasi apakah kebijakan dapat dilanjutkan; atau perlu perbaikan sebelum dilanjutkan, atau bahkan harus dihentikan. Evaluasi juga menilai keterkaitan antara teori (kebijakan) dengan prakteknya (implementasi) dalam bentuk dampak kebijakan, apakah dampak tersebut sesuai dengan yang diperkirakan atau tidak. Dari hasil evaluasi pula kita dapat menilai apakah sebuah kebijakan/program memberikan manfaat atau tidak bagi masyarakat yang dituju. Secara normatif fungsi evaluasi sangat dibutuhkan sebagai bentuk pertanggung-jawaban publik, terlebih di masa masyarakat yang makin kritis menilai kinerja pemerintah. Bab ini akan mengkaji tujuan, manfaat, jenis-jenis evaluasi, sampai metode analisis evaluasi kebijakan. Mempelajari Bab ini mau tak mau akan bersinggungan dengan teori-teori dari disiplin ilmu organisasi dan manajemen (fungsi pengawasan/ pengendalian), Manajemen Sumberdaya Manusia, Ilmu politik, Kebijakan Publik, dll. TUJUAN PEMBELAJARAN 1. Mahasiswa mampu membedakan antara analisis kebijakan, analisis implementasi dan analisis evaluasi. 2. Mahasiswa mampu memahami tujuan dan nilai-nilai evaluasi yang berbeda dengan pengawasan 3. Mahasiswa mampu memahami dan membedakan macam evaluasi sesuai siklus kebijakan 4. Mahasiswa mampu merancang dan melakukan evaluasi kebijakan PENGANTAR ISI BAB Kita mungkin sebenarnya tidak tahu pasti kapan evaluasi kebijakan itu dilakukan. Kita tahu bilamana Presiden harus menyampaikan laporan pertanggung-jawaban di depan DPR dan publik, bilamana Kepala Daerah melakukan hal yang sama di hadapan DPRD; bilamana para wakil rakyat memanggil eksekutif dalam dengar pendapat dan meminta tanggapan. Namun segala formalitas tersebut hanyalah pertanggung-jawaban politis, bukan pertanggung-jawaban keseluruhan atas sebuah kebijakan. Kita mungkin dapat mengamati adanya pengawasan yang dilakukan oleh BPKP, BPK, Irjen, dlsb; lalu apakah hal itu merupakan sebuah bentuk evaluasi atau monitoring atas implementasi kebijakan? Lalu apa, kapan, bagaimana oleh siapa evaluasi kebijakan itu dilakukan? Apakah evaluasi kebijakan itu menilai isi/proses kebijakannya (yang dibuat bersama para wakil rakyat; lalu siapa yang mengevaluasi wakil rakyat?), atau menilai hasil implementasinya saja (lantas apa bedanya dengan analisis implementasi yang juga mengkaji berhasil-tidaknya implementasi mencapai tujuan kebijakan?), apa beda antara analisis implementasi dengan analisis evaluasi, apa manfaat keduanya? Berikut ini bersama-sama kita akan mempelajarinya. IV.1. LINGKUP STUDI IMPLEMENTASI DAN STUDI EVALUASI Analisis kebijakan publik telah berkembang jauh sebelum minat pada studi implementasi muncul, bahkan analisis studi evaluasi telah lahir terlebih dahulu. Jika studi kebijakan publik dianalogikan sebagai induknya, maka studi implementasi adalah anak bungsu yang lahir setelah studi evaluasi (meski dalam urutan siklus kebijakan tidak akan ada evaluasi jika implementasi tidak dilakukan), lantas apa bedanya, apakah hanya lokusnya atau fokusnya ? Untuk menjawab hal tersebut terlebih dulu kita lihat ruang lingkup studi/ analisis kebijakan publik yang menjadi induk studi implementasi dan studi evaluasi. Analisis kebijakan publik (policy analysis) adalah kajian multi disiplin terhadap kebijakan publik yang bertujuan untuk mengintegrasikan dan mengkontektualsasikan model dan riset dari disiplin – disiplin tersebut yang mengandung orientasi problem dan kebijakan (Parsons, xii). Atau yang menurut Wildavsky (1979) : analisis kebijakan publik adalah subbidang terapan yang isinya tak dapat ditentukan berdasarkan disiplin yang terbatas, tapi dengan segala sesuatu yang tampaknya sesuai dengan situasi dari masa dan hakekat dari persoalannya. Analisis kebijakan publik menurut Harold Laswell dalam buku Parsons tersebut adalah analisis yang : • Multi method • Multi disciplinary • Berfokus pada problem • Berkaitan dengan pemetaan konstektualitas problem kebijakan, opsi kebijakan, dan hasil kebijakan • Bertujuan untuk mengintegrasikan pengetahuan ke dalam suatu disipilin yang menyeluruh untuk menganalisis pilihan publik dan pengambilan keputusan, …” Dari yang dinyatakan oleh Lasswell di atas, tampaknya lingkup analisis kebijakan publik lebih berfokus pada persoalan proses pembuatan kebijakannya, yakni dari tahap pendefinisian masalah, agenda setting, formulasi kebijakan sampai legalisasi kebijakan. Sedang Parsons menyatakan ada 2 kategori luas analisis dalam studi kebijakan publik yakni : 1. Analisis Proses Kebijakan yakni analisis bagaimana mendefinisikan proses kebijakan, dimulai dari mendefinisikan problem sampai pada implementasi dan pengevaluasiannya. 2. Analisis dalam dan untuk proses kebijakan, yakni kajian yang menggunakan teknik analisis, riset, dan advokasi dalam pendefinisian problem sampai implementasinya. Atau dengan kata lain, kategori pertama menganalisis untuk tujuan deskripsi dan eksplanasi proses kebijakan, sedang yang kedua analisis untuk tujuan penilaian secara analitis terhadap proses kebijakan (dan jika memugkinkan bersifat presriptif bagi kasus yang di riset). Dari rumusan Parsons di atas, maka analisis implementasi dan analisis evaluasi adalah bagian dari analisis kebijakan publik, hanya pada satu tahap proses dan kedalaman analisis yang berbeda tentunya. Meski demikian pada umumnya yang dipahami sebagai analisis kebijakan adalah yang lebih berfokus pada proses pembuatan kebijakan, sebagaimana yang dikatakan oleh Lasswell. Sedang analisis implementasi dan analisis evaluasi memiliki focus berbeda sesuai namanya, kendati juga tetap merupakan analisis yang multi disiplin. Jika seseorang ingin mengkaji mengapa kebijakan ‘X’ tidak mencapai hasil yang diinginkan, maka kajian apakah yang harus ia lakukan ? Kajian implementasi atau kajian evaluasi ? Bukankah daur hidup sebuah kebijakan tidak bisa ditentukan, kapan ia dianggap telah selesai diimplementasikan lalu bisa dievaluasi ? Atau, apakah kita sedang melakukan studi evaluasi saat kita mengkaji hasil suatu kebijakan yang sedang diimplementasikan ? Untuk menjawab pertranyaan tersebut, kita lihat berikut ini. Menurut rumusan Sabatier dan Mazamnian melakukan studi implementasi berarti berusaha memahami apa yang senyatanya terjadi setelah suatu program diberlakukan, yakni peristiwa dan kegiatan dalam usaha untuk mengadministrasikannya dan usaha – usaha untuk memberikan dampak tertentu pada masyarakat. Dari rumusan itu, maka lingkup studi implementasi adalah seluruh kegiatan dan peristiwa yang terjadi setelah suatu kebijakan diberlakukan. Analisis dalam studi implementasi misalnya tidak mempertanyakan apakah sebuahkebijakan yang gagal dalam pengimplementasiannya adalah sebuah kebijakan yang benar-benar tepat untuk mencapai tujuan yang didinginkan (ini adalah pertanyaan evaluatif), studi implementasi mempertanyakan apakah terjadi kesalahan atau kekurangan dalam proses pengimplementasian dan apa sebabnya. Memang pada studi implementasi juga dapat timbul pertanyaan evaluatif: “Apakah program – program tindakan yang dipilih telah sesuai dengan tujuan tersebut ? atau apakah keputusan – keputusan yang dibuat untuk mengimplementasikan kebijakan sudah tepat ? tapi pertanyaan tersebut tidak lepas dari koridor penyusunan program –program tindakan sebagai hasil penafsiran implementor atas sebuah kebijakan. Antara analisis studi evaluasi dan analisis studi implementasi memang sering terjadi overlap, karena keduanya bisa berangkat dari permasalahan yang sama: “Mengapa kebijakan “X” tidak mencapai hasil yang diinginkan ?”, namun menjaga batas antara keduanya adalah penting, studi implementasi hanya berkaitan dengan pertanyaan bagaimana cara agen publik mengimplementasikan sebuah kebijakan untuk mencapai perubahan sebagaimana yang dimaksudkan oleh kebijakan tersebut. Lebih jelasnya dapat dilihat pada pendapat Jenkins berikut ini: ‘Studi implementasi adalah studi perubahan : bagaimana perubahan itu terjadi, bagaimana kemungkinan perubahan bisa dimunculkan. Juga merupakan studi tentang mikrostruktur dari kehidupan politik: bagaimana organisasi di dalam dan di luar system politik menjalankan fungsi mereka dan berinteraksi satu sama lain: apa memotivasi tindakan – tindakan mereka dan apa motivasi lain yang mungkin membuat mereka bertindak secara berbeda (Jenkins, 1978, p.200). Sementara tujuan dan lingkup analisis (riset) evaluasi menurut Carol H. Weiss (1972, p.4) adalah : “To measure the effects of a program against the goals it set out to accomplish as a means of contributing to subsequent decision making about the program and improving future programming. The effect emphasizes the outcomes of the program, rather than its efficiecy, honesty, morale, or adherence to rule or standars. The comparison of effects with goals stresses the use of explicit criteria for judging how well the program is doing”. Weis secara tegas menyatakan bahwa tujuan analisis evaluasi lebih pada pengukuran efek dan dampak sebuah program/kebijakan pada masyarakat, dibanding pengukuran atas efisiensi, kejujuran pelaksanaan, dan lain-lain yang terkait dengan standar-standar pelaksanaan. Tujuan kebijakan itu sendiri adalah untuk menghasilkan dampak/perubahan, sehingga wajar jika untuk itulah evaluasi dilakukan. Adapun yang membedakan antara analisis studi implementasi dengan analisis studi evaluasi dapat kita lihat yang dinyatakan oleh Parsons :” … evaluation eximines ‘how public policy and the people who deliver it may be appraised, audited, valued and controlled” while the study of implementation is about “how policy is put into action and practice” (1995, p. 461). Meskipun dilakukan secara sistematis, namun ada beberapa hal yang membedakan analisi evaluasi dengan analisis akademik lainnya, yang menurut Weiss (p. 6-7)adalah : 1. Evaluasi ditujukan untuk pembuatan keputusan, untuk menganalisis problem sebagaimana yang didefinisikan oleh pembuat keputusan, bukan oleh periset, sebab si pembuat keputusanlah yang berkentingan terhadap hasil evaluasi. 2. Evaluasi adalah riset yang dilakukan dalam setting kebijakan, bukan dalam setting akademik, karenanya pertanyaan-pertanyaan evaluasi diarahkan oleh program. Peneliti tidak membangun asumsi dan hipotesisnya sendiri sebagaimana pada studi-studi lain. 3. Evaluasi memberikan penilaian atas pencapaian tujuan, bukan mengevaluasi tujuan Atau dari pernyataan Browne & Wildavsky : “Evaluators are able to tell us a lot about what happened – which objectives, whose objectives, were achieved – and a little about why – the causal connections (Hill & Hupe, 12), yang merupakan wilayah analisis implementasi. Karena meski tujuan dan dampak saling berinteraksi namun dampak tidak dapat dinilai melalui seperangkat tujuan yang dirumuskan secara tegas. Michael Hill & Peter Hupe memperjelas perbedaan lingkup studi implementasi dan studi evaluasi dalam table sebagai berikut : Tabel IV.1 : Implementing and Evaluation Research Object Research Act Implementation Process/ Behaviours Discription Outputs Expalanation Outcomes Theory building and Testing Causal connections Analytical judgement Evaluation Outcomes-value link Value judgement Sumber: Hill & Hupe !2002:12) IV.2. TUJUAN DAN FUNGSI EVALUASI 1. TUJUAN EVALUASI 1. Mengukur efek suatu program/kebijakan pada kehidupan masyarakat dengan membandingkan kondisi antara sebelum dan sesudah adanya program tersebut. Mengukur efek menunjuk pada perlunya metodologi penelitian. Sedang membandingkan efek dengan tujuan mengharuskan penggunaan kriteria untuk mengukur keberhasilan 2. Memperoleh informasi tentang kinerja implementasi kebijakan dan menilai kesesuaian dan perubahan program dengan rencana 3. Memberikan umpan balik bagi manajemen dalam rangka perbaikan/ penyempurnaan implementasi 4. Memberikan rekomendasi pada pembuat kebijakan untuk pembuatan keputusan lebih lanjut mengenai program di masa datang 1. Sebagai bentuk pertanggung-jawaban public/ memenuhi akuntabilitas public. 2. FUNGSI EVALUASI (William N. Dunn; Ripley) Evaluasi kebijakan berfungsi untuk memenuhi akuntabilitas public, karenanya sebuah kajian evaluasi harus mampu memenuhi esensi akuntabilitas tersebut, yakni: 1. Memberikan Eksplanasi yang logis atas realitas pelaksanaan sebuah program/kebijakan. Untuk itu dalam studi evaluasi perlu dilakukan penelitian/kajian tentang hubungan kausal atau sebab akibat 2. Mengukur Kepatuhan, yakni mampu melihat kesesuaian antara pelaksanaan dengan standar dan prosedur yang telah ditetapkan 3. Melakukan Auditing untuk melihat apakah output kebijakan sampai pada sasaran yang dituju? Apakah ada kebocoran dan penyimpangan pada penggunaan anggaran, apakah ada penyimpangan tujuan program, dan pada pelaksanaan program 1. Akunting untuk melihat dan mengukur akibat sosial ekonomi dari kebijakan. Misalnya seberapa jauh program yang dimaksud mampu meningkatkan pendapatan masyarakat, adakah dampak yang ditimbulkan telah sesuai dengan yang diharapkan, adakah dampak yang tak diharapkan. IV.3. DIMENSI EVALUASI Secara garis besar ada dua dimensi penting yang harus diperoleh informasinya dari studi dievaluasi dalam kebijakan public. Dimensi tersebut adalah 1. Evaluasi kinerja pencapaian tujuan Kebijakan, yakni mengevaluasi kinerja orang-orang yang bertanggungjawab mengimplementasikan kebijakan. Darinya kita akan memperoleh jawaban atau informasi mengenai kinerja implementasi, efektifitas dan efisiensi, dlsb yang terkait. 2. Evaluasi kebijakan dan dampaknya, yakni mengevaluasi kebijakan itu sendiri serta kandungan programnya. Darinya kita akan memperoleh informasi mengenai manfaat (efek) kebijakan, dampak (outcome) kebijakan, kesesuaian kebijakan/program dengan tujuan yang ingin dicapainya (kesesuaian antara sarana dan tujuan), dll Menurut Palumbo dimensi kajian pada studi evaluasi mencakup keseluruhan siklus di dalam proses kebijakan, dari saat penyusunan desain kebijakan, saat implementasi, hingga saat selesai diimplementasikan. Jika dikaitkan dengan kebutuhan informasi yang diperoleh dari hasil evaluasi, maka dimensi evaluasi kebijakan meliputi hal-hal berikut : Gambar IV.1. Dimensi Evaluasi dalam Siklus kebijakan PENENTUAN AGENDA PENDEFINISIAN MASALAH FORECASTING, DEFINISI SASARAN PENDEFINISIAN UKURAN. DISTRIBUSI MASALAH ANALISIS KEPUTUSAN DESAIN KEBIJAKAN ANALISIS FEASIBILITAS POLITIK TERMINASI POOLING, SURVEY, DLL LEGITIMASI KEBIJAKAN EVALUASI FORMATIF EVALUASI SUMATIF DAMPAK IMPLEMENTASI Sumber : Wayne Parsons (2001, h. 549) yang diadaptasi dari Palumbo. Dari gambar tersebut dapat disimpulkan bahwa kajian dalam studi evaluasi kebijakan meliputi dimensi-dimensi: 1. Evaluasi Proses pembuatan kebijakan atau sebelum kebijakan dilaksanakan. Pada tahap ini menurut Palumbo diperlukan dua kali evaluasi, yakni 1. Evaluasi Desain Kebijakan, untuk menilai apakah alternative-alternatif yang dipilih sudah merupakan alternative yang paling hemat dengan mengukur hubungan antara biaya dengan manfaat (cost-benefit analysis), dll yang bersifat rasional dan terukur. 2. Evaluasi Legitimasi kebijakan, untuk menilai derajad penerimaan suatu kebijakan atau program oleh masyarakat/stakeholder/kelompok sasaran yang dituju oleh kebijakan tersebut. Metode evaluasi diperoleh melalui jajak pendapat (pooling), survery, dll. 3. Evaluasi Formatif yang dilakukan pada saat proses implementasi kebijakan sedang berlangsung Tujuan evaluasi formatif ini utamanya adalah untuk mengetahui seberapa jauh sebuah program diimplementasikan dan kondisi-kondisi apa yang dapat diupayakan untuk meningkatkan keberhasilannya. Dalam istilah manajemen, evaluasi formatif adalah monitoring terhadap pengaplikasian kebijakan. Evaluasi Formatif banyak melibatkan ukuran-ukuran kuantitatif sebagai pengukuran kinerja implementasi. 4. Evaluasi Sumatif yang dilakukan pada saat kebijakan telah diimplementasikan dan memberikan dampak . Tujuan evaluasi Sumatif ini adalah untuk mengukur bagaimana efektifitas kebijakan/program tersebut member dampak yang nyata pada problem yang ditangani. IV.4. EVALUASI FORMATIF 1. TUJUAN EVALUASI FORMATIF: Evaluasi Formatif adalah untuk mengevaluasi pelaksanaan program yang memiliki ciri-ciri sebagai berikut: 1. Merupakan evaluasi terhadap proses 2. Menilai tingkat kepatuhan pelaksana atas standard aturan 3. Menggunakan model-model dalam implementasi 4. Biasanya bersifat kuantitatif 5. Melihat dampak jangka pendek dari pelaksanaan kebijakan/ program Tujuan evaluasi formatif ini adalah untuk melihat : 1. Sejauh mana sebuah program mencapai target populasi yang tepat 2. Apakah penyampaian pelayanannya telah sesuai dan konsisten dengan spesifikasi program atau tidak; 3. Sumberdaya apa yang dikeluarkan dalam melaksanakan program tersebut (Rossi & Freeman dalam Parsons, h.550). 2. JENIS EVALUASI FORMATIF 1. Evaluasi administratif : Biasanya evaluasi administrative dilakukan dalam lingkup pemerintahan yang dikaitkan dengan aspek-aspek ketaatan financial dan prosedur. 2. Evaluasi Yudisial : Evaluasi yang berkaitan dengan obyek-obyek hukum 1. Evaluasi Politik: Evaluasi yg dilakukan oleh lembaga-lembaga politik 3. ASPEK-ASPEK EVALUASI FORMATIF Aspek-aspek kinerja implementasi yang dievaluasi dalam evaluasi formatif ini adalah : 1. Effort Evaluation: Mengevaluasi kecukupan input program 2. Performance Evaluation: Mengkaji output dibandingkan dengan input program. 3. Effectiveness Evaluation: Mengkaji apakah pelaksanaannya sesuai dengan sasaran & tujuan 4. Effeciency Evaluation: Membandingkan biaya dengan output yang dicapai 5. Process Evaluation: Mengkaji metode pelaksanaan, aturan dan prosedur dalam pelaksanaan Sedang menurut Wiiliam N. Dun aspek-aspek kinerja kebijakan yang harus dievaluasi adalah sebagaimana yang tampak di dalam tabel berikut ini: Tabel IV.1. Katagori Evaluasi Katagori Pertanyaan Ilustrasi Efektifitas Apakah hasil yang diinginkan telah tercapai? Unit Pelayanan Efisiensi Seberapa banyak upaya yang diperlukan untuk mencapai hasil yang diinginkan? Cost-benefit Ratio; Manfaat bersih; Unit Biaya Kecukupan Seberapa jauh pencapaian hasil yang diinginkan untuk memecahkan masalah BIaya tetap, Efektifitas tetap Pemerataan Apakah biaya manfaat didistribusikan secara merata kepada kelompok-kelompok yang berbeda? Criteria Pareto; Kriteria Kaldor-Hicks: Kriteria Rawls Responsivitas Apakah hasil kebijakan memuaskan kebutuhan/preferensi atau nilai-nilai kelompok tertentu? Konsistensi dengan survey warga negara Ketepatan Apakah hasil (tujuan) yang diinginkan benar-benar berguna atau bernilai Program public harus merata dan eisien Sumber: William N. Dunn (1999; h 609) IV.5. EVALUASI SUMATIF/EVALUASI DAMPAK 1. PENGERTIAN DAMPAK 1. Dampak adalah perubahan kondisi fisik maupun sosial sebagai akibat dari output kebijakan 2. Akibat yang dihasilkan oleh suatu intervensi program pada kelompok sasaran (baik akibat yang diharapkan atau tidak diharapkan), dan sejauh mana akibat tersebut mampu menimbulkan pola perilaku baru pada kelompok sasaran (impact) 1. Akibat yang dihasilkan oleh suatu intervensi program pada kelompok sasaran, baik yang sesuai dengan yang diharapkan ataupun tidak dan apakah akibat tersebut tidak mampumenimbulkan perilaku baru pada kelompok sasaran (effects) 2. TUJUAN EVALUASI SUMATIF/DAMPAK Evaluasi sumatif umumnya dilakukan untuk memperoleh informasi terkait dengan efektifitas sebuah kebijakan/program terhadap permasalahan yang diintervensi. Evaluasi ini bertujuan untuk: 1. Menilai apakah program telah membawa dampak yang diinginkan terhadap individu, rumah tangga dan lembaga 2. Menilai apakah dampak tersebut berkaitan dengan intervensi program 3. Mengeksplore apakah ada akibat yang tidak diperkirakan baik yang positif maupun yang negatif 1. Mengkaji bagaimana program mempengaruhi kelompok sasaran, dan apakah perbaikan kondisi kelompok sasaran betul-betul disebabkan oleh adanya program tersebut ataukah karena faktor lain. 3. DIMENSI DAMPAK Dimensi dampak yang dikaji dalam evaluasi kebijakan ini meliputi 1. Dampak pada masalah publik (pada kelompok sasaran) yang diharapkan atau tidak. 2. Dampak pada kelompok di luar sasaran sering disebut eksternalitas / dampak melimpah (spillover effects) 3. Dampak sekarang dan dampak yang akan datang. 1. Dampak biaya langsung yang dikeluarkan untuk membiayai program dan dampak biaya tak langsung yang dikeluarkan publik akibat suatu kebijakan (misalnya dampak terhadap pengeluaran rumah-tangga akibat relokasi pemukiman yang menyebabkan jarak ke sekolah/tempatkerja makin jauh, dlsb). 4. APRRAISAL DIMENSI DAMPAK Menurut Langbein (1980) memperkirakan dampak perlu memperhitungkan dimensi-dimensi sebagai berikut: 1. a. Waktu. Dimensi waktu ini penting diperhitungkan karena kebijakan dapat memberikan dampak yang panjang, baik sekarang maupun pada masa yang akan datang. Semakin lama periode evaluasi waktu semakin sulit mengukur dampak, sebab : 1) Hubungan kausalitas antara program dengan kebijakan semakin kabur, 2) Pengaruh factor-faktor lain yang harus dijelaskan juga semakin banyak, 3) jika efek terhadap individu dipelajari terlalu lama maka akan kesulitan menjaga track record individu dalam waktu yg sama. 4) Semakin terlambat sebuah evaluasi dilakukan akan semakin sulit mencari data dan menganalisis pengaruh program yang diamati. 1. b. Selisih antara dampak aktual dengan yang diharapkan. Selain memperhatikan efektifitas pencapain tujuan, seorang evaluator harus pula memperhatikan 1) Berbagai dampak yang tak diinginkan, 2) Dampak yang hanya sebagian saja dari yang diharapkan dan 3) Dampak yang bertentangan dari yang diharapkan 1. c. Tingkat Agregasi Dampak Dampak juga bersifat agregatif artinya bahwa dampak yang dirasakan secara individual akan dapat merembes pada perubahan di masyarakat secara keseluruhan 1. d. Tipe Dampak Ada 4 tipe utama dampak program : 1) Dampak pada kehidupan ekonomi : penghasilan, nilai tambah dsb 2) Dampak pada proses pembuatan kebijakan: apa yg akan dilakukan pada kebijakan berikutnya 3) Dampak pada sikap publik : dukungan pada pemerintah, pada program dsb 4) Dampak pada kualitas kehidupan individu, kelompok dan masyarakt yg bersifat non ekonomis. 5. UNIT-UNIT SOSIAL TERDAMPAK Sebuah kebijakan/program dapat membawa dampak pada berbagai unit sosial 1. Dampak individual : biologis (penyakit, cacat fisik dsb karena kebijakan teknologi nuklir misalnya), psikologis (stress, depresi, emosi dsb), lingkungan hidup (tergusur, pindah rumah dsb), ekonomis (naik turunnya penghasilan, harga, keuntungan dsb), sosial serta personal 2. Dampak organisasional : langsung (terganggu atau terbantunya pencapaian tujuan organisasi), tak langsung (peningkatan semangat kerja, disiplin) 3. Dampak pada masyarakat (meningkatnya kesejahteraan; dlsb) 1. Dampak pada lembaga dan sistem sosial (meningkatnya kesadaran kolektif masyarakat; menguatnya solidaritas sosial, dlsb) 6. FAKTOR-FAKTOR KEGAGALAN DAMPAK Sebuah kebijakan/program bisa saja gagal memperoleh dampak yang diharapkan meski proses implementasi berhasil mewujudkan output sebagaimana yang dituntut oleh program tersebut, namun ternyata gagal mencapai outcomesnya; apalagi jika proses implementasi gagal mewujudkan keduanya. Hal ini menurut Anderson bisa saja disebabkan karena : 1) Sumber daya yang tidak memadai 2) Cara implementasi yang tidak tepat (misalkan pilihan-pilihan tindakan yang kontra produktif seperti studi banding atau membeli mobil bagi pejabat yang memakan banyak biaya dengan tujuan meningkatkan kapasitas layanan) 3) Masalah publik sering disebabkan banyak faktor tetapi kebijakan yang dibuat hanya mengatasi satu faktor saja 4) Cara menanggapi kebijakan yang justru dapat mengurangi dampak yang diinginkan (misalkan karena takut dianggap melanggar prosedur, maka implementers bertindak sesuai ‘textbook’ walau situasinya mungkin berbeda) 5) Tujuan-tujuan kebijakan tak sebanding bahkan bertentangan satu sama lain (misalnya kebijakan untuk menumbuhkan industry dalam negeri yang memberi insentif pajak dan kemudahan modal; tapi di sisi lain ada kebijakan kenaikan harga listrik dan kenaikan harga sumber energy, dll) 6) Biaya yang dikeluarkan jauh lebih besar dari masalahnya (yang ini sering terjadi di Indonesia, terutama karena seringnya terjadi mark-up harga, ataupun karena bentuk-bentuk kegiatan yang terkesan dicari-cari untuk penyerapan anggaran yang seharusnya tidak dibutuhkan. 7) Banyak masalah publik yang tak mungkin dapat diselesaikan 8) Timbulnya masalah baru sehingga mendorong pengalihan perhatian dan tindakan 9) Sifat dari masalah yang akan dipecahkan (Anderson, 1996) IV.6. STUDI EVALUASI KEBIJAKAN Evaluasi program atau kebijakan tidak dapat dilakukan hanya melalui kajian teoritik atau hanya melalui data-data sekunder, sebab jika hal tersebut yang dilakukan, maka penilaian dan rekomendasi yang dihasilkan tidak valid karena hanya berdasarkan perkiraan saja. Untuk dapat disebut sebagai sebuah Studi/kajian, maka Evaluasi kebijakan harus memenuhi hal-hal berikut ini. 6.1. KARAKTERISTIK PENELITIAN EVALUASI 1. Evaluasi harus empirik tidak spekulatif hipotetik atau asumtif teoritik 2. Tidak bias pada satu alternatif atau dampak tertentu 3. Rasional, harus sistematis dan dapat dipertanggungjawabkan dihadapan pakar 4. Kajian harus dilakukan dari berbagai aspek 5. Handal dan sahih baik dalam analisis, ketersediaan data dan reliabilitas datanya. 6.2. TEKNIS PENELITIAN EVALUASI Penelitian evaluasi kebijakan bukanlah hal yang dapat dipandang sepele karena dari hasil penelitian tersebut diharapkan diperoleh masukan/umpan balik dan penilaian-penilaian yang akurat atas sebuah kinerja kebijakan/program, serta hasilnya dapat dipertanggung-jawabkan. Untuk itu Leonard Rutmanmemberikan panduan yang perlu diperhatikan sbb: 1. a. Sebelum pelaksanaan : 1) Gunakan prosedur-prosedur ilmiah a) Mengamati dan memahami tujuan evaluasi b) Mengamati dan memilih kriteria c) Mengamati sensitivitas metode 2) Focus pada proses dan outcomes kebijakan/program, bukan hanya pada outcomesnya saja. Dengan demikian dapat diperoleh informasi mengenai aktifitas-aktifitas apa menghasilkan apa; serta memungkinkan upaya replikasi di kemudian hari. 3) Jangan batasi dampak hanya pada sasaran-sasaran yang dinyatakan secara formal saja, sebab tidak semua sasaran kebijakan dinyatakan secara formal. Konsekuensi-konsekuensi yang mungkin terjadi akibat program/kebijakan juga dipertimbangkan. Untuk itu manfaatkan hasil penelitian yang terkait, gunakan logika, atau pengalaman-pengalaman atas program yang serupa. 4) Pertimbangkan informasi-informasi yang dibutuhkan oleh pembuat keputusan di masa mendatang, bukan hanya kebutuhan saat ini. Bersikaplah sebagai ilmuwan, bukan teknisi evaluasi. 1. b. Persiapan sebelum menguji Program: 1) Definisi Program Secara Jelas. Harus dipastikan bahwa label yang diberikan pada sebuah program memiliki makna dan maksud yang sama bagi semua yang terlibat, sehingga jelas data mana yang harus diukur (definisi konsep harus jelas, sehingga definisi operasionalnya juga jelas dan dapat direplikasikan). 2) Spesifikasi Sasaran/goals. Karena sasaran-sasaran merupakan criteria keberhasilan program, maka harus dinyatakan secara spesifik agar dapat diperoleh tolok ukurnya. Sayangnya seringkali tujuan/sasaran tersebut hanya disebutkan secara umum, jangka panjang, bahkan kadang kontradiksi dan tidak terkait dengan aktifitas-aktifitas program. Jika hal ini terjadi, maka peneliti bertanggung-jawab untuk merumuskannya secara bersama-sama dengan perencana program dan manajer program[1]. 3) Keterkaitan Rasional. Harus ada keterkaitan rasional antara program yang akan dievaluasi dengan sasaran yang dituju dan dampak yang diharapkan. Ada tidaknya kaitan rasional tersebut, dapat menentukan apakah program tersebut yang harus dimodifikasi atau sasaran dan hasil yang harus dirubah (misal Program Pelatihan Angkatan Kerja dengan sasaran jangka panjang berkurangnya angka pengangguran. Akan lebih masuk akal jika dikaitkan dengan sasaran jangka pendek : pencapaian tenaga kerja berketrampilan. 4) Pastikan Kegunaan Evaluasi. Kendati studi evaluasi dimaksudkan sebagai akuntabilitas program, serta untuk memberikan informasi yang terkait dengan pelaksanaan dan hasil program kepada pembuat keputusan dan manajemen, namun seringkali studi evaluasi dilakukan dengan maksud-maksud tertentu, yang disebut oleh Edward Suchman sebagai Pseudoevaluations[2]. Karenanya evaluator juga harus mengetahui siapa yang menghendaki dan mendanai studi evaluasi tersebut untuk mencegah timbulnya ketegangan dengan administrator program. 5) Spesifikasikan Variabel-variabel Evaluasi a) Spesifikasikan komponen-komponen program, dengan memperjelas terdiri dari komponen-komponen aktifitas apa saja program tersebut (misalnya PKK dengan 10 Program PKKnya). Gunanya adalah sebagai Component testing untuk menguji sumbangan keefektifan masing-masing komponen terhadap program. b) Spesifikasikan sasaran-sasaran dan efeknya. Bukan hanya yang dinyatakan secara formal dalam dokumen atau oleh pengelola program, namun juga sasaran-sasaran latent dan dampak-dampak lain yang diharapkan oleh masyarakat (misal kasus program Bantuan Langsung Tunai BLT yang ditujukan untuk meringankan beban masyarakat miskin akibat kenaikan harga BBM, dapat ditanggapi beragam – missal: apa criteria ‘miskin’ dan apa criteria ‘meringankan’ yang dimaksudkan oleh program tsb? Karena jawabannya dapat beragam, demikian juga dampaknya). 6) Spesifikasikan Variabel-variabel antesedennya. Anteseden variable adalah factor-faktor konteks yang dapat mempengaruhi jalannya program (misalnya karakteristik target kebijakan; sifat dasar permasalahan sehingga memerlukan intervensi kebijakn, dll). 7) Spesifikasikan variable-variabel Interveningnya dengan menanyakan : ”setelah program dijalankan, factor-faktor apakah yang dapat mendukung atau menghambat pencapaian sasaran program? Antecedent factors Program implementation Intervening Goals / effects 8) Measurement : setelah mengetahui apa saja yang harus diukur, maka langkah selanjutnya adalah memilih tehnik pengukuran yang tepat untuk menilai. Untuk itu perlu : a). ketepatan indicator (tolok ukur) yang digunakan; b).Reliabilitas alat ukur (hasil yang diberikan konsisten meski dilakukan dalam situasi yang berbeda) dan c). Validitas alat ukur (ketepatan alat ukur dalam mengukur fenomena). c. Kriteria yang harus dipenuhi dalam evaluasi : 1) Relevansi : harus mampu memberikan informasi yang tepat pada pembuat dan pelaku kebijakan, mampu menjawab secara benar pertanyaan dalam waktu yang tepat 2) Signifikan : harus mampu memberikan informasi yang baru dan penting. 3) Validitas : mampu memberikan pertimbangan yang tepat sesuai dengan hasil nyata/data empiric mengenai hasil kebijakan. 4) Reliabilitas : dapat membuktikan bahwa hasilnya diperoleh dengan penelitian yang teliti 5) Obyektif : tidak memihak /bias 6) Tepat waktu 7) Daya guna : hasil penelitian dapat dipahami dan dimanfaatkan oleh pelaku dan pembuat kebijakan 6.3. METODA DAN MODEL-MODEL STUDI EVALUASI Beragam methoda dan model-model evaluasi program yang dapat digunakan untuk mengukur kinerja implementasi Program/kebijakan. Untuk pemahaman yang lebih baik dan lebih dalam (sebab buku ini hanya untuk memberikan informasi dasar saja), salah satu buku yang dianjurkan dan patut dipelajari adalah buku “Measuring Performance in Public and Nonprofit Organizations” karyaTheodore H.Poister. 6.4. PROBLEM DALAM STUDI EVALUASI 1. Ketidakpastian dan ketidakjelasan tujuan kebijakan 2. Evaluasi tidak dilakukan dengan sistematis, sehingga kesulitan menguji kausalitas bahwa dampak memang disebabkan oleh kebijakan tersebut 3. Dampak kebijakan biasanya menyebar di luar sasaran kebijakan 4. Kesulitan dalam memperoleh data primer 5. Data sekunder yang tersedia seringkali kurang valid 6. Resistensi pejabat/penanggung-jawab program yang merasa diawasi 1. Evaluasi cenderung kurang melihat dampak (kurang valid), tapi lebih suka mengkur dan menilai outputnya saja. 6.5. EVALUASI KEBIJAKAN DI INDONESIA)* 1. Sering tidak sungguh-sungguh karena evaluatornya dari Pemerintah sendiri. 2. Hasil evaluasi tidak konklusif, membahas banyak persoalan tetapi tanpa arah yang jelas, sehingga tak ada rekomendasi yang argumentatif 1. Bersifat formalitas dari pada berdasarkan kebutuhan riel. Karena dilakukan secara rutin maka hasilnya kurang tajam. Hanya untuk memenuhi formalitas, membaca data dan memasukkannya dalam form-form tertentu. (*lihat juga catatan kaki no 2 tentangpseudoevaluation). IV.7. PERTANYAAN-PERTANYAAN DALAM STUDI EVALUASI 1. 1. MENURUT SOFIAN EFFENDI Tujuan dari evaluasi kebijakan public adalah untuk mengetahui variasi dalam indicator-indikator kinerja yang digunakan untuk menjawab tiga pertanyaan pokok (lihat, Nugroho, h.284),: a. Bagaimana kinerja implementasi kebijakan, sejauh mana variasi kesesuaian capaian kebijakan (output dan outcomes yang dihasilkan dari proses implementasi) dengan indicator-indikator yang telah ditetapkan. 1. Faktor-faktor apa yang menyebabkan variasi tersebut? Apakah karena factor yang terkait dengan isi program/kebijakan itu sendiri, apakah karena cara kerja dalam pengorganisasian implementasi kebijakan (output yang terkait dengan kinerja implementers); atau karena lingkungan implementasi kebijakan yang mempengaruhi variasi outcomes tersebut. 2. Bagaimana strategi untuk lebih meningkatkan kinerja implementasi kebijakan? Jawaban atas pertanyaan tersebut adalah tugas pengevaluasi untuk memilih variable-variabel yang dapat diubah (actionable variables). 2. MENURUT RANDALL B. RIPLEY Untuk mengukur capaian riel sebuah program/kebijakan, maka dari hasil kajian evaluasi harus diperoleh jawaban-jawaban atas persoalan berikut ini: 1. Kelompok dan kepetingan mana yg memiliki akses dalam pembuatan kebijakan? 2. Apakah pembuatan kebijakan dilakukan secara cukup rinci, terbuka dan memenuhi prosedur? 3. Apakah program-program kebijakan didesain secara logis ? 4. Apakah sumber daya yg menjadi input program telah memadai untuk mencapai tujuan ? 5. Apa standar implementai yang baik bagi kebijakan tsb ? 6. Apakah program dilaksanakan sesuai standar efisiensi ekonomi? Apakah uang digunakan dengan tepat dan jujur? 7. Apakah kelompok sasaran memperoleh pelayanan seperti yg didesain dalam program ? 8. Apakah program juga memberikan dampak pada kelompok non sasaran? Apa jenis dampaknya ? 9. Apa dampak yg diharapkan dan tak diharapakan pada masyarakat ? 10. Kapan tindakan program dilaksanakan dan dampaknya diterima oleh masyarakat ? 11. Apakah tindakan dan dampak telah sesuai dengan yang diharapkan ? IV.8. IMPLIKASI HASIL EVALUASI TERHADAP PROGRAM/KEBIJAKAN Hasil kajian evaluasi atas sebuah program/kebijakan akan berimplikasi pada keberlangsungan program/kebijakan termaksud, yang menurut Weis (dalam Shafritz and Hyde, 1987) adalah sebagai berikut: 1. Meneruskan atau mengakhiri program 2. Memperbaiki praktek & prosedur administrasinya 3. Menambah atau mengurangi strategi dan tehnik implementasi 4. Melembagakan program ke tempat lain 5. Mengalokasikan sumber daya ke program lain 6. Menolak atau menerima pendekatan/teori yang digunakan oleh Program/ kebijakan sebagai asumsi KESIMPULAN Secara teoritik siklus terakhir dalam proses kebijakan adalah evaluasi, yang bertujuan memberikan informasi mengenai kinerja Program/kebijakan setelah diimplementasikan. Evaluasi sangatlah penting sebagai bentuk akuntabilitas public pemerintah atas kinerjanya. Namun melakukan evaluasi atas sebuah program/kebijakan yang dapat memberikan masukan bagi pemerintah/pembuat keputusan dengan hasil yang dapat dipertanggung-jawabkan tidaklah mudah. Sebagian karena kesulitan yang bersifat instrinctive (karena sifat dampak yang berdimensi luas dan dapat menyebar), juga karena beragam kebijakan juga menuntut beragam metode pengukuran yang sesuai; serta karena kurangnya usaha yang serius untuk itu. Untuk menghasilkan studi evaluasi yang benar-benar berguna, maka memahami criteria evaluasi yang harus dipenuhi, memahami metoda penelitian evaluasi, serta memilih metoda pengukuran yang tepat adalah syaratnya.