ALAT ANALISIS MONITORING DAN EVALUASI

Apa yang dimaksud dengan Monitoring dan Evaluasi ?

Monitoring :

Fungsi yang dilakukan secara menerus menggunakan data yang dikumpulkan dari indikator tertentu (merupakan indikator yang ditetapkan), sebagai bahan masukan manajemen terhadap kemajuan (progres) dan capaian (achievement) dari tujuan (objective) program/kegiatan serta kemajuan (progres) penggunaan dana yang dialokasikan pada program/kegiatan tersebut.

Penjelasan :

• Kegiatan yang dilaksanakan secara periodik.

• Kegiatan berupa pengumpulan data ( kuesioner).

• Data yang dikumpulkan berupa indikator kinerja yang telah ditetapkan bersama.

• Indikator kinerja yang telah ditetapkan harus dapat menggambarkan kemajuan pelaksanaan program dan capaian dari tujuan program.

• Indikator yang ditetapkan harus dapat menggambarkan kemajuan penggunaan (penyerapan) dana yang dialokasikan.

Evaluasi :

Proses penentuan nilai atau tingkat kemanfaatan dari suatu program untuk menentukan relevansi dari tujuan (objective), keampuhan dari rencana dan penerapannya, efisiensi penggunaan sumberdaya-nya, dan keberlanjutan dari hasil yang telah dicapai.

Penjelasan :

• Proses untuk menilai kemanfaatan program

• Apakah hasilnya relevan terhadap tujuan (objective)

• Apakah rancangan dan penerapannya memberikan manfaat

• Apakah pelaksanaannya penggunakan sumberdaya secara efisien

• Apakan hasil yang dicapai memberikan manfaat secara berkelanjutan (tidak hanya selesai program setelah itu terus berhenti) : bagaimana pasca programnya ?

Monitoring dan Evaluasi bersifat sinergistik.....monitoring sangat penting, tetapi tidak cukup. Merupakan masukan untuk evaluasi

ALAT ANALISIS, METODE DAN PENDEKATAN UNTUK MONITORING DAN EVALUASI

Indikator Kinerja (Performance Indicator)

Pengertian :

• Merupakan ukuran bagi input, proses, output, outcome dan impact

• Jika didukung data yang akurat, indikator-indikatornya dapat membantu memantau kemajuan jejak (track progress), mendemonstrasikan hasil, mengambil tindakan korektif untuk meningkatkan layanan yang diberikan

• Penting untuk menyertakan stakeholder kunci dalam menetapkan indikator yang dapat mereka pahami sehingga dapat digunakan oleh mereka dalam pengambilan keputusan manajerial.

Digunakan untuk :

• Penetapan target kinerja serta evaluasi kemajuan

• Mengindikasikan apakah evaluasi yang lebih dalam (atau review) diperlukan

Keunggulan :

• Alat yang efektif untuk mengukur kemajuan terhadap tujuan yang telah ditetapkan

Kelemahan :

• Indikator-indikator yang tidak terdefinisi dengan baik tidak dapat mengukur tingkat kesuksesan program

• Kecenderungan untuk menggunakan banyak indikator tanpa adanya kemudahan akses terhadap sumber data akan memakan biaya besar, tidak praktis dan tidak termanfaatkan semua.

• Kadang harus memilih antara menggunakan indikator yang paling baik atau menggunakan indikator yang mudah diukur menggunakan data eksisting.

Kerangka Logis (Log Frame)

Pengertian :

• Membantu untuk mengklarifikasi tujuan program

• Membantu dalam mengidentifikasi input, proses, output, outcome dan impact yang diharapkan

• Mengarah pada identifikasi indikator kinerja seperti risiko yang dapat menghalangi pencapaian tujuan.

• Bermanfaat untuk mempertemukan mitra-mitra dalam mengklarifikasi tujuan dan merancang kegiatan

• Alat yang sangat bermanfaat untuk review kemajuan dan mengambil tindakan korektif

Digunakan untuk :

• Meningkatkan kualitas rancangan program dengan menggunakan spesifikasi obyektif yang jelas, indikator kinerja dan kajian risiko

• Persiapan dari rencana operasional rinci

• Dasar obyektif untuk meriview aktivitas, monitoring dan evaluasi

Keunggulan :

• Menyediakan pertanyaan kunci dan analisis asumsi dan risiko

• Mempertemukan stakeholder dalam proses perencanaan dan monitoring

• Sebagai alat manajemen untuk memandu penerapan, monitoring dan evaluasi

Kelemahan

• Dapat menghambat kreatifitas

• Cenderung statis

• Kadang dibutuhkan pelatihan

Evaluasi berdasarkan teori (Theory Based Evaluation)

Pengertian

• Hampir sama dengan Log Frame hanya lebih detail dalam memahami logika program

• Mencoba untuk mengidentifikasi penyebab atau faktor-faktor yang dianggap penting bagi keberhasilan serta hal-hal apa yang harus dimonitor

• Pada akhirnya mengarah pada penentuan critical success factors(CSFs)

• Mengevaluasi CSFs untuk menginformasikan indikasi/kemungkinan kesuksesan program

Digunakan untuk

• Pemetaan dari rancangan aktivitas yang kompleks

• Memperbaiki proses perencanaan dan manajemen

Keunggulan

• Memberikan ‘feedback’ awal mana yang berjalan baik, mana yang tidak serta penyebabnya

• Dapat mengkoreksi permasalahan lebih awal dengan segera begitu permasalahan muncul

• Membantu memprioritas-kan isu-isu mana yang harus diinvestigasi lebih dalam

• Menyediakan basis data untuk mengkaji potensi dampak (dampak yang mungkin) dari program

Kelemahan

• Dapat menjadi terlalu kompleks jika skala aktivitasnya besar, atau seluruh rincian daftar (list) faktor dan asumsi dihimpun

• Para pemangku kepentingan (stakeholders) mungkin tidak setuju dalam hal penentuan faktor-faktor apa yang mereka anggap penting atau faktor-faktor ini dianggap hanya akan menghabiskan waktu saja untuk mengevaluasinya.

Formal Survey

Pengertian

• Formal survey dapat digunakan untuk mengumpulkan informasi standar smpel yang dipilih secara hati-hati dari masyarakat atau rumah tangga

• Survey sering dilakukan untuk mengumpulkan informasi yang dapat diperbandingkan bagi jumlah penduduk/masyarakat yang relatif besar dalam kelompok target tertentu

Digunakan untuk

• Menyediakan baseline data dimana kinerja dari strategi, program atau proyek dapat dibandingkan

• Membandingkan kondisi aktual dengan target

• Menyediakan input kunci bagi evaluasi dampak (impact) dari program atau proyek

Keunggulan

• Temuan dari sampel dapat diaplikasikan pada target group yang lebih luas

• Perkiraan kuantitatif besar dan luasnya dampak dari program

Kelemahan

• Proses dan analisis dapat menjadi terhambat untuk survey yang lebih besar

• Banyak jenis informasi yang sulit diperoleh melalui wawancara formal

Rapid Appraisal (Penilaian Secara Cepat)

Pengertian

• Metode rapid appraisal dapat dilakukan dengan cara yang cepat dan murah untuk memperoleh gambaran dan feedback dari penerima manfaat (beneficieries) dan pemangku kepentingan (stakeholders) lainnya dalam rangka merespon kebutuhan para pengambil keputusan akan informasi

• Kegiatannya dapat meliputi : interview informatif kunci, FGD, observasi langsung, mini survey, dan lain-lain

Digunakan untuk

• Menyediakan informasi secara cepat bagi pengambilan keputusan manajerial, khususnya pada level program atau proyek

• Memberikan pengertian kualitatif dari situasi interaksi sosial yang tinggi, nilai-nilai, motivasi dan reaksi masyarakat.

• Memberikan interpretasi dan konteks dari data kuantitatif yang dihimpun melalui metode yang lebih formal

Keunggulan

• Dapat dilaksanakan secara cepat dan murah

• Memberikan fleksibilitas untuk meng-explore ide-ide baru

Kelemahan

• Tingkat validitas, reliabilitas, dan kredibilitas lebih rendah dibandingkat metode survey formal

• Sulit untuk men-generalisasi dari hasil temuan

Participatory Methods (Metode Partisipatori)

Pengertian

• Metode partisipatori memberikan keterlibatan secara aktif dalam pengambilan keputusan bagi yang berkepentingan terhadap program atau proyek atau strategi dan membangkitkan rasa memiliki terhadap hasil dan rekomendasi kegiatan monitoring dan evaluasi

• Kegiatan yang dilakukan dapat meliputi : analisis stakeholder, benefisiaries assessment, dll

Digunakan untuk

• Mengidentifikasi permasalahan yang timbul selama implementasi program

• Memberikan pengetahuan dan ketrampilan bagi masyarakat

Keunggulan

• Memeriksa isu-isu yang relevan dengan melibatkan pemain-pemain kunci dalam rancangan

• Menetapkan kemitraan dan kepemilikan lokal dari program yang dilaksanakan

• Meningkatkan pembelajaran lokal kapasitas manajemen dan ketrampilan

• Memberikan ketepatan waktu dan informasi yang dapat diandalkan (reliable) bagi pengambilan keputusan

Kelemahan

• Kadang-kadang terlihat kurang obyektif (adanya dominasi atau penyalahgunaan)

• Menghabiskan banyak waktu jika stakeholders kunci dilibatkan secara penuh

Cost Benefit Evaluation

Pengertian

• Analisis cost benefit dan cost effectiveness adalah alat untuk mengkaji (assesing) apakah biaya dari suatu kegiatan sesuai dengan outcome atau impact yang dihasilkan

• Analisis cost benefit mengukur baik input maupun output dalam terminologi keuangan (moneter)

• Analisis cost effectiveness mengukur input dalam terminologi keuangan dan outcome dalam terminologi non-keuangan secara kuantitatif

Digunakan untuk

• Pengambilan keputusan mengenai mana yang lebih efisien dalam mengalokasikan sumberdaya

• Mengidentifikasi program/proyek dengan ROI yang tertinggi

Keunggulan

• Pendekatan yang sangat akurat untuk menghitung efisiensi secara keuangan

• Menjadikan asumsi-asumsi ekonomi menjadi lebih eksplisit

• Dapat meyakinkan penentu kebijakan dan penyandang dana akan manfaat (benefit) yang dihasilkan

Kelemahan

• Sangat teknis, dibutuhkan keahlian

• Data untuk menghitung cost benefit boleh jadi tidak tersedia, sehingga hasil dari proyek/ program sangat tergantung pada asumsi yang dibuat

• Hasilnya harus diinterpretasi secara hati-hati (karena benefit sangat sulit untuk dikuantifisir)

Impact Assessment (Kajian Dampak)

Pengertian

• Identifikasi secara sistematis dari suatu akibat (baik positip maupun negatip, diharapkan atau tidak), yang diakibatkan oleh pelaksanaan program atau kegiatan

• Evaluasi dampak dapat dilakukan dalam skala yang besar (large scale sample surveys) atau skala kecil (small scale rapid assessment)

Digunakan untuk

• Mengukur outcome dan impact yang diakibatkan oleh kegiatan yang dilaksanakan dan memisahkannya outcome dan impact dari faktor-faktor lain yang berpengaruh

• Membantu dalam klarifikasi apakah biaya yang dikeluarkan sesuai dengan aktivitas yang dilaksanakan

• Proses pembelajaran dalam memperbaiki rancangan dan manajemen untuk kegiatan selanjutnya

Keunggulan

• Memberikan perkiraan besaran outcome dan impact

• Memberikan jawaban atas pertanyaan : seberapa besar perubahan yang telah dilakukan ? Apa hasil nyatanya ? Bagaimana kita dapat melakukan lebih baik ?

• Memberikan tambahan keyakinan bagi manajer untuk pengambilan keputusan

Kelemahan

• Dapat menjadi mahal dan menghabiskan banyak waktu sehingga mengurangi kemanfaatannya jika pengambil keputusan membutuhkan informasi secara cepat.

Kesimpulan

• Banyak cara dalam melakukan M&E, manakah yang terbaik untuk dilaksanakan ?

• Pertanyaan utama untuk M&E adalah : apa yang akan kita capai dan bagaimana mengukurnya ?

• Dibutuhkan untuk meyakinkan bahwa M&E dilakukan untuk mengukur kemajuan dan meyakinkan stakeholder akan nilai manfaat

• Pendekatan analisis harus sesuai dengan kebutuhan

• Dari pengalaman memperlihatkan dibutuhkan pendekatan gabungan/campuran untuk memngatasi hal-hal seperti : isu-isu situasional, sumberdaya (keahlian, waktu, pembiayaan), kemampuan untuk menemukan apa yang “benar-benar” dapat diukur.