Penelitian ini bertujuan untuk mengevaluasi program pendidikan bahasa Arab di Madrasah Mu’allimin Muhammadiyah Yogyakarta berdasarkan evaluasi konteks, masukan, proses, dan produk. Jenis penelitian ini adalah penelitian evaluatif, menggunakan pendekatan mixed method dengan model evaluasi dari Stufflebeam dengan prosedur penelitian context, input, process, product (CIPP). Subjek dalam penelitian ini adalah pimpinan/direksi, staf bidang bahasa, dan guru. Teknik pengumpulan datanya menggunkan observasi, wawancara, dan dokumentasi. Data kualitatif dianalisis menggunkan tahapan reduksi, penyajian data, dan penarikan kesimpulan. Data kuantitatif dianalisis menggunkan statistik deskriptif. Penelitian ini mendapatkan kesimpulan sebagai berikut: (1) Berdasarkan data-data yang di dapatkan dari context evaluation menunjukkan hasil yang cukup baik. Hal ini berdasar pada komponen Survey, pemantapan ide program, Pemantapan Ide, Dokumentasi program dan sosialisasi program. (2) Berdasarkan data-data yang di dapatkan dari input evaluation menunjukkan hasil yang kurang baik, berdasar pada komponen guru (penanggung jawab program), siswa dan Sarana pendukung. (3) Berdasarkan data-data yang di dapatkan dari process evaluation menunjukkan hasil yang kurang baik. Hal ini didasarkan pada komponen materi, pelaksanaan program, metode, media, sistem penilaian. (4) Secara umum, ketercapaian tujuan dari program pendidikan bahasa Arab di Madrasah Mu’allimin tersebut kurang baik. Hal ini disebabkan oleh tidak validnya pengukuran yang dipakai untuk mengukur keberhasilan santri dalam mencapai tujuan program. Baik tujuan menghafal mufradat maupun public speaking.