Penelitian ini membahas tentang Kualitas Tes Ujian Akhir Semester (UAS) Gasal Kelas VIII Mata Pelajaran Pendidikan Agama Islam (PAI) Tahun Ajaran 2013/2014 Di SMP Se-Kecamatan Pandak. Hal yang akan dianalisis meliputi tingkat kesukaran butir, daya beda, efektivitas distraktor, validitas dan reliabilitas. Analisis butir soal diperlukan untuk mengetahui kualitas tes. Tes berfungsi sebagai alat pengukur bagi peserta didik dan alat pengukur keberhasilan program pengajaran. Tes merupakan fokus dari evaluasi hasil. Evaluasi ini digunakan untuk mengetahui keberadaan hasil tes dan memperbaiki proses pembelajaran. Penelitian ini adalah evaluatif dengan pendekatan diskriptif kuantitatif. Dalam penelitian ini mengambil SMP di Kecamatan Pandak yaitu SMP N 1 Pandak, SMP N 2 Pandak, SMP N 3 Pandak dan SMP N 4 Pandak. Sampel yang digunakan sebanyak 398 lembar jawab siswa. Data yang diambil melalui metode dokumentasi. Data tersebut berupa naskah soal, lembar jawab siswa, kunci jawaban dam juga kisi-kisi. Penelitian ini berupa pengolahan angka. Program yang digunakan untuk penelitian ini adalah program omputer MicroCat ITEMAN Versi 3.00. Hasil penelitian ini adalah tingkat kesukaran butir 86,7% termasuk dalam kategori sedang atau sebanyak 39 butir soal dan 13,3% termasuk dalam kategori mudah atau sebanyak 6 butir soal. 26,7 % butir soal memiliki daya beda sedang, 62,2 % butir soal memiliki daya beda rendah dan 11,1 % butir soal tidak mampu membedakan kemampuan siswa. Dalam hal ini antara indeks daya beda dan tingkat kesukaran berlawanan. 77,8 % butir soal yang distraktornya menjalankan fungsinya dengan baik, 8,9% butir soal distraktornya perlu untuk direvisi dan 13,3% butir soal distraktor tidak berfungsi dengan baik sehingga harus diganti. 80 % butir soal yang diterima, 8,9 % butir soal yang direvisi, dan 11.1 % butir soal yang ditolak/dibuang. Besarnya reliabilitas tes sebesar 0,274 termasuk dalam kategori rendah. Butir soal tes yang digunakan telah sesuai dengan kisi-kisi penyusunan soal. Dilihat dari validitas konstruknya yaitu kesesuaian dengan kisi-kisi sebanyak 45 butir soal sesuai dengan kompetensi dasar dan indikatornya. Sedangkan untuk penulisan dan pemakaian kalimat yang efektif terdapat beberapa kesalahan yaitu pada butir soal nomor 1, 11, 12, 19, 21, dan 32.