Penelitian ini bertujuan untuk mengungkapkan seberapa signifikan butir soal ulangan akhir semester ganjil mata pelajaran Bahasa Arab di kelas VI Pesantren Anak Ibnu Taimiyyah Yogyakarta yang dilihat dari segi validitas, reliabilitas, tingkat kesukaran, daya pembeda dan fungsi pengecoh. Penelitian ini menggunakan pendekatan kuantitatif, dengan sampel siswa kelas VI Pesantren Anak Ibnu Taimiyyah Yogyakarta. Data yang dikumpulkan melalui observasi, dokumentasi serta wawancara. Data dianalisis dengan menggunakan software anates versi 4.10. Hasil dalam penelitian ini menunjukan bahwa kualitas butir soal ulangan akhir semestes ganjil mata pelajaran bahasa arab untuk kelas VI pesantren anak ibnu taimiyyah rata-rata menunjukan kualitas yang baik. Dilihat dari validitas (56%) dinyatakan signifikan dan (44%) dinyatakan tidak signifikan. Sedangkan pada butir soal uraian (80%) dinyatakan signifikan dan (20%) dinyatakan tidak signifikan. Serta pada butir soal essay (80%) dinyatakan signifikan dan (20%) dinyatakan tidak signifikan. Kualitas soal dilihat dari uji reliabilitas dinyatakan 0.82 untuk butir soal pilihan ganda, 0.87 pada butir soal uraian dan untuk butir soal essay sebesar 0.82. Kualitas soal dilihat dari tingkat kesukaran pada butir soal pilihan ganda sebanyak (12%) yang dinyatakan “mudah”, (68%) yang dinyatakan “sedang” dan 5 butir soal (20%) yang dinyatakan “sukar”. Sedangkan pada butir soal uraian sebanyak (10%) yang dinyatakan “mudah”, (60%) yang dinyatakan “sedang”, dan (30%) yang dinyatakan “sukar”. Serta pada butir soal essay (100%) yang dinyatakan “sedang”. Kualitas soal dilihat dari tingkat daya pembeda dan fungsi pengecoh pada butir soal pilihan ganda sebanyak (12%) yang dinyatakan “baik sekali”, (32%) dinyatakan “baik”, (16%) dinyatakan “sedang”, (20%) dinyatakan “jelek” dan (20%) dinyatakan “jelek sekali”.