Tujuan dari penelitian ini adalah: 1) untuk mengetahui validitas logis yang meliputi validitas isi dan validitas konstruk. 2) untuk mengetahui validitas butir instrumen tes yang meliputi: uji validitas item, uji derajat kesukaran, uji daya pembeda, dan uji fungsi distraktor. 3) untuk mengetahui reliabilitas tes mata pelajaran Bahasa Asing (Arab) kelas X pada Ujian Akhir Sekolah (UAS) ganjil tahun pelajaran 2016/2017 pada bentuk soal objektif dan subjektif. Penelitian ini merupakan penelitian lapangan, dengan menggunakan pendekatan kuantitatif. Penelitian ini bertempat di SMA Muhammadiyah 7 Yogyakarta. Metode pengumpulan data yang digunakan antara lain: wawancara, observasi, dan dokumentasi. Teknik analisis data dilakukan secara kualitatif dan kuantitatif. Analisis kualitatif dilakukan untuk mengetahui validitas logis tes yang meliputi: validitas isi dan validitas konstruk, analisis dilakukan dengan menggunakan format penelaah soal. Sedangkan analisis kuantitatif dilakukan untuk mengetahui validitas butir instrumen tes yang meliputi: uji validitas item, uji derajat kesukaran, uji daya pembeda, uji fungsi distraktor, serta untuk mengetahui reliabilitas tes. Analisis data kuantitatif dilakukan secara manual. Hasil analisis kualitatif menunjukkan bahwa pada soal objektif sebesar 30% item soal telah memiliki validitas logis, sedangkan pada soal subjektif sebesar 60% item telah memiliki validitas logis yang ditinjau dari aspek materi, konstruksi, dan bahasa. Hasil analisis kuantitatif menunjukkan bahwa pada soal objektif secara keseluruhan yaitu: sebesar 97,5% adalah valid, taraf soal sebesar 53% pada kategori mudah, daya pembeda item sebesar 70% adalah baik, serta distraktor yang telah menjalankan fungsinya dengan baik sebesar 7,5%. Pada bentuk soal subjektif, kelima butir item tes sudah tergolong valid atau sebesar 100%, taraf soal sebesar 80% pada kategori mudah, daya pembeda item sebesar 100% memiliki pembeda item yang baik. Reliabilitas tes pada bentuk objektif dengan menggunakan teknik belah dua dari Spearman Brown, diketahui besar koefisien reliabilitas sebesar 0,904 yang berarti tes tersebut adalah tes yang reliabel. Sedangkan pada tes bentuk subjektif dengan menggunakan rumus Alpha, diketahui diketahui besar koefisien reliabilitas sebesar 0,849 yang berarti tes tersebut adalah tes yang reliabel.