Kanji jika dibandingkan dengan huruf lainnya memiliki keunikan tersendiri. Keunikan ini terdiri dari bentuknya, jumlah coretan, cara baca yang terdiri dari cara baca Tiongkok (onyomi) dan cara baca Jepang (kunyomi). Hal inilah yang menjadi kendala tersendiri bagi mahasiswa saat mempelajari kanji. Sehingga diperlukan cara untuk mengatasi permasalahan tersebut, salah satunya ialah dengan memanfaatkan media pembelajaran secara maksimal. Media pembelajaran memiliki banyak jenis, salah satunya ialah multimedia. Smartphone dikategorikan masuk dalam multimedia, sehingga aplikasi dalam smartphone dapat digunakan, salah satu di antaranya ialah aplikasi N4 Kanji Quiz. Metode penelitian yang digunakan pada penelitian ini ialah kuasi eksperimen dengan menggunakan desain one group pre-test and post-test. Subjek dalam penelitian ini berjumlah 22 orang mahasiswa semester II Pendidikan Bahasa Jepang UMY tahun ajaran 2016/2017. Sedangkan, instrumen yang digunakan berupa tes dan angket. Tes terdiri dari pre-test dan post-test, yang digunakan untuk mengukur tingkat keefektifan aplikasi N4 Kanji Quiz. Angket digunakan untuk memperoleh tanggapan subjek mengenai aplikasi N4 Kanji Quiz. Dari hasil analisis yang dilakukan dengan menggunakan teknik statistik komparasional, maka diperoleh nilai t-hitung sebesar 2,27. Sedangkan nilai t-tabel dengan db 21 pada taraf signifikansi 5% sebesar 2,08. Dengan demikian, nilai t-hitung lebih besar daripada nilai t-tabel, yang artinya terdapat perbedaan yang signifikan antara nilai pre-test dan post-test. Meskipun terdapat perbedaan yang signifikan, hasil analisis yang dilakukan dengan menggunakan rumus normalized gain untuk mengukur tingkat keefektifan hasilnya sebesar 0,13. Hasil tersebut menunjukkan bahwa aplikasi N4 Kanji Quiz kurang efektif digunakan sebagai media pembelajaran. Sedangkan dari hasil analisis angket, sebagian besar subjek berpendapat bahwa aplikasi N4 Kanji Quiz mudah untuk digunakan, mengatasi terbatasnya waktu belajar di dalam kelas dan bisa menjadi media alternatif dalam menyelesaikan masalah pembelajaran yang dihadapi.