Buah manggis merupakan buah yang mempunyai potensi ekspor yang sangat besar di Indonesia. Untuk mendapatkan kualitas manggis yang sesuai permintaan pasar, diperlukan pemilihan kualitas permukaan terbaik tanpa cacat pada buah manggis. Sehingga diperlukan sebuah teknologi dengan menggunakan program yang dapat mendeteksi cacat permukaan pada buah manggis. Dalam penelitian ini digunakan salah satu arsitektur dari deep learning yaitu Convolutional Neural Network (CNN) sebagai pendeteksi cacat atau tidaknya buah manggis dengan melalui proses pengolahan citra. CNN terbukti sangat efisien dalam hal mengklasifikasi gambar. Metode CNN ini diimplementasikan dengan menggunakan data set validasi 4-fold Cross Validation untuk menilai keakuratan. Dalam penyusunan arsitektur model CNN, proses training jaringan dipercepat dengan melakukan konfigurasi inisialisasi parameter. Hasil uji coba menggunakan algoritma CNN menunjukan kinerja pendeteksi kecacatan pada buah manggis meraih rata-rata akurasi lebih dari 97%.