Buah manggis memiliki nama latin Gracia mangostanga L adalah salah satu buah primadona ekspor yang menjadi andalan negara dikarenakan menjadi penyumbang devisa terbesar di Indonesia. Sebagai komoditas ekspor kualitas mutu buah manggis harus dijaga, yang menjadi masalah adalah pengamatan buah manggis masih menggunakan metode konvensional, yaitu pengamatan manual yang dilakukan dengan cara visual pada indra penglihatan. Penyotiran dengan cara konvensional dirasa kurang efektif, karena memakan banyak waktu dan biaya yang cukup besar. Untuk mengatasi permasalah tersebut akan dikembangkan metode deteksi cacat permukaan buah manggis menggunakan pengolahan citra. Pada tahap pertama mengukur citra dan konversi citra ke mode grayscale, kemudian dilakukan dekomposisi PCA. Pada tahap selanjutnya adalah pengambilan nilai ekstraksi ciri dengan nilai-nilai hasil dari PCA yaitu ekstraksi ciri score-standar deviasi, score-variance, latent-standar deviasi dan latent-variance sebagai masukan tahap klasifikasi dan akurasi menggunakan metode LDA. Sedangkan metode validasi menggunakan K-Fold Cross Validation yang ada pada penelitian ini dibagi menjadi 4-fold cross validation. Penerapan ekstraksi ciri sekaligus pada klasifikasi dengan 120 citra uji menghasilkan akurasi sebesar 96,67% pada fold-1, 90% pada fold ke 2 dan ke 3 dan 100% pada fold 1. Secara keseluruhan nilai akurasi yang didapat dari 4-fold menghasilkan akurasi optimal sebesar 94.16% .