UMKM (Usaha Mikro, Kecil, dan Menengah) memiliki peran strategis dalam perekonomian Indonesia, namun proses klasifikasi sektor usahanya masih dilakukan secara manual, sehingga kurang efisien dan berisiko tinggi terhadap kesalahan. Kondisi ini menimbulkan kebutuhan akan sistem otomatis yang mampu mengelompokkan sektor usaha secara cepat dan akurat. Penelitian ini bertujuan untuk membangun sistem klasifikasi sektor UMKM berbasis citra pelaku usaha dengan memanfaatkan teknologi deep learning. Dua model CNN pretrained, yaitu VGG16 dan Xception, digunakan sebagai metode ekstraksi fitur visual dari gambar. Hasil ekstraksi tersebut kemudian diklasifikasikan menggunakan dua algoritma supervised learning, yaitu Support Vector Machine (SVM) dan K-Nearest Neighbor (K-NN). Keunikan penelitian ini terletak pada pemanfaatan data citra pelaku UMKM asli dari hasil pendataan nasional. Dataset yang digunakan terdiri dari 2.421 gambar yang mewakili dua sektor usaha: Industri Pengolahan dan Perdagangan Besar dan Eceran. Evaluasi dilakukan menggunakan metrik akurasi, precision, recall, dan f1-score. Hasil penelitian menunjukkan bahwa kombinasi model Xception dan SVM memberikan performa terbaik dengan akurasi sebesar 77,7%, mengungguli kombinasi lainnya. Hal ini membuktikan bahwa pendekatan berbasis pretrained CNN dan machine learning efektif dalam melakukan klasifikasi otomatis terhadap sektor usaha UMKM. Dengan demikian, sistem yang dibangun dapat menjadi solusi potensial dalam mendukung proses digitalisasi dan pengelompokan usaha kecil secara lebih efisien.