Cara Membaca Grafik Konfusi Matriks Hasil Deteksi Objek

Grafik konfusi matriks biasanya muncul otomatis di akhir training model deteksi objek, berupa kotak berisi angka dengan warna berbeda-beda. Cara membacanya sederhana: baris menunjukkan label sebenarnya, kolom menunjukkan tebakan model, dan angka di setiap kotak adalah jumlah objek yang jatuh ke kombinasi itu. Dari situ kamu bisa tahu model lebih sering salah tebak kelas atau salah menempatkan kotak.

Banyak yang langsung melihat angka akurasi di pojok lalu menutup grafiknya. Informasi paling berguna justru ada di kotak-kotak yang tidak berada di diagonal.

Apa yang Sebenarnya Ditampilkan Grafik Konfusi Matriks

Untuk deteksi objek, confusion matrix dibuat dengan mencocokkan setiap kotak prediksi ke kotak label asli berdasarkan nilai IoU. Kalau IoU sebuah prediksi melewati ambang tertentu, prediksi itu dihitung sebagai tebakan yang sah dan kelasnya dicatat. Kalau tidak ada label yang cocok, prediksi masuk ke baris background.

Karena itu sumbu vertikal sering berisi kelas objek ditambah satu baris background di bagian bawah, sementara sumbu horizontal berisi kelas yang sama ditambah kolom background. Ukuran matriks jadi (jumlah kelas + 1) x (jumlah kelas + 1).

Kotak diagonal adalah tebakan benar. Kotak di luar diagonal adalah kesalahan, dan setiap kotak menyimpan jenis kesalahan yang berbeda. Arah membacanya: baris dulu, baru kolom.

Cara Membaca Angka per Kotak

Ambil contoh model dua kelas, mobil dan motor. Di baris mobil, kolom mobil berisi 180, kolom motor berisi 20, kolom background berisi 15. Artinya ada 215 mobil di data uji; 180 terdeteksi benar, 20 salah disebut motor, dan 15 tidak terdeteksi sama sekali.

Angka di kolom background pada baris kelas asli adalah objek yang lolos dari model. Ini sering diabaikan, padahal untuk pemakaian nyata justru paling penting. Model yang jarang salah kelas tapi sering melewatkan objek tetap bermasalah di lapangan.

Sebaliknya, baris background di kolom kelas berarti model mengarang objek yang sebenarnya tidak ada. Di aplikasi penghitung kendaraan, false positive seperti ini membuat hitungan membengkak meski tidak ada kendaraan lewat.

Membedakan Tiga Jenis Kesalahan yang Sering Tertukar

Begitu kamu membaca per kotak, kesalahan model bisa dipilah menjadi tiga kelompok yang penanganannya berbeda:

  • Salah kelas. Objek terdeteksi tapi labelnya keliru, misalnya motor dikira sepeda. Biasanya muncul karena dua kelas mirip secara visual atau data latihnya tidak seimbang.
  • Objek terlewat. Ada di label asli, tidak muncul di prediksi. Sering terjadi pada objek kecil, objek yang saling menutupi, atau kondisi cahaya yang jarang ada di data latih.
  • Deteksi palsu. Model melaporkan objek yang tidak diberi label. Bisa karena label memang terlewat saat anotasi, atau karena latar belakang punya pola yang mirip objek.

Memisahkan ketiganya membantu menentukan langkah perbaikan. Menambah data untuk kasus salah kelas tidak akan banyak menolong kalau masalah utamanya objek kecil terlewat.

Membaca Warna dan Skala pada Grafik

Grafik konfusi matriks biasanya diberi warna berdasarkan proporsi per baris, bukan jumlah mentah. Warna gelap di satu kotak berarti sebagian besar objek di kelas itu jatuh ke tebakan tersebut. Perhatikan angka di sumbu, apakah jumlah mentah atau persentase, karena artinya berbeda saat membandingkan kelas dengan jumlah sampel tidak seimbang.

Kelas dengan sedikit sampel bisa terlihat sangat gelap meski jumlah kesalahannya kecil secara absolut. Sebaliknya, kelas dengan ratusan sampel bisa tampak pucat padahal jumlah kesalahannya lebih banyak. Selalu cek angka mentahnya sebelum mengambil kesimpulan.

Kapan Grafik Ini Cukup, Kapan Perlu Data Tambahan

Confusion matrix hanya menunjukkan kelas yang tertukar pada ambang keyakinan tertentu. Grafik ini tidak memberi tahu pada ambang berapa kesalahan terjadi, dan tidak menunjukkan seberapa tepat posisi kotak prediksi. Untuk itu kamu perlu melihat kurva precision-recall dan sebaran nilai IoU secara terpisah.

Kalau kamu menyimpan hasil deteksi ke basis data, catat juga kelas prediksi, nilai keyakinan, dan IoU terhadap label asli. Dengan begitu confusion matrix bisa dibuat ulang untuk beberapa ambang tanpa menjalankan inferensi dari awal. Cara menyimpan hasil deteksi ke MySQL dengan skema seperti ini saya bahas di panduan menyimpan hasil deteksi objek ke MySQL, dan untuk proyek kecil cukup pakai format JSON yang lebih ringkas.

Confusion matrix dihitung dari data validasi yang sama dengan yang dipakai memilih model terbaik. Kalau kamu menyetel hyperparameter berulang kali sambil melihat grafik ini, angkanya bisa terlihat lebih bagus dari performa sebenarnya di data baru.

Langkah Praktis Menindaklanjuti Temuan

Setelah membaca matriks, urutkan masalah berdasarkan dampaknya ke tujuan proyek. Untuk sistem yang menghitung jumlah objek, objek terlewat dan deteksi palsu berdampak langsung ke angka akhir. Untuk sistem yang hanya perlu tahu ada objek atau tidak, salah kelas mungkin tidak terlalu menggangu.

  1. Catat tiga kotak luar diagonal dengan angka terbesar.
  2. Cocokkan dengan sampel gambar di data validasi untuk melihat pola, misalnya objek jauh, objek terhalang, atau pencahayaan malam.
  3. Putuskan apakah perlu tambah data, perbaiki label, atau ubah ambang keyakinan.
  4. Ulangi evaluasi setelah perubahan dan bandingkan matriks barunya.

Kalau model akan dijalankan di perangkat dengan daya terbatas, misalnya Raspberry Pi dengan kamera tambahan, perhatikan juga bahwa keputusan ambang keyakinan berpengaruh ke beban komputasi. Perbandingan pilihan kameranya bisa kamu baca di perbandingan kamera USB, laptop, dan Raspberry Pi. Untuk perangkat yang butuh daya cadangan saat listrik tidak stabil, ada baiknya melihat dulu panduan memilih UPS untuk komputer agar proses training panjang tidak terputus di tengah jalan.

Sisi perangkat keras juga perlu dicek. Kalau kamu memakai modul tambahan untuk menyalakan lampu atau aktuator saat objek terdeteksi, tips menggunakan modul relay di Arduino untuk pemula membahas pengkabelan dasar yang aman.

Contoh Kasus: Model Penghitung Kendaraan

Misalnya model dipakai di jalan raya untuk menghitung mobil dan motor. Hasil evaluasi menunjukkan diagonal mobil tinggi, tapi baris motor banyak jatuh ke kolom background. Setelah dicek, sebagian besar objek yang terlewat adalah motor yang berjarak jauh dari kamera atau berdesakan.

Tindakan yang masuk akal: menambah sampel motor dari sudut dan jarak serupa, atau menaikkan resolusi input agar objek kecil punya cukup piksel. Menaikkan ambang keyakinan tidak menyelesaikan masalah ini karena objeknya memang tidak terdeteksi sejak awal. Kalau kamu ingin memperkuat dasar-dasar pengukuran model, ada beberapa panduan menghitung akurasi yang bisa jadi titik awal sebelum masuk ke confusion matrix.

Angka di kotak luar diagonal adalah petunjuk arah perbaikan. Nilai akurasi keseluruhan hanya memberi tahu seberapa jauh kamu dari target.

Untuk proyek yang laporannya dibaca orang lain, sertakan confusion matrix bersama contoh gambar yang salah klasifikasi. Pembaca jadi bisa menilai sendiri apakah jenis kesalahannya masih bisa diterima. Sumber berita teknologi yang baik biasanya juga menyajikan data mentah di samping kesimpulan, seperti yang bisa kamu temukan di indowarta yang menyajikan laporan berbasis fakta dari penulis berpengalaman, bukan sekadar opini. Kebiasaan memeriksa angka asli sebelum menarik kesimpulan itu berlaku sama saat membaca hasil model.

Ringkasan

Confusion matrix untuk deteksi objek dibaca baris demi baris: baris adalah label asli, kolom adalah tebakan model. Kotak diagonal berarti benar, kotak lain menunjukkan salah kelas, objek terlewat, atau deteksi palsu. Gunakan angka di tiga kotak terburuk sebagai dasar perbaikan data atau ambang, lalu evaluasi ulang pada data validasi yang tidak dipakai menyetel model.

Pertanyaan yang Sering Diajukan

Kenapa jumlah total di confusion matrix tidak sama dengan jumlah objek di data uji?

Karena setiap prediksi dicocokkan ke label dengan ambang IoU tertentu. Prediksi tanpa pasangan masuk ke kolom background, sementara satu label bisa punya beberapa prediksi jika tidak dilakukan non-maximum suppression dengan benar. Selisih ini wajar dan justru informatif.

Apakah confusion matrix bisa dipakai untuk model segmentasi?

Bisa, tapi satuannya berubah dari objek menjadi piksel. Setiap piksel diklasifikasikan ke kelasnya, lalu dihitung. Karena jumlah piksel jauh lebih besar dari jumlah objek, satu objek kecil yang salah bisa tampak tidak berarti meski penting untuk pemakaian nyata.

Berapa ambang keyakinan yang sebaiknya dipakai saat membuat matriks?

Tidak ada angka tunggal yang berlaku untuk semua proyek. Mulai dari ambang yang akan kamu pakai di aplikasi sebenarnya, misalnya 0,5, lalu bandingkan dengan ambang lebih rendah untuk melihat berapa banyak objek yang sebenarnya terdeteksi namun terbuang.