Belajar Data Cleaning: Proses yang Melelahkan Tapi Penentu Akurasi Insight (Gak Ada Gunanya Analisis Kalau Datamu Masih Berantakan)

Daftar Isi

1. Data Gak Pernah Rapi dari Awal
2. Kenapa Data Cleaning Itu Penting Banget Buat Data Analyst?
3. Langkah Awal: Kenalan Dulu Sama Tipe-Tipe Masalah di Data
   • Missing Value: Data yang Hilang Tapi Bikin Bingung
   • Outlier: Si Pencilan yang Bisa Rusak Segalanya
   • Data Type: Jangan Sampai Kolom Tanggal Dibaca Sebagai Teks
   • Normalization: Supaya Semua Variabel Bisa Main di Level yang Sama
4. Story Time: Gara-Gara Skip Cleaning, Insight Jadi Salah Total
5. Tips Belajar Data Cleaning Buat Pemula: Praktik, Praktik, Praktik!
6. Kesimpulan

---

Data Gak Pernah Rapi dari Awal

Pernah gak kamu dapet file data dari tim lain, buka di Excel, dan langsung ngerasa mau tutup laptop?

Format kolom amburadul, ada kolom harga tapi isinya ada “Rp” di tengah, ada tanggal tapi formatnya campur-campur, dan jangan tanya soal missing value—lebih banyak kosongnya daripada isinya.

Selamat datang di dunia nyata data analyst.
Data itu gak pernah rapi dari awal.

Dan justru di sinilah peran penting dari skill yang sering diremehkan: data cleaning.

---

Kenapa Data Cleaning Itu Penting Banget Buat Data Analyst?

Kamu bisa jago SQL, bisa ngoding Python pake Pandas, bisa bikin dashboard ciamik di Tableau.

Tapi kalau data mentahmu masih kotor, insight kamu gak akan valid.
Parahnya lagi, bisa menyesatkan.

Menurut riset dari Harvard Business Review, data scientist dan analyst menghabiskan 60–80% waktu mereka hanya untuk cleaning data.
Bukan modeling. Bukan visualisasi. Tapi… cleaning.

Kenapa?
Karena tanpa proses ini, semua analisis di tahap berikutnya jadi gak bisa dipercaya.

---

Langkah Awal: Kenalan Dulu Sama Tipe-Tipe Masalah di Data

Sebelum kita bahas cara cleaning data, yuk kenalan dulu sama jenis-jenis “kerusakan” yang sering banget muncul:

• Missing values (nilai yang kosong di kolom penting)
• Outlier (nilai ekstrem yang bikin hasil analisis bias)
• Data type mismatch (angka dibaca sebagai teks, tanggal yang error)
• Inconsistent formatting (huruf kapital, tanda baca, spasi)
• Redundant data (duplikat yang bikin perhitungan dobel)
• Unscaled data (angka-angka yang range-nya terlalu beda jauh)

Kalau kamu belum siap ngadepin ini semua, bisa-bisa insight kamu dibangun dari fondasi yang goyah.

---

1. Missing Value: Data yang Hilang Tapi Bikin Bingung

Ini masalah paling umum.

Contoh: kolom tanggal_pembelian kosong. Atau kolom umur sebagian gak diisi.
Kalau kamu langsung pakai data ini buat analisis, hasilnya bakal bias.

Cara handling missing value:

• Drop: Kalau jumlahnya kecil, bisa dihapus
• Fill: Gunakan nilai default (mean/median/modus)
• Predict: Gunakan model prediksi untuk isi nilai yang hilang (lanjutan)
• Segmentasi: Isi berdasarkan grup tertentu (misal umur rata-rata per kota)

---

2. Outlier: Si Pencilan yang Bisa Rusak Segalanya

Bayangin kamu lagi analisis pendapatan pengguna, dan tiba-tiba ada satu orang yang pengeluarannya 100 juta, padahal rata-rata pengguna lain di bawah 1 juta.

Itu outlier.
Kalau gak di-handle, nilai rata-rata jadi naik tajam, dan insight-nya salah.

Cara deteksi outlier:

• Boxplot
• IQR (interquartile range)
• Z-score
• Visualisasi scatter plot

Cara handle:

• Drop
• Transform (log scale)
• Analisis terpisah (jika memang signifikan secara bisnis)

---

3. Data Type: Jangan Sampai Kolom Tanggal Dibaca Sebagai Teks

Kamu gak bisa analisis waktu pembelian kalau kolom tanggal dibaca sebagai string.

Ini hal kecil tapi krusial. Salah tipe data bisa bikin fungsi agregasi error, visualisasi gagal, atau perhitungan gak jalan.

Cek dan konversi:

• Gunakan .astype() di Python atau CAST() di SQL
• Pastikan konsistensi (format DD-MM-YYYY atau MM-DD-YYYY?)

---

4. Normalization: Supaya Semua Variabel Bisa Main di Level yang Sama

Contoh: kamu punya dua kolom:

• jumlah_kunjungan (1–100)
• total_pembelian (0–1.000.000)

Kalau langsung dipakai buat modeling, kolom total_pembelian bakal “menguasai” hasil.
Solusinya? Normalisasi!

Metode populer:

• Min-max scaling
• Z-score standardization
• Log transform (kalau distribusi skewed)

---

Story Time: Gara-Gara Skip Cleaning, Insight Jadi Salah Total

Bayu, data analyst di startup retail, dapet permintaan dari tim produk:

“Coba dong analisis kenapa pengguna churn bulan ini lebih tinggi.”

Dia langsung tarik data, analisis trend, dan buat chart keren.
Insight-nya:

“User dengan umur di bawah 25 cenderung lebih cepat churn.”

Tapi pas dicek ulang sama senior analyst…
Ternyata banyak data umur kosong dan terisi NULL yang gak ditangani.
Sistem bacanya sebagai umur 0.
Artinya: semua pengguna tanpa data umur dihitung sebagai under 25.

Insight-nya salah. Keputusan produknya pun bisa melenceng.
Semua karena skip data cleaning.

---

Tips Belajar Data Cleaning Buat Pemula: Praktik, Praktik, Praktik!

1. Gunakan Dataset Publik

Latihan pakai data dari:

• Kaggle
• UCI Machine Learning Repository
• Data.go.id (buat kamu yang pengen data lokal)

---

2. Coba Cleaning Manual di Excel Dulu

Ini bantu kamu pahami data secara visual sebelum masuk ke kode.

---

3. Pelajari Fungsi Cleaning di Python

• dropna()
• fillna()
• astype()
• duplicated()
• apply() untuk cleaning yang kompleks

---

4. Buat Template Cleaning Sendiri

Misalnya: setiap kali buka data baru, lakukan langkah:

1. Cek missing
2. Cek tipe data
3. Deteksi outlier
4. Normalisasi (kalau perlu)

---

5. Baca Kasus Nyata

Pahami bagaimana data kotor bisa menyesatkan. Banyak banget studi kasus dari industri yang bisa kamu pelajari.

---

Kesimpulan

Data cleaning itu capek, gak seksi, dan kadang bikin frustasi.
Tapi tanpa itu, semua analisis kamu gak bisa dipercaya.

Bisa dibilang, cleaning adalah pondasi dari semua insight yang valid.
Mau bikin dashboard keren? Harus bersih dulu datanya.
Mau analisis prediksi churn? Pastikan gak ada missing value dan outlier dulu.