Data Cleaning, Data Transformation, Data Reduction

Anggota kelompok Data Mining

1. Dina Hartini 21416255201199
2. Dinar Rikma Bara 21416255201078
3. Muhamad Ikbal Ramdani 21416255201035

Hasil Diskusi

Hasil diskusi kelompok kami dalam tiga tahapan penting dalam mempersiapkan data agar siap untuk dianalisis: Data Cleaning, Data Transformation, dan Data Reduction. Ketiga tahapan ini seperti membersihkan, merapikan, dan meringkas data agar lebih mudah dipahami dan memberikan hasil analisis yang akurat. Mari kita mulai perjalanan kita untuk memahami lebih dalam tentang bagaimana ketiga tahapan ini dapat mengubah data mentah menjadi informasi berharga. Kali ini saya akan menggunakan data frame ms_lulusan.

Pertama tama kita panggil terlebih dahulu df_mslulusan dan kita tampilkan sebagai berikut:





1. Data Cleaning

Data cleaning adalah proses penting dalam memastikan kualitas data. Tujuannya adalah untuk mengidentifikasi dan memperbaiki kesalahan seperti nilai yang hilang, duplikat data, kesalahan entri, dan nilai ekstrem yang tidak wajar. Dengan data yang bersih, hasil analisis akan lebih akurat dan dapat diandalkan. Kali ini kita akan memeriksa apakah ada nilai yang hilang menggunakan cara dibawah ini:
        

Dari gambar tersebut, dapat dilihat bahwa data frame ini tidak memiliki nilai yang hilang (missing values). Namun, jika ternyata data frame ini memiliki nilai yang hilang, salah satu pendekatan umum dalam menangani nilai yang kosong adalah dengan menghapus baris atau kolom yang mengandung nilai kosong menggunakan syntax drop() dibawag ini:


Namun, pendekatan ini dapat mengurangi jumlah data yang tersedia dan menghilangkan informasi penting. Alternatifnya, nilai yang kosong dapat diisi dengan nilai rata-rata, median, atau modus dari kolom yang bersangkutan. Pendekatan lain termasuk menggunakan teknik imputasi, di mana nilai yang kosong diestimasi berdasarkan hubungan antara variabel lain dalam dataset. Dalam semua kasus, penting untuk memahami penyebab nilai yang kosong dan memilih pendekatan yang paling sesuai dengan konteks dan tujuan analisis. Lalu selanjutnya memeriksa apakah ada duplikat data atau tidak :
Hasilnya df_mslulusan memiliki 4542 entri (mahasiswa lulusan) dan 9 kolom. Dataframe ini tidak memiliki data duplikat dan tidak ada nilai yang hilang (null) pada setiap kolom. 

2. Data transformation

Data transformation adalah proses mengubah data ke dalam format atau struktur yang sesuai dengan kebutuhan analisis. Beberapa hal yang sering dilakukan adalah mengubah tipe data (misalnya dari string ke datetime), membuat kolom baru berdasarkan kolom yang sudah ada, dan mengubah nilai-nilai pada kolom tertentu. Data transformation yang dilakukan disini meliputi mengubah tipe data kolom 'tanggal_lulus' dan 'tgl_masuk' menjadi datetime, membuat kolom baru 'lama_studi' dengan format "x tahun y bulan", dan mengubah nilai pada kolom 'jenis_kelamin' dari angka menjadi 'Laki-laki' dan 'Perempuan'.Berikut adalah contoh kode untuk melakukan data transformation:

3. Data reduction

Data reduction adalah langkah penting dalam persiapan data yang bertujuan untuk mengurangi volume data tanpa menghilangkan informasi krusial. Dengan menghapus kolom yang tidak relevan, mengambil subset data yang representatif, atau melakukan agregasi data, kita dapat menyederhanakan dataset dan mempercepat proses analisis tanpa mengorbankan kualitas hasil. Proses ini sangat bermanfaat ketika berhadapan dengan dataset yang sangat besar dan kompleks, karena dapat menghemat waktu dan sumber daya komputasi.



Pada gambar di atas, kita melihat contoh penerapan data reduction pada DataFrame df_mslulusan. Pertama, kolom 'status_masuk' dan 'status_pegawai' dihapus karena dianggap tidak relevan untuk analisis. Kemudian, subset data diambil dengan hanya menyertakan baris-baris di mana nilai kolom predikat adalah "Pujian". Terakhir, 10 baris pertama dari subset data ini ditampilkan untuk memberikan gambaran tentang hasil reduksi data. Dengan demikian, kita berhasil mereduksi data menjadi lebih ringkas dan fokus pada informasi yang relevan dengan analisis mengenai mahasiswa lulusan dengan predikat "Pujian".


Komentar

Posting Komentar

Postingan populer dari blog ini

Data Preparation dan Data Visualization: Langkah Penting dalam Analisis Data

Gambar
Data Preparation dan Data Visualization Mengenal tentang Data Preparation Data preparation atau preprocessing data merujuk pada serangkaian proses yang meliputi pengumpulan, penggabungan, penyusunan, dan pengaturan data agar dapat digunakan dalam berbagai aplikasi seperti business intelligence (BI), analitik, dan visualisasi data. Langkah-langkah ini seringkali melibatkan pengambilan data dari berbagai sumber, baik itu sistem internal maupun eksternal. Dalam konteks yang lebih sederhana, data preparation merupakan teknik yang digunakan untuk mengubah data mentah menjadi format yang lebih berguna dan efisien. Hal ini penting karena data mentah seringkali tidak lengkap dan memiliki format yang tidak konsisten, terutama ketika berasal dari berbagai sumber yang berbeda. Fungsi utama dari data preparation adalah memastikan bahwa data yang akan diproses dan dianalisis sudah akurat dan konsisten. Tujuannya adalah agar hasil dari aplikasi BI dan analitik yang digunakan dapat diandalkan. Memper...
Baca selengkapnya

Supervise Learning (Klasifikasi) dan Contoh Algoritma Yang Ada Didalamnya

          Supervised learning adalah metode dalam machine learning di mana model belajar dari data yang sudah memiliki label atau kategori. Dalam supervised learning, terdapat dua jenis utama yaitu klasifikasi, di mana model akan memprediksi label atau kategori dari data baru, dan regresi, di mana model akan memprediksi nilai numerik. Kali ini, kita akan fokus membahas tentang klasifikasi.      Dalam metode Supervised Learning, klasifikasi adalah proses di mana model belajar untuk mengidentifikasi dan mengelompokkan data baru ke dalam kategori atau kelas yang telah ditentukan sebelumnya berdasarkan pola-pola yang ditemukan dalam data pelatihan berlabel. Contohnya, jika kita ingin membuat model untuk mengklasifikasikan email sebagai spam atau bukan spam, kita akan memberikan model dengan banyak contoh email yang sudah diberi label sebagai spam atau bukan spam. Model akan belajar dari contoh-contoh ini untuk mengenali karakteristik email spam d...
Baca selengkapnya

Pre-prosesesing Data Cleaning, Data Collection, Data Transform, Data Reduction

Gambar
Data preprocessing adalah langkah awal yang krusial dalam proyek machine learning dan data science. Tahap ini bertujuan untuk mempersiapkan data mentah agar siap digunakan dalam proses analisis dan pembangunan model. Artikel ini akan membahas lima aspek utama dalam data preprocessing: Data Collection, Data Cleaning, Data Transformation, Data Reduction, dan Preprocessing secara keseluruhan. 1. Data Collection Data Collection adalah proses pengumpulan data dari berbagai sumber. Data ini bisa berasal dari database, sensor, web scraping, API, dan lain-lain. Kualitas data yang dikumpulkan akan sangat menentukan hasil akhir dari proyek. Kali ini saya mengambil data Salaries.csv yang bisa di unduh dari website kaggle. 2. Data Cleaning Data Cleaning adalah proses pembersihan data untuk mengatasi masalah seperti data yang hilang, duplikasi, dan inkonsistensi. Tujuan utamanya adalah untuk memastikan data yang digunakan akurat dan dapat diandalkan. Salah satu aspek utama dalam data cleaning...
Baca selengkapnya