Apakah Penyesuaian Data?
Pendamaian data (DR) didefinisikan sebagai proses verifikasi data semasa migrasi data. Dalam proses ini data sasaran dibandingkan dengan data sumber untuk memastikan bahawa arsitektur migrasi memindahkan data. Pengesahan dan pendamaian data (DVR) bermaksud teknologi yang menggunakan model matematik untuk memproses maklumat.
Dalam tutorial ini, anda akan belajar,
- Apakah Penyesuaian Data?
- Mengapa Pendamaian Data penting?
- Terminologi yang berkaitan dengan Pendamaian Data
- Sejarah Penyesuaian Data
- Proses Pendamaian Data
- Amalan terbaik Menggunakan Pendamaian Data
- Alat Penyesuaian Data
Mengapa Pendamaian Data penting?
Dalam proses migrasi Data, ada kemungkinan kesalahan dilakukan dalam logik pemetaan dan transformasi. Masalah seperti kegagalan jangka masa seperti putus hubungan rangkaian atau urus niaga yang rosak boleh merosakkan data.
Kesalahan seperti ini boleh menyebabkan data ditinggalkan dalam keadaan tidak sah. Ini mungkin menimbulkan pelbagai masalah seperti:
- Hilang rekod
- Hilang nilai
- Nilai yang tidak betul
- Rekod pendua
- Nilai yang tidak diformat dengan baik
- Hubungan yang rosak antara jadual atau sistem
Berikut adalah sebab penting untuk menggunakan Proses Penyesuaian Data:
- Penggunaan Rekonsiliasi Data membantu anda untuk mengekstrak maklumat yang tepat dan boleh dipercayai mengenai keadaan proses industri dari data pengukuran mentah.
- Ia juga membantu anda menghasilkan satu set data yang konsisten mewakili operasi proses yang paling mungkin.
- Ini juga membawa kepada pandangan yang tidak tepat dan masalah dengan perkhidmatan pelanggan.
- Penyesuaian data juga penting untuk integrasi kawalan perusahaan.
Selain daripada di atas, terdapat banyak kelebihan / faedah pendamaian Data.
Terminologi yang berkaitan dengan Pendamaian Data
| Ralat Kasar | Kesalahan besar dalam pengukuran. Ini hanya mencerminkan kesalahan bias, kegagalan instrumen, atau lonjakan kebisingan yang tidak normal jika anda hanya menggunakan jangka waktu jangka pendek. |
| Pemerhatian | Analisis pemerhatian dapat memberi anda perincian mengenai pemboleh ubah apa yang dapat ditentukan untuk sekumpulan kekangan tertentu dan sekumpulan pengukuran. |
| Varians | Varians adalah ukuran kebolehubahan sensor. |
| Redundansi | Ini membantu anda menentukan ukuran mana yang harus dianggarkan dari pemboleh ubah lain dengan menggunakan persamaan kekangan. |
Sejarah Penyesuaian Data
Di sini, terdapat mercu tanda penting dari sejarah Penyesuaian Data.
- DVR (Pengesahan dan Penyesuaian Data) bermula pada awal tahun 1960-an. Ini bertujuan untuk menutup keseimbangan bahan dalam pengeluaran di mana pengukuran mentah tersedia untuk semua pemboleh ubah.
- Pada akhir 1960-an, semua pemboleh ubah yang tidak diukur dipertimbangkan dalam proses pendamaian data.
- Dinamika keadaan sepadan untuk penyaringan dan anggaran parameter selari dari masa ke masa diperkenalkan pada tahun 1977 oleh Stanley dan Mah.
- Dynamic DVR dikembangkan sebagai model pengoptimuman nonlinear yang dikeluarkan oleh Liebman pada tahun 1992
Proses Pendamaian Data
Jenis kaedah Pendamaian Data adalah:
Pendamaian Data Induk
Pendamaian data induk adalah teknik mendamaikan hanya data induk antara sumber dan sasaran. Data induk kebanyakannya tidak berubah atau perlahan berubah secara semula jadi, dan tidak ada operasi agregasi yang dilakukan pada set data.
Beberapa contoh umum pendamaian data induk adalah:
- Jumlah baris
- Jumlah Pelanggan dalam sumber dan sasaran
- Jumlah item dalam sumber dan sasaran
- Jumlah bilangan baris berdasarkan keadaan tertentu
- Bilangan pengguna aktif
- Bilangan pengguna yang tidak aktif dll.
Ketepatan Aktiviti
- Anda perlu memastikan bahawa urus niaga itu sah dan tujuannya betul.
- Perlu memeriksa sama ada urus niaga telah dibenarkan.
Pendamaian Data Transaksional
Data transaksi menjadikan asas laporan BI. Oleh itu, sebarang ketidakcocokan dalam data transaksi secara langsung dapat mempengaruhi kebolehpercayaan laporan dan keseluruhan sistem BI secara umum.
Kaedah rekonsiliasi data transaksi digunakan dari segi jumlah keseluruhan yang menghalang sebarang ketidakcocokan yang disebabkan oleh perubahan butiran dimensi yang memenuhi syarat.
Contoh langkah-langkah yang digunakan untuk pendamaian data transaksi adalah:
- Jumlah pendapatan yang dikira dari sumber dan sasaran
- Jumlah keseluruhan item yang dijual, dikira dari sumber dan sasaran, dll.
Penyesuaian Data Automatik:
Dalam sistem pengurusan gudang Data yang besar, lebih mudah untuk mengotomatisasi proses pendamaian data dengan menjadikannya sebagai bagian integral dari pemuatan data. Ini membolehkan anda mengekalkan jadual metadata pemuatan yang berasingan. Lebih-lebih lagi, rekonsiliasi automatik akan membuat semua pemangku kepentingan mendapat maklumat mengenai kesahihan laporan.
Amalan terbaik Menggunakan Pendamaian Data
- Proses pendamaian data harus bertujuan untuk memperbaiki kesalahan pengukuran.
- Kesalahan kasar harus sifar untuk menjadikan proses pendamaian data menjadi efisien.
- Pendekatan standard Pendamaian Data bergantung pada jumlah rekod sederhana untuk mengesan sama ada jumlah rekod yang disasarkan telah berpindah atau tidak.
- Penyelesaian penghijrahan data memberikan keupayaan pendamaian yang serupa dan fungsi prototaip data yang menawarkan pengujian pendamaian data penuh.
Alat Penyesuaian Data
1) OpenRefine
OpenRefine yang sebelumnya dikenali sebagai Google Refine adalah kerangka kerja Penyesuaian Pangkalan Data yang berguna. Ia membolehkan anda membersihkan dan memindahkan data yang tidak kemas.
Pautan muat turun: https://openrefine.org/
2) Kejelasan TIBCO
Alat rekonsiliasi data ini menawarkan perkhidmatan perisian berdasarkan permintaan dari web dalam bentuk Perisian sebagai perkhidmatan. Ini memungkinkan pengguna mengesahkan data, dan membersihkan data. Ia menyediakan ciri pengujian pendamaian yang lengkap. Digunakan secara meluas dalam proses ETL.
Pautan Muat Turun: https://clarity.cloud.tibco.com/landing/index.html
3) Winpure
Winpure adalah perisian pembersih data yang berpatutan dan tepat. Ia membolehkan anda membersihkan sejumlah besar data, membuang pendua, membetulkan dan menyeragamkan untuk merancang set data akhir.
Pautan Muat Turun: https://winpure.com/
Ringkasan
- Pengesahan dan pendamaian data (DVR) adalah teknologi yang menggunakan model matematik untuk memproses maklumat.
- Penggunaan pendamaian Data membantu anda untuk mengekstrak maklumat yang tepat dan boleh dipercayai mengenai keadaan proses industri dari data pengukuran mentah.
- Kesalahan Kasar, Pengamatan, Varians, Redundansi adalah istilah penting yang digunakan dalam proses Penyesuaian Data
- Pengesahan dan Rekonsiliasi data bermula pada awal 1960-an.
- Tiga jenis kaedah Pendamaian Data adalah 1) Rekonsiliasi Data Induk 2) Rekonsiliasi Data Transaksional 3) Penyesuaian Data Automatik
- Kesalahan kasar harus sifar untuk menjadikan proses pendamaian data menjadi efisien.
- Beberapa alat Penyesuaian Data yang penting adalah: 1) OpenRefine 2) TIBCO 3) Winpure
- Kaedah ini banyak digunakan dalam pemantauan prestasi dan proses dalam industri penapisan minyak / nuklear / kimia