Apa Itu Data? Panduan Lengkap untuk Memahami Data di Dunia Modern

Definisi Fundamental Data

Pada dasarnya, data adalah kumpulan fakta mentah, angka, simbol, atau pengamatan yang telah dicatat dalam beberapa bentuk. Kata itu sendiri berasal dari bahasa Latin "datum," yang berarti "sesuatu yang diberikan", yaitu sebuah hadiah, sebuah informasi, sebuah titik awal. Dalam bentuk jamak, data mewakili bahan mentah yang darinya pemahaman akhirnya dibangun.

Pertimbangkan sebuah termometer di dinding. Ketika kita meliriknya dan melihat angka "28°C," angka 28 adalah sebuah datum, yaitu sebuah pengamatan tunggal yang tercatat tentang hal tertentu pada saat tertentu. Tambahkan pembacaan lain satu jam kemudian, dan satu lagi, dan satu lagi sepanjang hari, dan kita akan memiliki sebuah dataset, yaitu kumpulan pengukuran yang terkait. Dataset itu, dengan sendirinya, masih hanya data. Itu adalah catatan tentang apa yang diamati. Itu belum memberi tahu kita apakah 28°C tidak biasa untuk lokasi ini, apakah itu mewakili tren naik atau turun, atau apakah kita harus khawatir tentang hal itu.

Ini menggambarkan sesuatu yang mendasar tentang data, yaitu dalam bentuk mentahnya, data bersifat inert atau tidak aktif. Data tidak menafsirkan dirinya sendiri. Data tidak menarik kesimpulan, membuat prediksi, atau memberikan makna. Data hanya merekam. Sebuah foto adalah data, yaitu rekaman beku pola cahaya pada momen tertentu. Riwayat pembelian pelanggan adalah data, yaitu catatan transaksi yang terjadi. Urutan DNA adalah data, yaitu catatan pasangan basa yang disusun dalam urutan tertentu. Tidak satu pun dari hal-hal ini memiliki arti tersendiri. Makna hanya muncul ketika pikiran sadar atau proses komputasi memeriksa data dalam konteks dan mengajukan pertanyaan kepadanya.

Ini juga berarti bahwa data yang sama dapat memiliki arti yang sangat berbeda tergantung pada siapa yang memeriksanya dan apa yang mereka cari. Riwayat penelusuran web yang sama, bagi pengiklan, merupakan sinyal preferensi konsumen, bagi analis keamanan siber merupakan catatan potensial aktivitas berbahaya, dan bagi psikolog yang mempelajari perilaku manusia, merupakan jendela ke dalam pola pengambilan keputusan. Data bukan hanya bahan mentah, tetapi data adalah bahan mentah yang signifikansinya selalu relatif terhadap tujuan analisis.

Perbedaan Data, Informasi, dan Pengetahuan

Salah satu klarifikasi paling berguna di seluruh bidang data science dan teori informasi adalah perbedaan antara data, informasi, dan pengetahuan. Ketiga istilah ini sering digunakan secara bergantian dalam percakapan sehari-hari, tetapi mereka menggambarkan hal-hal yang benar-benar berbeda, dan perbedaan ini sangat penting untuk memahami bagaimana data menciptakan nilai.

Data adalah pengamatan mentah yang tercatat, seperti pembacaan 28°C, jumlah transaksi 847, urutan 0 dan 1 dalam sebuah file. Data tidak memiliki makna atau konteks yang melekat. Data hanyalah catatan bahwa sesuatu telah diamati, dihitung, atau diukur.

Informasi muncul ketika data ditempatkan dalam konteks yang memberinya makna. "28°C adalah suhu rata-rata yang tercatat di kota ini pada tanggal ini selama 50 tahun terakhir, menjadikan pembacaan hari ini 6 derajat di atas rata-rata historis" adalah informasi. Angka mentah telah dikontekstualisasikan, dibandingkan, dan diberi titik referensi yang membuatnya dapat diinterpretasikan. Informasi menjawab sebuah pertanyaan. Data menyediakan bahan mentah untuk menjawab pertanyaan, tetapi menjawab pertanyaan tersebut membutuhkan pekerjaan tambahan berupa kontekstualisasi dan interpretasi.

Pengetahuan adalah informasi yang telah disintesis, diuji terhadap realitas, dan diintegrasikan ke dalam kerangka pemahaman yang lebih luas. "Kota-kota dengan suhu rata-rata lebih dari 5 derajat di atas rata-rata historisnya selama bulan-bulan musim panas mengalami tingkat penyakit terkait panas yang lebih tinggi, dan penyimpangan rata-rata historis ini berkorelasi dengan jenis pola pemblokiran atmosfer tertentu yang terkait dengan perubahan iklim" adalah pengetahuan. Ini menghubungkan informasi dengan informasi lain, mengidentifikasi mekanisme kausal atau korelasional, dan menghasilkan prinsip-prinsip yang dapat diterapkan pada situasi baru.

Implikasi praktis dari hierarki ini adalah bahwa data saja tidak menciptakan nilai. Sebuah organisasi yang mengumpulkan sejumlah besar data tetapi kekurangan proses, keterampilan, dan sistem untuk mengubah data tersebut menjadi informasi dan pengetahuan, paling tidak, hanya memiliki masalah penyimpanan yang mahal. Nilai data selalu berada di hilir — terletak pada apa yang memungkinkan data tersebut ketika dianalisis dengan benar, dan analisis tersebut selalu merupakan proses manusia atau komputasi yang menambahkan konteks, menerapkan metode, dan menghasilkan pemahaman yang tidak terkandung dalam data mentah itu sendiri.

Jenis-Jenis Data Utama

Data Primer dan Data Sekunder

Perbedaan penting pertama adalah antara data primer dan data sekunder, yang mengacu bukan pada isi data tetapi pada hubungannya dengan orang atau organisasi yang menggunakannya.

Data primer adalah data yang kita kumpulkan sendiri, langsung dari sumbernya, untuk tujuan tertentu. Seorang peneliti yang mensurvei 500 orang tentang kebiasaan olahraga mereka, mengukur respons mereka, dan mencatat hasilnya telah mengumpulkan data primer. Sebuah perusahaan yang menggunakan aplikasi web-nya sendiri untuk merekam setiap klik, tampilan halaman, dan durasi sesi sedang mengumpulkan data primer. Karakteristik yang menentukan adalah bahwa data tersebut dikumpulkan oleh entitas yang sekarang memegang dan menggunakannya, untuk tujuan menjawab pertanyaan atau kebutuhan tertentu.

Data sekunder adalah data yang dikumpulkan oleh orang lain untuk tujuan lain, yang sekarang kita gunakan untuk analisis kita sendiri. Seorang peneliti kebijakan yang menggunakan data sensus yang dikumpulkan oleh pemerintah, seorang pemasar yang membeli data demografis dari broker data, atau seorang ilmuwan yang menganalisis kumpulan data genomik yang tersedia untuk umum, sedang bekerja dengan data sekunder. Data sekunder sangat berharga karena memberikan akses ke pengamatan yang akan sangat mahal atau secara logistik tidak mungkin dikumpulkan secara langsung. Keterbatasannya adalah data tersebut dirancang untuk menjawab pertanyaan orang lain, yang berarti mungkin tidak sepenuhnya sesuai dengan pertanyaan yang kita ajukan sekarang.

Data Diskrit dan Data Kontinu

Dalam kategori data numerik, perbedaan antara data diskrit dan kontinu menggambarkan rentang nilai yang dapat diambil oleh variabel.

Data diskrit hanya mengambil nilai-nilai spesifik dan terpisah tanpa keadaan perantara yang bermakna. Jumlah anak dalam sebuah keluarga bersifat diskrit — nilainya adalah 0, 1, 2, 3, atau bilangan bulat lainnya, dan tidak ada keadaan yang bermakna antara memiliki 2 anak dan memiliki 3 anak. Jumlah produk cacat pada lini produksi bersifat diskrit. Hasil pelemparan dadu bersifat diskrit. Variabel-variabel ini dihitung daripada diukur, dan metode statistik yang dirancang untuk data diskrit perlu memperhitungkan fakta bahwa nilai-nilai tersebut menempati titik-titik yang berbeda daripada rentang kontinu.

Data kontinu dapat mengambil nilai apa pun dalam suatu rentang, termasuk semua nilai di antara dua titik mana pun yang mungkin kita sebutkan. Tinggi badan, berat badan, suhu, dan waktu semuanya bersifat kontinu — antara 1,7 meter dan 1,8 meter, ada tak terhingga banyak kemungkinan tinggi badan yang mungkin dimiliki seseorang. Data kontinu diukur, bukan dihitung, dan ketelitian pengukuran hanya dibatasi oleh instrumen yang digunakan. Perbedaan ini penting untuk analisis statistik karena banyak metode mengasumsikan data kontinu, dan menerapkannya pada data diskrit tanpa memperhitungkan perbedaan tersebut menghasilkan kesimpulan yang salah.

Data Cross-Sectional dan Data Time Series

Perbedaan struktural penting lainnya adalah antara data cross-sectional dan data time series, yang menggambarkan apakah data tersebut mewakili satu titik waktu atau urutan pengamatan dari waktu ke waktu.

Data cross-sectional adalah sebuah gambaran, yaitu pengamatan dari banyak subjek yang berbeda pada satu momen waktu. Survei tingkat pendapatan 10.000 orang yang dilakukan dalam satu bulan adalah data cross-sectional. Pengukuran keanekaragaman hayati dari 200 petak hutan yang diambil dalam satu musim adalah data cross-sectional. Jenis data ini berguna untuk memahami distribusi karakteristik di seluruh populasi pada momen tertentu, tetapi data ini sendiri tidak dapat mengungkapkan bagaimana perubahan terjadi dari waktu ke waktu.

Data time series adalah urutan pengamatan dari subjek atau sistem yang sama yang dicatat pada interval reguler dari waktu ke waktu. Harga saham harian, angka pengangguran bulanan, pembacaan konsumsi energi per jam, dan pembacaan sensor per detik dari suatu mesin semuanya merupakan data time series. Jenis data ini menangkap dinamika — bagaimana sesuatu berkembang, apakah mengikuti pola musiman, apakah ada tren jangka panjang — yang tidak dapat diungkapkan oleh data lintas sektoral. Menganalisis data time series membutuhkan metode yang dirancang khusus untuk memperhitungkan fakta bahwa pengamatan yang berdekatan dalam waktu biasanya lebih mirip satu sama lain daripada pengamatan yang berjauhan, suatu sifat yang disebut autokorelasi.

Data Terstruktur dan Data Tidak Terstruktur

Data terstruktur adalah data yang sesuai dengan format yang telah ditentukan dan dapat diorganisasikan ke dalam baris dan kolom dalam tabel, atau lebih umum lagi ke dalam skema yang menentukan bidang apa yang ada dan jenis nilai apa yang dikandungnya. Database catatan pelanggan di mana setiap catatan memiliki serangkaian bidang yang ditentukan — ID pelanggan, nama, alamat email, tanggal lahir, tanggal pembuatan akun, total pembelian — adalah data terstruktur. Begitu pula spreadsheet angka penjualan yang diorganisasikan berdasarkan tanggal, wilayah, dan kategori produk. Data terstruktur dapat dikueri menggunakan SQL, dapat langsung dimasukkan ke sebagian besar model machine learning, dan dapat diindeks secara efisien untuk pengambilan yang cepat. Sebagian besar data perusahaan tradisional — catatan keuangan, database pelanggan, sistem inventaris, catatan SDM — adalah data terstruktur.

Data tidak terstruktur adalah data yang tidak sesuai dengan skema yang telah ditentukan. Pesan email, unggahan media sosial, foto, rekaman audio, file video, dokumen PDF, halaman web, dan transkrip obrolan semuanya merupakan data tidak terstruktur. Informasi yang dikandungnya tidak diorganisir ke dalam bidang yang konsisten — sebuah foto tidak memiliki atribut bernama seperti halnya baris database, dan makna pesan email tertanam dalam kombinasi kata-katanya, urutannya, konteksnya, dan konvensi pragmatis bahasa dengan cara yang tidak dapat direduksi menjadi skema sederhana.

Tantangan praktis dari data tidak terstruktur sangat besar. Data tersebut tidak dapat dikueri dengan SQL dengan cara yang sama seperti data terstruktur, membutuhkan teknik yang lebih canggih (natural language processing untuk teks, computer vision untuk gambar, signal processing untuk audio) untuk mengekstrak informasi darinya, dan membutuhkan arsitektur penyimpanan yang berbeda. Namun sebagian besar data yang dihasilkan di dunia modern adalah data tidak terstruktur. Diperkirakan bahwa 80 hingga 90 persen dari semua data yang dihasilkan adalah data tidak terstruktur, dan proporsi ini meningkat seiring dengan semakin banyaknya komunikasi manusia, hasil kreatif, dan data jejak perilaku yang ditangkap secara digital.

Data semi-terstruktur menempati ruang di antara kedua kategori ini. File JSON dan XML, HTML, file log, dan catatan database NoSQL seringkali memiliki struktur organisasi tertentu — mereka memiliki tag, kunci, dan hierarki — tetapi tidak sesuai dengan skema kaku dari tabel relasional. Bidang yang muncul dalam satu catatan mungkin tidak muncul di catatan lain. Kedalaman penestingan dapat bervariasi. Fleksibilitas ini membuat format semi-terstruktur sangat cocok untuk situasi di mana data yang dicatat memiliki variabilitas yang melekat, seperti katalog produk di mana berbagai jenis produk memiliki atribut relevan yang berbeda.

Data Kuantitatif dan Data Kualitatif

Data kuantitatif bersifat numerik — data ini mewakili jumlah, hitungan, atau pengukuran yang dapat dikenakan operasi aritmatika. Gaji rata-rata pekerja di industri tertentu, suhu yang diukur di stasiun cuaca, jumlah langkah yang dicatat oleh pelacak kebugaran, dan pembacaan tegangan dari sensor listrik semuanya bersifat kuantitatif. Data kuantitatif dapat dibandingkan secara numerik, dirata-ratakan, dikorelasikan, dan dianalisis dengan metode statistik dan matematika yang menghasilkan hasil yang tepat, dan seringkali dapat digeneralisasikan.

Dalam data kuantitatif, ahli statistik lebih lanjut membedakan antara data interval dan data rasio. Data interval memiliki perbedaan numerik yang bermakna antara nilai-nilai tetapi tidak memiliki titik nol yang sebenarnya — suhu yang diukur dalam Celsius adalah contoh klasik, karena 0°C tidak berarti tidak adanya suhu, hanya titik beku air, dan mengatakan bahwa 20°C "dua kali lebih panas" daripada 10°C tidak bermakna. Data rasio memiliki nol sejati yang mewakili ketiadaan kuantitas yang diukur — tinggi badan, berat badan, pendapatan, dan jarak adalah data rasio, dan rasio tersebut bermakna: seseorang yang tingginya 180 cm benar-benar dua kali lebih tinggi daripada seseorang yang tingginya 90 cm.

Data kualitatif, sebaliknya, bersifat kategorikal — data ini menggambarkan kualitas, jenis, atau kategori yang tidak dapat secara bermakna dikenakan operasi aritmatika. Warna mata seseorang, genre film, jenis masakan yang disajikan di restoran, dan diagnosis pasien semuanya adalah data kualitatif. Kita dapat menghitung berapa banyak orang yang memiliki setiap warna mata dan menghitung persentase, tetapi kita tidak dapat merata-ratakan warna mata atau melakukan penjumlahan pada warna mata tersebut dengan cara yang bermakna.

Data kualitatif selanjutnya dibagi menjadi subtipe nominal dan ordinal. Data nominal terdiri dari kategori tanpa urutan yang melekat — warna mata, kewarganegaraan, dan kategori produk adalah nominal karena tidak ada alasan prinsipil untuk mengurutkannya. Data ordinal terdiri dari kategori-kategori yang memiliki urutan yang bermakna tetapi interval antar kategori tidak selalu sama — tingkat pendidikan (SD, SMP, S1, S2), peringkat kepuasan (sangat tidak puas, tidak puas, netral, puas, sangat puas), dan kelas ekonomi (bawah, menengah, atas) adalah data ordinal. Urutan tersebut penting, tetapi selisih antara "netral" dan "puas" tidak selalu sama dengan selisih antara "puas" dan "sangat puas".

Bagaimana Data Dikumpulkan

Survei dan Pengukuran Langsung

Survei, yaitu kuesioner terstruktur yang diberikan kepada sampel orang, adalah salah satu metode pengumpulan data primer tertua dan paling banyak digunakan dalam ilmu sosial, riset pasar, dan kesehatan masyarakat. Survei bersifat fleksibel, relatif murah, dan dapat menangkap pengalaman dan opini subjektif yang tidak dapat diamati secara langsung. Kelemahan survei telah terdokumentasi dengan baik, seperti bias respons (orang secara sistematis memberikan jawaban yang menunjukkan diri mereka menguntungkan), efek formulasi pertanyaan (cara pertanyaan dirumuskan memengaruhi jawaban yang diterimanya), bias pengambilan sampel (sampel yang disurvei mungkin tidak mewakili populasi yang diminati), dan bias ingatan (ingatan orang tentang peristiwa dan perilaku masa lalu seringkali tidak akurat secara sistematis).

Pengukuran langsung, yaitu menggunakan instrumen untuk mencatat sifat fisik dunia, adalah pendekatan dominan dalam ilmu pengetahuan alam, teknik, dan aplikasi industri. Termometer, seismograf, manset tekanan darah, akselerator partikel, satelit, dan mikroskop adalah semua instrumen yang memperluas kapasitas sensorik manusia untuk menghasilkan data tentang dunia fisik dengan presisi dan konsistensi yang tidak dapat dicapai hanya dengan pengamatan manusia. Kualitas pengukuran langsung bergantung pada kalibrasi instrumen, kondisi pengukuran, dan spesifikasi tentang apa yang sebenarnya diukur.

Data Transaksional dan Operasional

Sebagian besar data yang dimiliki organisasi dihasilkan secara otomatis sebagai produk sampingan dari proses operasional, bukan dikumpulkan secara sengaja. Setiap kali pelanggan melakukan pembelian, transaksi tersebut dicatat. Setiap kali pengunjung website mengklik tautan, peristiwa klik tersebut dicatat. Setiap kali sensor pada mesin pabrik mengambil bacaan, bacaan tersebut dicatat. Data transaksional ini tidak dikumpulkan untuk tujuan analitis tunggal apa pun — data ini dikumpulkan karena sistem operasional perlu mencatat apa yang terjadi untuk alasan fungsional — tetapi data ini terakumulasi menjadi kumpulan data yang dapat sangat berharga untuk analisis retrospektif, pemodelan, dan pemantauan.

Munculnya internet dan perangkat seluler telah menghasilkan perluasan pengumpulan data transaksional yang belum pernah terjadi sebelumnya. Setiap interaksi dengan sistem digital meninggalkan jejak, dan kombinasi perangkat terhubung yang ada di mana-mana dan penyimpanan yang murah telah memungkinkan untuk merekam dan menyimpan jejak pada tingkat granularitas dan skala yang tidak terbayangkan dua dekade lalu. Sebuah ponsel pintar menghasilkan data tentang lokasi pemiliknya, pola komunikasi, penggunaan aplikasi, pergerakan, tidur, aktivitas fisik, perilaku pembelian, dan konsumsi media secara terus menerus sepanjang hari.

Sensor dan Internet of Things

Internet of Things (IoT) — seperti jaringan perangkat fisik, kendaraan, peralatan industri, peralatan rumah tangga, dan sensor lingkungan yang dilengkapi dengan konektivitas dan kemampuan perekaman data — telah memperkenalkan kategori pengumpulan data yang sama sekali baru dalam skala besar. Sebuah kota pintar modern mungkin memiliki ribuan sensor yang merekam kualitas udara, kepadatan lalu lintas, tingkat kebisingan, jumlah pejalan kaki, dan konsumsi energi di ratusan lokasi secara bersamaan. Sebuah pabrik pintar mungkin memiliki ribuan sensor pada masing-masing mesin, yang merekam getaran, suhu, tekanan, dan konsumsi listrik pada frekuensi yang diukur dalam milidetik. Sistem IoT pertanian mencatat kelembaban tanah, suhu pada kedalaman yang berbeda, intensitas cahaya, dan indikator kesehatan tanaman di lahan seluas beberapa hektar.

Data sensor ini seringkali berupa data time series dengan frekuensi yang sangat tinggi, dan volumenya dapat dengan cepat melebihi kemampuan sistem penyimpanan dan analisis data tradisional. Tantangan rekayasa data IoT bukanlah terutama pengumpulannya — karena sensor melakukannya secara otomatis — tetapi transmisi, penyimpanan, dan pemrosesan data pada kecepatan dan skala yang dihasilkan oleh jaringan sensor.

Pengumpulan Data Web Scraping dan API

Data digital yang sudah ada secara publik di web dapat dikumpulkan secara sistematis melalui web scraping, yaitu program otomatis yang menavigasi halaman web, mengekstrak informasi terstruktur dari kontennya, dan menyimpannya untuk analisis. Web scraping digunakan untuk mengumpulkan harga produk untuk analisis kompetitif, artikel berita untuk penambangan teks, daftar properti untuk analisis pasar, dan konten media sosial untuk analisis sentimen. Ini adalah teknik pengumpulan data yang ampuh tetapi memiliki kompleksitas hukum dan etika, karena persyaratan layanan website sering membatasi pengumpulan data otomatis, dan kepemilikan serta status hak cipta konten web bervariasi.

Application Programming Interface (API) menyediakan alternatif yang lebih terstruktur dan resmi untuk mengumpulkan data dari sistem digital. API layanan cuaca menyediakan data cuaca terkini dan historis dalam format terstruktur sebagai respons terhadap permintaan. API platform media sosial menyediakan akses ke data posting publik, metrik keterlibatan, dan informasi pengguna dalam kondisi terkontrol. Banyak pemerintah menerbitkan data terbuka melalui API yang memungkinkan akses sistematis ke data sensus, statistik ekonomi, catatan kesehatan masyarakat, dan kumpulan data lainnya. Pengumpulan data berbasis API umumnya lebih andal, lebih terstruktur, dan lebih bersih secara hukum dibandingkan dengan web scraping.

Bagaimana Data Disimpan

Setelah data dikumpulkan, data tersebut perlu disimpan dengan cara yang membuatnya mudah diakses, aman, dan dapat diambil kembali secara efisien saat dibutuhkan. Sejarah penyimpanan data adalah sejarah inovasi teknik dan evolusi arsitektur, dari lemari arsip dan kartu berlubang hingga database relasional, gudang data, danau data, dan sistem penyimpanan terdistribusi berbasis cloud.

Database Relasional

Database relasional, berdasarkan model teoretis yang diusulkan oleh Edgar Codd pada tahun 1970, telah menjadi paradigma dominan untuk penyimpanan data terstruktur selama lebih dari lima dekade. Dalam database relasional, data diorganisasikan ke dalam tabel — yaitu kumpulan baris dan kolom — di mana setiap baris mewakili satu catatan dan setiap kolom mewakili atribut tertentu. Tabel dihubungkan satu sama lain melalui hubungan yang didefinisikan oleh key atau kunci, di mana tabel pelanggan dan tabel pesanan dapat dihubungkan oleh bidang ID pelanggan yang muncul di keduanya, sehingga memungkinkan data dari kedua tabel untuk diambil dan digabungkan melalui operasi JOIN.

Database relasional menegakkan integritas data melalui batasan, yaitu aturan yang mencegah data yang tidak valid disimpan. Constrain foreign key memastikan bahwa pesanan tidak dapat merujuk ke pelanggan yang tidak ada. Constrain unik memastikan bahwa tidak ada dua pelanggan yang memiliki alamat email yang sama. Constrain not-null memastikan bahwa setiap catatan pelanggan memiliki nama. Constrain-constrain ini bukan hanya mekanisme teknis — tetapi mewakili pengkodean aturan bisnis ke dalam lapisan penyimpanan data itu sendiri, sehingga memastikan bahwa data tetap konsisten dan bermakna bahkan ketika dimodifikasi oleh banyak proses berbeda dari waktu ke waktu.

Database NoSQL

Gerakan NoSQL muncul pada akhir tahun 2000-an ketika perusahaan berskala web seperti Google, Amazon, dan Facebook menghadapi volume data dan pola akses yang tidak dirancang untuk ditangani oleh database relasional. Database NoSQL mengorbankan sebagian konsistensi dan fleksibilitas kueri database relasional sebagai imbalan atas skalabilitas horizontal, skema yang fleksibel, dan throughput tinggi pada pola akses tertentu.

Database dokumen (MongoDB adalah yang paling banyak digunakan) menyimpan data sebagai dokumen mandiri — biasanya dalam format JSON atau BSON — di mana setiap dokumen dapat memiliki serangkaian bidang yang berbeda. Fleksibilitas ini membuat mereka sangat cocok untuk menyimpan data dengan variabilitas yang melekat, seperti katalog produk di mana berbagai jenis produk memiliki atribut yang berbeda. Penyimpanan key-value (Redis, DynamoDB dalam mode key-value) menyediakan akses yang sangat cepat ke data yang diidentifikasi oleh kunci unik, menjadikannya ideal untuk caching, manajemen sesi, dan aplikasi real-time. Database grafik (Neo4j) menyimpan data sebagai node (entitas) dan edge (hubungan), sehingga cocok untuk data dengan hubungan yang saling terkait kompleks, seperti jejaring sosial, deteksi penipuan, dan grafik pengetahuan.

Gudang Data dan Data Lake

Seiring organisasi mengumpulkan data dari berbagai sistem operasional — platform e-commerce mereka, CRM mereka, alat pemasaran mereka, sistem keuangan mereka, sistem tiket dukungan mereka — mereka menghadapi tantangan untuk mengintegrasikan data tersebut untuk analisis. Gudang data adalah solusi tradisional, yaitu repositori terpusat yang secara berkala mengekstrak data dari sumber operasional, mengubahnya menjadi format yang konsisten, dan memuatnya ke dalam struktur yang dioptimalkan untuk kueri analitis daripada pemrosesan transaksional.

Data lake adalah pola arsitektur yang lebih baru yang mengatasi keterbatasan gudang data tradisional untuk data tidak terstruktur. Data lake menyimpan semua data — terstruktur, semi-terstruktur, dan tidak terstruktur — dalam format asli mentahnya, tanpa memaksakan skema pada saat penyimpanan. Filosofinya adalah "simpan semuanya, tentukan skemanya saat dibutuhkan," yang memberikan fleksibilitas untuk menjelajahi data yang struktur dan nilai analitisnya mungkin tidak diketahui sebelumnya. Layanan penyimpanan objek berbasis cloud seperti Amazon S3, Google Cloud Storage, dan Azure Data Lake Storage adalah infrastruktur umum untuk data lake, dan biaya per gigabyte yang rendah membuatnya layak secara ekonomi untuk menyimpan volume data mentah yang sangat besar.

Masa Depan Data di Dunia yang Didorong AI

Hubungan antara data dan artificial intelligence pada dasarnya bersifat timbal balik dan saling memperkuat. Sistem AI membutuhkan data untuk dilatih dan dievaluasi. Namun, semakin banyak sistem AI juga menghasilkan data — output, interaksi, dan keputusan mereka menjadi catatan yang kemudian disimpan dan dianalisis. Penerapan AI dalam skala besar secara bersamaan akan meningkatkan volume data yang dihasilkan, mengubah jenis data yang paling berharga, dan mentransformasi metode yang digunakan untuk menganalisis data.

Perkembangan paling signifikan saat ini dalam hubungan antara data dan AI adalah munculnya foundation model, yaitu ​​large neural network yang dilatih pada kumpulan data yang sangat besar yang mempelajari representasi umum yang dapat diadaptasi ke banyak tugas spesifik. Model seperti GPT-4, Claude, Llama, dan Gemini dilatih pada triliunan token teks, dan parameter mereka mengkodekan representasi terkompresi dari pola di sebagian besar teks yang dihasilkan manusia. Model-model ini sendiri merupakan kumpulan data yang sangat besar — ​​mereka menyimpan pola statistik dari data pelatihan mereka dalam bobot mereka — dan kualitas data yang digunakan untuk melatihnya memiliki dampak langsung dan terukur pada kemampuan mereka.

Jadi pada dasarnya, data adalah catatan pengamatan — fakta tentang dunia, yang ditangkap dalam bentuk yang dapat disimpan, ditransmisikan, dan dianalisis. Dari definisi yang tampaknya sederhana ini mengalir segala sesuatu yang menjadikan data sebagai salah satu kekuatan penentu dunia modern: kekuatannya untuk mengurangi ketidakpastian dan memungkinkan pengambilan keputusan yang lebih baik, potensi penyalahgunaan dan eksploitasinya, tantangan rekayasa dalam mengelolanya dalam skala besar, dan pertanyaan etis yang mendalam tentang siapa yang memilikinya dan siapa yang mendapat manfaat darinya.