Tag: algoritma

Sebelumnya, dalam seri pertama telah dibahas tentang komponen dasar dari sebuah rangkaian dan komponen yang mengisi Data Science. Pada bagian ini akan dibahas dasar salah satu implementasi Data Science yang paling dibutuhkan saat ini, yakni Big Data.

Istilah Big Data dewasa ini bukan hal baru lagi, khususnya dalam penerapan Data Science di korporasi. Sesuai namanya, Big Data mengindikasikan pada sebuah pemrosesan data besar yang tidak bisa ditampung melalui mekanisme basis data konvensional (misalnya RDBMS). Dalam Big Data ada istilah mendasar yang sering disingkat dengan 3Vs yang menjadi karakteristik utama, yakni Volume, Velocity dan Variety.

Volume merujuk pada limitasi besaran data yang akan diolah. Kemampuan Big Data dapat mengolah data dengan ukuran terabyte (10¹² bytes) atau petabyte (10¹⁵ bytes). Mengapa data bisa berukuran sebesar itu, faktor Velocity (atau kecepatan interaksi data) yang akan mengukur. Velocity adalah volume data pada skala waktu tertentu, yang didapatkan dari berbagai sumber, misal dari data transaksi, data perekaman sensor, atau data yang dihasilkan dari sebuah log mesin.

Dari yang sudah sering ditangani selama ini, Velocity dapat mencapai kisaran 30 kilobyte sampai 30 gigabyte per detik. Bahkan banyak Data Engineer membutuhkan latensi yang lebih dapat, misalnya 100 milliseconds dalam perekaman data. Tren ini diyakini akan terus berkembang, menghasilkan data yang lebih besar, seiring dengan model pemrosesan real-time yang banyak diterapkan di berbagai lini bisnis dalam sebuah perusahaan. Perangkat lunak seperti Apache Sqoop, Apache Kafka atau Apache Flume menjadi beberapa yang terpopuler untuk mengolah pergerakan data besar tersebut.

Kemudian yang ketiga ialah Variety, ini berkaitan dengan jenis data –seperti yang telah dibahas dalam materi sebelumnya, umumnya akan ditemui tiga jenis data, yakni terstruktur, semi-terstruktur dan tidak terstruktur. Saking besarnya kumpulan data dari berbagai sumber dan varian, dalam ilmu Big Data ada istilah “Data Lake”. Istilah tersebut banyak digunakan oleh praktisi Big Data untuk merujuk pada sebuah sistem penyimpanan data non-hierarkis yang menampung data multi-struktur dengan sebuah arsitektur penyimpanan tertentu. Hadoop Distributed File System (HDFS) adalah salah satu contoh arsitektur penyimpanan yang sering digunakan untuk mendukung kebutuhan tersebut.

Sedikit tentang Hadoop di dalam konsep Big Data

Hadoop adalah sebuah kerangka kerja open source untuk mendukung aplikasi berbasis Big Data. Ketika orang mengatakan menggunakan Hadoop maka itu mengacu pada sebuah ekosistem perangkat lunak meliputi HDFS untuk penyimpanan data, Map Reduce untuk pemrosesan data dalam jumlah besar, Spark untuk pemrosesan data secara real-time, dan YARN (Yet Another Resource Negotiator) untuk dukungan manajemen sumber daya.

Dalam sebuah implementasi yang paling sederhana, dari sebuah sumber data MapReduce akan diterapkan untuk melakukan dua hal, yakni memetakan data dan mereduksi data. Dalam tugasnya memetakan data, MapReduce mendelegasikan data ke pada sebuah “key-value”, termasuk melakukan transformasi data atau memilah data sesuai yang dibutuhkan. Sedangkan dalam tugasnya mereduksi, MapReduce akan mengagregasi data pada sebuah dataset sehingga memenuhi standar yang ada.

Jika studi kasusnya kepada sebuah data pasif, skenario di atas akan sudah cukup, tinggal memasukkan ke HDFS untuk selanjutnya diproses. Akan tetapi tantangan masa kini dalam penerapan Big Data adalah data real-time. Sehingga MapReduce perlu sebuah pendamping, dalam hal ini Spark sebagai sebuah in-memory computing application. Di dalamnya pengguna dapat melakukan banyak hal, termasuk melakukan query, analisis dan eksplorasi data, termasuk menjalankan algoritma tertentu misalnya Machine Learning.

Penggunaan rangkaian alat Hadoop juga memerlukan sebuah kompetensi pemrograman. Pada dasarnya Hadoop dikembangkan dari Java, akan tetapi dari perkembangannya kini bahasa lain seperti Scala, Python dan SQL telah dielaborasikan ke dalam proses pengelolaannya. MapReduce secara native menggunakan Java, sedangkan Spark menggunakan Scala. Namun sekarang juga sudah ada dukungan PySpark sehingga dapat mengelola Spark dengan pemrograman berbasis Python. Sedangkan untuk pengelolaan di HDFS tetap menggunakan SQL.

Sebelum melangkah lebih jauh

Melakukan implementasi Big Data dalam sebuah unit bisnis memang membutuhkan waktu, bahkan beberapa perusahaan menempatkan implementasi Big Data pada long-term vision, karena prosesnya harus berelaborasi dengan kegiatan lain dalam unit bisnis. Namun sebelum melangkah lebih jauh dan mempelajari teknisnya secara lebih mendalam, perlu diketahui terlebih dulu tentang visi Data Science dari sebuah bisnis. Mungkin akan cukup beragam namun setidaknya mencakup tiga hal, yakni (1) mengidentifikasi tantangan bisnis, (2) memecahkan masalah bisnis dengan pendekatan data, dan (3) meningkatkan keuntungan di seluruh lini bisnis.

Big Data adalah bentuk penerapan Data Science dalam skala besar. Untuk mengawali awareness tentang data sebenarnya bisa dilakukan dengan cara yang paling sederhana. Sebagai contoh akan mengangkat studi kasus bisnis media. Hal paling awal yang dapat dilakukan ialah mengidentifikasi sumber data yang ada, apakah itu dari basis data yang dihasilkan melalui Content Management System (CMS), data trafik pengunjung yang didapat melalui Anaytic Tools, atau bahkan data dari luar –misalnya identifikasi tren topik dari media sosial atau mesin pencari.

Berikutnya, tentukan masalah apa yang ingin dipecahkan. Sebagai contoh, media tersebut memiliki topik bulanan untuk sebuah opini. Maka tugas Data Science di sini bisa saja berbentuk menghubungkan tren data di media sosial tentang popularitas suatu tema dihubungkan dengan popularitas tulisan-tulisan sebelumnya berkaitan dengan tema tersebut. Jika datanya sudah lebih terstruktur, misalnya dalam format CSV, maka alat seperti R Studio akan memudahkan dalam visualisasi.

Bahasa R sendiri salah satu bagian mendasar ketika seseorang ingin mempelajari tentang Data Science. Banyak cara yang dapat dilakukan untuk mempelajarinya, mulai dari menggunakan sumber online di internet, buku atau mengikuti kursus khusus yang dilaksanakan bersama trainer tersertifikasi. Di Indonesia, salah satu pelatihan tentang Data Science dilakukan oleh Algoritma. Beberapa waktu lalu Algoritma mengadakan pelatihan Data Science Fundamental dan Data Science for Financial Business. Selain disajikan bahasan secara konsep, para peserta diajak langsung mencoba melakukan programming dengan bahasa R untuk pengelolaan dan visualisasi data.

Kecakapan dalam memvisualisasikan data sangat penting, karena data yang berbentuk visual akan lebih mudah dibaca. Dari sini –menyambung studi kasus di atas—maka dapat dilanjutkan dengan sebuah diskusi oleh pimpinan redaksi atau tim editorial tentang pertimbangan untuk memilih tema tersebut. Kira-kira seperti itu konsep sederhana yang dapat diterapkan dari ilmu Data Science, yang paling sederhana.

Pada seri berikutnya akan dibahas tentang bagaimana sebuah bisnis/perusahaan mengubah pola dan proses di dalamnya sehingga menjadi lebih data-driven. Akan disampaikan juga contoh penerapan yang telah berhasil dilakukan oleh startup sukses dari Indonesia.

––

Disclosure: DailySocial merupakan media partner dari Algoritma.

Disclaimer: Tulisan ini mengambil sampel dari berbagai sumber, termasuk dari sumber buku cetak dan tulisan online di internet.

Baca juga:

• Memahami Dasar-dasar “Data Science” untuk Bisnis (Bagian 1)
• Memahami Dasar-dasar “Data Science” untuk Bisnis (Bagian 3)