Big Data Administration with Hadoop

Big Data Administration with Hadoop

Big Data merupakan data yang memiliki karakter Volume, Velocity dan Veracity. Dengan kondisi data tersebut, menyebabkan data tidak bisa disimpan dan diproses dengan cara konvensional. Data harus diproses dengan cara dan teknologi yang berbeda.

Teknologi Big Data mampu menyimpan dan memproses data dalam satu penyimpanan tanpa batas, serta tidak bergantung pada kapasitas hardware. Pelatihan Big Data Administration ini akan membahas berbagai teknologi dalam implementasi Big Data, mulai dari teknologi penyimpanan, teknologi pemrosesan, teknologi pengumpulan data hingga teknologi pengaksesan Big Data.

Apa yang Anda pelajari?

Introduction Big Data

Persiapan Metode Penyimpanan Big Data

  • HDFS.
  • Map Reduce.
  • Multi Node.

Mekanisme Data Collection

  • Flume.
  • Kafka.
  • Streaming Data.

Mekanisme Pengisian Data

  • Ingestion.
  • Columnar NoSQL.
  • Sqoop.
  • Hbase.
Ingin Menerapkan Big Data? Ketahui Tiga Jenis Datanya Berikut Ini

Ingin Menerapkan Big Data? Ketahui Tiga Jenis Datanya Berikut Ini

Anda sedang belajar mengenai Big Data, namun masih bingung mengenai jenis-jenis data yang ada di dalamnya?

Hal ini cukup wajar, karena Big Data merupakan kumpulan data yang jumlahnya sangat besar.

Tapi, Big Data pada kenyataannya tidak hanya masalah ukuran yang besar. Namun juga data yang punya jenis sangat beragam dan laju pertumbuhannya sangat tinggi.

Sebagai awalan, Anda cukup memahami tiga jenis data terlebih dahulu.

Apa saja jenis data tersebut? Simak penjelasannya berikut ini.

1. Data Terstruktur

Jenis data ini bisa diproses, disimpan, dan diambil dalam format tetap. Selanjutnya, jenis data ini disimpan dalam bentuk tabel, baris, serta kolom yang normalnya disimpan ke format excel atau spreadsheet.

Tujuannya agar informasi pada data lebih terorganisir dan bisa dengan mudah diakses dari database menggunakan algoritma mesin pencari sederhana.

Ada beberapa contoh data terstruktur antara lain data sensor, data penjualan pada suatu perusahaan, data karyawan dalam database perusahaan dengan detail yang terstruktur seperti detail data diri karyawan, posisi pekejaan, gaji, dan lain sebagainya yang ditampilkan secara terorganisir.

2. Data Semi-Terstruktur

Kemudian, jenis data ini adalah jenis data yang dimasukan ke dalam sebuah tabel, tetapi skemanya tidak sama dengan tabel biasa yang hanya terdiri dari baris dan kolom.

Data semi-terstruktur punya format data terstruktur dan tidak terstruktur. Meski belum diklasifikasi oleh repository tertentu (database), tapi data ini mengandung informasi yang penting.

Beberapa contoh Data Semi-Terstruktur antara lain data dalam bentuk file csv, file xml, dan file json.

3. Data Tidak Terstruktur

Jenis data yang terakhir adalah Data Tidak Terstruktur. Jenis data ini bentuknya tidak dikenal, dan harus disimpan dengan format khusus karena tidak punya struktur yang spesifik seperti jenis Data Terstruktur.

Data mentah dari jenis Data Tidak Terstruktur, hanya bisa menghasilkan nilai setelah diproses dan dianalisa.

Tapi memang, menyimpan data jenis ini cukup rumit. Kenapa? Karena Anda memerlukan penggunaan sistem penyimpanan yang memadai, seperti database NoSQL (MongoDB dan CouchDB).

Ada beberapa contoh jenis data tidak terstruktur, antara lain seperti data teks, berformat foto atau gambar, video, dan suara. Kemudian, bisa juga dalam bentuk keluhan pelanggan, kontrak, ataupun email internal.

Beragam contoh dari data jenis ini bisa ditemukan dalam media sosial, seperti komentar, likes, followers, atau data klik di tiap aktivitas pada akun media sosial.

Tertarik Belajar Cloud dan Big Data Lebih Lanjut?

Jika Anda tertarik belajar Cloud dan Big Data lebih dalam lagi, Anda bisa mencoba untuk mengikuti workshop.

Dalam workshop tersebut, Anda akan didampingi instruktur yang bisa membantu pembelajaran dan penerapan topik tersebut. Caranya dengan klik tombol di bawah ini:

 

 

Kemudian, Anda juga bisa mengikuti webinar gratis untuk membantu pengembangan karir IT.

Dalam webinar tersebut, akan hadir narasumber-narasumber yang ahli di bidangnya, sehingga memudahkan Anda mendapat jawaban dari masalah yang sedang dihadapi.

Jadi, tunggu apalagi? Langsung saja klik tombol berikut ini:

 

 

Dan, supaya tidak kelewatan informasi mengenai artikel terbaru dari kami, Anda juga bisa berlangganan dengan mengisi data pada form berikut:

 

Comday: Pemanfaatan Teknologi IoT dalam Smart City

Comday: Pemanfaatan Teknologi IoT dalam Smart City

Comday: Pemanfaatan Teknologi IoT dalam Smart City 1

Comday: Pemanfaatan Teknologi IoT dalam Smart City

Komponen penting dalam transformasi digital adalah pemanfaatan data. Akan tetapi, pemanfaatan data tidak akan bisa dilakukan tanpa adanya sumber data yang masif. Oleh karena itu, banyak yang beranggapan bahwa teknologi internet of things (IoT) merupakan pemicu dari transformasi digital. Teknologi Internet of Things (IOT) sendiri telah banyak dimanfaatkan untuk alat-alat wearables yang selalu melekat di tubuh pengguna seperti smartwatch, Google Glass, dan masih banyak lagi. Selain itu, alat-alat di dalam rumah, otomatisasi untuk rumah atau perkantoran juga memanfaatkan teknologi IoT yang sering dikategorikan sebagai rumah pintar atau smart home. 

IoT juga diterapkan dalam alat-alat untuk mendukung ekosistem dengan skala yang lebih besar seperti smart city. Contoh pemakaian IoT adalah smart pole dan early warning system untuk kebakaran, bencana alam dan lainnya. Lalu ada GPS yang bisa digunakan untuk tracking kendaraan operasional maupun transportasi umum. dan sebagainya dimana data dari perangkat dengan teknologi IoT tersebut dapat dipergunakan sebagai salah satu sumber data untuk analisis yang dimunculkan dan dilakukan di dalam command center. 

Di dalam command center memiliki beberapa komponen seperti Building (bangunan), Multimedia (TV, Audio, Camera), dan Platform (Software / Aplikasi analisis data).

Dalam comday ini akan didemokan bagaimana konfigurasi IoT dengan Arduino untuk membantu mendeteksi kondisi di suatu tempat, dan mengirimkan data nya ke sebuah Application Programming Interface (API) untuk kemudian dimunculkan ke dalam command center.

Biaya

Free (tempat terbatas)

DATE AND TIME

Kamis, 29 Agustus 2019
14.00 WIB – Selesai

LOCATION

Eduparx – Inixindo Jogja
Jalan Kenari No 69 Yogyakarta
View Maps

This form does not exist

Comday Recap: Dashboard Big Data Menggunakan Hadoop dan Zeppelin

Comday Recap: Dashboard Big Data Menggunakan Hadoop dan Zeppelin

Pada Hari Kamis, tanggal 8 Agustus 2019, Inixindo Jogja kembali mengadakan Community Day dengan tema seputar big data. Pada Comday kali ini, bahasan lebih terfokus pada penggunaan Apache Hadoop dan Zeppelin untuk membuat dashboard yang berfungsi sebagai tools analitik dan visualisasi big data. Pengguna dashboard tentunya bukan hanya dari kalangan data scientist tapi juga sering dipakai oleh para pimpinan organisasi/perusahaan dalam membuat keputusan yang berdasarkan data (data driven decision making). Oleh karena itu, dashboard sebisa mungkin dibuat agar memudahkan penggunanya dalam menganalisis big data.

Comday kali ini diisi oleh Yanuar Hadiyanto, seorang trainer IT di Inixindo Jogja. Dalam kesempatan kali ini Mas Yanuar menyampaikan tentang bagaimana Hadoop hadir sebagai solusi dalam penyimpanan dan pengolahan big data. Seperti yang kita tahu, dalam mengolah big data diperlukan kemampuan komputasi yang tinggi. Solusi yang diberikan Hadoop adalah memecah dan mereplikasi database dengan HDFS (Hadoop Distributed File System) ke beberapa titik yang disebut slave node. Masing-masing slave node ini memiliki map sendiri-sendiri dan seluruh slave node diatur oleh name node. Name node ini berfungsi untuk mengindeks data yang disimpan di tiap-tiap slave node. Mas Yanuar menganalogikan sistem ini dengan contoh yang lebih mudah dipahami. 

“Proses dalam Hadoop itu seperti kita mendapatkan tugas kelompok untuk menerjemahkan buku tebal. Agar cepat dan tidak terlalu berat, buku dibongkar dan dibagi ke masing-masing anggota kelompok yang disebut slave node. Lalu ketua kelompok yang disebut name node bertugas mencatat halaman mana saja yang dibawa oleh masing-masing anggota kelompok. Jadi jika ada yang meminta terjemahan halaman sekian pada buku tersebut, ketua kelompok akan menyuruh anggotanya yang membawa bagian buku dengan halaman tersebut untuk menerjemahkannya.” jelas Mas Yanuar.

 

Comday Recap: Dashboard Big Data Menggunakan Hadoop dan Zeppelin 2 Comday Recap: Dashboard Big Data Menggunakan Hadoop dan Zeppelin 3 Comday Recap: Dashboard Big Data Menggunakan Hadoop dan Zeppelin 4 Comday Recap: Dashboard Big Data Menggunakan Hadoop dan Zeppelin 5

 

Di acara Comday yang dihadiri berbagai kalangan baik dari instansi pemerintah, startup digital, dan juga mahasiswa ini, Mas Yanuar juga menjelaskan tentang penggunaan Apache Zeppelin sebagai dashboard big data untuk ekosistem Hadoop. Ekosistem dari Hadoop sendiri memang sangat luas. Hal ini disebabkan karena Hadoop merupakan software open source yang memiliki komunitas cukup besar. Apache Zeppelin ini memudahkan seorang data scientist serta para pengambil keputusan untuk melakukan analisis serta visualisasi dari big data yang telah dimiliki. Dalam demo ini Mas Yanuar memberikan contoh melakukan query dengan SQL melalui Zeppelin dan memvisualisasikan data tersebut.

Selain membahas tentang dashboard big data dengan Hadoop dan Zeppelin, dalam comday kali ini  Umar Affandi yang juga seorang trainer dari Inixindo Jogja juga memberikan gambaran singkat tentang command center sebagai konsep aplikatif big data. Acara comday ini kemudian ditutup oleh pembagian souvenir bagi peserta yang mengajukan pertanyaan.

#Comday Dashboard Big Data Menggunakan Hadoop dan Zeppelin

#Comday Dashboard Big Data Menggunakan Hadoop dan Zeppelin

#Comday Dashboard Big Data Menggunakan Hadoop dan Zeppelin 6

#Comday Dashboard Big Data Menggunakan Hadoop dan Zeppelin

Data science sempat menjadi cabang ilmu yang populer dengan banyaknya perusahaan yang ingin merekrut data scientist. Hal ini tidak lepas dari perkembangan teknologi big data yang membutuhkan penanganan khusus oleh seorang yang benar-benar memiliki spesialisasi di bidang data science dan big data. Berbicara tentang data scientist dan big data, tentunya big data tidak lepas dari tools yang dipakai oleh data scientist dalam menunjang pekerjaannya.

KIta tentunya kenal dengan teknologi dari Hadoop yang telah memunculkan perangkat lunak pendukung yang memenuhi ekosistem Big Data seperti Hive, JDBC, Flink, lens, BigQuery, Casandra, Mahout dan yang lainnya. Masing-masing perangkat lunak tersebut memiliki kelebihan dan kekurangan masing-masing sehingga cukup merepotkan bagi seorang data scientist jika ingin memanfaatkan kelebihan masing-masing perangkat lunak.

Fitur-fitur yang dimiliki oleh setiap perangkat tersebut sebenarnya memang sangat dibutuhkan oleh seorang data scientist untuk menunjang aktivitas yang rutin dilakukan dalam pekerjaannya, seperti:

  • Data ingestion
  • Data discovery
  • Data analytics
  • Data visualization & collaborations 

Tentunya setiap perangkat lunak terkadang memiliki bahasa pendukungnya sendiri-sendiri dan juga interface masing-masing yang membuat kolaborasi data menjadi rumit. Di sinilah Apache hadir memberikan solusi dengan produknya yaitu Zeppelin. Apache Zeppelin merupakan web based notebook untuk data analytics interaktif yang dilengkapi dengan visualisasi data. Apache Zeppelin memiliki kelebihan yaitu mendukung lebih dari 20 teknologi back-end.

Ingin mengenal lebih dalam tentang penggunaan Hadoop dalam Apache Zeppelin untuk dashboard big data? Ikuti Community Day dengan topik “Dashboard Big Data Menggunakan Hadoop dan Zeppelin” pada hari Kamis, 8 Agustus 2019 pukul 14.00 WIB di EduparX, Inixindo Jogja.

Biaya

Free (tempat terbatas)

DATE AND TIME

Kamis, 8 Agustus 2019
14.00 WIB – Selesai

LOCATION

Eduparx – Inixindo Jogja
Jalan Kenari No 69 Yogyakarta
View Maps

Maaf, registrasi ditutup karena kapasitas peserta telah terpenuhi