Menjalankan Hadoop MapReduce Mode Fully Distributed



Pada artikel sebelumnya, MenjalankanAplikasi Hadoop MapReduce dengan Windows, telah dijelaskan secara detail langkah demi langkah untuk menginstal dan menjalankan Hadoop dengan mode standalone menggunakan Eclipse Java SE. Penggunaan Hadoop mode ini ditujukan untuk pengembangan aplikasi MapReduce (MapReduce Aplication Development) dan testing program dengan data berukuran kecil. Dengan menggunakan Hadoop Standalone pada Eclipse, coding dan debug program dapat dilakukan dengan lebih mudah dan cepat. Kemudian, pada artikel Menjalankan Hadoop MapReduce ModePseudo-Distributed dengan Linux, telah diuraikan langkah-langkah setting Hadoop dan menjalankan program MapReduce dengan platform Linux. Mode Pseudo-distributed ini ditujukan untuk testing program MapReduce yang telah dibuat dengan Eclipse Java dan telah ditest dengan Hadoop mode Standalone pada Eclipse tersebut. Program aplikasi MapReduce yang telah dibuat dengan Eclipse perlu ditest dengan Hadoop Pseudo-distributed untuk meyakinkan bahwa program tersebut benar-benar bisa berjalan normal sebelum program tersebut benar-benar dijalankan pada Hadoop Mode Fully Distributed (terdistribusi penuh dalam sejumlah PC). Mengapa demikian, karena program yang dibuat dengan Eclipse terkadang tidak bisa berjalan normal saat dieksekusi pada Hadoop Psudo-Distributed maupun Fully Distributed walaupun saat ditest menggunakan Hadoop yang terinstal di Eclipse program tersebut dapat berjalan normal dan memberikan output yang sesuai harapan.

Langkah-langkah untuk menginstal Hadoop dengan mode Fully Distributed sebenarnya tidak jauh berbeda dengan meninstal Hadoop dengan mode Pseudo-distributed. Perbedaannya yang jelas ada pada jumlah mesin (PC) yang digunakan. Mode Pseudo-distributed hanya menggunakan satu PC, sedangkan mode Fully Distributed yang pasti menggunakan lebih dari dua PC.

Langung saja, kita mulai step by step menginstal Hadoop Fully distributed pada sebuah cluster yang terdiri atas tiga PC. Oh ya, OS yang digunakan adalah Linux CentOS.

Tools yang dibutuhkan:
1. Java 6 atau yang lebih baru (JDK maupun JRE) dapat didownload di www.java.com atau www.oracle.com
2. Hadoop-0.20.2.tar.gz yang dapat didownload dari http://hadoop.apache.org/

Install Hadoop

Saya anggap Java sudah terinstal dengan normal pada semua PC (dalam hal ini 3 PC) yang akan digunakan sebagai cluster mini untuk menjalankan Hadoop. Langkah selanjutnya adalah menginstal Hadoop dengan mengeksekusi command - command berikut:
1. cd /usr/local  // hadoop ditempatkan di directory  /usr/local
2. sudo tar xzf hadoop-0.20.2.tar.gz   //ekstrak file hadoop dan akan menghasilkan directory baru : hadoop-0.20.2
3. sudo chown -R hadoop:hadoop hadoop-0.20.2 //set owner file-file hadoop adalah user=hadoop, group= hadoop.
4. export JAVA_HOME=/usr/lib/jvm/jre-1.7.0-openjdk  // set varible JAVA_HOME, silakan sesuaikan dengan lokasi dan versi java yang anda gunakan.
5. export PATH=$PATH:/usr/lib/jvm/jre-1.7.0-openjdk/bin   // set PATH java, silakan sesuaikan dengan versi dan lokasi java anda gunakan.
6. export HADOOP_INSTALL=/usr/local/hadoop-0.20.2  // set Environment Variable yang menunjuk pada direktori tempat hadoop di-install.
7. export PATH=$PATH:$HADOOP_INSTALL/bin //set PATH hadoop yang menunjuk pada direktori yang memuat script daemons Hadoop.
8. Untuk mengecek apakah setting yang telah kita lakukan hingga tahap ini telah dikerjakan dengan benar, silakan eksekusi command berikut :
              hadoop version    //mengecek versi Hadoop yang sudah diinstal
bila setting-nya benar, maka pada layar console akan tampil seperti berikut:
              Hadoop 0.20.2
              Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707
              Compiled by chrisdo on Fri Feb 19 08:07:34 UTC 2010

Konfigurasi SSH
Agar Hadoop dapat berjalan normal, perlu dilakukan setting SSH agar hadoop user bisa login tanpa password dari mesin-mesin (PCs) pada hadoop cluster. Salah satu cara yang cukup sederhana adalah dengan membuat public/private key pair, kemudian menyimpannya di NFS sehingga bisa diakses dari semua mesin(PC) dalam cluster Hadoop. Cara ini dapat dilakukan dengan mengeksekusi comand-command berikut;
1. ssh-keygen -t rsa -f  ~/.ssh/id_rsa
2. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

File authorized_keys adalah public key yang harus dibagikan ke setiap node (mesin/PC dalam cluster Hadoop) agar antar node bisa login ssh secara otomatis tanpa pasword. File authorized_keys ini harus dicopy ke directory ~/.ssh pada setiap node dalam Hadoop cluster. Bila tidak ingin repot mengkopi authorized_keys ke setiap node Hadoop, anda bisa menginstal atau men-set up NFS dan meletakkan home directory dari user hadoop pada NFS tersebut.

Konfigurasi Hadoop
Konfigurasi Hadoop dapat dilakukan dengan mengedit langsung file-file konfigurasi yang telah ditempatkan dalam satu directory. File-file konfigurasi tersebut terletak di directory hadoop-0.20.2/conf yang terdiri atas:
              1. hadoop-env.sh               //Environment variables.
              2. core-site.xml                  //Konfigurasi untuk Hadoop Core.
              3. hdfs-site.xml                 //Konfigurasi untuk HDFS:namenode, datanodes.
              4. mapred-site.xml            //Konfigurasi MapReduce: jobtracker, tasktrackers.
              5. masters                         //daftar PC yang menjadi secondary namenode.
              6. slaves                                          //daftar PC yang menjadi datanode dan tasktracker.
              7. hadoop-metrics.properties          //Java Properties yang mengatur metrics.
              8. log4j.properties             //Properties untuk system logfiles.
Directory hadoop-0.20.2/conf dapat dipindahkan dan ditempatkan disembarang tempat dalam filesystem/cluster diluar direktori tempat Hadoop diinstal. Syaratnya daemon-daemon Hadoop harus dijalankan dengan option --config yang menunjukkan lokasi directory hadoop-0.20.2/conf pada local filesystem.

Bila kita membuka satu-persatu file-file konfigurasi tersebut, akan kita temukan begitu banyak variables yang harus di-setting. Bagi mereka yang baru pertama kali mengenal Hadoop, dapat dipastikan Hadoop akan terkesan begitu ribet dan merepotkan. Tapi tenang, tidak semua variables harus di-setting, banyak diantaranya yang tidak perlu diedit. Artinya, dengan nilai defaultnya saja Hadoop sudah bisa berjalan normal.

File-file konfigurasi yang WAJIB diedit adalah : hadoop-env.sh, core-site.xml. hdfs-site.xml, mapred-site.xml, masters dan slaves. Langsung saja, kita edit satu-persatu.

-- hadoop-env.sh --
Satu-satunya variable yang harus diedit adalah JAVA_HOME, yang lainnya cukup dibiarkan sesuai nilai defaultnya.

# The java implementation to use.  Required.
export JAVA_HOME=/usr/lib/jvm/jre-1.7.0-openjdk

JAVA_HOME adalah variable yang menunjuk directory tempat Java (JRE maupun JDK) diinstal.

-- core-site.xml --
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
        <!-- server / PC yang ditunjuk sebagai namenode -->
        <property>
                <name>fs.default.name</name>
                <value>hdfs://hadoopmaster.vm/</value>
                <final>true</final>
        </property>
        <!-- tentukan tmp directory untuk Hadoop -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/local/usr/hadoopTempDir</value>
                <final>true</final>
        </property>
       
</configuration>

-- hadfs-site.xml --
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
        <property>
                <name>dfs.name.dir</name>
                <value>${hadoop.tmp.dir}/dfs/name</value>
                <final>true</final>
        </property>

        <property>
        <name>dfs.data.dir</name>
        <value>${hadoop.tmp.dir}/dfs/data</value>
        <final>true</final>
        </property>

        <property>
        <name>fs.checkpoint.dir</name>
        <value>${hadoop.tmp.dir}</value>
        <final>true</final>
        </property>

        <!-- replikasi data pada hadoop, normalnya adalah 3 -->
        <property>
        <name>dfs.replication</name>
        <value>1</value>
        </property>
</configuration>

-- mapred-site.xml --
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>hadoopmaster.vm:8021</value>
    <final>true</final>
  </property>

  <property>
    <name>mapred.local.dir</name>
    <value>${hadoop.tmp.dir}/mapred/local</value>
    <final>true</final>
  </property>

  <property>
    <name>mapred.system.dir</name>
    <value>${hadoop.tmp.dir}/mapred/system</value>
    <final>true</final>
  </property>

  <property>
    <name>mapred.tasktracker.map.tasks.maximum</name>
    <value>2</value>
    <final>true</final>
  </property>

  <property>
    <name>mapred.tasktracker.reduce.tasks.maximum</name>
    <value>2</value>
    <final>true</final>
  </property>

  <property>
    <name>mapred.child.java.opts</name>
    <value>-Xmx200m</value>
    <!-- Not marked as final so jobs can include JVM debugging options -->
  </property>
</configuration>

-- masters --
hadoopmaster.vm

-- slaves --
nfs.vm
hadoopslave2.vm

Menghidupkan Hadoop
Setelah semua setting dan konfigurasi diatas selesai, kini Hadoop siap untuk dijalankan. Pertama-tama bagi-bagikan lah directory hadoop-0.20.2 ke semua PC/node/mesin yang akan digunakan untuk menjalankan Hadoop. Sekumpulan PC yang menjalankan Hadoop ini kita sebut Hadoop cluster. Stelah semua PC yang berpartisipasi dalam Hadoop cluster mendapatkan directory hadoop-0.20.2 plus segalas isinya, kita eksekusi command berikut:
              1. hadoop namenode -format          //men-format HDFS layaknya kita men-format HDD sebelum digunakan.
              2. start-dfs.sh     //menghidupkan namenode dan datanode.
              3. start-mapred.sh            //menghidupkan jobtracker dan tasktrackers.
Sama halnya dengan Hadoop mode Pseudo-distributed, kondisi namenode dan jobtracker dapat dicek melalui web browser pada url berikut:
              http://hadoopmaster.vm.localdomain:50030/             --url jobtracker.
              http://hadoopmaster.vm.localdomain:50070/             --url namenode.
Untuk menghentikan daemons Hadoop, silakan gunakan command berikut:
              1. stop-mapred.sh
              2. stop-dfs.sh

Sampai disini, instal Hadoop MapReduce mode Fully Distributed atau terdistribusi penuh telah paripurna. Sekarang Hadoop telah siap untuk menjalankan program aplikasi MapReduce sesuai keinginan anda. Untuk menjalankan contoh aplikasi WordCount, langkah-langkahnya sama dengan cara menjalankan aplikasi WordCount pada Hadoop mode Pseudo-distributed. Silakan cek artikel "Menjalankan Hadoop MapReduce Mode Pseudo-Distributeddengan Linux".

Selamat mencoba!

Referensi:
"Hadoop: The Definitive Guide 3rd Edition", Tom White, O'REILLY 2012.

Comments

Unknown said…
Nice and good article. It is very useful for me to learn and understand easily. Thanks for sharing your valuable information and time. Please keep updating Hadoop administration Online Training
October 3, 2018 at 7:18 PM
WM Wijaya said…
Thanks for having read my article. I am happy if you found it useful.
November 3, 2018 at 10:50 PM
Post a Comment

Popular posts from this blog

MapReduce: Besar dan Powerful, tapi Tidak Ribet

Image
Dalam artikel “ Big Data dan Rahasia Kejayaan Google ”, telah disebutkan beberapa teknologi yang digunakan oleh Google untuk mengolah dan memberdayakan Big Data. Diantaranya adalah Google File System (GFS), Google MapReduce, dan Bigtable. Kita akan membahas ketiga teknologi ini secara lebih detail namun tetap dikemas secara sederhana, biar gak kelihatan ribet alias complicated. Langsung saja, kali ini kita akan membahas tentang apa itu MapReduce.
Read more

Tutorial Python: Cara Mudah Web Scraping menggunakan Beautiful Soup

Image
 Pada artikel " Pentingnya Web Crawling sebagai Cara Pengumpulan Data di Era Big Data " telah kita bahas bahwa data dapat didapatkan dengan sejumlah cara, diantaranya: Input langsung dari pelanggan, melalui survey maupun angket. Menggunakan API pihak ketiga seperti Facebook API, Twitter API dan sebagainya. Log Web Server seperti Apache dan Nginx Dengan melakukan Web Crawling atau Web Scraping  Tutorial kali ini akan mengulas tentang bagaimana melakukan Web Scraping dengan bahasa program Python menggunakan module Beautiful Soup . Sebagai langkah awak, mari kita coba scraping satu webpage yang sangat sederhana dengan url: https://dataquestio.github.io/web-scraping-pages/simple.html Oh iya, selain module Beautiful Soup, kita juga akan menggunakan module Requests untuk mengirim HTTP requests ke webpage yg akan kita jadikan target scraping. import requests from bs4 import BeautifulSoup page = requests.get("https://dataquestio.github.io/web-scraping-pages/simple.html"...
Read more

Cara Sederhana Install Hadoop 2 mode Standalone pada Windows 7 dan Windows 10

Image
    Hadoop adalah framework open-source berbasis Java yang ditujukan untuk memproses data secara terdistribusi melalui kemampuan penyimpanan data secara terdistribusi. Hadoop dapat menyimpan data apapun dan memprosesnya dengan model pemrograman MapReduce. Hadoop didesain untuk dapat mengatasi permasalahan yang disebabkan oleh kegagalan fungsi hardware sehingga dapat mencegah hilangnya data maupun proses kerja. Hadoop memotong-motong data untuk didistribusikan ke setiap node di dalam suatu kluster untuk kemudian diproses secara paralel dan lokal di tiap node yang bersangkutan. Kebutuhan Software Berikut adalah software yang harus disiapkan untuk dapat menjalankan Hadoop 2 mode standalone dengan OS Windows 7 atau Windows 10: Java JDK 1.8, dapat diunduh dari https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html Apache Hadoop 2.7.7, dapat diunduh dari https://hadoop.apache.org/releases.html Hadoop Patch File untuk OS Windows...
Read more

Apa itu Big Data : Menyimak Kembali Definisi Big Data, Jenis Teknologi Big Data, dan Manfaat Pemberdayaan Big Data

Image
Data adalah Emas Pada pembukaan Press Conference on Open Data Strategy tahun 2011, Neelie Kroes, yang saat itu menjabat sebagai Vice-Presicent of the European Commission responsible for the Digital Agenda, menyampaikan pidatonya yang berjudul " Data is the New Gold ". Pesannya adalah bahwa pada era digital ini, data telah menjadi bagian yang sangat penting bagi peradaban manusia seperti halnya minyak bumi, yang telah mendapat julukan black gold . Pernyataan tersebut disampaikan berdasar fakta bahwa data telah menjadi sumber laba bagi para pelaku bisnis di dunia maya Internet. Mereka hidup dari data yang mereka berdayakan. Di Indonesia, Presiden Jokowi juga memiliki pandangan yang serupa akan pentingnya Data. Dalam pidato kenegaraan Presiden Jokowi pada 16 Agustus 2019 , beliau menyatakan bahwa: "data adalah jenis kekayaan baru bangsa kita, kini data lebih berharga dari minyak". Kenapa Presiden Jokowi menyatakan data lebih berharga dari minyak? Sejalan dengan ...
Read more

Apache Spark: Perangkat Lunak Analisis Terpadu untuk Big Data

Image
       Apache Spark adalah engine ( perangkat lunak ) analisis terpadu super cepat untuk memproses data dalam skala besar; meliputi Big Data dan machine learning. Secara lebih detailnya, Apache Spark dapat didefinisikan sebagai engine ( perangkat lunak ) untuk memproses data dalam skala besar secara in-memory, dilengkapi dengan API pengembangan yang elegan dan ekspresif guna memudahkan para pekerja data dalam mengeksekusi pekerjaan-pekerjaan yang membutuhkan perulangan akses yang cepat terhadap data yang diproses, seperti halnya streaming, machine learning, maupun SQL, secara efisien.        Apache Spark terdiri atas Spark Core ( inti ) dan sekumpulan library perangkat lunak. Inti dari Spark adalah distributed execution engine, dan API Java, Scala maupun Python disediakan sebagai platform untuk mengembangkan aplikasi ETL ( Extract, Transform, Load ) terdistribusi. Kemudian, library perangkat lunak tambahan, yang dibangun diatas inti ( core )-...
Read more

HBase: Hyper NoSQL Database

Image
Latar Belakang Hinggal awal 2013 ini, Google setidaknya telah mempublikasikan tiga system canggihnya dalam hubungannya dengan pengelolaan dan pemberdayaan Big Data (“ Big Data dan Rahasia Kejayaan Google ”). Ketiga system canggih tersebut adalah Google File System , Google MapReduce , dan Google Bigtable . Semuanya merupakan sistem terdistribusi (Distributed System) yang dikenal handal, mampu mengolah data berukuran raksasa dengan efektif dan efisien, serta fleksibel. Ketiga sistem terdistibusi ini adalah sistem yang saling terkait erat, namun memiliki pembagian tugas yang jelas (“ Tiga TeknologiPamungkas Mbah Google ”). Ketika kebutuhan untuk memproses data dalam ukuran super besar atau yang dikenal dengan istilah Big Data mulai dirasakan oleh berbagai perusahaan terutama yang berhubungan langsung dengan pengolahan dan pengelolaan data, ketiga teknologi Google tersebut mulai mendapat banyak sorotan. Sayang, publikasi Google tentang teknologi canggihnya itu hanya sebatas konsep, ...
Read more

HDFS: Berawal dari Google untuk Big Data

Image
Segala sesuatu mulai dari definisi HDFS adalah singkatan dari Hadoop Distributed File System. Kalau diterjemahkan mentah-mentah, maka HDFS adalah Sistem File Terdistribusi Hadoop. Hadoop adalah salah satu proyek open source milik Apache. Jadi HDFS adalah sistem file terdistribusi yang dikembangkan oleh Apache dalam proyeknya yang bernama Hadoop. Apache mengembangkan HDFS berdasarkan konsep dari Google File System (detailnya simak: GoogleFile System: Menggotong-royongkan Ribuan Komputer ala Google ). Oleh karena itu, HDFS sangat mirip dengan Google File System baik ditinjau dari konsep logikanya, struktur fisik, maupun cara kerjanya. Lalu, sistem file terdistribusi itu apa? Sederhananya, distributed file system (sistem file terdistribusi) adalah file system yang menyimpan data tidak dalam satu hard disk drive (HDD) atau media penyimpanan lainnya, tetapi data dipecah-pecah dan disimpan tersebar dalam suatu cluster yang terdiri atas beberapa komputer, bisa hanya 2 komputer, puluhan ba...
Read more

Aplikasi iPhone : RETaS Read English Tanpa Kamus!

Image
RETaS (Read English   Tanpa Kamus)   adalah aplikasi buat kamu yang suka baca teks Inggris, tapi tak mau repot buka kamus! Cara pakainya pun sangat mudah, sederhana, dan praktis. Tinggal sentuh saja kata yang tidak kamu mengerti, dengan seketika akan ditampilkan artinya. Dibuat dengan implementasi Core ML ( Machine Learning ), framework canggih original buatan Apple di California, aplikasi ini (RETaS) memungkinkan kamu untuk lancar membaca teks Inggris tanpa perlu adanya kamus. Untuk bisa segera mencoba, RETaS! sudah memuat sejumlah teks Inggris yang enak dibaca sesuai selera kamu. Isinya berupa bacaan fiksi maupun non-fiksi: ada cerita-cerita dongeng ringan, percakapan sehari-hari, deskripsi tentang   landmark terkenal dunia,  tips and tricks , cerita sejarah menarik, academic reading , dan masih banyak lagi. Tambah seru lagi, kamu juga bisa " post / submit " teks Inggris punya kamu sendiri, sehingga kamu bisa baca lancar tanpa repot buka kamus. Kamu bisa post / s...
Read more

Big Data dan Rahasia Kejayaan Google

Big Data, sebesar apa? Kurang lebih sejak tahun 2010, istilah Big Data sudah mulai hangat diperbincangkan. Topik-topik seperti : "Bagaimana cara menganalisa perilaku setiap konsumen saat berbelanja secara online sehingga sang penjual bisa memberikan rekomendasi secara otomatis tentang produk yang sesuai dengan tiap pelanggan.", "Bagaimana menganalisa kicauan pada Twitter sehingga bisa menemukan topik-topik yang sedang hot atau trending topic.", "Bagaimana menganalisa transaksi kartu kredit sehingga bisa dibedakan mana transaksi yang legal dan illegal.", telah menjadi topik yang sering diangkat di media massa. Data-data tentang perilaku konsumen pada toko online, kicauan puluhan juta pengguna Twitter maupun data tentang transaksi kartu kredit dapat dikategorikan sebagai Big Data. Dalam artikel berjudul " Gartner SaysSolving 'Big Data' Challenge Involves More Than Just Managing Volumes ofData. " dinyatakan bahwa Big Data itu memilik...
Read more

Bagaimana Cara Membaca Google Play eBook Secara Offline?

Image
Tulisan ini berawal dari review seorang yang membeli buku " Teknologi Big Data: Sistem Canggih dibalik Google, Facebook, Yahoo!, IBM " versi eBook di Google Play Books . Pada reviewnya tertulis bahwa buku tersebut hanya bisa dibaca secara online. Padahal, ebook yang dibeli di Google Play Books dapat dibaca baik secara online maupun offline, baik pada perangkat mobile maupun pada komputer Windows, Mac OS X, serta Linux. Lalu, bagaimana cara membaca Google Play Book secara offline? Adapun langkah-langkah yang mesti dilakukan adalah sebagai berikut: Pada Perangkat Mobile (Android maupun iOS) 1. Pastikan perangkat anda terhubung dengan Internet. 2. Jika aplikasi Google Play Books belum terinstal pada perangkat mobile anda, silakan mengunduhnya dari iOS App Store maupun Android Play Store. 3. Buka aplikasi Google Play Books, dan sentuhlah buku yang ingin anda download. Begitu buku yang ingin anda baca tersebut selesai di-download, maka anda dapat membacanya pada pera...
Read more