Menjalankan Hadoop MapReduce Mode Pseudo-distributed dengan Linux


Pada artikel sebelumnya (Menjalankan Hadoop MapReduce dengan Eclipse Java SE) telah dijelaskan bagaimana cara instal Hadoop dan menjalankan aplikasi MapReduce mode standalone dengan menggunakan Eclipse Java SE yang diinstal di Windows.

Kali ini saya akan menjelaskan langkah-langkah untuk menginstal Hadoop mode pseudo-distributed di Linux dan menjalankan contoh aplikasi MapReduce.

Tools yang perlukan :
Hadoop-0.20.2.tar.gz file, dapat di-download dari http://hadoop.apache.org/
Setelah Hadoop-0.20.2.tar.gz di-ekstrak, simpanlah di home diterctory atau directory lain yang dikehendaki, kemudian ikutilah langkah-langkah berikut :

1. Konfigurasi Hadoop
Didalam directory Hadoop-0.20.2 terdapat directory conf yang berisi file-file konfigurasi untuk Hadoop. Buka directory Hadoop-0.20.2/conf , kemudian edit isi file core-site.xml, hdfs-site.xm. dan mapred-site.xml seperti sbb:

Setting pada core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- core-site.xml -->

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost/</value>
    <final>true</final>
  </property>

  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/temp</value>
    <final>true</final>
  </property>
</configuration>

Setting pada hdfs-site.xml 
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- hdfs-site.xml -->

<configuration>
  <property>
    <name>dfs.name.dir</name>
    <value>${hadoop.tmp.dir}/dfs/name</value>
    <final>true</final>
  </property>

  <property>
    <name>dfs.data.dir</name>
    <value>${hadoop.tmp.dir}/dfs/data</value>
    <final>true</final>
  </property>

  <property>
    <name>fs.checkpoint.dir</name>
    <value>${hadoop.tmp.dir}</value>
    <final>true</final>
  </property>

  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

Setting pada mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- mapred-site.xml -->

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:8021</value>
    <final>true</final>
  </property>

  <property>
    <name>mapred.local.dir</name>
    <value>${hadoop.tmp.dir}/mapred/local</value>
    <final>true</final>
  </property>

  <property>
    <name>mapred.system.dir</name>
    <value>${hadoop.tmp.dir}/mapred/system</value>
    <final>true</final>
  </property>

  <property>
    <name>mapred.tasktracker.map.tasks.maximum</name>
    <value>2</value>
    <final>true</final>
  </property>

  <property>
    <name>mapred.tasktracker.reduce.tasks.maximum</name>
    <value>2</value>
    <final>true</final>
  </property>

  <property>
    <name>mapred.child.java.opts</name>
    <value>-Xmx200m</value>
    <!-- Not marked as final so jobs can include JVM debugging options -->
  </property>
</configuration>

2. Konfigurasi SSH
Pada mode psudo-distributed, Hadoop akan menjalankan beberapa daemons. Oleh karena itu SSH harus diinstal dan di-setting agar Hadoop bisa masuk dengan SSH ke localhost tanpa harus memasukkan password.
Pertama, cek apakah SSH sudah terinstal atau belum dengan command berikut:
              % sudo apt-get install ssh
Kemudian ijinkan login SSH ke localhost tanpa menggunakan password:
              % ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
              % cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
Test setting dengan command berikut:
              % ssh localhost
Jika sukses, maka anda akan bisa login dengan SSH tanpa menggunakan password.

3. Format HDFS
Seperti halnya hardisk pada PC yang sebelum digunakan harus diformat dulu dengan filesystem yang akan digunakan (FAT32, NTFS dsb), HDFS pun demikian. Sebelum Hadoop bisa digunakan, HDFS harus diformat dulu. Buka directory hadoop-0.20.2 dan dari directory ini execute command berikut untuk men-format HDFS:

              % bin/hadoop namenode -format

Setelah diformat, Hadoop sudah siap dijalankan dengan men-start daemons HDFS dan MapReduce dengan command berikut:

              % bin/start-dfs.sh
              % bin/start-mapred.sh

Setelah Hadoop di-start, kita bisa memastikan apakah daemons Hadoop tersebut sudah berjalan atau tidak dengan menggunakan browser internet (Internet Explorer, Firefox, Google Chrome dsb). Masukkan URL berikut ke address bar browser yang digunakan.

              http://localhost:50030/        --url jobtracker
              http://localhost:50070/        --url namenode

Untuk menghentikan daemons Hadoop, gunakan command berikut:

              % bin/stop-mapred.sh
              % bin/stop-dfs.sh

Bila langkah-langkah diatas berjalan normal, brarti instal Hadoop mode pseudo-distributed telah sukses dan Hadoop telah siap menjalankan aplikasi MapReduce. Berikutnya kita akan mencoba menjalankan contoh aplikasi MapReduce yang dinamai WordCount, sama seperti aplikasi yang dijalankan pada Hadoop mode standalone pada artikel sebelumnya (MenjalankanAplikasi MapReduce dengan Eclipse Java SE). Silakan download / copy source code aplikasi WordCount.java dari artikel tersebut.

3. Menjalankan aplikasi WordCount
Untuk menjalankan contoh aplikasi WordCount, silakan ikuti langkah-langkah sbb:

              a. Buat directory baru pada home directory dan beri nama wordcount (atau nama yang sesuai selera masing2). Buat file baru dengan nama WordCount.java dan paste source code WordCount.java pada artikel Menjalankan Aplikasi MapReduce dengan Eclipse java SE.
              b. Compile program WordCount.java dengan command berikut (saya asumsikan kita berada di directory hadoop-0.20.2):

             % javac -classpath hadoop-0.20.2-core.jar:lib/commons-cli-1.2.jar /home/wordcount/WordCount.java

Bila compile sukses, maka akan dihasilkan tiga class file :     
             
              WordCount.class
              WordCount$TokenizerMapper.class
              WordCount$IntSumReducer.class

Buat directory baru dengan nama classes, dan pindahkan ketiga class file tsb ke dalam directory classes.
              c. Buat WordCount.jar dengan mengeksekusi command berikut dari directory wordcount:

              % jar -cvf WordCount.jar -C classes/ .

Bila sukses, maka akan dihasilkan file WordCount.jar
              d. Buat directory input pada HDFS dengan command berikut (saya asumsikan kita berada di directory hadoop-0.20.2)

              % bin/hadoop dfs -mkdir /user/input
              % bin/hadoop dfs -ls /user

              e. Copy text file yang akan diproses dengan menggunakan aplikasi WordCount ke directory input pada HDFS dengan command berikut:

              % bin/hadoop dfs -copyFromLocal /home/contoh.txt /user/input
              % bin/hadoop dfs -ls /user/input

              f. Setelah itu kita jalankan program WordCount dengan command berikut:
              bin/hadoop jar /home/wordcount/WordCount.jar WordCount /user/input /user/output
              bila sukses akan muncul text berikut pada console:

              13/01/28 10:58:09 INFO input.FileInputFormat: Total input paths to process : 1
              13/01/28 10:58:09 INFO mapred.JobClient: Running job: job_201301150937_0002
              13/01/28 10:58:10 INFO mapred.JobClient:  map 0% reduce 0%
              13/01/28 10:58:17 INFO mapred.JobClient:  map 100% reduce 0%
              13/01/28 10:58:29 INFO mapred.JobClient:  map 100% reduce 100%
              13/01/28 10:58:31 INFO mapred.JobClient: Job complete: job_201301150937_0002
              13/01/28 10:58:31 INFO mapred.JobClient: Counters: 17
              13/01/28 10:58:31 INFO mapred.JobClient:   Job Counters
              13/01/28 10:58:31 INFO mapred.JobClient:     Launched reduce tasks=1
              13/01/28 10:58:31 INFO mapred.JobClient:     Rack-local map tasks=1
              13/01/28 10:58:31 INFO mapred.JobClient:     Launched map tasks=1
              13/01/28 10:58:31 INFO mapred.JobClient:   FileSystemCounters
              13/01/28 10:58:31 INFO mapred.JobClient:     FILE_BYTES_READ=27105
              13/01/28 10:58:31 INFO mapred.JobClient:     HDFS_BYTES_READ=19099
              13/01/28 10:58:31 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=54242
              13/01/28 10:58:31 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=20699
              13/01/28 10:58:31 INFO mapred.JobClient:   Map-Reduce Framework
              13/01/28 10:58:31 INFO mapred.JobClient:     Reduce input groups=1600
              13/01/28 10:58:31 INFO mapred.JobClient:     Combine output records=1600
              13/01/28 10:58:31 INFO mapred.JobClient:     Map input records=1600
              13/01/28 10:58:31 INFO mapred.JobClient:     Reduce shuffle bytes=0
              13/01/28 10:58:31 INFO mapred.JobClient:     Reduce output records=1600
              13/01/28 10:58:31 INFO mapred.JobClient:     Spilled Records=3200
              13/01/28 10:58:31 INFO mapred.JobClient:     Map output bytes=23899
              13/01/28 10:58:31 INFO mapred.JobClient:     Combine input records=1600
              13/01/28 10:58:31 INFO mapred.JobClient:     Map output records=1600
              13/01/28 10:58:31 INFO mapred.JobClient:     Reduce input records=1600

              g. Buka directory /uer/output pada HDFS dan cek hasilnya:

              % bin/hadoop dfs -ls /user/output
              % bin/hadoop dfs -cat /user/output/part-r-00000

              Hasil eksekusi aplikasi WordCount juga dapat dilihat menggunakan Web Browser di http://localhost:50070/

Demikian langkah-langkah instal Hadoop mode pseudo-distributed di Linux beserta cara menjalankan contoh aplikasi MapReduce. Selamat mencoba!.

Referensi:
1. "Hadoop: The Definitive Guide, Third Edition", Tom White, O'Reilly 2012.
2. hadoop-tutorial.blogspot.jp/2010/11/running-hadoop-in-pseudo-distributed.html

Comments

Unknown said…
Salam Pak, mau tanya,

kalau langkah ini:
2. Cygwin, dapat didownlaod dari http://cygwin.com/install.html

hanya untuk windows kah ? kalau dicoba di ubuntu dilewat saja ya ?

Terima kasih
November 10, 2016 at 1:20 PM
WM Wijaya said…
Salam,
terima kasih telah berkunjung.

Betul sekali, Cygwin tidak diperlukan di Ubuntu.
November 10, 2016 at 6:01 PM
Wrap Products said…
Nicce blog thanks for posting
May 2, 2023 at 11:21 PM
Post a Comment

Popular posts from this blog

MapReduce: Besar dan Powerful, tapi Tidak Ribet

Image
Dalam artikel “ Big Data dan Rahasia Kejayaan Google ”, telah disebutkan beberapa teknologi yang digunakan oleh Google untuk mengolah dan memberdayakan Big Data. Diantaranya adalah Google File System (GFS), Google MapReduce, dan Bigtable. Kita akan membahas ketiga teknologi ini secara lebih detail namun tetap dikemas secara sederhana, biar gak kelihatan ribet alias complicated. Langsung saja, kali ini kita akan membahas tentang apa itu MapReduce.
Read more

Tutorial Python: Cara Mudah Web Scraping menggunakan Beautiful Soup

Image
 Pada artikel " Pentingnya Web Crawling sebagai Cara Pengumpulan Data di Era Big Data " telah kita bahas bahwa data dapat didapatkan dengan sejumlah cara, diantaranya: Input langsung dari pelanggan, melalui survey maupun angket. Menggunakan API pihak ketiga seperti Facebook API, Twitter API dan sebagainya. Log Web Server seperti Apache dan Nginx Dengan melakukan Web Crawling atau Web Scraping  Tutorial kali ini akan mengulas tentang bagaimana melakukan Web Scraping dengan bahasa program Python menggunakan module Beautiful Soup . Sebagai langkah awak, mari kita coba scraping satu webpage yang sangat sederhana dengan url: https://dataquestio.github.io/web-scraping-pages/simple.html Oh iya, selain module Beautiful Soup, kita juga akan menggunakan module Requests untuk mengirim HTTP requests ke webpage yg akan kita jadikan target scraping. import requests from bs4 import BeautifulSoup page = requests.get("https://dataquestio.github.io/web-scraping-pages/simple.html"...
Read more

Cara Sederhana Install Hadoop 2 mode Standalone pada Windows 7 dan Windows 10

Image
    Hadoop adalah framework open-source berbasis Java yang ditujukan untuk memproses data secara terdistribusi melalui kemampuan penyimpanan data secara terdistribusi. Hadoop dapat menyimpan data apapun dan memprosesnya dengan model pemrograman MapReduce. Hadoop didesain untuk dapat mengatasi permasalahan yang disebabkan oleh kegagalan fungsi hardware sehingga dapat mencegah hilangnya data maupun proses kerja. Hadoop memotong-motong data untuk didistribusikan ke setiap node di dalam suatu kluster untuk kemudian diproses secara paralel dan lokal di tiap node yang bersangkutan. Kebutuhan Software Berikut adalah software yang harus disiapkan untuk dapat menjalankan Hadoop 2 mode standalone dengan OS Windows 7 atau Windows 10: Java JDK 1.8, dapat diunduh dari https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html Apache Hadoop 2.7.7, dapat diunduh dari https://hadoop.apache.org/releases.html Hadoop Patch File untuk OS Windows...
Read more

Apa itu Big Data : Menyimak Kembali Definisi Big Data, Jenis Teknologi Big Data, dan Manfaat Pemberdayaan Big Data

Image
Data adalah Emas Pada pembukaan Press Conference on Open Data Strategy tahun 2011, Neelie Kroes, yang saat itu menjabat sebagai Vice-Presicent of the European Commission responsible for the Digital Agenda, menyampaikan pidatonya yang berjudul " Data is the New Gold ". Pesannya adalah bahwa pada era digital ini, data telah menjadi bagian yang sangat penting bagi peradaban manusia seperti halnya minyak bumi, yang telah mendapat julukan black gold . Pernyataan tersebut disampaikan berdasar fakta bahwa data telah menjadi sumber laba bagi para pelaku bisnis di dunia maya Internet. Mereka hidup dari data yang mereka berdayakan. Di Indonesia, Presiden Jokowi juga memiliki pandangan yang serupa akan pentingnya Data. Dalam pidato kenegaraan Presiden Jokowi pada 16 Agustus 2019 , beliau menyatakan bahwa: "data adalah jenis kekayaan baru bangsa kita, kini data lebih berharga dari minyak". Kenapa Presiden Jokowi menyatakan data lebih berharga dari minyak? Sejalan dengan ...
Read more

Apache Spark: Perangkat Lunak Analisis Terpadu untuk Big Data

Image
       Apache Spark adalah engine ( perangkat lunak ) analisis terpadu super cepat untuk memproses data dalam skala besar; meliputi Big Data dan machine learning. Secara lebih detailnya, Apache Spark dapat didefinisikan sebagai engine ( perangkat lunak ) untuk memproses data dalam skala besar secara in-memory, dilengkapi dengan API pengembangan yang elegan dan ekspresif guna memudahkan para pekerja data dalam mengeksekusi pekerjaan-pekerjaan yang membutuhkan perulangan akses yang cepat terhadap data yang diproses, seperti halnya streaming, machine learning, maupun SQL, secara efisien.        Apache Spark terdiri atas Spark Core ( inti ) dan sekumpulan library perangkat lunak. Inti dari Spark adalah distributed execution engine, dan API Java, Scala maupun Python disediakan sebagai platform untuk mengembangkan aplikasi ETL ( Extract, Transform, Load ) terdistribusi. Kemudian, library perangkat lunak tambahan, yang dibangun diatas inti ( core )-...
Read more

HBase: Hyper NoSQL Database

Image
Latar Belakang Hinggal awal 2013 ini, Google setidaknya telah mempublikasikan tiga system canggihnya dalam hubungannya dengan pengelolaan dan pemberdayaan Big Data (“ Big Data dan Rahasia Kejayaan Google ”). Ketiga system canggih tersebut adalah Google File System , Google MapReduce , dan Google Bigtable . Semuanya merupakan sistem terdistribusi (Distributed System) yang dikenal handal, mampu mengolah data berukuran raksasa dengan efektif dan efisien, serta fleksibel. Ketiga sistem terdistibusi ini adalah sistem yang saling terkait erat, namun memiliki pembagian tugas yang jelas (“ Tiga TeknologiPamungkas Mbah Google ”). Ketika kebutuhan untuk memproses data dalam ukuran super besar atau yang dikenal dengan istilah Big Data mulai dirasakan oleh berbagai perusahaan terutama yang berhubungan langsung dengan pengolahan dan pengelolaan data, ketiga teknologi Google tersebut mulai mendapat banyak sorotan. Sayang, publikasi Google tentang teknologi canggihnya itu hanya sebatas konsep, ...
Read more

HDFS: Berawal dari Google untuk Big Data

Image
Segala sesuatu mulai dari definisi HDFS adalah singkatan dari Hadoop Distributed File System. Kalau diterjemahkan mentah-mentah, maka HDFS adalah Sistem File Terdistribusi Hadoop. Hadoop adalah salah satu proyek open source milik Apache. Jadi HDFS adalah sistem file terdistribusi yang dikembangkan oleh Apache dalam proyeknya yang bernama Hadoop. Apache mengembangkan HDFS berdasarkan konsep dari Google File System (detailnya simak: GoogleFile System: Menggotong-royongkan Ribuan Komputer ala Google ). Oleh karena itu, HDFS sangat mirip dengan Google File System baik ditinjau dari konsep logikanya, struktur fisik, maupun cara kerjanya. Lalu, sistem file terdistribusi itu apa? Sederhananya, distributed file system (sistem file terdistribusi) adalah file system yang menyimpan data tidak dalam satu hard disk drive (HDD) atau media penyimpanan lainnya, tetapi data dipecah-pecah dan disimpan tersebar dalam suatu cluster yang terdiri atas beberapa komputer, bisa hanya 2 komputer, puluhan ba...
Read more

Aplikasi iPhone : RETaS Read English Tanpa Kamus!

Image
RETaS (Read English   Tanpa Kamus)   adalah aplikasi buat kamu yang suka baca teks Inggris, tapi tak mau repot buka kamus! Cara pakainya pun sangat mudah, sederhana, dan praktis. Tinggal sentuh saja kata yang tidak kamu mengerti, dengan seketika akan ditampilkan artinya. Dibuat dengan implementasi Core ML ( Machine Learning ), framework canggih original buatan Apple di California, aplikasi ini (RETaS) memungkinkan kamu untuk lancar membaca teks Inggris tanpa perlu adanya kamus. Untuk bisa segera mencoba, RETaS! sudah memuat sejumlah teks Inggris yang enak dibaca sesuai selera kamu. Isinya berupa bacaan fiksi maupun non-fiksi: ada cerita-cerita dongeng ringan, percakapan sehari-hari, deskripsi tentang   landmark terkenal dunia,  tips and tricks , cerita sejarah menarik, academic reading , dan masih banyak lagi. Tambah seru lagi, kamu juga bisa " post / submit " teks Inggris punya kamu sendiri, sehingga kamu bisa baca lancar tanpa repot buka kamus. Kamu bisa post / s...
Read more

Big Data dan Rahasia Kejayaan Google

Big Data, sebesar apa? Kurang lebih sejak tahun 2010, istilah Big Data sudah mulai hangat diperbincangkan. Topik-topik seperti : "Bagaimana cara menganalisa perilaku setiap konsumen saat berbelanja secara online sehingga sang penjual bisa memberikan rekomendasi secara otomatis tentang produk yang sesuai dengan tiap pelanggan.", "Bagaimana menganalisa kicauan pada Twitter sehingga bisa menemukan topik-topik yang sedang hot atau trending topic.", "Bagaimana menganalisa transaksi kartu kredit sehingga bisa dibedakan mana transaksi yang legal dan illegal.", telah menjadi topik yang sering diangkat di media massa. Data-data tentang perilaku konsumen pada toko online, kicauan puluhan juta pengguna Twitter maupun data tentang transaksi kartu kredit dapat dikategorikan sebagai Big Data. Dalam artikel berjudul " Gartner SaysSolving 'Big Data' Challenge Involves More Than Just Managing Volumes ofData. " dinyatakan bahwa Big Data itu memilik...
Read more

Bagaimana Cara Membaca Google Play eBook Secara Offline?

Image
Tulisan ini berawal dari review seorang yang membeli buku " Teknologi Big Data: Sistem Canggih dibalik Google, Facebook, Yahoo!, IBM " versi eBook di Google Play Books . Pada reviewnya tertulis bahwa buku tersebut hanya bisa dibaca secara online. Padahal, ebook yang dibeli di Google Play Books dapat dibaca baik secara online maupun offline, baik pada perangkat mobile maupun pada komputer Windows, Mac OS X, serta Linux. Lalu, bagaimana cara membaca Google Play Book secara offline? Adapun langkah-langkah yang mesti dilakukan adalah sebagai berikut: Pada Perangkat Mobile (Android maupun iOS) 1. Pastikan perangkat anda terhubung dengan Internet. 2. Jika aplikasi Google Play Books belum terinstal pada perangkat mobile anda, silakan mengunduhnya dari iOS App Store maupun Android Play Store. 3. Buka aplikasi Google Play Books, dan sentuhlah buku yang ingin anda download. Begitu buku yang ingin anda baca tersebut selesai di-download, maka anda dapat membacanya pada pera...
Read more