Menjalankan Aplikasi Hadoop MapReduce dengan Eclipse Java SE

TUTORIAL INI SUDAH DIPERBAHARUI DI "Membuat dan Menjalankan Aplikasi Hadoop MapReduce dengan Intellij IDEA pada OS Windows"

Untuk menjalankan suatu aplikasi MapReduce pada Hadoop, kita mesti membuat file jar (namaAplikasi.jar) dari aplikasi tersebut. Sudah tentu source code dari aplikasi yang akan kita jalankan itu harus di compile dulu, class file hasil compilasi itulah yang dikompres dalam satu jar file.

Bila aplikasi yang kita jalankan masih dalam tahap pengembangan/percobaan, tentu akan cukup merepotkan jika harus membuat jar file tiap kali aplikasi tersebut akan dijalankan.
Oleh karena itu, penggunaan Eclipse dalam proses pengembangan aplikasi MapReduce dapat dijadikan sebagai satu alternatif yang cukup praktis dan feseable. Proses pengembangan aplikasi jadi lebih mudah.

Tool yang dibutuhkan:
1. Eclipse IDE for Java Developer, dapat didownload dari http://www.eclipse.org/downloads/
2. Cygwin, dapat didownlaod dari http://cygwin.com/install.html
3. Hadoop-0.20.2.tar.gz file, dapat di-download dari http://hadoop.apache.org/
4. Ant Library (ant.jar), dapat di-download dari http://ant.apache.org/bindownload.cgi dengan nama file apache-ant-1.8.4-bin.zip (pilih versi yang terbaru).

Instal Hadoop di Eclipse
Setelah tools yang dibutuhkan lengkap dan terinstal dengan normal, selanjutnya ikuti langkah-langkah berikut meng-instal / mengimpor Hadoop ke Eclipse :

1. Buat New Java Project pada Eclipse dan beri nama hadoop-0.20.2
2. Import hadoop-0.20.2.tar.gz yang telah di-download ke project hadoop-0.20.2 yang baru dibuat. Caranya : Klik menu File > Import > General > Archieve File dan pilih file hadoop-0.20.2.tar.gz (lihat Gambar 1.01)


3. Copy ant.jar dari file apache-ant-1.8.4-bin.zip yang telah di-extract, dan paste pada folder lib dari project hadoop-0.20.2 (hadoop-0.20.2/hadoop-0.20.2/lib/).
4. Buka file hadoop-0.20.2/.classpath dan ganti isinya dengan code xml dibawah ini : (Hal ini dilakukan untuk menambahkan semua source folders dan libraries yang dibutuhkan ke project hadoop-0.20.2 yang telah dibuat.)

<?xml version="1.0" encoding="UTF-8"?>
<classpath>
        <classpathentry kind="src" path="hadoop-0.20.2/src/core"/>
        <classpathentry kind="src" path="hadoop-0.20.2/src/mapred"/>
        <classpathentry kind="con" path="org.eclipse.jdt.launching.JRE_CONTAINER/org.eclipse.jdt.internal.debug.ui.launcher.StandardVMType/JavaSE-1.6"/>
        <classpathentry kind="lib" path="hadoop-0.20.2/lib/commons-logging-1.0.4.jar"/>
        <classpathentry kind="lib" path="hadoop-0.20.2/lib/xmlenc-0.52.jar"/>
        <classpathentry kind="lib" path="hadoop-0.20.2/lib/commons-net-1.4.1.jar"/>
        <classpathentry kind="lib" path="hadoop-0.20.2/lib/kfs-0.2.2.jar"/>
        <classpathentry kind="lib" path="hadoop-0.20.2/lib/jets3t-0.6.1.jar"/>
        <classpathentry kind="lib" path="hadoop-0.20.2/lib/servlet-api-2.5-6.1.14.jar"/>
        <classpathentry kind="lib" path="hadoop-0.20.2/lib/jetty-6.1.14.jar"/>
        <classpathentry kind="lib" path="hadoop-0.20.2/lib/jetty-util-6.1.14.jar"/>
        <classpathentry kind="lib" path="hadoop-0.20.2/lib/commons-codec-1.3.jar"/>
        <classpathentry kind="lib" path="hadoop-0.20.2/lib/log4j-1.2.15.jar"/>
        <classpathentry kind="lib" path="hadoop-0.20.2/lib/commons-cli-1.2.jar"/>
        <classpathentry kind="lib" path="hadoop-0.20.2/lib/ant.jar"/>
        <classpathentry kind="lib" path="hadoop-0.20.2/lib/commons-httpclient-3.0.1.jar"/>
        <classpathentry kind="output" path="bin"/>
</classpath>

5. Refresh project hadoop-0.20.2. Caranya : klik kanan pada project hadoop-0.20.2 dan pilih “Refresh”.
Proses instal Hadoop Standalone pada Eclipse telah selesai dan Hadoop telah siap untuk menjalankan aplikasi MapReduce. Sekarang kita sudah bisa membuat aplikasi MapReduce dan menjalankannya dengan Eclipse.

Menjalankan Program WordCount
Selanjutnya kita coba menjalankan satu aplikasi MapReduce sederhana yang dinamakan WordCount. Aplikasi WordCount ini sesuai dengan namanya berfungsi untuk menghitung jumlah tiap kata dalam satu atau sekumpulan text file yang terdapat dalam folder input.

1. Buat New Java Project dengan nama WordCount. Klik Next (jangan klik Finish dulu) pada New Java Project dialog  dan lakukan setting sbb (Gambar 1.02 ) :


       a. Tambahkan project hadoop-0.20.2 pada tab Projects.
       b. Tambahkan hadoop-0.20.2/hadoop-0.20.2/lib/commons-cli-1.2.jar pada tab Libraries.

Jika sudah terlanjur klik Finish, tak perlu khawatir. Lakukan setting sbb  :
       c. Klik kanan pada project WordCount >Properties.
      d. Pada dialog WordCount Properties klik Java Build Path. Kemudian lakukan setting seperti pada point a. dan b. diatas.
2. Lakukan setting pada Run Configuration dengan langkah-langkah sbb:
        a. Klik Run pada menu utama dan pilih Run Configuration.
        b. Pada dialong Run Configuration klik tab Environment > New
       c. Pada dialog New Environment Variable, set Name = Path, Value = c:\cygwin\bin  terus klik OK. Pastikan Path sudah tertera pada kolom Variable dan c:\cygwin\bin pada kolom Value.
3. Buat file baru dengan nama log4j.properties dan taruh di folder src pada project WordCount (WordCount/src/log4j.properties). File ini berfungsi untuk menampilkan logs Hadoop pada console Eclipse. Copy dan Paste code berikut pada log4j.properties.

log4j.rootLogger=INFO,console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n

4. Buat Class baru dengan nama WordCount.java dan simpan di folder src pada project WordCount (WordCount/src/WordCount.java). Selanjutnya, Copy and Paste java source code dibawah ini :

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class WordCount {

  public static class TokenizerMapper
       extends Mapper<Object, Text, Text, IntWritable>{
   
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();
     
    public void map(Object key, Text value, Context context
                    ) throws IOException, InterruptedException {
      StringTokenizer itr = new StringTokenizer(value.toString());
      while (itr.hasMoreTokens()) {
        word.set(itr.nextToken());
        context.write(word, one);
      }
    }
  }
 
  public static class IntSumReducer
       extends Reducer<Text,IntWritable,Text,IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values,
                       Context context
                       ) throws IOException, InterruptedException {
      int sum = 0;
      for (IntWritable val : values) {
        sum += val.get();
      }
      result.set(sum);
      context.write(key, result);
    }
  }

  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
    if (otherArgs.length != 2) {
      System.err.println("Usage: wordcount <input> <output>");
      System.exit(2);
    }
    Job job = new Job(conf, "word count");
    job.setJarByClass(WordCount.class);
    job.setMapperClass(TokenizerMapper.class);
    job.setCombinerClass(IntSumReducer.class);
    job.setReducerClass(IntSumReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
    FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
  }
}

5. Buat folder baru pada project WordCount dengan nama input (WordCount/input) dan tempatkan satu atau beberapa text file yang akan diproses dengan program MapReduce WordCount.java.
6. Klik menu Run pada main menu Eclipse, dan pilih Run Configurations. Pada dialog Run Configurasions klik tab Arguments dan tambahkan: input output pada Program Arguments(A) dan klik Apply. Kemudian klik Run.
7. Jika berhasil / tak ada error, maka aplikasi MapReduce WordCount.java akan menampilkan logs sebagai berikut pada console Eclipse :

13/01/25 12:06:58 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
13/01/25 12:06:58 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
13/01/25 12:06:58 INFO input.FileInputFormat: Total input paths to process : 1
13/01/25 12:06:59 INFO mapred.JobClient: Running job: job_local_0001
13/01/25 12:06:59 INFO input.FileInputFormat: Total input paths to process : 1
13/01/25 12:06:59 INFO mapred.MapTask: io.sort.mb = 100
13/01/25 12:06:59 INFO mapred.MapTask: data buffer = 79691776/99614720
13/01/25 12:06:59 INFO mapred.MapTask: record buffer = 262144/327680
13/01/25 12:06:59 INFO mapred.MapTask: Starting flush of map output
13/01/25 12:06:59 INFO mapred.MapTask: Finished spill 0
13/01/25 12:06:59 INFO mapred.TaskRunner: Task:attempt_local_0001_m_000000_0 is done. And is in the process of commiting
13/01/25 12:06:59 INFO mapred.LocalJobRunner:
13/01/25 12:06:59 INFO mapred.TaskRunner: Task 'attempt_local_0001_m_000000_0' done.
13/01/25 12:06:59 INFO mapred.LocalJobRunner:
13/01/25 12:06:59 INFO mapred.Merger: Merging 1 sorted segments
13/01/25 12:06:59 INFO mapred.Merger: Down to the last merge-pass, with 1 segments left of total size: 24735 bytes
13/01/25 12:06:59 INFO mapred.LocalJobRunner:
13/01/25 12:06:59 INFO mapred.TaskRunner: Task:attempt_local_0001_r_000000_0 is done. And is in the process of commiting
13/01/25 12:06:59 INFO mapred.LocalJobRunner:
13/01/25 12:06:59 INFO mapred.TaskRunner: Task attempt_local_0001_r_000000_0 is allowed to commit now
13/01/25 12:06:59 INFO output.FileOutputCommitter: Saved output of task 'attempt_local_0001_r_000000_0' to out
13/01/25 12:06:59 INFO mapred.LocalJobRunner: reduce > reduce
13/01/25 12:06:59 INFO mapred.TaskRunner: Task 'attempt_local_0001_r_000000_0' done.
13/01/25 12:07:00 INFO mapred.JobClient:  map 100% reduce 100%
13/01/25 12:07:00 INFO mapred.JobClient: Job complete: job_local_0001
13/01/25 12:07:00 INFO mapred.JobClient: Counters: 12
13/01/25 12:07:00 INFO mapred.JobClient:   FileSystemCounters
13/01/25 12:07:00 INFO mapred.JobClient:     FILE_BYTES_READ=117145
13/01/25 12:07:00 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=121371
13/01/25 12:07:00 INFO mapred.JobClient:   Map-Reduce Framework
13/01/25 12:07:00 INFO mapred.JobClient:     Reduce input groups=1823
13/01/25 12:07:00 INFO mapred.JobClient:     Combine output records=1823
13/01/25 12:07:00 INFO mapred.JobClient:     Map input records=855
13/01/25 12:07:00 INFO mapred.JobClient:     Reduce shuffle bytes=0
13/01/25 12:07:00 INFO mapred.JobClient:     Reduce output records=1823
13/01/25 12:07:00 INFO mapred.JobClient:     Spilled Records=3646
13/01/25 12:07:00 INFO mapred.JobClient:     Map output bytes=45926
13/01/25 12:07:00 INFO mapred.JobClient:     Combine input records=3946
13/01/25 12:07:00 INFO mapred.JobClient:     Map output records=3946
13/01/25 12:07:00 INFO mapred.JobClient:     Reduce input records=1823

8. Hasilnya akan disimpan di folder output pada project WordCount (WordCount/output/part-r-00000). Jika folder output belum muncul, klik kanan pada project WordCount dan pilih Refresh.  Dapat dipastikan folder output akan muncul dan berisi file yang dihasilkan oleh WordCount.java.
Demikian, selamat mencoba.

Referensi :
1. http://shuyo.wordpress.com/2011/03/08/hadoop-development-environment-with-eclipse/
2. "パターンでわかるHadoop MapReduce ", 三木　大知, SHOEISHA 2011.




Comments

Anonymous said…
Salam. Mas Wjaya, saya saat ini sedang mencoba membuat mapreduce di platform windows, dengan step by step sesuai dengan yang ada di tulisan mas.

Pada bagian Install hadoop di Eclipse, saya melakukan seperti yang disebutkan dengan catatan:

1. di hadoop.apache.org (tepatnya pada http://mirror.symnds.com/software/Apache/hadoop/common/), saya tidak menemukan file hadoop-0.20.2.tar.gz sehingga saya menggunakan yang terbaru yaitu hadoop-2.4.1/
2. Saya sudah mengganti code xml dengan terlebih dahulu memodifikasi penamaan hadoop menjadi seri 2.4.1

Mengapa meski setelah dimodifikasi, tetap error? Apa saja yang mungkin menjadi permassalahannya?

Terima kasih
July 6, 2014 at 5:05 PM
WM Wijaya said…
karafuruworld, terima kasih kunjungannya. Versi terakhir dari Hadoop yg pernah saya coba jalankan di Windows (Eclipse) adalah Hadoop 1.4 dan tidak berhasil (sekitar akhir 2013).

Setelah sy telusuri, akhirnya sy temukan ada satu (mungkin beberapa) elemen Hadoop yg tidak compatible dgn Windows (sy gunakan windows 7 64bit). Kemudian sy temukan juga dokumentasi yg menyatakan bahwa memang tidak memungkinkan unjuk menjalankan Hadoop 1.4 dengan Windows Eclipse (saat itu versi stabil yg bisa dijalankan dgn Windows Eclipse hanya Hadoop 0.20.2).

Solusi saya: Sejak saat itu akhirnya saya gunakan Eclipse dgn OS Linux (CentOS 6.2) untuk menjalankan Hadoop dan tak pernah lagi menggunakan Eclipse di Windows.

Demikian jawaban dari saya, mohon maaf informasi ini belum sempat sy muat di blog.
July 13, 2014 at 5:21 PM
Unknown said…
Mas, Sy sdh sukses instalasi Hadoop di Eclipse, tp saat
Menjalankan Program WordCount, berhenti di langkah:

2. Lakukan setting pada Run Configuration dengan langkah-langkah sbb:
a. Klik Run pada menu utama dan pilih Run Configuration.
b. Pada dialong Run Configuration klik tab Environment > New

sy cari kok tdk ada tab Environment? kenapa ya kira2.
thanks
November 11, 2014 at 3:08 PM
WM Wijaya said…
Untuk eclipse versi kepler enterprise edition, tab environment ada di:
Run Configuration>Java Application
November 12, 2014 at 11:02 AM
Unknown said…
Oh iya mas, mau nanya itu programnya bisa tahu kalau harus mencari filenya di folder input dari codingan yang sebelah mananya ya?
December 8, 2014 at 2:00 AM
WM Wijaya said…
Ada di point 6 step "Menjalankan Program Wordcount":
6. Klik menu Run pada main menu Eclipse, dan pilih Run Configurations. Pada dialog Run Configurasions klik tab Arguments dan tambahkan: input output pada Program Arguments(A) dan klik Apply. Kemudian klik Run.
December 8, 2014 at 8:38 AM
bobobo said…
buat "training and real study case pak, nanti saya daftar jadi pesertanya
December 9, 2014 at 10:53 PM
WM Wijaya said…
Makasi saran & minatnya,
Kita liat sikon dulu mas, berhubung konsep Big Data dan sgala teknologi pendukungnya kan masih termasuk barang baru di negeri kita. Moga2 sih peminatnya makin berkembang, bukan hanya di kalangan akademisi / peneliti, tp bisa bner2 diaplikasikan di perusahaan2 / instansi dalam negeri. Sy pernah dapat info, katanya BI sdh mulai terapkan konsep Big Data analysis ini.
December 12, 2014 at 9:57 PM
Unknown said…
kalu Hadoop MapReduce Mode Fully/Pseudo Distributed yang di windows tidak memungkin kah mas? saya cari blog mas ndak ketemu. Atau memang stepnya sama namun cara konfigurasinya ada yg beda (konfigurasi SSH dll mungkin)
December 15, 2014 at 8:23 AM
WM Wijaya said…
Saya blum pernah mencobanya, tp mengingat Hadoop memang dikembangkan dengan basis Linux, saya kira usaha Anda akan terlalu mubazir jika hendak install Hadoop Pseudo / Fully Distributed di Windows.

Jika Anda tetap bersikeras ingin pake Windows, saya sarankan utk instal Virtual Machine dgn OS Linux di PC Windows Anda, kemudian membuat virtual network antar sesama linux virtual machine tsb. Anda bisa pake VMWare atau VirtualBox.
December 15, 2014 at 8:44 AM
Fakhria Nur Shabrina said…
Salam pak, saya sangat baru dalam dunia big data ini, saya ingin mencoba menganalisis big data dengan salah satu algoritma clustering. Apakah bapak pernah mencoba? Kira kira situs mana saja yang menyediakan dataset tersebut? Sebelumnya ada artikel yang menyarankan membuka situs UCI Machine Learning, hanya saja saya belum mengetahui cara mengambil data (terdiri dari beberapa file) dan menginputnya ke java untuk di analisis. Kira kira bapak bisa memberi bimbingan atau rekomendasi situs yang bisa saya pelajari?
Terimakasih
January 7, 2016 at 6:48 AM
WM Wijaya said…
Salam Mba Fakhria,
terima kasih atas kunjungannya.

Saya belum pernah menerapkan algoritma clustering dalam analysis big data, tapi saya pernah menerapkan beberapa algorithma machine learning untuk data mining. Berkaitan dengan situs yang menyediakan data set untuk machine learning, saya kira UCI Machine Learning sudah menyediakan cukup banyak data. Datanya ada yg dapat didownload dalam format text file, sperti pada url ini: https://archive.ics.uci.edu/ml/machine-learning-databases/bag-of-words/
Sbg tahap awal dlm analisis big data, mungkin bisa dimulai dengan analisa sederhana dulu seperti pengelompokan / klasifikasi artikel / essay berdasarkan jumlah kata (frekwensi kemunculan) kata tertentu dalam essay / artikel tersebut. Bisa memulainya dengan algorithma yang mudah dulu seperti algorithma wordcount menggunakan MapReduce seperti pada artikel di blog saya ini.
Selain UCI Machine Learning, Common Crawl (https://commoncrawl.org/what-you-can-do/) juga menyediakan data yang dapat didownload secara gratis.
Selamat mencoba…!
January 8, 2016 at 6:02 AM
Ariel said…
salam pak, kenapa yah hasil output dari wordcount selalu part-r-00000 ?
December 8, 2016 at 10:42 PM
WM Wijaya said…
This comment has been removed by the author.
December 9, 2016 at 8:10 PM
WM Wijaya said…
@Ariel:
Salam mas,

Format output file MapReduce by default adalah part-x-yyyyy
dalam hal ini:
x adalah 'm' atau 'r', bergantung pada job yang telah diselesaikan, apakah berupa job Map saja (m), atau Reduce (r).
y adalah nomor task Mapper atau Reducer (zero based).

Misal, jika suatu job MapReduce memiliki 16 Reducers, maka nama output filenya adalah dari part-r-00000 s.d. part-r-00015 (satu untuk tiap task Reducer).
Jadi, output dari wordcount yang hanya terdiri atas part-r-00000 artinya Job MapReduce tersebut hanya terdiri atas satu task reducer.
December 9, 2016 at 8:12 PM
grandchild said…
selamat sore Mas, Saya sudah sukses instalasi Hadoop di Eclipse, tp saat
Menjalankan Program WordCount, berhenti di langkah:

b. Tambahkan hadoop-0.20.2/hadoop-0.20.2/lib/commons-cli-1.2.jar pada tab Libraries.
di saya engga ada file commons-cli nya kenapa ya?
apa karea saya pake hadoop yang-2.7.3.

terimaksih sebelumnya
February 8, 2017 at 3:15 PM
grandchild said…
maaf mas saya mau tanya lagi kalau install hadoop pas bagian di cmd yang "hdfs namenode -format" pas di enter "Error: Could not find or load main class 18"
kenapa ya?
February 8, 2017 at 3:17 PM
Post a Comment

Popular posts from this blog

MapReduce: Besar dan Powerful, tapi Tidak Ribet

Image
Dalam artikel “ Big Data dan Rahasia Kejayaan Google ”, telah disebutkan beberapa teknologi yang digunakan oleh Google untuk mengolah dan memberdayakan Big Data. Diantaranya adalah Google File System (GFS), Google MapReduce, dan Bigtable. Kita akan membahas ketiga teknologi ini secara lebih detail namun tetap dikemas secara sederhana, biar gak kelihatan ribet alias complicated. Langsung saja, kali ini kita akan membahas tentang apa itu MapReduce.
Read more

Tutorial Python: Cara Mudah Web Scraping menggunakan Beautiful Soup

Image
 Pada artikel " Pentingnya Web Crawling sebagai Cara Pengumpulan Data di Era Big Data " telah kita bahas bahwa data dapat didapatkan dengan sejumlah cara, diantaranya: Input langsung dari pelanggan, melalui survey maupun angket. Menggunakan API pihak ketiga seperti Facebook API, Twitter API dan sebagainya. Log Web Server seperti Apache dan Nginx Dengan melakukan Web Crawling atau Web Scraping  Tutorial kali ini akan mengulas tentang bagaimana melakukan Web Scraping dengan bahasa program Python menggunakan module Beautiful Soup . Sebagai langkah awak, mari kita coba scraping satu webpage yang sangat sederhana dengan url: https://dataquestio.github.io/web-scraping-pages/simple.html Oh iya, selain module Beautiful Soup, kita juga akan menggunakan module Requests untuk mengirim HTTP requests ke webpage yg akan kita jadikan target scraping. import requests from bs4 import BeautifulSoup page = requests.get("https://dataquestio.github.io/web-scraping-pages/simple.html"...
Read more

Cara Sederhana Install Hadoop 2 mode Standalone pada Windows 7 dan Windows 10

Image
    Hadoop adalah framework open-source berbasis Java yang ditujukan untuk memproses data secara terdistribusi melalui kemampuan penyimpanan data secara terdistribusi. Hadoop dapat menyimpan data apapun dan memprosesnya dengan model pemrograman MapReduce. Hadoop didesain untuk dapat mengatasi permasalahan yang disebabkan oleh kegagalan fungsi hardware sehingga dapat mencegah hilangnya data maupun proses kerja. Hadoop memotong-motong data untuk didistribusikan ke setiap node di dalam suatu kluster untuk kemudian diproses secara paralel dan lokal di tiap node yang bersangkutan. Kebutuhan Software Berikut adalah software yang harus disiapkan untuk dapat menjalankan Hadoop 2 mode standalone dengan OS Windows 7 atau Windows 10: Java JDK 1.8, dapat diunduh dari https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html Apache Hadoop 2.7.7, dapat diunduh dari https://hadoop.apache.org/releases.html Hadoop Patch File untuk OS Windows...
Read more

Apa itu Big Data : Menyimak Kembali Definisi Big Data, Jenis Teknologi Big Data, dan Manfaat Pemberdayaan Big Data

Image
Data adalah Emas Pada pembukaan Press Conference on Open Data Strategy tahun 2011, Neelie Kroes, yang saat itu menjabat sebagai Vice-Presicent of the European Commission responsible for the Digital Agenda, menyampaikan pidatonya yang berjudul " Data is the New Gold ". Pesannya adalah bahwa pada era digital ini, data telah menjadi bagian yang sangat penting bagi peradaban manusia seperti halnya minyak bumi, yang telah mendapat julukan black gold . Pernyataan tersebut disampaikan berdasar fakta bahwa data telah menjadi sumber laba bagi para pelaku bisnis di dunia maya Internet. Mereka hidup dari data yang mereka berdayakan. Di Indonesia, Presiden Jokowi juga memiliki pandangan yang serupa akan pentingnya Data. Dalam pidato kenegaraan Presiden Jokowi pada 16 Agustus 2019 , beliau menyatakan bahwa: "data adalah jenis kekayaan baru bangsa kita, kini data lebih berharga dari minyak". Kenapa Presiden Jokowi menyatakan data lebih berharga dari minyak? Sejalan dengan ...
Read more

Apache Spark: Perangkat Lunak Analisis Terpadu untuk Big Data

Image
       Apache Spark adalah engine ( perangkat lunak ) analisis terpadu super cepat untuk memproses data dalam skala besar; meliputi Big Data dan machine learning. Secara lebih detailnya, Apache Spark dapat didefinisikan sebagai engine ( perangkat lunak ) untuk memproses data dalam skala besar secara in-memory, dilengkapi dengan API pengembangan yang elegan dan ekspresif guna memudahkan para pekerja data dalam mengeksekusi pekerjaan-pekerjaan yang membutuhkan perulangan akses yang cepat terhadap data yang diproses, seperti halnya streaming, machine learning, maupun SQL, secara efisien.        Apache Spark terdiri atas Spark Core ( inti ) dan sekumpulan library perangkat lunak. Inti dari Spark adalah distributed execution engine, dan API Java, Scala maupun Python disediakan sebagai platform untuk mengembangkan aplikasi ETL ( Extract, Transform, Load ) terdistribusi. Kemudian, library perangkat lunak tambahan, yang dibangun diatas inti ( core )-...
Read more

HBase: Hyper NoSQL Database

Image
Latar Belakang Hinggal awal 2013 ini, Google setidaknya telah mempublikasikan tiga system canggihnya dalam hubungannya dengan pengelolaan dan pemberdayaan Big Data (“ Big Data dan Rahasia Kejayaan Google ”). Ketiga system canggih tersebut adalah Google File System , Google MapReduce , dan Google Bigtable . Semuanya merupakan sistem terdistribusi (Distributed System) yang dikenal handal, mampu mengolah data berukuran raksasa dengan efektif dan efisien, serta fleksibel. Ketiga sistem terdistibusi ini adalah sistem yang saling terkait erat, namun memiliki pembagian tugas yang jelas (“ Tiga TeknologiPamungkas Mbah Google ”). Ketika kebutuhan untuk memproses data dalam ukuran super besar atau yang dikenal dengan istilah Big Data mulai dirasakan oleh berbagai perusahaan terutama yang berhubungan langsung dengan pengolahan dan pengelolaan data, ketiga teknologi Google tersebut mulai mendapat banyak sorotan. Sayang, publikasi Google tentang teknologi canggihnya itu hanya sebatas konsep, ...
Read more

HDFS: Berawal dari Google untuk Big Data

Image
Segala sesuatu mulai dari definisi HDFS adalah singkatan dari Hadoop Distributed File System. Kalau diterjemahkan mentah-mentah, maka HDFS adalah Sistem File Terdistribusi Hadoop. Hadoop adalah salah satu proyek open source milik Apache. Jadi HDFS adalah sistem file terdistribusi yang dikembangkan oleh Apache dalam proyeknya yang bernama Hadoop. Apache mengembangkan HDFS berdasarkan konsep dari Google File System (detailnya simak: GoogleFile System: Menggotong-royongkan Ribuan Komputer ala Google ). Oleh karena itu, HDFS sangat mirip dengan Google File System baik ditinjau dari konsep logikanya, struktur fisik, maupun cara kerjanya. Lalu, sistem file terdistribusi itu apa? Sederhananya, distributed file system (sistem file terdistribusi) adalah file system yang menyimpan data tidak dalam satu hard disk drive (HDD) atau media penyimpanan lainnya, tetapi data dipecah-pecah dan disimpan tersebar dalam suatu cluster yang terdiri atas beberapa komputer, bisa hanya 2 komputer, puluhan ba...
Read more

Aplikasi iPhone : RETaS Read English Tanpa Kamus!

Image
RETaS (Read English   Tanpa Kamus)   adalah aplikasi buat kamu yang suka baca teks Inggris, tapi tak mau repot buka kamus! Cara pakainya pun sangat mudah, sederhana, dan praktis. Tinggal sentuh saja kata yang tidak kamu mengerti, dengan seketika akan ditampilkan artinya. Dibuat dengan implementasi Core ML ( Machine Learning ), framework canggih original buatan Apple di California, aplikasi ini (RETaS) memungkinkan kamu untuk lancar membaca teks Inggris tanpa perlu adanya kamus. Untuk bisa segera mencoba, RETaS! sudah memuat sejumlah teks Inggris yang enak dibaca sesuai selera kamu. Isinya berupa bacaan fiksi maupun non-fiksi: ada cerita-cerita dongeng ringan, percakapan sehari-hari, deskripsi tentang   landmark terkenal dunia,  tips and tricks , cerita sejarah menarik, academic reading , dan masih banyak lagi. Tambah seru lagi, kamu juga bisa " post / submit " teks Inggris punya kamu sendiri, sehingga kamu bisa baca lancar tanpa repot buka kamus. Kamu bisa post / s...
Read more

Big Data dan Rahasia Kejayaan Google

Big Data, sebesar apa? Kurang lebih sejak tahun 2010, istilah Big Data sudah mulai hangat diperbincangkan. Topik-topik seperti : "Bagaimana cara menganalisa perilaku setiap konsumen saat berbelanja secara online sehingga sang penjual bisa memberikan rekomendasi secara otomatis tentang produk yang sesuai dengan tiap pelanggan.", "Bagaimana menganalisa kicauan pada Twitter sehingga bisa menemukan topik-topik yang sedang hot atau trending topic.", "Bagaimana menganalisa transaksi kartu kredit sehingga bisa dibedakan mana transaksi yang legal dan illegal.", telah menjadi topik yang sering diangkat di media massa. Data-data tentang perilaku konsumen pada toko online, kicauan puluhan juta pengguna Twitter maupun data tentang transaksi kartu kredit dapat dikategorikan sebagai Big Data. Dalam artikel berjudul " Gartner SaysSolving 'Big Data' Challenge Involves More Than Just Managing Volumes ofData. " dinyatakan bahwa Big Data itu memilik...
Read more

Bagaimana Cara Membaca Google Play eBook Secara Offline?

Image
Tulisan ini berawal dari review seorang yang membeli buku " Teknologi Big Data: Sistem Canggih dibalik Google, Facebook, Yahoo!, IBM " versi eBook di Google Play Books . Pada reviewnya tertulis bahwa buku tersebut hanya bisa dibaca secara online. Padahal, ebook yang dibeli di Google Play Books dapat dibaca baik secara online maupun offline, baik pada perangkat mobile maupun pada komputer Windows, Mac OS X, serta Linux. Lalu, bagaimana cara membaca Google Play Book secara offline? Adapun langkah-langkah yang mesti dilakukan adalah sebagai berikut: Pada Perangkat Mobile (Android maupun iOS) 1. Pastikan perangkat anda terhubung dengan Internet. 2. Jika aplikasi Google Play Books belum terinstal pada perangkat mobile anda, silakan mengunduhnya dari iOS App Store maupun Android Play Store. 3. Buka aplikasi Google Play Books, dan sentuhlah buku yang ingin anda download. Begitu buku yang ingin anda baca tersebut selesai di-download, maka anda dapat membacanya pada pera...
Read more