Apache Hadoop


















































Apache Hadoop

Hadoop logo new
開発元
Apacheソフトウェア財団
最新版
3.1.1 / 2018年8月8日（4か月前） （2018-08-08）[1]
リポジトリ
git-wip-us.apache.org/repos/asf/hadoop.git
プログラミング言語
Java
対応OS
クロスプラットフォーム
サポート状況
Active
種別
分散ファイルシステム
ライセンス
Apache License 2.0
公式サイト
http://hadoop.apache.org/
テンプレートを表示

Apache Hadoopは大規模データの分散処理を支えるオープンソースのソフトウェアフレームワークであり、Javaで書かれている。Hadoopはアプリケーションが数千ノードおよびペタバイト級のデータを処理することを可能としている。HadoopはGoogleのMapReduceおよびGoogle File System(GFS)論文に触発されたものである。


HadoopはApacheのトップレベルプロジェクトの1つであり、世界規模の開発貢献者コミュニティによって開発され、使用されている。[2]




目次






  • 1 アーキテクチャ


    • 1.1 Hadoop Distributed File System (HDFS)


    • 1.2 Yet Another Resource Negotiator (YARN)


    • 1.3 Hadoop MapReduce


      • 1.3.1 MRv2


      • 1.3.2 MRv1






  • 2 主要なユーザ


  • 3 普及


  • 4 参考書籍


  • 5 脚注


  • 6 関連事項


  • 7 外部リンク





アーキテクチャ


Hadoopは、以下の4つのモジュールによって構成されている。



  • Hadoop Common: 他のモジュールから共通して利用されるライブラリ群。

  • Hadoop Distributed File System (HDFS): Hadoop独自の分散ファイルシステム。

  • Hadoop YARN: Hadoopクラスタのリソース管理や、Hadoop上で動作するアプリケーションのスケジューリングを担当する。

  • Hadoop MapReduce: Hadoop上で動作するMapReduceフレームワークの実装。


また、HadoopではHDFS以外のファイルシステムもサポートしている。2015年5月現在では、下記のファイルシステムをサポートしている。



  • HDFS


  • Amazon Simple Storage Service (S3)

  • OpenStack Swift

  • Microsoft Azure


  • FTP、HTTP、およびHTTPS経由でアクセス可能なファイルシステム



Hadoop Distributed File System (HDFS)


「Google File System」も参照

Hadoop Distributed File System (HDFS)はHadoop独自の分散ファイルシステムである。HDFSでは大きなファイルを複数のブロック単位(デフォルトで128MB)に分割して、それらを複数のノードにまたがり格納する。そして、そのブロックの複製(レプリカ)を複数の異なるノードに格納することで信頼性を確保している。そのため、各ホストはRAIDを必要としない。レプリケーション数のデフォルトは3で、この場合、2つのデータを同じラック内のノードに、残り1つを異なるラック内のノードに保存する。


HDFSはマスタースレーブ型の構成で、マスターの役割を担当するのがNameNode、スレーブの役割を担当するのが複数のDataNodeである。NameNodeはHDFSに関するメタ情報(ファイルとブロックの対応関係など)を保持し、各DataNodeが実データをブロック単位で保持する。任意のDataNodeが故障した場合は、NameNodeが自動でそれを検知し、故障したDataNodeの保持ブロックを別のDataNodeが持つ同一な保持ブロックから参照するよう命令する。このようにしてDataNodeが故障した場合も自動的にレプリケーション数が維持されるため、DataNodeが故障してもサービスに影響は発生しない。


DataNodeは数1000台規模までスケールアウト可能で、その場合、数10PB規模のデータを格納することができる。


NameNodeは単一障害点であったが、Hadoop 2.2でHA機能が実装されたため単一障害点ではなくなった。また、通常のオペレーティングシステムにマウントできないことは制限のひとつであったが、Hadoop 2.2以降のバージョンではNFSv3マウントに対応している。



Yet Another Resource Negotiator (YARN)


Yet Another Resource Negotiator (YARN)は、Hadoopクラスタのリソース管理、ジョブスケジューリングを担当する。Hadoop 1系まで、Hadoopを構成するモジュールはHDFSとMapReduceの2つであったが、以下の課題を達成するためにYARNが開発され、Hadoop 2.2から利用可能である。



  • クラスタ規模の拡大: Hadoop 1系までのMapReduceエンジンにおけるマスタ(JobTracker)が、クラスタのリソース管理、クラスタ内で実行されるMapReduceジョブのスケジューリング、また、MapReduceジョブ自体のスケジューリング(各タスクに対する入力データの割り当てや進捗管理)の3つを担当する必要があったため、JobTrackerの負荷が大きい。そのため、Hadoopクラスタの台数は1000台程度が限界であった。

  • リソース管理の効率化: Hadoop 1系までのMapReduceエンジンにおけるスレーブ(TaskTracker)ではMapタスク用、Reduceタスク用にそれぞれスロットが用意されており、そこにMapReduceの各タスクが割り当てられる。ここで、Mapタスク用のスロットに空きがない場合は、Reduceタスク用のスロットに空きがあったとしてもMapタスクをこれ以上割り当てることができず、TaskTrackerのリソース使用率が低下する問題があった。

  • MapReduce以外の分散処理の実行: Hadoopで分散処理するためには、必ずMapReduceの仕組みに当てはめる必要があった。MapReduceが2回以上連続するような処理を実行する場合、前段のMapReduceジョブの処理結果をHDFSに書き込み、それを後続のMapReduceで読み込む、という流れになるが、ここでHDFSに中間データを書き込むため、処理が非効率である。多段のMapReduceとなるような処理を高速化するために、MapReduceフレームワークとは異なる分散処理が必要であった。


YARNは、Hadoop 1系までのMapReduceからクラスタのリソース管理、ジョブスケジューリングを分離したものである。YARNもHDFSと同様に、マスタースレーブ型の構成で、マスターの役割(リソース管理、ジョブスケジューリング)を担当するのがResourceManager、スレーブの役割(割り当てられた処理の実行)を担当するのがNodeManagerである。MapReduceを含む各アプリケーション用にそれぞれ専用のApplicationMasterが実行され、アプリケーション自体のスケジューリングはApplicationMasterが担当する。NodeManagerはMapReduce用に特化したスロットではなく、より汎用化したコンテナ単位でリソースを割り当てる。ApplicationMasterもそのコンテナ上で動作する。また、YARN上ではMapReduce以外にも、 Apache Spark(英語版)、Apache Storm(英語版)、Apache Tez[3]などの様々な分散処理フレームワークが動作する。



Hadoop MapReduce


「MapReduce」も参照

Hadoop 2系以降では、YARN上でMapReduce上が動作する。これは、MRv2と呼ばれる。従来のJobTracker、TaskTrackerによるMapReduceはMRv1と呼ばれ、これらは区別される。Hadoop 2系以降では、MRv1をサポートしていない。MapReduceでは、可能な限り入力データを保持するDataNodeと同一ノードでMapタスクが実行されるようにスケジューリングされる。これにより、大規模データ処理においてもネットワークの負荷を抑えることが可能である。



MRv2


クライアントがYARN上でMapReduceを実行する場合、ResourceManagerにジョブを投入する。ジョブが投入されると、ResourceManagerはApplicationMasterをNodeManager上で立ち上げる。ApplicationMasterは、Mapタスク、Reduceタスクの割り当てやタスクの進捗管理を担当し、タスクの実行に必要なリソースは都度ResourceManagerに問い合わせて払いだしてもらう。



MRv1


MapReduceエンジンはひとつのJobTrackerを持ち、クライアントはこのJobTrackerに向けてMapReduceジョブを投入する。ジョブが投入されると、JobTrackerはクラスタ中の利用可能なTaskTrackerに仕事を依頼する。TaskTrackerが停止するか、実行中のタスクがタイムアウトすると、その部分のタスクは再スケジュールされる。何らかの異常によってJobTrackerが停止すると、実行中のMapReduceジョブも停止する。その場合は、JobTrackerを再起動してMapReduceジョブを再実行する必要がある。



主要なユーザ



  • A9.com

  • Facebook

  • Fox Interactive Media

  • IBM

  • ImageShack

  • ISI

  • Joost

  • Last.fm

  • Powerset

  • ニューヨーク・タイムズ

  • Rackspace

  • スカイアーチネットワークス

  • Veoh

  • Metaweb

  • 楽天



普及


上記のようなWeb系のテック企業はHadoopを利用している一方で、その他大部分の大企業はHadoopに落胆しているという意見もある[4]。これはデータ量が10 TB以下と少なくメリットを見出せない事にあるとされる。


また、ガートナーの調査によれば、自社の抱える問題に対してHadoopは過剰であり、I/O比が低いという意見もある[5]。実際に同社の調査によると回答者の半数強は投資を計画しておらず、2年以内の投資予定も18％とした。



参考書籍



  • Arun C. Murthy, Vinod Kumar Vavilapalli, Doug Eadline, Joseph Niemiec, Jeff Markham『Apache Hadoop YARN: Moving beyond MapReduce and Batch Processing with Apache Hadoop 2』Addison-Wesley Professional、2014年。ISBN 978-0321934505

  • 太田一樹, 岩崎正剛, 猿田浩輔, 下垣徹, 藤井達朗, 山下真一, 濱野賢一朗『Hadoop徹底入門 第2版』翔泳社、2013年。ISBN 978-4798129648

  • Tom White, 玉川竜司, 兼田聖士『Hadoop 第3版』オライリーメディア、2013年。ISBN 978-4873116297



脚注




  1. ^ “Hadoop Releases”. Hadoop.apache.org. 2018年12月27日閲覧。


  2. ^ Hadoop Users List


  3. ^ Apache Tez


  4. ^ “Hadoop Is Falling – Why?”. 2018年1月3日閲覧。


  5. ^ “「Hadoop」導入、当面伸び悩みか--ガートナー調査”. 2018年1月3日閲覧。



関連事項



  • Nutch

  • HBase

  • Aster Data Systems

  • クラウド・コンピューティング



外部リンク




  • Hadoop公式サイト
    • 日本語訳(あしたのオープンソース研究所)


  • Database Landscape Map – December 2012








































  • 表

  • 話

  • 編

  • 歴


Apacheソフトウェア財団
トップレベルプロジェクト


  • Abdera

  • Accumulo

  • ActiveMQ

  • Ant

  • Aries

  • Apache HTTP Server

  • APR

  • Avro


  • Axis2(初代)

  • Bloodhound

  • Buildr

  • Camel

  • Cassandra

  • Cayenne

  • Chemistry

  • CloudStack

  • Cocoon

  • Continuum

  • Cordova

  • CouchDB

  • CXF

  • Derby

  • Directory

  • Drill

  • Empire-db

  • Felix

  • Flex

  • Forrest

  • Geronimo

  • Gora

  • Gump

  • Hadoop

  • Hama

  • Hive

  • HBase

  • Isis

  • Jackrabbit

  • James

  • JMeter

  • Mahout

  • Maven

  • MINA

  • mod_perl

  • MyFaces

  • ODE

  • OFBiz

  • OpenEJB

  • OpenJPA

  • OpenNLP

  • OpenOffice

  • POI

  • Pivot

  • Qpid

  • River

  • Roller

  • ServiceMix

  • Shiro

  • Sling

  • Spark

  • Stanbol

  • SpamAssassin

  • stdcxx

  • Struts

  • Subversion

  • Tapestry

  • Tcl

  • Thrift

  • Tiles

  • Tomcat

  • Trafficserver

  • Turbine

  • Tuscany

  • UIMA

  • Velocity

  • Wave

  • Wicket

  • Wink

  • Xalan

  • Xerces


 ASF logo
Commonsプロジェクト

  • BCEL（英語版）

  • BSF（英語版）

  • Collections

  • Daemon（英語版）

  • DBUtils

  • Email

  • IO

  • Jelly（英語版）

  • Lang

  • Math

    		•
    Luceneプロジェクト

  • Lucene

  • Nutch（英語版）

  • Solr

    		•
    Hadoopプロジェクト

  • HDFS

  • Spark

  • ZooKeeper

    		•
    その他のプロジェクト

  • Chainsaw（英語版）

  • Apache Batik

  • FOP

  • log4j

  • XAP（英語版）

  • log4Net

  • Ivy（英語版）

    		•
    Incubatorプロジェクト

  • Marmotta（英語版）

  • XAP（英語版）

  • Storm（英語版）

    		•
    Apache Attic

  • AxKit

  • Beehive

  • Bluesky

  • Click

  • Cactus

  • Excalibur

  • Harmony

  • HiveMind

  • Lenya

  • Jakarta

  • ORO

  • Slide

  • Shale

  • Shindig

  • XML

  • XMLBeans

  • iBATIS

    		•
    ライセンス

  • Apache License

    		•


  • カテゴリCategory


  • コモンズCommons




    • Popular posts from this blog

    MongoDB - Not Authorized To Execute Command

    Image
    .everyoneloves__top-leaderboard:empty,.everyoneloves__mid-leaderboard:empty,.everyoneloves__bot-mid-leaderboard:empty{ height:90px;width:728px;box-sizing:border-box; } 0 I have successfully enabled authorization on MongoDB and I have created an account on the admin database and then I created an account for my database called test. The following connection string to connect to my test database works successfully: mongo --host 192.168.17.52 --port 27017 -u user1 -p password --authenticationDatabase test Only problem I have now is, I cannot execute commands such as: show dbs. I get the following error when I try to do so: "errmsg" : "not authorized on admin to execute command { listDatabases: 1.0, lsid: { id: UUID("a1d5bc0d-bc58-485e-b232-270758a89455") }, $db: "admin...
    Read more

    How to fix TextFormField cause rebuild widget in Flutter

    Image
    .everyoneloves__top-leaderboard:empty,.everyoneloves__mid-leaderboard:empty,.everyoneloves__bot-mid-leaderboard:empty{ height:90px;width:728px;box-sizing:border-box; } 0 I've got the same issue at #9280. I tried all solutions from that topic with/without GlobalKey for Scaffold and Form but the problem wasn't fixed. I tried to build a authentication form with login and signup. But the keyboard doesn't show when I tap the TextFormField at the first time. Then I try to input some letter from physical keyboard, the widget is rebuilt. Like this: login screen Nothing to be log when I run flutter run --verbose, so I logged manually. Every tapping on field, the widget called dispose -> init -> build. [√] Flutter (Channel beta, v1.0.0, on Microsoft Windows [Version 10.0.17763.195], ...
    Read more

    Npm cannot find a required file even through it is in the searched directory

    Image
    up vote 0 down vote favorite I got that error: users-Air:pdfuploader user$ npm run start client@0.1.0 start /Users/user/Documents/pdfuploader react-scripts start Could not find a required file. Name: index.html Searched in: /Users/user/Documents/pdfuploader/public npm ERR! code ELIFECYCLE npm ERR! errno 1 npm ERR! client@0.1.0 start: `react-scripts start` npm ERR! Exit status 1 npm ERR! npm ERR! Failed at the client@0.1.0 start script. npm ERR! This is probably not a problem with npm. There is likely additional logging output above. npm ERR! A complete log of this run can be found in: npm ERR! /Users/user/.npm/_logs/2018-11-19T10_19_14_555Z-debug.log users-Air:pdfuploader user$ And the file is in /Users/user/Documents/pdfuploader/public as you can see in my github repository: https://github.c...
    Read more