Mixing
分散ファイルシステム
分散ファイルシステム (distributed file system) またはネットワークファイルシステム (network file system) とは、複数のホストがコンピュータネットワークを経由して共有しつつファイルにアクセスすることを可能にするファイルシステムである[1]。複数のマシン上で複数のユーザーがファイルやストレージ資源を共有できるようにする。
クライアントノードはファイルシステムを構成している二次記憶装置に直接アクセスことはできないが、通信プロトコルを使ってネットワーク経由でやり取りする。その通信プロトコルがどう設計されているかにもよるが、アクセスリストまたはケーパビリティに基づいてクライアントとサーバの双方でファイルシステムへのアクセスを制限することも可能である。
これに対してクラスタファイルシステムでは、全ノードがファイルシステムを構成しているストレージ全体に一様に直接アクセスできる。その場合、アクセス制御はクライアント側の責任となる。
分散ファイルシステムには一般に、透過的レプリケーションとフォールトトレラント性に関する機能がある。すなわち、ファイルシステムを構成するノード群の一部がオフラインになっても、データを失うことなくシステムとして機能し続ける。
分散ファイルシステムと分散データストアの違いはあいまいだが、分散データストアは一般にLANでの利用に特化していることが多い。
目次
1 歴史と具体例
2 透過性
3 性能
4 同時ファイル更新
5 分散データストア
5.1 分散データベース
5.2 P2Pネットワークによるデータストア
6 主なプロトコル
6.1 分散ファイルシステム
6.1.1 分散フォールトトレラントファイルシステム
6.1.2 分散並列ファイルシステム
6.1.3 分散並列フォールトトレラントファイルシステム
6.2 SAN/クラスタファイルシステム
6.3 分散データストア
6.3.1 分散データベース
6.3.2 P2Pネットワークによるデータストア
7 脚注
8 関連項目
9 外部リンク
歴史と具体例
このようなファイルサーバは1970年代に開発された。1976年、DECが DECnet Phase II の一部である Data Access Protocol 実装として File Access Listener (FAL) を開発したのが、世界初の広く使われたネットワークファイルシステムとなった。1985年、サン・マイクロシステムズが世界初の広く使われる Internet Protocol ベースのネットワークファイルシステムとなる Network File System (NFS) を開発した。他のネットワークファイルシステムとしては、Andrew File System (AFS) や Apple Filing Protocol (AFP)、NetWare Core Protocol (NCP)、Server Message Block (SMB)がある。
透過性
分散ファイルシステムは透過性を備えていることが多く、プログラムやユーザーから見ればネットワーク経由のファイルがローカルディスク上のファイルと全く同じに扱える。サーバや記憶装置の多様性と分散は隠蔽される。ファイルの配置やデータ転送はファイルシステムに任されている。
性能
ネットワークファイルシステムでは、処理にかかる時間も重要な課題である。通常のファイルアクセスならば、これはディスクアクセス時間と少しのCPU処理時間に相当する。ネットワークファイルシステムでは、分散構造であるが故の余分なオーバヘッドが必要となる。このオーバヘッドには、サーバに要求を届けるまでの時間、応答をクライアントまで戻すのにかかる時間などが含まれる。どちらの方向も情報転送時間だけでなく、通信プロトコルソフトウェアの実行にかかるCPU時間が含まれる。ネットワークファイルシステムの性能もある意味でネットワークファイルシステムの透過性の一部と言える。すなわち、理想的なネットワークファイルシステムの性能はローカルなディスクアクセスと同程度になる。
同時ファイル更新
ネットワークファイルシステムは複数のクライアントプロセスが同じファイルを同時に更新できるようにしなければならない。あるクライアントのファイル更新によって別のクライアントの参照や更新が妨害されてはならない。そのため並行性制御やロックをファイルシステムに組み込むか、追加プロトコルに組み込む必要がある。
分散データストア
分散データストア（Distributed Data Store）とは、ユーザーが自身の情報を複数のノードに格納しておくことを指す概念で、分散データベースとして実装される場合と複数のユーザーがP2Pネットワーク上で情報を格納する場合がある。
分散データベース
分散データベースとしての分散データストアは関係データベースではなく、多数のノードがあるデータに素早くアクセスできる。例えば、GoogleのBigTableがあるが、これは分散ファイルシステムあるいはP2Pネットワークに近い[2]。他にも、Amazon.com の Dynamo[3]、Windows Azure Storage[4] などがある。
任意のクエリを可能にすることは可用性ほど重要視されないので、分散データストアは一貫性を犠牲にして可用性を向上させる設計を採用することが多い。しかし、高速な読み書きを可能にすると一貫性が低下するので、CAP定理で証明されている通り、一貫性、可用性、分断耐性を同時に保証することはできない。
P2Pネットワークによるデータストア
P2Pネットワークのデータストアでは、ユーザーは互いに自らのコンピュータをストレージノードとして提供し、同時に他者のコンピュータをストレージノードとして利用する。ある情報に他のユーザーがアクセスできるかどうかはネットワークの設計に依存する。
多くのP2Pネットワークは、各ユーザーのノードが常にネットワーク上にあるわけではないため、分散データストアを持たない。しかし、BitTorrentなどのシステムではこの区別があいまいとなる。というのも、あるノードがオフラインになってもその内容が相変わらず提供され続けるようになっているためである。なお、これは個々のファイルが再配布者に要求された場合であり、全てのコンピュータが全てのファイルを提供するようになっているFreenetなどのネットワークとは対照的である。
分散データストアでは、誤り検出訂正技法がよく使われる。場合によっては、ファイルの一部が壊れていた場合に前方誤り訂正技法で修復する。そうでない場合は、異なるミラーサイトから同じファイルを再度ダウンロードする。
主なプロトコル
分散ファイルシステムは、レプリケーションによるフォールトトレラント性強化を目指したもの、並列化による性能強化を目指したもの、両方を同時に実現しようと設計されたものがある。
分散ファイルシステム
9P - Plan 9 の通信プロトコル
Amazon Simple Storage Service (Amazon S3)
Andrew File System (AFS) - カーネギーメロン大学(CMU)の開発した分散ファイルシステム。NFS version 4 に影響を与えた。実装の1つに OpenAFS がある。
Apple Filing Protocol (AFP) - アップル
DCE/DFS - DCEの一部として開発された。AFSの影響を受けている。
MapR FS - ファイル、テーブル、メッセージングAPIが利用可能な高性能分散ファイルシステム。
NetWare Core Protocol (NCP) - ノベル
Network File System (NFS) - サン・マイクロシステムズ
Self-certifying File System (SFS)
Server Message Block (SMB) - 元々はIBMだが、多くのバージョンはマイクロソフトによる。Common Internet File System (CIFS) とも。
WebDAV : Hypertext Transfer Protocolを拡張し、Webサーバを分散ファイルシステムとして利用するためのプロトコル。
分散フォールトトレラントファイルシステム
Coda - カーネギーメロン大学 (CMU) の開発したAFSの後継となる分散ファイルシステム。
Distributed File System (Dfs) - マイクロソフト。透過性と高可用性を重視。
InterMezzo - HTTP を使った同期。なお、開発者らは Lustre に移行したので、既に開発終了している。
Moose File System (MooseFS)
分散並列ファイルシステム
FhGFS (Fraunhofer Parallel File System) - フラウンホーファー協会
- Parallel Virtual File System
分散並列フォールトトレラントファイルシステム
Chiron FS [5] - fuse ベース。既存のファイルシステムを使い、ファイルシステムレベルでの RAID1（ミラーリング）を実現。ただしプロジェクトは2008年以降低調。- Coherent Remote File System (CRFS) - Btrfsを使用。開発中。
Gfarm File System - 産業技術総合研究所の開発したグリッド向け分散ファイルシステム。メタデータには OpenLDAP または PostgreSQL を使用し、マウントには FUSE または LUFS を使用。
Ceph - カリフォルニア大学サンタクルーズ校。Linuxカーネル 2.6.34 にて取り込まれるようになった。- GlusterFS
Google File System - Googleの開発した分散ファイルシステム。
Hadoop - Apache によるGoogleFSクローン
HAMMER/ANVIL - DragonFly BSD
Lustre - ストレージのフェイルオーバーによる高可用性を実現。- PlasmaFS [6] - SunRPC風のプロトコルを採用し、トランザクションAPIを実装。NFSのボリュームとしてもマウント可能で、POSIX互換。データもメタデータもレプリケーション対象。
- PNFS (Parallel NFS)[7] - NFSの最新版
POHMELFS (Parallel Optimized Host Message Exchange Layered File System) - POSIX準拠。Linuxカーネル2.6.30から含まれるようになった。
XtreemFS - SSL と X.509 の認証をサポートしており、公衆ネットワークをまたいだ運用が可能。
zFS - IBMのz/OSのファイルシステム（ZFSとは異なる）。分散トランザクション指向。
SAN/クラスタファイルシステム
CXFS (Clustered XFS) - シリコングラフィックス (SGI)
EMC Celerra HighRoad - EMC
General Parallel File System (GPFS) - IBM
GFS2 (Global File System) - レッドハット
Oracle ACFS - オラクル
OCFS2 (Oracle Cluster File System) - オラクル
StorNext File System - クアンタム。Xsanと相互運用可能。従来はCVFSと称していた。
Xsan - アップル
VMFS - VMware/EMCコーポレーション
分散データストア
分散データベース
Apache Cassandra - Facebook がかつて採用していた。
BigTable - Google
Dynamo - Amazon.com
HBase - Facebook がメッセージングプラットフォームとして採用- Riak
- Voldemort
P2Pネットワークによるデータストア
- BitTorrent
- Chord project
ColonyFS - 匿名性を重視したP2Pファイルシステム（Java、C#）- Freenet
GNUnet：P2Pネットワークソフト- Infinit
Ivy - MITのP2Pファイルシステム
NNTP (ネットニュース用プロトコル)
Pastis - フランスで開発中のP2Pファイルシステム（Java）- Storage@home
Tahoe-LAFS [8]
脚注
^ Silberschatz, Galvin (1994). Operating System concepts, chapter 17 Distributed file systems. Addison-Wesley Publishing Company. ISBN 0-201-59292-4.
^ “BigTable: Google's Distributed Data Store”. http://the-paper-trail.org/:+ Paper Trail. 2011年4月5日閲覧。 “Although GFS provides Google with reliable, scalable distributed file storage, it does not provide any facility for structuring the data contained in the files beyond a hierarchical directory structure and meaningful file names. It’s well known that more expressive solutions are required for large data sets. Google’s terabytes upon terabytes of data that they retrieve from web crawlers, amongst many other sources, need organising, so that client applications can quickly perform lookups and updates at a finer granularity than the file level. [...] The very first thing you need to know about BigTable is that it isn’t a relational database. This should come as no surprise: one persistent theme through all of these large scale distributed data store papers is that RDBMSs are hard to do with good performance. There is no hard, fixed schema in a BigTable, no referential integrity between tables (so no foreign keys) and therefore little support for optimised joins.”
^ Sarah Pidcock (2011年1月31日). “Dynamo: Amazon’s Highly Available Key-value Store”. http://www.cs.uwaterloo.ca/:+ WATERLOO. p. 2/22. 2011年4月5日閲覧。 “Dynamo: a highly available and scalable distributed data store”
^ “Windows Azure Storage” (2011年9月16日). 2011年11月9日時点のオリジナル[リンク切れ]よりアーカイブ。2011年11月6日閲覧。
^ “ChironFS - A filesystem must go on, even if it is hurt”. Furquim.org. 2012年6月15日閲覧。
^ “The Plasma Project”. Plasma.camlcity.org (2011年10月2日). 2012年6月15日閲覧。
^ “pNFS”. 2012年7月6日閲覧。
^ “tahoe-lafs”. Allmydata.org. 2012年6月15日閲覧。
関連項目
- ファイル共有
- Global File System
- Gopher
- Peer to Peer
- 分散ハッシュテーブル
外部リンク
Linux モダン分散ファイルシステム インターネットコム
A distributed file system for distributed conferencing system ("A DFS for the DCS") by Philip S Yeager, Thesis, University of Florida, 2003. (pdf)- File Systems
