分散ファイルシステム




分散ファイルシステム (distributed file system) またはネットワークファイルシステム (network file system) とは、複数のホストがコンピュータネットワークを経由して共有しつつファイルにアクセスすることを可能にするファイルシステムである[1]。複数のマシン上で複数のユーザーがファイルやストレージ資源を共有できるようにする。


クライアントノードはファイルシステムを構成している二次記憶装置に直接アクセスことはできないが、通信プロトコルを使ってネットワーク経由でやり取りする。その通信プロトコルがどう設計されているかにもよるが、アクセスリストまたはケーパビリティに基づいてクライアントとサーバの双方でファイルシステムへのアクセスを制限することも可能である。


これに対してクラスタファイルシステム（英語版）では、全ノードがファイルシステムを構成しているストレージ全体に一様に直接アクセスできる。その場合、アクセス制御はクライアント側の責任となる。


分散ファイルシステムには一般に、透過的レプリケーションとフォールトトレラント性に関する機能がある。すなわち、ファイルシステムを構成するノード群の一部がオフラインになっても、データを失うことなくシステムとして機能し続ける。


分散ファイルシステムと分散データストアの違いはあいまいだが、分散データストアは一般にLANでの利用に特化していることが多い。




目次






  • 1 歴史と具体例


  • 2 透過性


  • 3 性能


  • 4 同時ファイル更新


  • 5 分散データストア


    • 5.1 分散データベース


    • 5.2 P2Pネットワークによるデータストア




  • 6 主なプロトコル


    • 6.1 分散ファイルシステム


      • 6.1.1 分散フォールトトレラントファイルシステム


      • 6.1.2 分散並列ファイルシステム


      • 6.1.3 分散並列フォールトトレラントファイルシステム




    • 6.2 SAN/クラスタファイルシステム


    • 6.3 分散データストア


      • 6.3.1 分散データベース


      • 6.3.2 P2Pネットワークによるデータストア






  • 7 脚注


  • 8 関連項目


  • 9 外部リンク





歴史と具体例


このようなファイルサーバは1970年代に開発された。1976年、DECが DECnet Phase II の一部である Data Access Protocol 実装として File Access Listener (FAL) を開発したのが、世界初の広く使われたネットワークファイルシステムとなった。1985年、サン・マイクロシステムズが世界初の広く使われる Internet Protocol ベースのネットワークファイルシステムとなる Network File System (NFS) を開発した。他のネットワークファイルシステムとしては、Andrew File System (AFS) や Apple Filing Protocol (AFP)、NetWare Core Protocol (NCP)、Server Message Block (SMB)がある。



透過性


分散ファイルシステムは透過性を備えていることが多く、プログラムやユーザーから見ればネットワーク経由のファイルがローカルディスク上のファイルと全く同じに扱える。サーバや記憶装置の多様性と分散は隠蔽される。ファイルの配置やデータ転送はファイルシステムに任されている。



性能


ネットワークファイルシステムでは、処理にかかる時間も重要な課題である。通常のファイルアクセスならば、これはディスクアクセス時間と少しのCPU処理時間に相当する。ネットワークファイルシステムでは、分散構造であるが故の余分なオーバヘッドが必要となる。このオーバヘッドには、サーバに要求を届けるまでの時間、応答をクライアントまで戻すのにかかる時間などが含まれる。どちらの方向も情報転送時間だけでなく、通信プロトコルソフトウェアの実行にかかるCPU時間が含まれる。ネットワークファイルシステムの性能もある意味でネットワークファイルシステムの透過性の一部と言える。すなわち、理想的なネットワークファイルシステムの性能はローカルなディスクアクセスと同程度になる。



同時ファイル更新


ネットワークファイルシステムは複数のクライアントプロセスが同じファイルを同時に更新できるようにしなければならない。あるクライアントのファイル更新によって別のクライアントの参照や更新が妨害されてはならない。そのため並行性制御やロックをファイルシステムに組み込むか、追加プロトコルに組み込む必要がある。



分散データストア


分散データストア（Distributed Data Store）とは、ユーザーが自身の情報を複数のノードに格納しておくことを指す概念で、分散データベースとして実装される場合と複数のユーザーがP2Pネットワーク上で情報を格納する場合がある。



分散データベース


分散データベースとしての分散データストアは関係データベースではなく、多数のノードがあるデータに素早くアクセスできる。例えば、GoogleのBigTableがあるが、これは分散ファイルシステムあるいはP2Pネットワークに近い[2]。他にも、Amazon.com の Dynamo[3]、Windows Azure Storage[4] などがある。


任意のクエリを可能にすることは可用性ほど重要視されないので、分散データストアは一貫性を犠牲にして可用性を向上させる設計を採用することが多い。しかし、高速な読み書きを可能にすると一貫性が低下するので、CAP定理で証明されている通り、一貫性、可用性、分断耐性を同時に保証することはできない。



P2Pネットワークによるデータストア


P2Pネットワークのデータストアでは、ユーザーは互いに自らのコンピュータをストレージノードとして提供し、同時に他者のコンピュータをストレージノードとして利用する。ある情報に他のユーザーがアクセスできるかどうかはネットワークの設計に依存する。


多くのP2Pネットワークは、各ユーザーのノードが常にネットワーク上にあるわけではないため、分散データストアを持たない。しかし、BitTorrentなどのシステムではこの区別があいまいとなる。というのも、あるノードがオフラインになってもその内容が相変わらず提供され続けるようになっているためである。なお、これは個々のファイルが再配布者に要求された場合であり、全てのコンピュータが全てのファイルを提供するようになっているFreenetなどのネットワークとは対照的である。


分散データストアでは、誤り検出訂正技法がよく使われる。場合によっては、ファイルの一部が壊れていた場合に前方誤り訂正技法で修復する。そうでない場合は、異なるミラーサイトから同じファイルを再度ダウンロードする。



主なプロトコル


分散ファイルシステムは、レプリケーションによるフォールトトレラント性強化を目指したもの、並列化による性能強化を目指したもの、両方を同時に実現しようと設計されたものがある。



分散ファイルシステム




  • 9P - Plan 9 の通信プロトコル


  • Amazon Simple Storage Service (Amazon S3)


  • Andrew File System (AFS) - カーネギーメロン大学(CMU)の開発した分散ファイルシステム。NFS version 4 に影響を与えた。実装の1つに OpenAFS がある。


  • Apple Filing Protocol (AFP) - アップル


  • DCE/DFS - DCEの一部として開発された。AFSの影響を受けている。


  • MapR FS - ファイル、テーブル、メッセージングAPIが利用可能な高性能分散ファイルシステム。


  • NetWare Core Protocol (NCP) - ノベル


  • Network File System (NFS) - サン・マイクロシステムズ


  • Self-certifying File System (SFS)


  • Server Message Block (SMB) - 元々はIBMだが、多くのバージョンはマイクロソフトによる。Common Internet File System (CIFS) とも。


  • WebDAV : Hypertext Transfer Protocolを拡張し、Webサーバを分散ファイルシステムとして利用するためのプロトコル。



分散フォールトトレラントファイルシステム




  • Coda - カーネギーメロン大学 (CMU) の開発したAFSの後継となる分散ファイルシステム。


  • Distributed File System (Dfs) - マイクロソフト。透過性と高可用性を重視。


  • InterMezzo - HTTP を使った同期。なお、開発者らは Lustre に移行したので、既に開発終了している。


  • Moose File System (MooseFS)



分散並列ファイルシステム




  • FhGFS (Fraunhofer Parallel File System) - フラウンホーファー協会

  • Parallel Virtual File System



分散並列フォールトトレラントファイルシステム




  • Chiron FS [5] - fuse ベース。既存のファイルシステムを使い、ファイルシステムレベルでの RAID1（ミラーリング）を実現。ただしプロジェクトは2008年以降低調。

  • Coherent Remote File System (CRFS) - Btrfsを使用。開発中。


  • Gfarm File System - 産業技術総合研究所の開発したグリッド向け分散ファイルシステム。メタデータには OpenLDAP または PostgreSQL を使用し、マウントには FUSE または LUFS を使用。


  • Ceph - カリフォルニア大学サンタクルーズ校。Linuxカーネル 2.6.34 にて取り込まれるようになった。

  • GlusterFS


  • Google File System - Googleの開発した分散ファイルシステム。


  • Hadoop - Apache によるGoogleFSクローン


  • HAMMER/ANVIL - DragonFly BSD


  • Lustre - ストレージのフェイルオーバーによる高可用性を実現。

  • PlasmaFS [6] - SunRPC風のプロトコルを採用し、トランザクションAPIを実装。NFSのボリュームとしてもマウント可能で、POSIX互換。データもメタデータもレプリケーション対象。

  • PNFS (Parallel NFS)[7] - NFSの最新版


  • POHMELFS (Parallel Optimized Host Message Exchange Layered File System) - POSIX準拠。Linuxカーネル2.6.30から含まれるようになった。


  • XtreemFS - SSL と X.509 の認証をサポートしており、公衆ネットワークをまたいだ運用が可能。


  • zFS - IBMのz/OSのファイルシステム（ZFSとは異なる）。分散トランザクション指向。



SAN/クラスタファイルシステム




  • CXFS (Clustered XFS) - シリコングラフィックス (SGI)


  • EMC Celerra HighRoad - EMC


  • General Parallel File System (GPFS) - IBM


  • GFS2 (Global File System) - レッドハット


  • Oracle ACFS - オラクル


  • OCFS2 (Oracle Cluster File System) - オラクル


  • StorNext File System - クアンタム。Xsanと相互運用可能。従来はCVFSと称していた。


  • Xsan - アップル


  • VMFS - VMware/EMCコーポレーション



分散データストア



分散データベース




  • Apache Cassandra - Facebook がかつて採用していた。


  • BigTable - Google


  • Dynamo - Amazon.com


  • HBase - Facebook がメッセージングプラットフォームとして採用

  • Riak

  • Voldemort



P2Pネットワークによるデータストア



  • BitTorrent

  • Chord project


  • ColonyFS - 匿名性を重視したP2Pファイルシステム（Java、C#）

  • Freenet


  • GNUnet：P2Pネットワークソフト

  • Infinit


  • Ivy - MITのP2Pファイルシステム


  • NNTP (ネットニュース用プロトコル)


  • Pastis - フランスで開発中のP2Pファイルシステム（Java）

  • Storage@home


  • Tahoe-LAFS [8]



脚注





  1. ^ Silberschatz, Galvin (1994). Operating System concepts, chapter 17 Distributed file systems. Addison-Wesley Publishing Company. ISBN 0-201-59292-4.


  2. ^ “BigTable: Google's Distributed Data Store”. http://the-paper-trail.org/:+ Paper Trail. 2011年4月5日閲覧。 “Although GFS provides Google with reliable, scalable distributed file storage, it does not provide any facility for structuring the data contained in the files beyond a hierarchical directory structure and meaningful file names. It’s well known that more expressive solutions are required for large data sets. Google’s terabytes upon terabytes of data that they retrieve from web crawlers, amongst many other sources, need organising, so that client applications can quickly perform lookups and updates at a finer granularity than the file level. [...] The very first thing you need to know about BigTable is that it isn’t a relational database. This should come as no surprise: one persistent theme through all of these large scale distributed data store papers is that RDBMSs are hard to do with good performance. There is no hard, fixed schema in a BigTable, no referential integrity between tables (so no foreign keys) and therefore little support for optimised joins.”


  3. ^ Sarah Pidcock (2011年1月31日). “Dynamo: Amazon’s Highly Available Key-value Store”. http://www.cs.uwaterloo.ca/:+ WATERLOO. p. 2/22. 2011年4月5日閲覧。 “Dynamo: a highly available and scalable distributed data store”


  4. ^ “Windows Azure Storage” (2011年9月16日). 2011年11月9日時点のオリジナル[リンク切れ]よりアーカイブ。2011年11月6日閲覧。


  5. ^ “ChironFS - A filesystem must go on, even if it is hurt”. Furquim.org. 2012年6月15日閲覧。


  6. ^ “The Plasma Project”. Plasma.camlcity.org (2011年10月2日). 2012年6月15日閲覧。


  7. ^ “pNFS”. 2012年7月6日閲覧。


  8. ^ “tahoe-lafs”. Allmydata.org. 2012年6月15日閲覧。




関連項目



  • ファイル共有

  • Global File System

  • Gopher

  • Peer to Peer

  • 分散ハッシュテーブル



外部リンク




  • Linux モダン分散ファイルシステム インターネットコム


  • A distributed file system for distributed conferencing system ("A DFS for the DCS") by Philip S Yeager, Thesis, University of Florida, 2003. (pdf)

  • File Systems




-

Popular posts from this blog

How to make a Squid Proxy server?

Image
1 I want to set up squid proxy server for monitoring user activity in a network and Internet Web URL filtering for user. I also want to configure the user login, user log, user access group, and block unwanted web sites in my network. Please help me and guide me the full process to do this. server proxy squid share | improve this question edited Jul 31 '12 at 14:45 Jorge Castro 37.1k 107 422 617 asked Jul 31 '12 at 5:16 Goivind Tiwari Goivind Tiwari ...
Read more

Is this a new Fibonacci Identity?

Image
6 1 $begingroup$ I have found the following Fibonacci Identity (and proved it). If $F_n$ denotes the nth Fibonacci Number, we have the following identity begin{equation} F_{n-r+h}F_{n+k+g+1} - F_{n-r+g}F_{n+k+h+1} = (-1)^{n+r+h+1} F_{g-h}F_{k+r+1} end{equation} where $F_1 = F_2 = 1$ , $r leq n$ , $h leq g$ , and $n, g, k in mathbb{N}$ . It is not too hard to show that this identity subsumes Cassini's Identity, Catalan's Identity, Vajda's Idenity, and d'Ocagne's identity to name a few. I have done a pretty thorough literature review, and I have not found anything like this, but I am still wondering if anyone has seen this identity before? I found this by accident after noticing some patterns in some analysis work I was doing, so if this is already known I would be curious to see w...
Read more

19世紀

Image
この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。 出典を追加して記事の信頼性向上にご協力ください。 （ 2012年3月 ） 千年紀: 2千年紀 世紀: 18世紀 - 19世紀 - 20世紀 十年紀: 1800年代 1810年代 1820年代 1830年代 1840年代 1850年代 1860年代 1870年代 1880年代 1890年代 19世紀に君臨した大英帝国。 19世紀 （じゅうきゅうせいき）は、西暦1801年から西暦1900年までの100年間を指す世紀。 目次 1 19世紀の歴史 1.1 国民国家の成立 1.2 帝国主義の興隆 1.3 列強の植民地争奪戦 2 できごと 2.1 1800年代 2.2 1810年代 2.3 1820年代 2.4 1830年代 2.5 1840年代 2.6 1850年代 2.7 1860年代 2.8 1870年代 2.9 1880年代 2.10 1890年代 2.11 1900年代 3 文化 3.1 文学 3.2 音楽 3.3 思想 3.4 科学 3.5 技術 4 人物 4.1 ヨーロッパ 4.1.1 政治家・王族 4.1.1.1 フランス 4.1.1.2 オーストリア＝ハンガリー 4.1.1.3 ロシア 4.1.1.4 イギリス 4.1.1.5 ドイツ（プロイセンほかドイツ領邦を含む） 4.1.1.6 北欧 4.1.1.7 イタリア 4.1.1.8 スペイン 4.1.1.9 ベルギー 4.1.1.10 ギリシア 4.1.2 軍人 4.1.3 実業家 4.1.4 科学と技術 4.1.5 思想と哲学・人文諸学 4.1.6 宗教 4.1.7 文学 4.1.8 美術 4.1.9 音楽 4.1.10 社会事業家 4.1.11 探検家・旅行家 4.1.12 料...
Read more