異なる並列ファイルシステムの性能、信頼性、管理要件の比較

並列ファイルシステムを実装した市販のソリューションを比較するのは容易ではありません。

ユーザーのアプリケーション・ミックスや利用用途はそれぞれ異なり、組織の特定のワークロードに対して各システムがどのようなパフォーマンスを発揮するかを確認するためには、実際にターゲットを絞った具体的なベンチマークが必要になります。しかし、並列ファイルシステムを比較する簡単な方法がいくつかあり、システムが効果的なHPCストレージの展開に対する期待を満たしているかどうか、効果的なHPCストレージの導入に際して、ユーザの期待するものに応えるものか否かの判断に有効です。

以下の比較では、BeeGFS、GPFS、Lustre、Panasas PanFS 並列ファイルシステムを性能、信頼性、管理要件、サポートに基づいて評価しています。ディスクの数がシステムの性能に大きな影響を与えるため、ハードディスクドライブ(HDD)一台あたりのスループットを比較し、読み書き性能、データの可用性、階層化、チューニング要件、アップタイム、リビルド時間、システムの運用とサポートに必要なものを比較しました。

PanFS 並列ファイルシステムは、BeeGFS、GPFS、Lustre の 2 倍の速さを実現していますが、一般に懸念なされる並列ファイルシステムの複雑さや脆さは一切ありません。PanFSでは、性能と容量は制限なく直線的にスケールし、性能は動的に変化するワークロードに適応し、ワークロードの複雑さに関係なく一貫して高速です。さらに、ActiveStorアプライアンスで提供されるPanFSは、業界をリードする価格性能と容易な管理性を兼ね備え、あらゆるHPCストレージソリューションの中で最も低い総所有コストを実現しています。HPC企業は、シンプルさ、アップタイム、優れたサポートのために、パフォーマンスと価格をトレードオフする必要はもうありません。PanFSActiveStor Ultraを使用することで、利用者はすべてを手に入れることができます。

性能
特徴 PanFS
Panasas ActiveStor Ultra
Lustre
DDNExascaler
BeeGFS GPFS
IBM ESS
注釈
2 PB システム推定性能 20 GB/S 10.4 GB/S 9.4 GB/s 8.9 GB/S DDN Lustre、BeeGFS、GPFSをそれぞれ16TBで約120台と仮定した場合、Panasasと比較して同等のパフォーマンスを得るためには、2倍のドライブを使用する必要があります。
Read/write 性能比 (概算) 1対1 1対1 2対1 2対1 BeeGFSはBuddy Mirroringを使用した場合、読み込み速度の半分の速度で書き込みを行います。
システム容量充満時の性能劣化 なし あり あり あり Wiki.Lustre.orgのレポートを参照してください。 タイトルは「Lustreファイルシステムのパフォーマンスにおけるフラグメンテーションと容量の効果」です。
可用性 N+2 冗長
スケールアップに応じた信頼性向上
N+1 冗長
スケールアップに応じて複雑さと信頼性の低下
Buddy Mirroring
オプション
N+1 冗長
スケールアップに応じて複雑さと信頼性の低下
Panasas N+2は、2つのコンポーネントの障害があっても生き延びることができます。DDN Lustre、GPFS、BeeGFS N+1は、1つのコンポーネント障害でも耐えられます。バディミラーリングHAはBeeGFS HWの要件とコストを2倍にします。
NVDIMM採用 あり なし なし なし Panasas NVDIMMはアプリケーションのパフォーマンスを向上させます。


信頼性/最適化/再構成
特徴 PanFS
Panasas ActiveStor Ultra
Lustre
DDNExascaler
BeeGFS GPFS
IBM ESS
注釈
消失訂正符号 あり あり なし オプション
データ保護オーバーヘッド 20% 20% 140%(1) 20%
スナップショット あり なし なし あり
自動SSD <-> HDDの階層化 あり
自動SSD <-> HDD (2)
あり
SSD <-> HDD
なし あり
SSD <-> HDD
DDNとIBMの場合、HDDからSSDへのデータ移動のレイテンシ。 BeeGFSの場合、顧客は手動で階層間でデータを移動しなければなりません。 Panasasは混合ワークロードを得意としています。
パフォーマンスを最適化するためにワークロードを変更する際に必要なチューニング/再チューニング なし 必要 必要 必要 Panasasは複合ワークロードを得意としています。
Declustered RAID 再構築 可能 可能 不可 可能 BeeGFSのRAIDリビルドにはかなりの時間がかかります。
エンドツーエンドのチェックサム 可能 可能 不可 可能


(1) BeeGFS = Buddy Mirroringによる冗長構成 + RAID オーバーヘッド
(2) Adaptive Small Component Acceleration (ASCA)


データ管理/運用・管理
特徴 PanFS
Panasas ActiveStor Ultra
Lustre
DDNExascaler
BeeGFS GPFS
IBM ESS
注釈
データ スクラブ あり なし なし なし
自動データバランス あり なし なし なし
非同期レプリケーション あり あり なし あり
最低限の管理工数で運用 可能
推定FTE(フルタイム当量) <0.25 1+ 1+ 1+
スクラッチ領域以外の用途(ユーザホーム領域、アプリケーション領域、その他、汎用用途) 可能
99.99%連続稼働時間 可能


この資料について
以下の資料の抜粋を和訳したものです。原文のダウンロードは、こちらをご参照ください。
  • Comparing the Performance,Reliability and Administration Requirements of Different Parallel File Systems
    COMPETITIVE COMPARISON

  • Panasas ActiveStor 製品については、弊社製品ページをご参照ください。