高い入出力バンド幅を持つ次世代GPUクラスタ

HA-PACSの目的の一つである、演算加速装置を用いたエクサスケール時代をにらんだ大規模並列アプリケーション開発のためには、土台となる大規模GPUクラスタが必要です。HA-PACSでは、このための基礎的な計算機システムとしてHA-PACSベースクラスタを提供します。HA-PACSベースクラスタは、先進的なマルチコアCPUと超高速GPU複数台を搭載した計算ノードを大規模並列ネットワークで結合した構成をとります。HA-PACSベースクラスタの全体構成と緒元を以下に示します。

システム構成

システム仕様

計算ノード

近年のGPU単体の飛躍的な性能向上を受け、GPGPUコンピューティングおよびGPUクラスタの研究はますます盛んになっています。しかし、GPUの性能、とくに倍精度浮動小数点演算性能の向上は、GPUデバイスとCPUメモリとの間のデータ転送のボトルネックを引き起こし、アプリケーションによっては深刻な性能低下の原因となります。

HA-PACSベースクラスタでは、Intelの最新型高性能プロセッサであるE5 Sandy Bridge-EPを採用しています。このCPUは、先進的I/O規格であるPCI-Express generation 3を最大40レーン利用可能な世界初のCPUです。HA-PACSベースクラスタの1ノードには2台のSandy Bridge-EPプロセッサが搭載され、これにより4台のGPUを入出力ボトルネックなしに結合可能としています。従来、1つのI/Oバスに多数のGPUを結合した例はありますが、入出力ボトルネックなしに4台のGPUを搭載した例は世界初です（2011年11月現在）。

HA-PACSベースクラスタの計算ノードの緒元は以下の通りです。計算の原動力となるGPUにはNVIDIAの最新GPUであるM2090を4台搭載し、2台のSandy Bridge-EPと合わせ、3TFLOPSのピーク性能を提供します。

ノード構成

ノード仕様

並列処理ネットワーク

HA-PACSベースクラスタでは、合計268台の計算ノードをフルバイセクションバンド幅を持つFat-Treeネットワークで結合します。ネットワークハードウェアはInfiniband QDR規格で、片方向当たり4GByte/sのピーク転送性能を持ちます。HA-PACSベースクラスタでは、このネットワークを２系統並列設置し、最大8GByte/secの理論ピークバンド幅を提供します。この2系統のInfinibandネットワークはMPI通信において束ねて用いることが可能であり、ユーザプログラムでは意識されません。また、2系統のうち1つが故障した場合も自動的にバックアップ機能が働き、並列プログラムの継続が可能です。

TCA部

ノード仕様