1ペタフロップスの性能を持つスーパーコンピュータ「COMA（PACS-IX）」を導入 メニーコアアーキテクチャプロセッサを用いた国内最大のクラスタに

掲載情報：日刊工業新聞（4/15）、読売新聞（4/15）

プレスリリース

平成26年4月14日

国立大学法人筑波大学
クレイ・ジャパン・インク

[印刷用PDF 304KB]

1ペタフロップスの性能を持つスーパーコンピュータ｢COMA（PACS-IX）｣を導入
メニーコアアーキテクチャプロセッサを用いた国内最大のクラスタに

ポイント

○　1ペタフロップスのスーパーコンピュータ「COMA（PACS-IX）」を新規導入
○　従来の汎用CPUに加えて全393計算ノードに2基ずつのインテル Xeon Phi コプロセッサを搭載し、同プロセッサを採用したスパコンとして国内最高性能
○　「HA-PACS」と併せ、2台のペタフロップスマシンで最先端の計算科学研究を推進

概要

筑波大学計算科学研究センターは、ピーク演算性能1.001 ペタフロップス（毎秒1001兆回）の新型スーパーコンピュータ「COMA（PACS-IX）」（コマ、パックス・ナイン）を導入し、平成26年4月15日に運用を開始します。同センターとして「HA-PACS」に続く2台目のペタフロップス・システムです。

「COMA」は米Cray Inc.社によって提供された、最先端の超並列加速器クラスタ型スーパーコンピュータです。従来の汎用CPUに加え、全計算ノードに2基ずつの米Intel社製インテルXeon Phiコプロセッサを備えています。計算ノード数は393台で、合計786基の同プロセッサを搭載。総ピーク演算性能1.001ペタフロップスは、インテルXeon Phiコプロセッサを採用したスーパーコンピュータとして国内最高性能となります。

「COMA」は、筑波大学が30年以上に渡って研究開発を続けてきた「PACSシリーズ」スーパーコンピュータの第9世代に相当し、「PACS-IX」の名称を併せ持ちます。計算科学研究センターは、平成25年10月に拡張されたGPUを演算加速装置として持つスーパーコンピュータ「HA-PACS」と併せ、2つの異なる演算加速装置を有するペタフロップス・スーパーコンピュータにより、最先端の計算科学研究を推進していきます。

筑波大学計算科学研究センターの新型スーパーコンピュータ「COMA（PACS-IX）」

1．背景

高性能汎用CPUの進歩により、超並列PCクラスタの性能は確実に増大していますが、今後ますます拡大する演算性能に対する要求を限られた電力及びスペースで満たすために演算加速装置^※1が注目されています。これまで、PCクラスタ向けの代表的な演算加速装置はGPU^※2でしたが、米Intel社が開発したインテルXeon Phiコプロセッサ^※3は汎用CPUのアーキテクチャを踏襲しつつ、61個のCPUコアを1チップに搭載した新世代の演算加速装置です。GPUと同じように汎用バスであるPCI Expressバスを介してCPUに接続でき、GPUに比べてユーザがより簡便にプログラミングを行える特徴を持っています。

筑波大学計算科学研究センターでは、演算加速装置による低電力・高性能なスーパーコンピュータの研究を進めています。その一貫として、同センターでは、2012年よりインテル社がメニーコアプロセッサのアーキテクチャの評価のために開始した Intel MIC Beta Program に参加し、メニーコアプロセッサの性能評価と性能チューニングに関する研究を続けてきました。

GPUとメニーコアプロセッサという2種類の演算加速装置を超並列PCクラスタにそれぞれ適用することにより、その特性の違いを考慮しつつ、各種の計算科学アプリケーションの開発を進めます。先進的かつ大規模な科学技術計算を演算加速装置技術の下で実現するには、大規模システムを定常的に利用することが不可欠です。すでに「HA-PACS」で進められているGPUによる超並列システムの利用に加え、「COMA」によるメニーコアプロセッサを用いた超並列システムを用いることにより、より幅広いアプリケーションへの対応と、メニーコアプロセッサにおける性能チューニング技術についても研究を進めていきます。

また、筑波大学は東京大学と共同で「最先端共同HPC基盤施設（JCAHPC）」を設置し、数十ペタフロップス級の超大型スーパーコンピュータの導入を計画しています。メニーコアプロセッサ技術をその鍵の一つとなる研究と位置づけており、「COMA」はそのための様々な研究開発を行う実験システムとしての役割も担っています。

2．詳細

筑波大学計算科学研究センターは、素粒子・宇宙・生命などの研究をけん引する最先端の超並列演算加速器クラスタ型スーパーコンピュータ、大規模メニーコア実験システム「COMA」（Cluster Of Many-core Architecture processors）の導入を平成24年度から進め、平成26年4月15日より稼働を開始します。同システムは米Cray Inc.社により提供されました。

「COMA」は、コンパクトで先進的な計算ノードを393台結合した並列システムです。計算ノードは、米Intel社製の最新CPUであるインテル Xeon E5-2680 v2 プロセッサを2基と同社のメニーコアプロセッサであるインテルXeon Phi コプロセッサSE10Pを2基搭載しています。ノード単体のピーク演算性能は2.547テラフロップス（毎秒2兆5470億回）に達し、システム全体の総ピーク演算性能は1.001ペタフロップス（毎秒1001兆回）となります。

全ての計算ノードはInifniBand FDR^※4による相互結合網で結ばれ、この結合網は全ノード間の通信を最大性能で実現するフルバイセクションバンド幅のFat-Tree構成を持ちます。また、総容量1.5ペタバイトの多重耐故障機能（RAID-6）構成を持つLustreファイルサーバが備えられ、同じInifiniBand FDRネットワークを介して全ての計算ノードから自由にアクセスすることができます。

インテルXeon Phiコプロセッサは、PCI Expressと呼ばれる標準バスによってCPUと結合され、計算の実行や並列処理におけるノード間通信等はCPUのメモリや結合網を用いて行われます。

3．アプリケーション・ソフトウエア開発

計算科学研究センターに所属するさまざまな科学分野の研究者が、「COMA」をいかした研究の展開を計画しています。

1) 素粒子理論分野

「強い相互作用における階層構造の諸性質解明」と「有限温度・有限密度QCDにおける相構造解析」の研究を推進します。前者はインテルXeon Phiコプロセッサを演算装置として直接利用し、後者は行列・行列積演算部分をインテル Xeon Phiコプロセッサでオフロード実行（演算が集中する部分のみをメニーコアプロセッサに処理させる）する予定です。

2) 宇宙物理学分野

天体形成に重要な役割を果たす重力多体計算、流体力学計算、輻射輸送計算をインテル Xeon Phiコプロセッサで高速化することで、より高精度な天体形成シミュレーションを行います。

3) 生命科学分野

量子化学計算プログラムNWChemで酵素反応のQM/MM^※5計算を行い、国産の量子化学計算プログラムOpenFMOでインテルXeon Phiコプロセッサを利用して、タンパク質薬剤相互作用解析を行う予定です。また、分子動力学プログラムPlatypusによるタンパク質の折り畳みや構造変化の解析を行い、生命機能の解析を進めます。

他に物質科学分野では、高強度なレーザー光と物質の相互作用に対して電子ダイナミクスの第一原理シミュレーションを行い、フェムト秒・アト秒時間スケール（10-15～10-18秒）で起こる現象の解明や制御の方法を探索します。

さらに高性能計算技術として、ポストペタスケール規模の並列環境で高い性能を発揮することを目指した次世代型計算アルゴリズムの研究と、そのソフトウエア実装のための高性能化技術の開発も進めて行きます。これらの成果をもとに、各種のアプリケーションで活用するための基盤的なソフトウエアの整備を進める予定です。データ基盤の分野では、「COMA」の高い並列性を生かして、科学分野を含む多様なビッグデータの高度な分析に役立てて行きます。

4．運用

「COMA」は、平成26年2月末で運用満了したスーパーコンピュータ「T2K-Tsukuba」システムで展開された各種運用プログラムを引き継ぎます。計算科学研究センターが独自に進める「学際共同利用プログラム」において、全国の幅広い応用分野の研究者が無償で利用でき、また文部科学省が進める「HPCI戦略プログラム」に共同利用資源として提供されます。さらに、計算科学研究センターにおける「大規模一般利用プログラム」において全国の研究者が有償利用できます。

5．コメント

インテル株式会社常務執行役員ビジネス・デベロップメント事業本部長の平野浩介は、本発表に際し、以下のコメントを寄せています。

「インテルXeon Phi コプロセッサを搭載する筑波大学計算科学研究センターの新型スーパーコンピュータ「COMA（PACS-IX）」の導入を歓迎します。搭載されたインテル Xeon Phi コプロセッサは、最大61個のコアと 244 スレッドで構成され、最大 1.2 テラ FLOPS の演算性能を発揮します。COMA（PACS-IX）により筑波大学の最先端計算科学研究が加速することを期待しております。」

用語解説

※1　演算加速装置
汎用計算を行うCPUに対する拡張機構として、PCI Express等の汎用バスを介して接続される高性能演算装置。計算を自律的に行うことはできず、CPUから起動されることによりアプリケーションの一部または全部を高速に実行する。ただし、演算装置やアーキテクチャが高性能浮動小数点演算向けに特化され、必ずしも全てのアプリケーションプログラムを高速化するとは限らない。一般的に利用可能な演算加速装置の例としては、GPUやインテル社の提供するインテルXeon Phiコプロセッサ等がある。

※2　GPU
Graphics Processing Unitの略。本来PCサーバにおけるグラフィクス処理を目的として作られた専用プロセッサだが、近年はその高い演算性能とメモリバンド幅を利用した高性能計算への転用が活発化している。

※3　メニーコアプロセッサ
従来の汎用マルチコアCPUが1つのチップ上に十個程度のCPUコアを搭載していたのに対し、数十個（インテルXeon Phi コプロセッサでは61個）のCPUコアを搭載する新世代の演算加速型プロセッサ。プログラミングは汎用CPUと同じように、複数コアを同時利用する形でチップ内での並列処理を記述可能である。しかし、汎用CPUに比べ、各CPUコアは比較的周波数が低く演算制御部分が簡略化された構造を持つため、性能を引き出すためにはプログラミングに様々な工夫が必要とされる。

※4　InfiniBand FDR
高性能クラスタ型計算機で多用される高性能ネットワーク。Ethernetなどに比べて数十倍の通信性能を持ち、さらに数百～数千ノード規模のシステムをFat Treeと呼ばれるネットワーク構成で結合可能。

※5　QM/MM
原子の世界を支配する量子力学を用いた計算法。重要な中心部だけ量子力学計算を行い、それ以外は古典力学を用いたのがQuantum mechanics/ Molecular Mechanics（QM/MM）法。QM/MM法は、2013年ノーベル化学賞の受賞対象となった計算手法である。

プレスリリース