藤田 典久 助教

(高性能計算システム研究分野)

藤田先生が所属する高性能計算システム研究分野の研究者は、計算機の性能をよりよくするために研究を行っている、いわば計算機開発の専門家です。

今回は藤田先生が専門に取り組んでいるFPGA（Field Programmable Gate Array）という、近年高性能計算システム研究分野で高い注目を集めている、新しいタイプの演算加速装置をご紹介します。

（2023.3.9 公開）

通信能力の高さが、FPGAの最大の特徴

コンピュータの演算処理装置というと、CPUやGPUが一般的に知られています。
CPUは汎用的な演算装置で、コンピュータからスマートフォンまで様々な機器に搭載され、計算を行なっています。GPUはゲームなどの3Dグラフィック処理を多用する機器で用いられてきたもので、CPUに比べて画像処理のパフォーマンスが高いことで知られています。

また、近年ではAIに関する計算を高速に行うために用いられています。機械の脳みそともいうべき中枢部には、これら集積回路^（注1であるCPUやGPUが用いられていますが、その役割として重要なことが２つあります。１つは、演算処理で、もう一つは、他のコンピュータとの「コミュニケーション」という役割です。スーパーコンピュータでは複数のコンピュータを使って複雑で大規模な計算を行います。そのため、演算と通信を同時に速く処理していくことが、計算性能を加速させる上でとても重要となります。

さて話題のFPGAはというと、実は演算のパフォーマンスではそれほど他の演算加速装置の性能を上回ることはありません。
ではなぜ多くの研究者が注目しているのかというと、コミュニケーション能力が高いことにあります。コミュニケーション能力と聞くと、社会の人間同士にも言えそうなスキルですが、ここでいうコミュニケーションはコンピュータ間で情報をやり取りすることを指します。「スーパーコンピュータ」と聞くと、とても高性能な１台の計算機をイメージされることが多いかもしれませんが、現代のスーパーコンピュータは、図１にあるように複数のコンピュータを用いてシステムを構築しています。コンピュータの数は様々ですが、大規模なスーパーコンピュータでは10万を超えるコンピュータが用いられています。そして、コンピュータ間を高性能な通信網（ネットワーク）で接続しています。複数のコンピュータがネットワークを通じてコミュニケーションを取り、協調して１つの問題を解いていくのがスーパーコンピュータです。

図１

現在、大規模なFPGAクラスタはほとんど世の中に存在していません。
しかしこの通信システムの大きなアドバンテージを活かすと、より高性能なクラスタマシン、ひいてはスーパーコンピュータができる可能性を秘めているのです。藤田先生はFPGAの特性を活かした大規模なFPGAクラスタシステム構築のため、独自のCIRCUS(Communication Integrated Reconfigurable CompUting System)というシステムを提案しています。通信と演算をFPGAの中で１つに融合して、統一的に扱うパイプラインを構築することで、FPGAクラスタ上でより高性能な科学技術計算を実現できます。FPGAをいくつも並べたシステムを作ると、なぜ優れたマシンとなるのかを簡単に説明します。

図２

図3

コンピュータをネットワークに接続するには、通信を司るICチップを使います。通信用チップは、コンピュータの中で通信に関する専門的な処理を担います。そして、最終的に電気や光をケーブルの中を通すことでコンピュータ間の通信を行います。少しデフォルメしたイメージを図２と図3にのせます。

このように従来のでは、外部から接続されるケーブルとの通信は、CPUと別のチップが担当していました。しかしFPGAの場合は、この通信機能がすでに内蔵されているので、他のFPGAとの直接通信が可能となります。高性能計算で使われている演算加速装置の中でこのような特徴を持つのはFPGAだけであり、他の演算加速装置にはない特徴です。藤田先生は、このFPGAを複数並べた、いわゆるクラスタシステム^（注2というものを構築する研究を行っています。

図４：FPGAのクラスタのイメージ図（ルーター機能の説明）

藤田先生が研究しているFPGAクラスタでは、図4のように縦横にFPGAを複数並べ、相互に高速な光通信ケーブルで接続してネットワークを構成します。このようなネットワークにおける通信では、たとえば図４のようにＡからＣまである情報を伝えようとしても、AとCは直接つながっていません。間にいるＢが通信を中継しなければAとCが通信することはできません。このような中継機能をルータと呼びます。通常、ネットワークにはスイッチという専用の機器があり，通信の中継を行なって、多数のコンピュータ間で通信を行っています。しかし、FPGAが持つ通信性能を最大限活かすために、CIRCUSではFPGA間を直接接続し、スイッチを使わないネットワークを用いています。そして、CIRCUSの一部としてルータ機能を実装し、直接繋がっていないFPGA間でも高速な通信を実現しています。スーパーコンピュータでは、コンピュータ同士を数千から数万という規模で接続します。そのため、通信速度（性能）がシミュレーションなどを行う際の計算性能に大きな影響を与えます。FPGAは、機器それ自体に通信処理を行う機能が内蔵されており、非常に速度の速い通信が可能です。計算科学研究センターではFPGAの通信性能に注目し、FPGAを高性能計算で用いるために、さまざまな研究を行なっています。

また、演算装置では、どのような計算を行うか、何をどうするか命令を与えなければなりません。コンピュータに行って欲しい処理を開発する作業を「プログラミング」と言います。
プログラミングにはさまざまなプログラミング言語を用いて行います。CPUなどに比べて、FPGA開発においては、プログラミングをするための言語が開発の障害となっていました。FPGA上で動くプログラムの開発は難しく、FPGAに関する専門的な知識をもつ人でなければ開発を行えませんでした。しかし近年、FPGA開発環境も進歩しており、よりプログラミングしやすい開発環境へと発展しています。藤田先生のCIRCUSでは、OpenCLというプログラミング言語を用いる開発環境で通信を含めてFPGAプログラミングを統一的に扱っています。これがシステム開発におけるデバッグ^（注３のしやすさや、高い柔軟性といった大きな利点をもたらしているのです。

図５：FPGA（左）とスーパーコンピュータCygnus（右）

スーパーコンピュータCygnusを用いた宇宙輻射輸送コードART法の高速化！

筑波大学計算科学研究センターでは、FPGAとGPUを搭載したスーパーコンピュータCygnusが開発され、運用されています。CygnusはGPUとFPGAという２つの演算加速装置を同時に備えた世界的にも非常に珍しいスーパーコンピュータです。藤田先生は、このCygnusを利用して、さまざまなFPGAに関する研究を行なっています。Cygnusに加えて、筑波大学計算科学研究センターでは、小規模な実験的FPGAマシンとしてPre-PACS version. X (PPX)も運用しています。PPXは小規模なFPGAクラスタですが、多種多様な演算加速装置を搭載しており、実験的な開発や性能比較に用いています。

藤田先生はこれらの装置を通して、宇宙物理分野で用いるシミュレーションコードの高速化に取り組んでいます。このコードは、ART（Authentic Radiation Transfer）法と呼ばれるもので、宇宙空間を伝播する光の飛び方を計算するものです。ある空間を想定して、その中を飛ぶ光線（これをレイといいます）を用いてエネルギー伝搬の計算をします。空間内を格子状の領域で分け（メッシュ法^（注4という）、隣り合うメッシュの間でレイをやり取りして計算を進めていきます。レイにそって計算するART法では、隣のメッシュへ小刻みに通信をすることが必要となるため、FPGAクラスタの通信面での利点が効いてくるのです。これによって、従来のGPU計算の性能を最大で10.6倍も高速化することに成功しました。

ART法を最大４つのFPGAを用いて計算した際の性能を図６に示します。計算性能は、広く演算加速装置として用いられているGPUと比べています。この実験では「Weak Scaling」と呼ばれる条件で性能を測定しています。「Weak Scaling」は、コンピュータ１台あたりの計算量を一定に保ったまま、計算に用いるコンピュータの台数を増やすことを指します。「Weak Scaling」では１台あたりの計算量は一定ですので、コンピュータの台数を増やしても計算時間が増えないことが理想です。言い換えると、計算全体で考えて、N台の計算機を使った時に１台の時と比べてN倍の性能が得られるべきだという測定条件です。

図６：FPGA使用時とGPU使用時における性能比較

まず、左端の1ノード^（注５では、通信はなく、FPGAがGPUに対して単純に演算処理の速度が速いことを示しています。このようにFPGAの能力を最大限活用した効率のよいプログラムを用いれば、1ノード実行時でもGPUに対して4.5倍も高速となることが証明されました。GPUを使用した計算では、右にいってノード数が増えるほど計算時間が増えているのがわかります。一方、青で表されているFPGAを使用した場合は、ほとんど変化せず、計算時間が短いままです。この測定はWeak Scalingの条件で測定していますので、計算時間の増加が少ないFPGAの方が計算の効率が良いことを示しています。これがFPGAの直接通信ができるという能力と、その通信能力を扱って高い性能でFPGA間通信ができるCIRCUSを用いた成果です。一方、藤田先生は、これらの研究を評価され、2022年度筑波大学若手教員奨励賞を受賞しています。https://www.ccs.tsukuba.ac.jp/news221128/

【用語】

• 集積回路：半導体の表面に、微細で複雑な電子回路をのせた電子部品のこと
• クラスタシステム：単一のシステムとして動作するように接合されたコンピュータの集合体のこ
• デバッグ：コンピュータのプログラムの誤り＝バグを見つけて、手直しをすること
• メッシュ法：計算科学の数値解析において、対象を離散化するために縦横に等分割した線で区画化する手法のこと
• ノード：通信の主体となる個々の機器のこと

さらに詳しく知りたい方へ　Cygnus

大野 浩史 助教 

素粒子物理研究部門

大野先生は、世界の研究者とともに、クォークという素粒子が織りなす量子色力学（QCD）の研究を主に行っています。素粒子の間に働く力には、強い力・弱い力・電磁気力・重力の４つの基本的な力があることが分かっています。その中でも強い力は、クォークといういうもっともミクロなスケールに存在する物質に働く力であり、その理論はQCDと呼ばれています。大野先生は、このまだまだ未知の側面をもつ基礎物理学の分野に挑戦しています。とくに宇宙の特殊な天体の内部などで実現している可能性のある、究極的な物質の状態を研究しています。研究内容はなかなかハードですので、ここではごくざっくりと説明していきたいと思います

（2023.2.20公開）

身の回りにある素粒子クォークとグルーオンはまだまだ謎が多い物質

私たちも、身の回りの物質も、周期表にのっている元素、あるいは原子というものでできていることは、化学の授業でも習ったかと思います。この原子は、中心に原子核があり、陽子と中性子という粒たちが原子核を形成しています。陽子や中性子はさらに、それぞれがクォークと呼ばれる素粒子３つから構成されていることがわかっています。しかし、３つといっても、クォークは決して単独で取り出すことができません。この奇妙な結びつきは、強い力を媒介するグルーオンという素粒子が接着剤の役割をしているからです。クォークには色という要素があり、赤、青、緑という異なる色になって初めてグルーオンによって結びつき、陽子、中性子となります。色というのは、あくまで光の三原色のアナロジーであり、実際に色がついているわけではありません。補足すると、三原色を合わせたり(バリオン=陽子・中性子の仲間)、ある色とその補色を合わせる(中間子)と白色になるわけですが、この白色になる組み合わせしか存在しないということです。陽子と中性子の違いは、クォークの種類によります。自然界には、全部で6種類のクォークがあり、この種類の違いによって、陽子と中性子という違いが生まれます。

クォークとグルーオンで出来た他の物質として、中間子もあります。陽子、中性子、そして中間子をふくめて、ハドロンと総称します。量子色力学（QCD）とは、このハドロンの性質を理解するための理論といえます。ハドロンの典型的なサイズはおよそ1フェムトメートル^（注1で、基本的に身の回りに普段あるような低温・低密度でこの状態です。クォークとグルーオンは通常、ハドロンの中に閉じ込められているけど、その中のような小さい領域では不思議なことにお互いに働く力が小さく、自由な運動をしているように振舞います。これは漸近的自由性といい、QCDの大きな特徴です。一方、高温・高密度の状態にいくと、この自由に運動できる領域が重なりあうようになり、相転移を起こします。

図1：クォークとグルーオンの変化

最終的に、クォーク・グルーオンプラズマ（QGP）というクォークとグルーオンが相互にいくつも作用し合った複雑な状態を形成します（図１参照）。このような状態が、宇宙では中性子星^（注2という、特殊な天体の内部で実現していると考えられています。その他の例として重要なのは、ビッグバン直後の初期宇宙です。ここでもQGPが重要な働きをするのです。

QCDの理論は、計算するのがとても大変です。難しい点の１つは、自由度が無限にあること、もう一つは、摂動計算^（注3できるのは特殊な場合のみであるという点です。言っていることがすでに難しいですね。詳しい説明は「場の理論」という物理にふれないといけないので省きますが、摂動論を使わずに計算するためには、時空間を格子状に分けた（離散化した）格子QCDというものを用いる必要があります。この計算には、大型計算機が必要不可欠であり、ここでスーパーコンピュータが活躍しているのです。

重イオン衝突によって明らかとなる究極の物質状態！

大野先生は、このQGPの研究を行っています。地上でも重イオン衝突実験によって実現される状態だと考えられており、こういった実験と理論を比較することで、ＱＧＰの解明を目指しているのです。重イオンとは、鉛や金の原子核のことであり、これらを光速度に近い速度まで加速器で加速して衝突させます。とくにQGPの性質を調べる上で重要となる、チャームクォークとボトムクォークという質量の重いクォークが織りなすクォーコニウムという束縛状態に注目しています。このクォーコニウムの相関関数という量を格子ＱＣＤから計算します。ところが、本当にほしいものは相関関数自体ではなく、スペクトル関数という量です。相関関数はスペクトル関数を積分することで計算できますが、困ったことにその逆、つまり相関関数からスペクトル関数を計算することは簡単ではありません。しかしこのスペクトル関数こそが、高温媒質中のクォーコニウムの情報を含んだ重要パートなのです。大野先生は、まさにこのスペクトル関数がどのようなものになるのかを計算方法を工夫することによって導くことにチャレンジしています。

図２：スペクトル関数の予想される形状

図２に示したのは、スペクトル関数の温度ごとに予想される形状の模式図です。

シミュレーションによるこれらの正確な結果は、あとで図３に示します。

ピークがたっているのは、基底状態や励起状態^（注4というピンポイントの状態を示しています。一方、図の中央のように、ピークがなくなっている場合は、その状態が消失したとみることができます。

大野先生はこれら実験と比較できるようなスペクトル関数のモデリングを研究しています。結果は、図３のようになっています。これによって、チャームクォークについての左図では、ピーク構造が消失することを示唆し、ボトムクォークに関する右図では、相転移温度の1.5倍の温度程度までピーク構造が残ることを示唆しています。このようにＱＧＰ中におこるクォーコニウムの消失あるいは残存現象を明らかにしたのです。

図３：理論をもとに計算したスペクトル関数の波形

【用語】

• フェムトメートル：10^-15メートルのこと。
• 中性子星：大質量の星が超新星爆発を起こしたあとにできる特殊な天体。コンパクト天体とも呼ばれ、大きさは小さいが、非常に強い重力をもっている。
• 摂動計算：近似的な解を求める計算テクニックのこと。正確に解ける問題があるとして、そこからほんの少しだけずれた状態の解を計算するときに便利。
• 基底状態・励起状態：原子・分子といった量子力学の系では、エネルギーが最も低い（基底）状態から、よりエネルギーが高い（励起）状態といったものが離散的に分布している。

さらに詳しく知りたい人へ

研究論文