世界最高速のコンピュータ開発プロジェクトがスタート記者発表

世界最高速のコンピュータ開発プロジェクトがスタート

キーポイント　2008年に2ペタフロップス、40Gbpsネットワーク基盤との結合、
　　　　　　　　多様なアプリケーションプログラムによる科学技術的成果の実現

概要

　東京大学、情報通信研究機構、NTTコミュニケーションズ、国立天文台、理化学研究所による研究グループ（代表者：平木　敬　東京大学大学院情報理工学系研究科教授）の超高速計算システム研究開発プロジェクトであるGRAPE－DRプロジェクト（課題名：分散共有型研究データ利用基盤の整備）は平成16年度科学技術振興調整費に採択され、研究開発を開始する。GRAPE－DRプロジェクトは、2008年に2ペタフロップスの計算速度を実現するとともに、40Gbpsネットワークを高度利用した科学技術研究データ処理システムを構築する。

　現在実施されている国内，海外の超高速計算システムプロジェクトでは、GRAPE－DRプロジェクトが最も早期にペタフロップスを越す予定である。(注1)

　GRAPE－DRは200万個の演算プロセッサをラック10本以下のサイズに超高密度に集積することにより、2ペタフロップスの計算速度を達成し（注2）、高集積のIPディスク技術により、ネットワークとファイルシステムを実現する。（注3）

プロジェクトのホームページ

http://grape-dr.adm.s.u-tokyo.ac.jp

（注1）日本におけるプロジェクト：地球シミュレータ（2002年）40 TFLOPS(既設)），GRAPE－6(64TFLOPS, 2001, （既設）)，NAREGIクラスタコンピュータによるグリッド（100 TFLOPS, 2007年）

海外のプロジェクト：BlueGene(360 TFLOPS,2005年，米国IBM)，ASCI-Purple(100 TFLOPS, 2005年，米国ロスアラモス国立研究所)，CRAY　X1他（50 TFLOPS, 2005年末，米国オークリッジ国立研究所），PERCS (1PFLOPS, 2008年，米国IBM)，Hero(1PFLOPS, 2008年，米国サンマイクロシステムズ)，Cascade（1PFLOPS, 2010年，米国CRAY）

（注2）2ペタフロップスの計算速度は，現在，世界最速である地球シミュレータの50倍の計算速度である．1秒間に2000兆回の計算を行う．

（注3）IPディスク技術とは，コンピュータとディスクとの間を専用バス（SCSIバス，ファイバチャネルなど）ではなく，一般のIPネットワーク（例えばイーサネット）で結合する技術．入出力ネットワークとストレージネットワークを統合することにより，データ共有が高効率で実現する．

 

2.提案の概要

　近年の急速な計算速度，ネットワーク速度と記憶容量（メモリ，ディスク）の増大に支えられ，高速インターネットで接続したコンピュータシステム群は，科学技術の研究基盤としてなくてはならないものとなった．GRAPE－DRプロジェクトの開始時点である2004年では，10Gbpsのネットワークが普及し，欧米では科学技術用インターネット・バックボーンは数10Gbps以上となり各地のスーパーコンピュータセンターにおいてコンピュータやストレージとの接続性が確保されている．また，科学技術計算の速度では，我が国のGrape-6(64TFLPS)と地球シミュレータ(40TFLOPS)を頂点に，1 TFLOPSを越すことが常識化しつつある（www.top500.orgによると，1TFLOPSは131位）．このような情報基盤を如何に有効に活用できるか，情報基盤の持続的な進化を如何に実現するかは，今後の我が国の科学技術研究ポテンシャルにとり，本質的な重要性を持っている．
　 GRID技術は，ネットワークにより分散したコンピュータ資源，ストレージ資源を，場所を意識せずに使うことを目標として，1990年代の後半から盛んに研究開発が行われ，我が国へも導入されつつある．しかしながら，ミドルウェアを中心としたGRID技術は，期待は大きいものの実際の研究の現場ではGRID自身が研究テーマでない限り，殆ど使われていないのが現状である．一方，高い計算能力を低コストで得るための手法としてのクラスタ計算機は，現実的に設置可能なサーバ台数の限界から汎用MPUを用いるだけでは100TFLOPSを越す性能の達成は困難であり，次世代の科学技術研究のための情報基盤として性能面での限界を持つ．
　 GRAPE－DRプロジェクトは，上記問題点を克服し，科学技術研究の現場で，高速インターネット，コンピュータシステムと大容量ストレージの持つ能力を世界最高の性能レベルで活用する情報システム基盤を構築することを目的とする．具体的には，ネットワークで接続されたシステムの集合体によって，1　科学技術データの分散共有（データ転送を含む），2　分散透明性を持ち，超高速の計算能力と，3　科学技術データに対す分散的超高速データベース処理（複雑データの探索，発見的データベース処理等）を実現する．すなわち，研究者が今まで手にすることが出来なかったレベルの情報サービスを，計算機科学以外の分野の研究者から実用的に使える形で提供することである．
　 1Gbpsのネットワーク，100GFLOPSのPCクラスタ，1テラバイトのストレージが容易に入手できる今日，科学技術研究の現場で研究基盤として成立するためには，少なくとも，1　通常のサーバ・ミドルウェアでは実現できない100Gbpsレベルの超高速ネットワーク、PFLOPSレベルの超高速計算能力と、それらをスケーラブルに高効率利用が可能なデータの分散共有能力，さらに遠隔地間に分散した多量データ全体に対し，超高速のデータベース処理能力が備わっていることが必要であり，それらを実現することがGRAPE－DRプロジェクトの具体的目的である．

 

3．2ペタフロップス実現の方法

　単一プロセッサの性能の限界を超す超高速計算システム構築は必然的に並列・分散アーキテクチャを用いることが必要であり，現在実施されている全ての超高速計算システムプロジェクトは並列・分散アーキテクチャを採用している．
　 しかしながら，ペタフロップスを越す性能を持つシステムの実現には，（1）設置面積，（2）消費電力（3）ユーザが得られる実質的性能（実行効率），および（4）システムの信頼性が困難な課題として現出する。例えば，現在主流である汎用プロセッサを用いた汎用サーバを多数個結合するクラスタコンピュータまたは，それを分散的に結合したGridシステムではペタフロップスを越すシステムの実現は困難である（注4）．すなわち，科学技術の研究の現場が求めている計算システムは（1）小型，（2）低消費電力，（3）高実行効率で（4）研究者が直接使える信頼性を持つことが強く求められる．

　GRAPE－DRシステムはこの困難な課題をGRAPEシリーズのコンピュータ開発（注5）で培われた超並列計算方式を汎用化し，プロセッサの超高集積化とストレージのIP化による超分散化により実現する.具体的には

1. 1チップに1024プロセッサを集積．
2. 新アーキテクチャの採用により，プロセッサ間を直接パイプライン・ネットワークで結合することによる超低遅延時間のプロセッサ間データ転送の実現（10ナノ秒以下）（注6）
3. ラック8本に100万プロセッサを高密度実装することによる，面積・電力の低減
4. 超低遅延時間のネットワーク結合が実現する高並列実行効率
5. IPストレージ（iSCSIプロトコルによる）の超高速実現による，分散共有ストレージの利用
6. データレゼボワール技術（注7）の拡張による超高速ネットワークの高度利用
7. 小型で低消費電力の実現による高信頼化

　が基本技術である．

（注4）現在建設中の世界最高速クラスタであるASCI－Purpleシステムでは，1個のノードが8 GFLOPSの演算性能を持つ。サイズ，消費電力をプロセッサあたり1Uサイズ，200ワットと仮定するとプロセッサ部分だけで312ラック（高さ40Uラック換算），2.5メガワットの電力が必要である。今後数年間で，プロセッサの演算性能が2倍向上すると仮定しても，1ペタフロップスの実現には1560ラック，125メガワットの消費電力が必要となり，実現が非常に困難であるとともに，信頼性の低下が予想される．
　 また，クラスタシステム間を超高速ネットワークで接続するGrid的形態では，クラスタ内の通信遅延時間が数マイクロ秒，クラスタ間の通信遅延時間が数ミリ秒となり，1個のプロセッサの演算時間と比較し，クラスタ内で数千倍，クラスタ間では数100万倍の通信遅延である.従って，1個のプログラムが内包する並列性を有効に利用することが著しく困難である．その結果，クラスタ計算機，特にGrid的形態ではプロセッサ相互通信が非常に少ない自明並列性の利用が主に使われる使用形態であることが現状である．

（注5）GRAPEシリーズの天体シミュレーション専用コンピュータは，本研究開発担当者の一人である牧野淳一郎により開発され，惑星生成・銀河生成分野において多くの成果を挙げている．GRAPEシリーズは，世界最高速の実用計算を行ったコンピュータに対して与えられるゴードンベル賞を過去1995,1996,1999,2000,2001,2003年の6回受賞している。最新のGRAPE－6は，64テラフロップスの計算速度である．GRAPE－1からGRAPE－6までは，演算器間の接続が問題の方程式に従って固定化されていたため，非常に狭い応用分野でしか利用することができなかったことに対し，GRAPE－DRでは演算器間を可変接続することが可能なため，汎用に用いることが可能である．

(注6)　GRAPE－DRでは，プロセッサ間を直接パイプライン・ネットワークで結合し，プロセッサ間で直接演算データを渡すため，フォンノイマン計算機に見られるメモリアクセスボトルネックを回避することが可能である。命令の実行制御はプロセッサ間のデータ移動をコンパイラ等により静的に管理するスタティック・データフロー方式を用いている．

(注7)データレゼボワールは，本研究開発担当者である平木，稲葉らにより2001年から2004年に実施された科学技術振興調整費プロジェクト「科学技術研究向け超高速ネットワーク利用基盤の整備」により開発された，データの分散共有システムであり，日米間のディスク間データ共有を超高速で実現することに対し，スーパーコンピューティング国際会議併設のバンド幅チャレンジにおいて，2002年，2003年と連続受賞した．

 

4．GRAPE－DR上で実行する科学技術計算

　超高速な科学技術用計算システムを研究開発する目的は，ベンチマークプログラムで高い数値を出すことではなく，科学技術としての意義のある計算結果を達成することにある．GRAPE－DRプロジェクトでは，(1)重力多体系シミュレーション，(2) SPH(Smoothed Particle Hydrodynamics) によるグリッドレス流体計算，(3)分子動力学計算，(4) 境界要素法計算，(5) ゲノムのシーケンスマッチング，(6) 質量分析データに対する高次データ検索，(7) ゲノムデータベースに対するグラフマッチングを用いた機能探索の7分野において，当該分野における研究者を分担者として，ソフトウェア開発を実施し，科学技術的に意義のある計算結果を出す予定である．

参考図1　GRAPE－DRの実装方法

 

参考図2　GRAPE－DR内部構成