東大生研と日立が共同で研究開発した超高速データベースエンジンが従来型データベースエンジン比で約1000倍の処理性能を達成研究成果

東大生研と日立が共同で研究開発した超高速データベースエンジンが 従来型データベースエンジン比で約1000倍の処理性能を達成

平成26年6月4日

国立大学法人東京大学
株式会社日立製作所

 

国立大学法人東京大学生産技術研究所(所長：中埜 良昭／以下、東大生研)と株式会社日立製作所(執行役社長兼COO:東原 敏昭／以下、日立)は、内閣府最先端研究開発支援プログラム*1｢超巨大データベース時代に向けた超高速データベースエンジンの開発と当該エンジンを核とする戦略的社会サービスの実証・評価｣(中心研究者：喜連川 優 東大生研教授／国立情報学研究所所長、実施期間：2010年3月～2014年3月)において共同で研究開発を実施した超高速データベースエンジンにて、2014年3月に従来型のデータベースエンジン比で約1000倍*2の処理性能を達成しました。今回の研究成果は、大量データの解析処理時間を大幅に削減するものであり、ビッグデータ利活用による新たな社会サービスや高付加価値産業の創出につながることが期待されます。

 

*1 最先端研究開発支援プログラムは、世界のトップをめざした先端的研究を推進することにより、産業、安全保障等の分野における日本の中長期的な国際的競争力、底力の強化を図るとともに、研究開発成果の国民及び社会への確かな還元を図ることを目的として創設された国の研究開発プログラムです。
*2 解析系データベースに関する標準的なベンチマーク（性能測定基準）を元に作成した各種のデータ解析要求の実行性能を計測しました。データ解析要求の種類によって高速化率に差は見られるものの、データベースにおいて特定の条件を満たす一定量のデータを絞り込んで解析を行うデータ解析要求においては記載数値の高速化を確認しています。

 

東大生研と日立は、2010年3月から2014年3月の約4年間、内閣府最先端研究開発支援プログラムにおいて、｢非順序型実行原理｣に基づく超高速データベースエンジンの研究開発を進めてきました。本原理は、多数のデータベース処理や入出力処理を並行して多重実行することにより、マルチコアプロセッサ*3およびストレージの利用効率を著しく高め、従来型データベースエンジンに比べ飛躍的に高い処理性能を実現することを可能とします。東大生研と日立は、本原理に基づく研究開発により、2011年6月時点で従来型のデータベースエンジン比で約100倍のデータ解析処理性能を確認していましたが、さらなる処理性能向上に取り組み、このたび約1000倍の処理性能を達成しました。具体的には、マルチコアプロセッササーバならびに大規模ストレージシステムにおけるデータベース処理や入出力処理の効率をさらに高める研究開発を行い、実行多重度を飛躍的に向上させました。

 

*3 多数のプロセッサコアを集積したプロセッサ。

 

東大生研と日立は、今後もビッグデータ利活用を加速する研究開発を推進し、新たな社会サービスや高付加価値産業、ビジネスモデルの創出に貢献していきます。

 

■超高速データベースの共同研究開発に関連したこれまでの主な取り組み
2011年に一般的なHDD(Hard Disk Drive)構成のストレージ環境で、2013年にはフラッシュストレージ環境において、従来型のデータベースエンジン比で約100倍のデータ解析処理性能を確認しています。また2012年6月には、同データベースエンジンの研究成果を利用したデータベース製品を日立が製品化*4しました。さらに、100TB*5を超える大規模データベース環境への適用に向け東大生研の大規模実験環境で共同研究を進め、共同研究開発成果を利用した日立製データベース製品が、業界標準のデータベース性能ベンチマークである｢TPC-H*6｣における最大100TBのクラスへ世界で初めて登録されました。公的な性能評価や製品提供により、共同研究開発成果の市場への還元を図っています。

 

*4 超高速データベースエンジンは、日立製のサーバおよびストレージと組み合わせた高速データアクセス基盤｢Hitachi Advanced Data Binder プラットフォーム｣として、2012年6月に日立が製品化しています。
*5 100TBのデータは、大手コンビニエンスストアのPOSデータに換算して、約7年分に相当するデータ量です（日立調べ）。
*6 ｢TPC-H｣は、非営利団体であるTransaction Processing Performance Councilが仕様を定めているデータベースシステムの標準的なベンチマークであり、意思決定支援のための複雑なデータベース検索処理を対象としています。
｢TPC-H｣ホームページ：http://www.tpc.org/tpch/default.asp(英文)

 

■｢非順序型実行原理｣の概要と特徴について
非順序型実行原理は、喜連川 優 東大生研教授／国立情報学研究所所長と合田 和生 東大生研特任准教授が考案した実行原理で、データの要求順序とは無関係な順序で非同期にデータを処理することにより、ハードウェアの処理性能を最大限に引き出すことを可能にする点に特徴があります。東大生研と日立が研究開発を実施した超高速データベースエンジンは、当該実行原理により、マルチコアプロセッサならびにストレージシステムの利用効率の著しい向上を実現することにより、ビッグデータに対する検索処理の飛躍的な高速化を実現しています。

 

■最先端研究開発支援プログラム｢巨大データベース時代に向けた最高速データベースエンジンの開発と当該エンジンを核とする戦略的社会サービスの実証・評価｣に関するホームページ

http://www.tkl.iis.u-tokyo.ac.jp/FIRST/

 

■商標に関する注記
・TPC-Hは、Transaction Processing Performance Councilの商標です。
・その他、記載の会社名、製品名は、それぞれの会社または団体の商標または登録商標です。

 

■研究内容に関するお問い合わせ先
国立大学法人東京大学 生産技術研究所 経理課最先端研究開発支援室 [担当：大内]
〒153-8505 東京都目黒区駒場四丁目6番1号
電話：03-5452-6706(直通)

株式会社日立製作所 情報・通信システム社 ITプラットフォーム事業本部 開発統括本部
ソフトウェア開発本部 先端開発プロジェクト室 [担当：吉野]
〒244-0817 神奈川県横浜市戸塚区吉田町292番地
電話：045-862-8714(直通)

以 上

 

---

■超高速データベースエンジンの共同研究開発に関するプレスリリース、お知らせ
・ 2011年6月
｢東大と日立が共同で超高速データベースエンジンを研究開発 ―従来型のデータベースエンジン比で約800倍の処理性能をめざす―｣
(従来型のデータベースエンジン比で約100倍の処理性能を達成)(東京大学、日立製作所)
http://www.u-tokyo.ac.jp/public/public01_230602_02_j.html
http://www.hitachi.co.jp/New/cnews/month/2011/06/0602a.html

・ 2012年5月
｢東京大学との超高速データベースエンジンの共同研究開発成果を製品化　―ビッグデータ利活用を実現する高速データアクセス基盤を販売開始―｣
(高速データアクセス基盤｢Hitachi Advanced Data Binder プラットフォーム｣)(日立製作所）http://www.hitachi.co.jp/New/cnews/month/2012/05/0528.html

・ 2013年3月
｢小売業におけるビッグデータの利活用を加速する｢流通分析ソリューション｣を提供開始｣
(高速データアクセス基盤｢Hitachi Advanced Data Binder プラットフォーム｣を適用)(日立製作所)
http://www.hitachi.co.jp/New/cnews/month/2013/03/0301a.html

・ 2013年8月
｢東大生研と日立が共同研究開発中の超高速データベースエンジンがフラッシュストレージ環境において従来型データベースエンジン比で約100倍の処理性能を達成｣(東京大学、日立製作所)
http://www.u-tokyo.ac.jp/public/public01_250806_j.html
http://www.hitachi.co.jp/New/cnews/month/2013/08/0806.html

・ 2013年10月
｢東大生研と日立による研究開発成果を基にしたデータベース製品がデータベースシステムの業界標準ベンチマーク｢TPC-H｣における最大クラス(100TB)に世界で初めて登録｣(東京大学、日立製作所）
http://www.u-tokyo.ac.jp/public/public01_251021_j.html
http://www.hitachi.co.jp/New/cnews/month/2013/10/1021a.html

・ 2013年10月
｢ビッグデータ利活用を支援する高速データアクセス基盤｢Hitachi Advanced Data Binder プラットフォーム｣を強化 ―ラインアップを刷新し、BIツールとの接続性を強化―｣(日立製作所)
http://www.hitachi.co.jp/products/it/bigdata/platform/data-binder/news_20131028.html

・ 2014年1月
｢高速データアクセス基盤｢Hitachi Advanced Data Binder プラットフォーム｣が日刊工業新聞社の第56回(2013年)｢十大新製品賞 増田賞｣を受賞｣(日立製作所)