深層学習でガラスに眠る未来を掘り起こす 原子同士の動き方の関係まで理解するグラフニューラルネットワーク 研究成果

発表のポイント

• グラフニューラルネットワーク(GNN)と呼ばれる深層学習手法を用い、ガラスの原子配置から、原子の運動によって構造が変化する様子を予測する新手法を開発し、予測精度の世界記録を大きく更新した。
• 新たに開発したGNNによる深層学習モデル「BOnd TArgeting Network(BOTAN)」は、原子の運動に加え、近くの原子同士の距離の変化の情報を利用してガラスの原子構造の時間変化を学習し、ある時点のガラスの原子配置のみからそのガラスが将来示す複雑な運動を、精密かつ短時間で予測する。
• 深層学習技術は現在、原子分子の成分組成や構造から材料の特性を予測するのに盛んに用いられている。本研究では、GNNが物質の特性にとどまらず、シミュレーション結果も高精度に再現できることを明らかにした。このことは長い時間が必要なシミュレーションを人工知能による予測で代替する手法の実現への重要な一歩である。

本研究成果は2023年2月27日（米国東部時間）に、論文誌 The Journal of Chemical Physics に掲載されます。オープンアクセスのため、どなたでもお読みになれます。

発表内容

研究の背景

自然界の物質の多くは、原子が乱雑に動き回る液体を急速に冷やすなどの条件のもとでは、原子が不規則に並んだまま固まった「ガラス」とよばれる状態になります。いわゆる「窓ガラス」のようなものだけでなく、セラミックス、プラスチック、さらには金属もガラスになります。ガラスでは、ダイヤモンドや通常の金属固体のように原子分子が規則的に並んだ「結晶」と違って原子構造が不規則であり、その性質を予測するための手がかりを原子構造の中に見つけることが困難でした。そのため、ガラスの構造を研究するときには、原子配置の時間変化をまずシミュレーションで調べる、というのが標準的なアプローチでした。

図 1：ガラスの構造変化のシミュレーション

初期状態の原子配置に対し、原子が時間経過にともなって熱揺らぎでどのように移動するかを計算する（中央図の赤矢印）。局所的に熱振動によるゆらぎが大きくなった場所（中央図の青四角）で、原子の入れ替わりが発生してガラスの構造が変化してゆく様子（右図）が観察される。τ_αは構造が大きく変化するのに要する典型的な時間を表し、構造緩和時間と呼ばれる。（作図協力: 名古屋大学大学院理学研究科 Truyen Dam Duc大学院生および川﨑猛史講師）

 

ガラスの原子運動のシミュレーション研究では、対象となるそれぞれの原子について、近くにある原子との間に働く力を時々刻々計算し、原子の運動を模擬的に求めます。このような計算から、ガラスの原子の運動は一様ではなく、局所的に強い振動があらわれた場所で原子の入れ替わりが起きてガラスの構造が変化してゆく（構造緩和する）様子がみられます。長年のシミュレーション研究から、強い振動がガラスのどの位置に現れるかは原子の配置によって決定づけられているという、重要な知見が得られています。一見何の特徴もないガラスの原子の配置パターンに、時間と共に構造がどのように変化してゆくか、という情報があらかじめ埋め込まれていることが明らかになってきたのです。

一方、このようなシミュレーションでは粒子の運動を時々刻々と更新していかなくてはならないため、最新のプロセッサを用いても計算に何日もかかりました。そこで、近年データ科学の分野で注目されている「グラフニューラルネットワーク（GNN）」と呼ばれる深層学習の手法をガラスの構造変化の研究に導入する試みが行われました。先行研究[1]では、初期状態の原子の配置パターンと時間発展させたシミュレーション結果を学習させることで、運動力学の計算をすることなく、原子配置のある一瞬の「スナップショット」のみから長時間にわたる原子の運動をわずか数分で予測できることが示されました。つまり、ガラスの構造の中に刻み込まれている未来の状態を、GNNによる深層学習によって「掘り起こす」ことができるとわかったのです。これ以降、世界中の多くの研究グループが、さらに精度よくガラスの構造変化を予測できる学習モデルの開発を進めています。

図 2：グラフニューラルネットワークの概念

グラフニューラルネットワーク (Graph Neural Network, GNN) は、対象物をノード（頂点）やエッジ（辺）などの要素からなる「グラフ」として捉えたデータを扱うためのニューラルネットワークの一種。GNNは、グラフ上の要素の特徴量を学習して変化の推定などを行う。

 

研究の内容

GNNは、深層学習の対象物を多くの頂点とその間を辺とする「グラフ」としてモデル化します。先行研究のGNNモデルでは、一つ一つの原子をグラフの頂点、隣接する原子同士の関係を辺として捉え、シミュレーションの結果得られる原子の時間経過後の移動距離を学習させました。芝特任講師らの今回の研究では、グラフの頂点における原子の移動距離に加え、グラフの辺上での隣接する原子の間の距離の変化も学習する（図2）ように根本的な改良を加えたGNNモデルを開発し、「BOnd Targeting Network (BOTAN) [2]」と名づけました。

先行研究と新たなGNNモデルBOTANとの予測の正確さを比較した例を、図3に示します。ここでは、原子間の配置がわずかに入れ替わる程度の時間（後掲の図4における左側の破線、0.03τ_α）経過した後と、原子の構造の比較的多くが入れ替わる程度の時間（右側の破線、τ_α）経過した後の、各原子の動きの予測を示しています。先行研究と比べ、本研究のBOTANがはるかに正確にシミュレーションの結果を予測できています。また、図4では、予測の対象となる時間ごとにどれくらいの予測精度が得られるかを示しています。本研究では、先行研究と比較して20%から50%程度予測誤差が小さく（平均自乗誤差による評価）、短時間から長時間まで安定して高い精度で予測できることが示されました。

この結果について、実際の計算を行った芝特任講師は「本研究で新たに深層学習の対象に取り入れた原子間の距離の変化は、ガラスの原子の熱運動でできる歪みの分布を直接的に反映する量です。これにより、先行研究では取り入れることができなかった近くの原子の動きとの関係（協同性）までグラフニューラルネットワークが『理解』し、これによりこれまでにない精度で原子の運動を予測することが可能になったと言えます。」と話しています。

図 3：シミュレーション結果とGNNによる予測の比較

ガラスの原子の運動のシミュレーション結果と、先行研究による予測、本研究（BOTAN）による予測の図を並べた。各原子が最初の位置（白丸）から、より大きく動いている部分をより赤く表示している。上段は短時間（図4の0.03τ_α）、下段は長時間（同τ_α）のものであり、全て3次元のシミュレーションから断面を切り出した図を示している。本研究の予測結果は、先行研究による予測と比較してはるかに正確にシミュレーション結果を予測できていることがわかる。

 

図 4：経過時間ごとの予測精度の変化

経過時間ごとの予測精度の変化をピアソン相関係数[3]を用いて比較した図。図の上端に近いほど正確に予測ができていることを示す。経過時間の単位はレナードジョーンズ単位時間と呼ばれる、液体の原子が熱運動で原子1個分移動できる程度の時間を基準にしたもの。本研究で取り扱っているガラスの構造緩和時間(τ_α)はその約4000倍に相当する。先行研究では経過時間が1から100の範囲では予測精度の低下が見られたが、本研究（BOTAN）では、そのような低下は見られず、経過時間が10000以下のすべての範囲で高い予測精度であることがわかる。

 

利用計算機について

近年の人工知能の爆発的な性能向上は、GPUと呼ばれるプロセッサによって支えられています。GPUはもともと画像処理向けに用いられてきましたが、最近ではAIコンピューティングに特化した省電力・最先端デバイスとして発展しています。本研究では東京大学情報基盤センターの「計算・データ・学習」融合スーパーコンピュータWisteria/BDEC-01のデータ・学習ノード群 (Aquarius)を使用しました。本研究で深層学習に利用したGNNは巨大なパラメータを有しており、Wisteria/BDEC-01 に搭載された大容量、高速、かつ大量のGPUの利用によって大規模な学習が可能となりました。

今後の展望

ガラスの状態をとる金属やセラミックスは、ハードディスクの基盤や燃料電池の電極などとして用いられており、高機能材料として必須の存在になっています。本研究で開発した手法は原子の長時間の運動を特徴づけられることから、ガラスを利用した材料の強さ・伸びやすさなど力学的性質の予測に直結します。さらには、望まれた性質を実現する材料の構造を逆に推定するための手法としても利用できる可能性があります。

データ科学の視点からは、物理的性質に注目した形でのモデル開発が、深層学習の性能を飛躍的に向上させる鍵であることが本研究で示されたと言えます。データ科学が専門の鈴村豊太郎教授は「グラフニューラルネットワークはこれまで、社会ネットワークや交通・物流予測など、支配する法則が明確でない分野での知見を広げることに用いられてきました。一方、物理現象の研究では基本法則が確立されている部分が多く、データ科学の手法の適用はあまり進んでいません。今回、多数の要素が相互作用する物理系のモデリングにデータ科学の最新手法が有効であることが示され、さらにさまざまな物理現象に適用されていくことが期待できます。」と述べています。　

補足

• [1]「Towards understanding glasses with graph neural networks」(2020年4月6日) https://www.deepmind.com/blog/towards-understanding-glasses-with-graph-neural-networks
• [2] BOTANのソースコードを https://github.com/h3-Open-BDEC/pyg_botan で公開しています。
• [3] ピアソン相関係数: n組からなる変数が2つ（仮にX,Yとする）あるときに、お互いがどれくらい類似しているのかを特徴づける変数。本研究では、直接シミュレーションを行った結果から得られる各粒子の運動距離をXとし、深層学習が予測する各粒子の運動距離分布をYとした時の相関係数をとっていることから、深層学習による予測精度の尺度として用いることができる。

発表者

東京大学情報基盤センター

芝 隼人（特任講師）

華井 雅俊（特任助教）

鈴村 豊太郎（教授）〈東京大学大学院 情報理工学系研究科（教授）〉

下川辺 隆史（准教授）

研究助成

本研究は、科研費「（計算＋データ＋学習）融合によるエクサスケール時代の革新的シミュレーション手法（課題番号: JP19H05662、研究代表者: 東京大学・中島研吾教授）」、学際大規模情報基盤共同利用・共同研究拠点(JHPCN)および革新的ハイパフォーマンス・コンピューティング・インフラ(HPCI)(課題番号: jh220052)の支援により実施されました。また、華井特任助教と鈴村教授は文部科学省マテリアル先端リサーチインフラ事業の支援を受けています。