データサイエンスコンピューティングシステム Shirokane6 の運用を開始

概要

東京大学医科学研究所 ヒトゲノム解析センター (HGC) は SHIROKANE の基盤強化のため、新世代システム Shirokane6 を 2022 年 4 月 1 日に稼働しユーザ提供を開始しました。 Shirokane6 は更新前の Shirokane4 に比べ 2 倍以上の CPU コア数の計算サーバ群を導入し、高速ストレージ容量は 1.3 倍以上の 24 PB を有します。稼働にあたっては前世代システムに格納されていた約 18 PB のデータの移行をおよそ 60 日間で完了しました。 Shirokane6 は株式会社日立製作所が構築し、今後の安定稼働を支援します。また、新たに導入した間接蒸発式冷却装置も同時期に稼働を開始します。

背景・課題

近年のヒトゲノム研究の大きな発展は、患者個人のゲノムをすべて解析し、疾患の治療に役立てる個別化ゲノム医療を強力に推し進めています。2019 年 12 月に厚生労働省は、「全ゲノム解析等実行計画 (第 1 版)」を策定し、これまで治療法がなかったがんや難病患者の全ゲノムを解析し、新たな治療法や薬の開発などにつなげる姿勢を鮮明にしました。この全ゲノム解析等実行計画に基づく国家プロジェクトであるがん全ゲノム解析プロジェクトが 2021 年から開始され、全ゲノム情報の患者還元を目指したオールジャパンの研究が始まりました。この中で東京大学医科学研究所は、ゲノムデータ解析を中心に重要な役割を果たしています。

さらに、新型コロナウイルスにおける重症化要因の探索や感染対策、および治療法やワクチンの開発を巡り、ゲノム解析の重要性はより広く認知されることとなり、ゲノムデータ解析研究の基盤である SHIROKANE への期待値・ニーズは、そのユーザ数や投入されるジョブ数の増加として現れています。2021 年の 1 年間に SHIROKANE のユーザは約 1,000 名増加しており、同時実行数はピーク時には 15,000 ジョブ、2021 年の年間実行ジョブ数は 5,100 万を超えました。データ解析のニーズと利用者の急激な増加に伴い、莫大な容量のデータを安定して蓄積し解析できるよう環境基盤を強化することは HGC にとって喫緊の課題でした。

今回の取り組み

2022 年 4 月に稼働を開始する Shirokane6 は、7,176 CPU コアの計算サーバ群と 24 PB の大容量高速ストレージを有し、さらに将来のデータ増加やネットワーク増強も可能な構成を採用しました。潤沢なジョブ実行環境を備えつつ長期的なシステム計画を見据えた構成としたことで、大学・企業・研究機関など多くのユーザの研究環境を継続してサポートすることが可能となると考えています。

計算サーバ群には、SHIROKANE で実行されるジョブの特性等、これまでの運用実績を基に 1 ノード当たり 128 CPU コアを搭載できる最新世代の CPU を採用し、高密度化することでジョブ実行効率の最大化を図りました。また、多コア・低消費電力である特徴を持ち HPC 分野で発展を遂げる Arm アーキテクチャを採用した CPU を搭載するサーバを SHIROKANE として初めて導入しました。従来の計算サーバ群と同じようにユーザが利用できる環境を整備し、SHIROKANE での有用性を見定める狙いもあります。

ストレージは前世代システムで安定的に稼働した超高速な分散ファイルシステムストレージを継続して採用しつつ、これまでの運用実績で負荷の高かったデータ格納用サーバ数を 1.6 倍に増強し、更なる安定稼働を図りました。また、SHIROKANE ユーザの増加に伴い年々増え続けた貴重な研究データを前世代システムから移行しました。移行に際しては、SHIROKANE ユーザが実行するゲノム解析ジョブやそのデータ I/O に影響を与えないよう配慮しつつ、18 PB を超える研究データを最大 448 並列で移行し、およそ 60 日間で完遂しています。

HGC では 2015 年に間接蒸発式冷却装置を国内で初めて導入しており、その後も省電力化したシステム運用を長年に渡り模索してきました。このたび Shirokane6 の導入時期と合わせて、モジュラー型間接蒸発冷却装置を調達し設置しました。この冷却装置は間接蒸発冷却技術により自由冷却時間を大幅に延長し自然の冷熱源を最大限に活用するものであり、国内では初導入される製品です。さらに、Shirokane6 の稼働にあわせて、SHIROKANE を冷却する際に発生する熱を建屋の館内暖房として利用可能とする取り組みもはじめます。HGC では、常に新たな試みを取り入れ、環境負荷の軽減にも継続して寄与していきます。

今後の取り組み

HGC は、SHIROKANE を最先端のゲノム研究の礎とし、超高速に全ゲノムシークエンスデータをはじめとするマルチオミクスデータの解析、生命科学分野におけるデータ解析が大規模かつ高速に可能な最新のデータ解析環境と、ユーザ目線に立った質の高いサービスをこれからも SHIROKANE ユーザに提供します。これにより日本の生命科学研究を大きく加速させ、個別化ゲノム医療の実現を通して医学の発展と社会に貢献していきます。

詳しくは東大医科研プレスリリースをご覧ください。