研究開発された技術紹介

スマートNetwork Interface Card/Solid State Driveを用いた、超高速かつ低消費電力のInternet of Things/Machine-to-Machine向けデータベースシステムの開発を行った。本研究では、Graphics Processing Unitを用いた大量データ処理システムであるPG-Stromを改良し、Smart Processing Unit/Data Processing Unitデバイスを用いたSQL処理のオフロードに対応させることを目標とした。また、テストケースの整備などPG-Stromの安定性・信頼性を改善し、実用水準にまで引き上げ、当該技術を実際のMachine-to-Machineデータ(すばる望遠鏡観測データ; 17TB)で実行し、その効果を実証した。さらに先端ユーザとのProof of Conceptを通じて、ユーザ課題の把握と製品化に向けた運用ノウハウを蓄積した。

本研究では、Data Processing Unit/Smart Processing Unitに対応したPG-Strom v5.0のリリースを中核として技術開発を行った。従来のCUDA C++ネイティブコードから、Graphics Processing UnitとData Processing Unit/Smart Processing Unitで共通に使用できるポータブルな疑似コードを使用する方式に変更し、PostgreSQLバックエンドとCUDAランタイムを密結合から疎結合へ変更した。また、PG-Stromの機能・品質改善として、リグレッションテストを開発し約300件のバグを修正した。さらに新機能として、Graphics Processing Unit-SortとWindow関数への対応、Arrow_Fdwにおける統計情報と仮想列のサポート、Pinned Inner Buffer機能によるLarge Tables JOINの実装を行った。Smart-SSDによる性能検証では、NGD Systems社製のSmart-SSDおよびRock5b評価ボードでのベンチマークを実行し、その有効性を確認した。

PG-Strom v5.0のリリースにおいて、Graphics Processing UnitとData Processing Unit/Smart Processing Unitで共通に使用できる疑似コードを使用する方式への変更と、独立したGraphics Processing Unit-Serviceが統括する疎結合方式の採用を実現した。国立天文台データを用いた実機検証では、Graphics Processing Unit版PG-Stromを用いて23TBの測定データを検索するクエリ8本による検証を行い、最大で1,246倍の性能向上効果を実証した。Smart-SSDでの実機検証では、現状では省電力ARMプロセッサの処理能力は見劣りするものの、リニアなスケーラビリティを実現可能であることを示した。また、先端ユーザとの実機検証として、キオクシア株式会社とのSmart-SSD検証および東京大学・関西学院大学とのMDX導入実証を成功させた。

Internet of Things/Machine-to-Machine向け適用では、国内大手システムインテグレータとの共同による技術検証および社製アプリケーションを対象としたProof of Conceptを進めており、Internet of Things/Machine-to-Machineデータを機械学習に投入する際の前処理への活用を検討している。ゲノムデータ探索分野では、国内大手システムインテグレータとの共同で、Apache Arrow形式にコンバートしたゲノムデータの検索処理の高速化に取り組んでいる。国立天文台での観測データ分析では、すばる望遠鏡で撮影した高解像度の画像データのメタデータを保存、管理するシステムにおいて、大規模なメタデータの管理と高速検索を実現している。さらに大学・研究機関でのデータプラットフォームとして、データ活用社会創成プラットフォーム(MDX)などのクラウド型データ解析環境での利用も進められている。

現在、複数の分野での事業化に向けた取り組みが進行中である。Internet of Things/Machine-to-Machine向けには国内大手システムインテグレータと共同で技術検証および社製アプリケーションを対象としたProof of Conceptを進めており、Internet of Things/Machine-to-Machineデータを機械学習に投入する際の前処理への適用を検討している。ゲノムデータ探索分野では、国内大手システムインテグレータと共同で、Apache Arrow形式にコンバートしたゲノムデータの検索処理の高速化に取り組んでいる。また、学術系の大規模なクラウド型データ解析環境「データ活用社会創成プラットフォーム(MDX)」にPG-Stromを持ち込み、実証試験を行っている。これらの取り組みを通じて、実用化に向けた課題の把握と解決策の検討が進められている。

本システムの最大の特徴は、国立天文台の23TBの測定データを用いた実機検証において、従来比最大1,246倍の性能向上を実証したことである。多数のサーバを用いた並列分散処理と比べて、総体として省サーバ・省電力での大量データ処理を実現し、Graphics Processing UnitだけでなくSmart Processing Unit/Data Processing Unitといった異なるプロセッサにも対応したヘテロジニアスコンピューティングを可能とした。Smart-SSDを複数台使用することでリニアなスケーラビリティを実現し、Internet of Things/Machine-to-Machine分野で重要な時系列データの効率的な処理を可能にするApache Arrow形式にも対応している。これらの特徴により、従来のデータ処理システムでは困難であった大規模データの高速処理と省電力化を同時に実現している。

クラウド環境により適したPG-Stromアーキテクチャの改良を進める計画である。具体的には、クラウド環境では Hardware構成が自由にならない事が大半である一方、Graphics Processing Unitのように高価なデバイスは複数のユーザで共有する事でコストを下げられるというメリットがあることから、相対的に低速なクラウド環境のストレージでInput/Output速度を稼ぐために、圧縮効率の高いApache Parquetフォーマットへの対応を進める。また、オンデマンドでGraphics Processing Unitを使用するためのGraphics Processing Unit-Serviceのリモート対応も進める予定である。Data Processing Unit版PG-Stromによってシングルノードで60GB/sのデータ処理速度は近い将来に達成可能であると結論付けている。

機材の入手性の問題により、本研究において目標としていたシングルノードで60GB/sという目標性能を実証する事はできていない。NGD Systemsの営業担当者からは、Central Processing Unitを新世代のARMプロセッサに刷新した新製品を予定しているとの情報を入手していたが、2023年9月に同社は全従業員を解雇し事業を中止することとなったため、予定していた新製品を入手する事ができなくなった。同社の競合であるScaleFlux社も従来製品のField-Programmable Gate Arrayを使う方針を転換し、2023年に発表したCSD3000世代ではARMプロセッサを搭載したSmart-SSD製品を市場に投入しているが、まだ開発環境は一般のユーザがアクセスできる状態にはなっておらず、本プロジェクト期間中に利用できる見通しが立たなくなった。このような機材調達の課題が今後の実用化において重要な要因となっている。