産総研、1兆レコードの家庭エネルギーデータ解析を高速化　最大6時間から30分に短縮

　産業技術総合研究所（産総研）は、家庭エネルギー研究データの分析基盤として「Snowflake」を採用した。9月2日、Snowflakeが発表した。元データをオンプレミス環境に保持したまま、大規模な計算や解析処理をクラウドで実行するハイブリッド戦略を構築。従来は最大6時間を要していたデータ解析を30分から1時間に短縮した。脱炭素社会に向けた研究開発の加速につなげる。

　産総研のゼロエミッション国際共同研究センターは、スマートメーターや給湯器、空調機器、太陽光発電、蓄電池などから収集した20万世帯分、10年超に及ぶ家庭エネルギーデータを活用し、データ駆動型の省エネや脱炭素社会システムの構築を目指す研究を進めている。

　同センターでは、制御や予測の精度を高めるためにデータの収集間隔を短縮した結果、データ量が数百億から1兆レコード規模へと急拡大していた。2021年に整備したオンプレミスの計算基盤では処理能力と拡張性が限界を迎えていたほか、数年ごとのハードウェア更新に伴う予算確保の不確実性や、大容量データの運用に伴う物理的な制約が課題となっていた。一方でクラウド移行にあたっては、予算変動によってデータを保持できなくなる消失リスクが懸念されていた。

　そこで同センターは、元データはオンプレミス環境に保持して永続性を担保しつつ、大規模な計算や解析処理にSnowflakeを活用するハイブリッド戦略を採用した。VPNとAWS PrivateLinkを組み合わせ、既存のスーパーコンピューターの延長上でパブリックインターネットを経由せずに接続できる環境を構築。データをローカル環境に引き出さず、計算処理をSnowflake上で完結させる運用を徹底した。

　採用にあたっては、インフラ管理の手間を抑えて研究に集中できるフルマネージドサービスである点や、処理規模に応じてリソースを柔軟に変更できる弾力性を評価した。政府情報システムのためのセキュリティ評価制度（ISMAP）に対応している点も選定の要素となった。システムの導入と構築は、Snowflake認定パートナーのDATUM STUDIOと同社子会社のちゅらデータが支援し、約2カ月で本番環境を整備した。

　Snowflakeの稼働により、従来は最大6時間を要していた解析処理が30分から1時間に短縮された。また、全国の住宅データと気象衛星「ひまわり」の観測データ約500億レコードを組み合わせた日射量計算も3時間から4時間で完了するなど、超大規模な複合解析が可能になった。処理内容に応じたリソースの自動調整や、組み込みAI機能との連携によって強化学習AIモデルの開発基盤も整った。

　今後は、機器の外部制御による省エネや異常検知による生活インフラの安全性向上といった技術の社会実装を目指す。企業との共同研究の推進や、AIを活用したデータ問い合わせシステムの構築を進める。

ニュースリリース