2022年度 三菱電機ソフトウエア技術レポート
先進レーダ衛星 利用・情報システムの構築
1. まえがき
先進レーダ 衛星利用・情報システム（以下、A4EICSと称す）は、運用中の地球観測衛星 陸域観測技術衛星2号（ALOS-2）と今後打ち上げ予定の先進レーダ衛星（ALOS-4）の2つの衛星を対象とした、観測要求の受付／管理や、観測データ（プロダクト）の保存／提供を行う地上システムである。
本書にてプロダクトとは画像データを指す。
観測要求の受付やデータ提供等のサービスはインターネット上で全世界へ公開するため、日本語版と英語版を用意している。（図 1、図 2）
図 1. A4EICS プロダクト検索画面（日本語）
図 2. A4EICS プロダクト検索画面（英語）
2. システム構成
図 3. A4EICS システム構成
A4EICSは拠点間冗長を組んでおり、主系は埼玉県比企郡鳩山町の地球観測センター（EOC）、従系は茨城県つくば市の筑波宇宙センター（TKSC）に設置している。各拠点の計算機はインターネットからアクセスされる公開系エリアと、DB・データを保存する非公開系エリアとを物理的に分け、その間にファイアウォールを設置した高いセキュリティを持つシステムである。また、大量の観測データを保存するため、最大16PBの巨大なストレージを有している。（図 3）
本章では、A4EICSのシステム構成として特徴的な冗長化による高い耐障害性と巨大ストレージの高速アクセスについて説明する。
2.1 冗長化による高い耐障害性
A4EICSでは先述の拠点間冗長に加え、主系の各機器については機器間冗長を組んでいる。
これにより、A4EICSのトータルシステムとしての稼働率（アベイラビリティ）99.999%以上を実現している。
本節ではA4EICSの拠点間冗長、機器間冗長について説明する。
2.1.1 拠点間冗長
図 4. フェイルオーバー構成概要
拠点間冗長は主系／従系に1台ずつ設置したGSLB（Global Server Load Balancing）装置を用いて実現している。各GSLB装置は主系サービス（主系負荷分散装置に設定された公開系仮想サーバIPアドレス）及び従系サービス（公開系Web+FTPサーバのIPアドレス）に対して監視を行い、GSLB装置間は内部プロトコルiQueryにて監視情報及び設定の同期を行っており、主系サービスのダウンが一定期間継続したことを検知すると、フェイルオーバーを実施する。
フェイルオーバーは完全に自動で実施され、ユーザ側は切り替えの際、何も実施する必要はなく、従系にアクセス可能となる。（図 4）
2.1.2 機器間冗長
A4EICSの主系では、基本的に全ての機器を複数台用意し機器間冗長を組んでいるが、機器ごとに冗長化の方式は異なる。（表 1）
本項では、各冗長化方式の中で特徴的な主要サーバの冗長化方式とDBサーバの冗長化方式について説明する。
| 機器種別 | 冗長化方式 |
|---|---|
| ファイアウォール | ファイアウォール装置機能によるアクティブ-スタンバイ方式 |
| 負荷分散装置 | 負荷分散装置機能によるアクティブ-スタンバイ方式 |
| スイッチ | スタック構成を構築 |
| 主要サーバ | HAクラスタリングによるアクティブ-スタンバイ方式 |
| 認証サーバ | マルチマスタレプリケーション構成 |
| DBサーバ | PG-REXによる冗長化構成 |
| NFSサーバ | OSSを用いたHAクラスタリングによるアクティブ-アクティブ方式 |
| ストレージ | 複数コントローラ搭載による冗長化アクティブ-アクティブ方式 |
表 1. 機器ごとの冗長化方式
- （1）主要サーバの冗長化方式
主要サーバはHAクラスタリングを実現するためにPacemaker+Corosyncを用いた。
冗長化するサーバに対して代表となる仮想IPを用意し、通常時はActive側の計算機に、異常検知時はStandby側の計算機に自動設定される。
ハートビート通信等によるサーバ状態の監視（サーバ間の直接接続によるネットワーク状態に依存しない相互監視）、サーバ間の共通リソース（ネットワーク、ローカルディスク）の監視に加え、各サーバ固有の監視（WebサーバではApacheサービスの監視等）を実施している。
Standby側が異常を検知した場合、Active側の各リソースを停止させて、Standby側に仮想IPを付け替えて各リソースを立ち上げ、Standby → Activeに切り替わる。
図 5. Pacemaker+Corosyncによる冗長化方式（例：Webサーバ）
- （2）DBサーバの冗長化方式
DBサーバはPostgreSQLの同期レプリケーションにPacemakerを組み合わせた高可用ソリューションであるPG-REXを使用している。
これにより各リソースの監視だけではなく、DBデータの同期も行い、Standby側に切り替わった際も即時利用可能としている。データの同期は、SQL間のレスポンス時間、マスタ側の負荷等を考慮し、主系Active-Standby間は同期レプリケーション、主系／従系間は主系Standbyと従系との非同期レプリケーションにて実現した。
図 6. PG-REXによる冗長化方式（DBサーバ）
2.2 巨大ストレージの高速アクセス
A4EICSでは大量の観測データを保存するため、巨大なストレージが必要となる。運用開始後もシステムを停止せずに容量拡張可能としており、段階的に拡張して最大16PBとなる。
アクセスには高速分散ファイルシステムであるDDNのGRIDScalerを使用し、ストレージとの接続はInfiniBand（IB）ネットワークを使用することで、巨大ストレージに対して4.0GB/secの高速アクセスを実現する。
図 7. GRIDScalerによるストレージシステム
3. 機能概要
図 8. サブシステムと共通部品の分類
A4EICSは、外部ユーザ向けの要求・提供のためのWebアプリケーションやそのユーザ管理に加え、衛星システム側への各種IF、衛星からの観測データを画像化するための処理SW等、機能が多岐にわたっており、4つのサブシステム（SS）と共通部品により構成されている。（図 8、表 2）
| 名称 | 概要 |
|---|---|
| 運用管理SS | 外部システムとのIFとユーザ情報等を管理。 |
| 計画SS | 観測要求を基に外部システムと連携して観測計画を立案。 |
| 処理SS | 観測データ処理を実施し、画像データ（プロダクト）を作成。 |
| 提供SS | 外部ユーザとの窓口。観測要求・プロダクト要求の受付、観測データ等の提供を実施。 |
| 共通部品 | 画面、Webアプリケーション DB（データベース） アーキテクチャ（HW／SW間を繋ぐミドルウェア、COTS等） SI（HW、システム機器設定等） |
表 2. サブシステムと共通部品の概要
上記のうち代表的な機能について説明する。
3.1 観測要求、プロダクト要求受付
図 9. 観測機会検索画面
ユーザや外部システムから地球上のいつ・どこで・どのような観測方法での画像データが欲しいのかの観測要求を受け付ける。この際、地図上にどのエリアが観測可能なのかを視覚的に確認しながらの操作を可能としている。（図 9）
また、衛星側が観測済みのデータに対して画像データを要求するプロダクト提供要求を受け付ける。
3.2 観測計画立案
図 10. 観測計画立案画面
外部システムと連携し、受領した全要求から衛星側の観測計画を立案する。この際に、受け付けた観測要求が不採用になることもあり、各ユーザにその旨の通知も実施する。最終的な観測計画を画面に表示することで、A4EICSの運用者が、立案内容の確認を容易にできるようにしている。
3.3 プロダクト作成、提供
観測計画立案を実施して採用された要求が衛星側にて観測され、地上局にダウンリンクされた後、A4EICSに生データが提供される。その生データから処理SWを用いて画像データを作成し、要求していたユーザに対して提供を実施する。
4. 開発経緯
A4EICSは一般的な開発プロセスである要求分析、設計、製造、ソフトウェア試験（A4EICS単体）、システム試験（外部システムと繋いだ総合的な試験）という流れで実施した。
2017年12月に受注し、丸4年かけ開発を実施し、2021年12月に開発完了審査が完了した。
次節以降に各開発プロセス時の経緯を示す。
4.1 要求分析（2018/01～2018/05）
要求分析の期間等が少し短かったと感じている。このフェーズで事前に実施して良かったことは、まず4つのサブシステムの機能範囲の明確化と、加えて共通機能のチーム化、担当者のアサインができたことであり、以降のフェーズでのスムーズな開発に繋がった。
また、このフェーズにて品質保証部門と協力して、各フェーズでの詳細な品質指標を明確に定義できたため、以後の各フェーズ移行時での品質評価の判断をスムーズに行うことができた。
4.2 設計（2018/05～2019/01）
設計の途中段階で、資料ベースの画面確認会を計5回実施した。その参加者は直接の顧客である国立研究開発法人宇宙航空研究開発機構殿（以下、JAXA殿と称す）だけに限らずに、A4EICSを実際に使用する外部のエンドユーザ殿にもご協力いただいた。設計完了前に実施したことで、設計不備や追加要望等の生の声が聞け、設計作業が加速できた。
4.3 製造（2019/01～2020/02）
製造の途中段階で、画面のみ実際に動作する画面プロトタイプ確認会を計5回実施した。前フェーズでご参加いただいたエンドユーザ殿にも再度ご協力いただいた。実際に動作する画面を見ながら議論を重ねることで、こちらの設計思想、方針の伝達と、設計結果の確からしさを事前に確認できたのは大きかった。
4.4 ソフトウェア試験（2020/02～2021/03）
本フェーズが今回のプロジェクトでの最大の山場であった。約400ケース試験シナリオ詳細検討、外部システムを模擬するためのシステム構築・データ作成、サブシステムを繋いだ事による不具合多発等、各種問題が発生した。各問題の優先度を明確化し、計画をその都度修正・周知することで、完了できた。
設計段階で試験シナリオの具体的な検討とサブシステムへの展開、外部模擬システム、模擬データ作成について製造段階から実施する計画策定、複数のサブシステムが関わる複雑な機能や、時間や状況により変化する部分はICD（Interface Control Document）だけでなく、データフロー、ステータスシーケンス等の図を作成し周知する等の今後のプロジェクトへの教訓が多く得られた。
4.5 システム試験（2021/03～2021/12）
前フェーズの試験作業を確実に実施したことで、外部システムと繋いだ試験において、A4EICS起因の大きな問題は起きなかった。また、各外部システムと接続するインテグレーション試験では、作成する各種資料や、作業の流れを最初に確立したため、インテグレーション試験が並行する計画を組んでいたが、大きな混乱もなく進められた。
全体システムを繋いだ試験では想定外の事象が多く発生した。ただし、より運用に近いシナリオ、データにて試験が実施できたため、運用に向けた安心感を得ることができた。
4.6 運用準備（2022/01～現在）
開発完了審査会の完了後は、実際の運用に向けた準備作業を進めている。その中で、A4EICSの運用者やエンドユーザに対して、各シナリオに応じた試用を実施中である。画面プロトタイプ確認会とは異なる形をとり、事前に用意した具体的なシナリオ、及びデータを連動させて実施する。これをユーザと開発者が確認し進めることで、運用後に出てくる意見が抽出できている。運用前に本試用を複数回実施し、より良いシステムを目指している最中である。
5. むすび
衛星の画像データは災害の状況把握、防災のためだけでなく、地図作成、資源探査、防衛等と活用用途は広がってきている。それらの窓口となる衛星地上システムは迅速性、確実性が求められ、衛星の最終的な成果をユーザに提供する重要なシステムである。また、直接ユーザの意見を聞くことができ、ユーザの目標達成のための解決方法を検討し、衛星との懸け橋となるシステムである。
今後も三菱電機ソフトウエア株式会社ならではの新たな価値の提案を続け、衛星地上システムを通しユーザの目標達成を助け、よりよい社会のための一助となっていきたい。
最後に、先進レーダ衛星 利用・情報システムの開発に際し、多大なご指導を頂いたJAXA殿の関係各位に深く感謝する。
| 【商標】 |
ALOSは、国立研究開発法人 宇宙航空研究開発機構の登録商標である。 |
|---|