気象レーダー観測処理システム(Rader Observation and Processing System、以下、ROPSと称す)の更新整備において、従来からROPSが行っていた気象レーダーの観測データから各種プロダクトを作成する処理に加え、ROPSのプロダクトや他システムのプロダクトを利用し三次データのプロダクトを作成する突風等短時間予測システム（以下、突風システムと称す）の機能を統合した。また、システムは、別途気象庁が調達した「気象庁情報システム基盤」（以下、情報システム基盤と称す）と呼ばれる仮想化基盤上に構築した。

本文書では、このような機能統合や情報システム基盤上でのシステム構築で工夫した点、旧システムからの運用切替作業についての課題や解決方法について示す。

更新整備後のROPSはレーダー部と突風部で構成される。

レーダー部は全国20か所に整備された気象レーダー (図1)から観測データ(一次データ)を収集し不要なエコーを取り除くなどの品質管理処理や仰角合成等の各種データ処理を行っている。また、レーダー毎レーダーエコー強度データや、さらに全国の標準地域3次メッシュへ合わせ込みを行い全国合成レーダーエコー強度などの各種プロダクト(二次データ)を作成している。加えて、これら一次データや二次データ及び他のシステムから収集したデータを基に気象庁作成のプログラムを使用し三次データとなる各種プロダクトの作成を行っている。突風部ではレーダー部で作成された二次データや他のシステムのプロダクトから気象庁作成プログラムにより高解像度降水ナウキャストなどの三次データの各種プロダクトを作成している。

レーダー部及び突風部で作成した各種プロダクトは全国の気象官署に提供され、気象注意報・警報等の防災気象情報発表等の基盤資料となるとともに、防災関係機関、民間気象事業者等で広く利用されている。

図2に更新後のシステム構成概略を示す。

これらROPSで行っている各種プロダクトの生成等データ処理は中央処理局及びバックアップ局で行っている。中央処理局とバックアップ局はそれぞれ東京と大阪に配置され地理的冗長性が実現されている。どちらか一方の局が運用局、もう一方を待機局として運用を行っており、運用局が作成したプロダクトを他のシステムに配信している。待機局はホットスタンバイとなっており、運用局と同じくプロダクトの作成を行っているが配信は行っていない。ホットスタンバイとしている主な理由は、レーダーが観測した複数の仰角から作成するものなど経時的なプロダクトがあるため、災害等で局の切替を行った際でも直ちに継続してプロダクトを提供するためである。

更新整備は2023年5月に契約し開発を開始した。突風部は2024年3月、レーダー部は2025年3月にそれぞれ予定通り運用を開始した。

2.1レーダー部

気象レーダーはその性格上、山頂や離島などに設置されることが多く、通信環境が良好とは限らない。また、気象レーダーのデータは、降雨が観測されるとデータサイズが大きくなる。このため中央処理局とバックアップ局で同時に観測データを収集するのではなく、運用局のみレーダーから観測データを収集し、待機局に転送することで、待機局側でも観測データを用いたプロダクトの生成を行っている。また、このような通信環境であることから通常の通信回線のほかにほぼ全てのサイトに携帯電話網等を利用した回線がバックアップ回線として整備されている。このバックアップ回線は災害時だけではなくレーダー・サイトの遠隔監視・点検等にも活用されている。

レーダー部の監視局ではレーダー部自体の運用状況と同時に気象レーダーの運用状況の監視や遠隔制御が行われる。監視局の端末は四つのディスプレイを持つ監視端末を2台構成として冗長性を持たせたものと、作成したプロダクト画像やレーダーの運用状況を他の担当者と共有するための大画面端末で構成されている（図3）。監視端末には、気象レーダーの観測データの受信状況を示す受信状況画面、作成したプロダクトを他のシステムへ配信している状況を示す配信状況画面、気象レーダーとレーダー部の運用状況をビジュアルに表示する運用状況画面（図4）、及び運用状況の詳細を文字情報で表示する動作記録画面の四つの画面を四つのディスプレイに配置して常時監視を行い、必要に応じて設定変更等の別の画面を開く運用が行われている。

2.2突風部

突風部は直接観測機器のデータを取り扱わず観測系のシステム等からのプロダクトを受け取り三次データとなるプロダクトの作成を行っている。

突風部の監視局では、別のシステムと合わせて運用されており異常や警告が発生した場合、警報装置を介して報知を行う（図5、図6）。報知が行われると担当者により対処が行われるという形が通常の運用形態となっている。このような運用形態であることから、同所に設置されている別のシステムと運用状況画面の視認性や操作性を可能な限り統一し、システム間を跨って操作を行う際の状況の誤認や誤操作を発生させないことを優先した設計としている。

3.1共通化

契約当初、ROPSに突風システムの機能統合を行うことから、統合するシステム間で近しい機能については共通化を行い、容易な機能拡張性を実現し運用開始時期の違いを吸収することで統合メリットを出すことを検討していた。しかし突風部のシステム構成の設計や画面設計に伴う現業部門のヒアリングを進める中で、システム概要に示した突風部とレーダー部の運用の違いなど、共通化に運用上のデメリットが多く潜在していることが明らかとなっていった。

このことから、目に見える形での統合メリットではなく、プログラムの共通化による統合メリットを追求することとした。

図7に示すように、突風部とレーダー部で共通に存在する監視制御部、DB（データベース）処理部及び通信制御部は、各部専用の追加機能を除きほぼ共通のプログラムが動作している。各部に存在している運用状況画面の表現の違い、動作記録や送受信記録の見せ方や操作性など、突風部とレーダー部の違いはWeb画面のみで吸収している。

通信パラメータや配信先の追加・変更等の設定変更は、突風部とレーダー部で処理が異なる。突風部では、操作性を合わせた他のシステムと同様に、クラスタの待機系サーバを再起動することで設定を読み込み、さらに運用系に切替えることでシステムに反映される。一方、レーダー部では設定をシステムに登録した時点で動的に読み込まれ、配信開始操作を行うなど設定を有効化する操作を行うことで反映される。このように運用操作の違いから、レーダー部と突風部では画面上の操作やシステムの振る舞いが全く異なった別の画面に見えるが、画面の違いだけで、バックグラウンドで動作するプログラムは同じ動作をしており、設定をDBに登録した後に設定の有効化を自動で行うかどうかだけの違いとなっている。

3.2仮想マシンの構築

情報システム基盤上では、フェイルオーバー発生時の振る舞いを考慮し個々の仮想マシンはコンパクトにしておくことが理想と考えられる。これは物理サーバの保守点検時にも有効に働く。これを考慮し機能の細分化やマイクロサービス化を行った結果、中央処理局では突風部とレーダー部を合わせて物理サーバ25台に92台の仮想マシンを、バックアップ局では物理サーバ17台に62台の仮想マシンを搭載している。

中央処理局とバックアップ局で仮想マシンの台数が異なるのは、レーダー部が主な運用を中央処理局で行うことから従系であるバックアップ局に対してデータ処理などを行う仮想マシンを追加することで2系統としdualで動作させ可用性を向上しているためである。

154台の仮想マシンの構築にあたり、個別にOS等の設定を行うことは非効率である。このためまずはデータ処理や通信処理などから共通のOS設定や共通のミドルウェアを利用する等の基準を設けて4種に分類し先行して4台の仮想マシンを構築した。この4台を仮想マシンのテンプレートとして展開、その後個別の設定を行い作業の効率化を行った。

3.3仮想化基盤への適用と可用性の向上

プロダクトの生成・配信に直接かかわらないレーダー部の観測所管理部を除きすべての部は可用性を高めるため、それぞれの処理内容に応じて、dual構成やMaster/Slave構成、(N/N+1)構成、縮退動作を行うよう設計している。

通信制御部では他のシステムとの通信を行うことからROPS側が接続を受ける通信についてはMaster/Slave構成としてMaster側に代表IPアドレスを付与しどちらの仮想マシンがMaster動作をしていても同じIPアドレスで接続ができるようにしている。また、気象レーダーのデータを収集する機能を搭載している仮想マシンは、通信環境等の制約からMaster/Slave変換を約30秒で終える必要があるが、これを障害の検出周期を10秒として20秒以内に障害を検出、Master/Slave変換を10秒で行う独自のクラスタ管理機能を構築して対応している。

配信を行う機能はマイクロサービス化したプログラムとして複数の仮想マシン上で動作させている。障害等で動作できない仮想マシンが存在する場合は縮退し配信を継続するよう設計している。

レーダー部の中央処理局データ処理解析部では同じ構成の処理系を二つ用意したdual構成としている。（図8）。データ処理解析部では1仰角ごとに行う各種データ処理に加え、複数仰角のデータから仰角合成を行ってレーダー毎レーダーエコー強度データを作成しさらに全国の標準地域3次メッシュへ合わせ込み全国合成レーダーエコー強度データを作成している。この一連の処理は作成したプロダクトをリアルタイムに配信する必要から仰角ごとの観測データを収集する都度、逐次処理を行っている。このため障害検出時に運用系の切替が発生した場合、切替後の運用系で過去の観測データの処理を追加で行うなど追加の処理を行う必要が生じて現実的ではない。このことから、dualで動作を行い両方の処理系でプロダクトの作成を行うこととしている。

作成したプロダクトは、先勝ちでどちらか一方の系からのみ配信している。障害が発生した場合プロダクトの生成が停止したり、プロダクトの保存処理に時間がかかったりする事象が現れ、障害が発生した系のプロダクト生成は正常な系のプロダクト生成に比べて遅延することから、先勝ち配信を行うことで正常に処理されたプロダクトが配信される。また、データ処理解析部は1つの系で14台の仮想マシンを利用し分散して処理を行っているが物理サーバの異常などで一部の仮想マシンが停止しても縮退動作を行う。障害を検出した場合、次の10分観測周期から異常な仮想マシンを切り離し縮退して処理を継続する。バックアップ局はdual構成ではなくsingle構成になっているが縮退動作を行うため障害が発生しても処理を継続することができる。

3.4サービスメッシュ

従来の同様システムでは仮想マシン間のファイル共有にNFS(Network File System)を利用していた。今回の更新整備ではデータ処理や配信機能のマイクロサービス化による共有する仮想マシンの数の増加及び気象レーダーの二重偏波化に伴い、従来から課題となっていたファイル共有のリアルタイム性に対応したポーリング・リトライでは処理遅延の原因にもなり、改善が必要となっていた。

このため、今回の更新整備にあたり、個別仮想マシンのファイルシステム上にファイル検出転送サービスを常駐させサーバ間を網目状に接続することでファイルを転送するサービスメッシュを構築した（図8）。

受信した観測データや作成したプロダクトのファイルをリソースとしてとらえURI (Uniform Resource Identifier)で表現しデータ制御中枢機能に通知する。データ制御中枢機能では、URIに記載されたリソース情報から必要なサーバを判断し転送する。例えば転送を受けた仮想マシンが配信機能の場合、通知されたプロダクトを自身のサーバに取得して配信先の他システムにFTP（File Transfer Protocol）で配信する。

このようにサービスメッシュを構築したことで従来システムと比較してもプロダクトの生成完了から配信まで1～2秒程度の高速化を実現している。

3.5プロダクトの蓄積

突風部では、10分間に約180のファイルを収集、都道府県別等約900のプロダクトを作成し、約2,400のファイルを配信している。レーダー部では、気象レーダーの観測データを含め10分間に約3,700のファイルを収集、レーダー別データや全国合成等作成するプロダクトは約15,000になる。各プロダクトの生成には中間データと言った一時ファイルも作成し、現業業務でのレーダー観測品質確認や作成したプロダクトの確認に利用する画像も同時に作成している。また、レーダー部に割り当てられている統合ストレージは1.6PB(ペタバイト)の容量があり他のシステムのプロダクトも合わせて蓄積を行っている。このように、取り扱うファイル数は10分間で約70,000ファイルにおよぶ。

気象レーダーから観測データを収集した直後は品質管理やプロダクトの作成などの処理を行うなどファイルシステムへのアクセスが多い。また、作成したプロダクトは予報業務で過去3時間分の繰り返し動作再生で現況のモニタがされる。このように、現在から近い時刻ではファイルシステムに対するアクセスが多いが、時間の経過とともに徐々にアクセス頻度が下がっていく。

このような特性に合わせ蓄積するストレージを使い分け、収集直後の中間データを利用する処理や業務利用の頻度が高い過去1日分については全てをサーバ占有のローカルストレージに保存し、最終生成物となるプロダクトは情報システム基盤が用意する統合ストレージに蓄積する。

統合ストレージには先に述べた1.6PBのオンライン蓄積のほかに、約一か月間蓄積し磁気テープ（LTO（Linear Tape-Open））へ保存するためのプロダクトストレージと呼ぶ領域があり、その双方に蓄積を行っている。プロダクトストレージに保存したプロダクトはレーダー部端末で直接参照することが可能で、LTOに収録が完了したプロダクトは順次自動で削除していき常に約一か月分を蓄積した状態としている。

突風部、レーダー部ともに旧システムからの運用切替予定日の一か月程度前から慣熟運用を開始した。この慣熟運用は他のシステムの都合や回線の接続形態によりデータを流せない場合を除き新システムでは全て実データを利用してプロダクト等データ処理を行い現業業務担当者の慣熟を主たる目的として行ったものである。実データを使いプロダクトの作成を行っていることから慣熟運用に合わせて開発側としてはシステムが作成したプロダクト等の旧システムと比較検証などを行いシステムの品質確認を並行して実施した。

このように慣熟運用時にプロダクト作成については運用状態となっていることから、旧システムからの運用切替は、新システムで作成したプロダクトの配信を開始するということとほぼ同じ意味合いになる。

4.1突風部の運用切替

突風部は主に三次データの作成を行っており、規定の配信を行っていることから、配信を行っていない時間帯があり、通常運用においても10分周期の処理の中で4分00秒に局の切替を行う運用が行われていた。

新システムの切替においても同じ時間に通常の局切替と同様に手動による配信の一括制御を利用して行った。新システムでの配信開始操作を実行後、旧システム側で配信停止を行った。

4.2レーダー部の運用切替

レーダー部は10分間の観測周期で常に気象レーダーから一次データの収集を行っている。また、サイト毎仰角毎データなどの二次データ及び三次データを10分間常に配信を行っている。

運用切替にあたって気象レーダーの接続先を新システムに切替える接続変更とレーダー部から他のシステムに行なっている配信の切替を同時に行った場合、気象業務へ影響を与える障害の発生リスクが高いと考えられた。このため、気象レーダーの接続変更と配信切替を別日に実施することとし、事前に気象レーダーの接続を新システムに接続変更、中央処理局・バックアップ局間の観測データ転送機能及び配信機能を利用して旧システム側の運用を継続させた状態とした上で、運用切替予定日当日に配信を新システムから開始する二段階の作業とすることが気象庁により定められた。

4.2.1気象レーダーの接続変更

気象レーダーの新システムへの接続変更は、全国的にレーダーエコーが少ないいわゆる天気が良い日を選んで実施された。１日で全レーダーの接続切替を終わらせるために二つの気象レーダーの接続切替作業を同時に実施し正常性の確認、正常性が確認できると次の二つの気象レーダーを接続切替するという手順を繰り返した。二つの気象レーダーの組み合わせは、万が一切替作業やレーダー部側の処理の問題が生じて、旧システムが作成するプロダクトに一次データが欠けたことによるレーダーの覆域の空白が生じない様、隣り合わないレーダーが選択されている。

気象レーダーの切替完了時点では、新システム側中央処理局が気象レーダーから観測データを収集しており、そこから新システム・バックアップ局と旧システム中央処理局へ転送し、旧システム・バックアップ局へは旧システム中央処理局から転送を行っている状態となった。運用（配信）は旧システム中央処理局で行っている。旧システム中央処理局と物理的に直接接続している他のシステムや接続回線が分岐できないなど制約がある回線についてはこの時点では接続切替を行わず旧システムと接続したままとなっている。バックアップ局では同様の回線については新システム側に接続切替を行っている。また、新システム側の配信設定は全て「クローズ」設定とし新システムの両局とも配信は行わない設定となっている。

4.2.2配信切替と運用開始

事前準備としてバックアップ局の配信設定を全て「クローズ」から「オープン」に設定変更を行った。この時点では新システムでは中央処理局が運用局の設定となっているため、バックアップ局は配信を行わない。

運用開始となる切替当日10時00分にまず新システムのバックアップ局を「運用局に切替える」操作を実行し配信を開始した。この時点で、新システム・バックアップ局が気象レーダーの観測データの収集と作成したプロダクトの配信を行い、新システムでの運用を開始した状態となった。

新システム・バックアップ局で運用を開始し動作状況の確認を実施している間に、旧システム中央処理局に接続されていた直接接続の他のシステムとの物理回線の接続切替を行った。また、合わせて中央処理局の配信設定を「オープン」に設定変更をしている。

16時00分に新システム中央処理局へ運用局切替を行った。その後すべての機能の正常性確認を行い新システム全体で無事運用できることが確認できた。その後翌日までの待機期間を経て気象庁のみでの確認期間に入った。約3日後運用に供することに「問題無し」と判断いただいた。

ROPSの更新整備は気象庁のご指導の下、約2年間の開発期間を経てすべての機能の運用を無事開始することができた。ROPSは突風システムとの機能統合により気象庁内製プログラムと合わせて気象レーダーの一次データから高解像度降水ナウキャストなどの三次データまでを提供する従来にも増して非常に重要なシステムとなった。運用開始以降も運用支援・保守業務を通してシステムの安定運用に貢献していきたいと考えている。

• [1]気象庁：気象レーダー観測について
  https://www.jma.go.jp/jma/kishou/know/radar/kaisetsu.html
• [2]気象レーダー観測処理システム(ROPS)の開発
  MSS技報 vol.30
  https://www.mesw.co.jp/technology/archives/techlib-mss_30_05.html