このページの本文へ

ここから本文

2023年度 三菱電機ソフトウエア技術レポート

衛星を用いた船舶の高速検出技術

【執筆者】

電子システム事業統括部 鎌倉事業所 宇宙第二技術部
進藤 嘉邦
西村 健志

【概要】

日本の海洋権益を守るためには重要海域を宇宙から高頻度に観測し、観測画像から船舶を抽出するのに要する時間を極力短縮することが求められる。従来の船舶検出手法を用いて画像全体の船舶検出を行うのは時間がかかるが、「船舶の有無」を先に判定し、「船舶有り」の領域に対してのみ従来手法を用いることにすれば、効率的・高速に船舶検出ができると考え、本稿で紹介する手法を考案した。今後、船舶監視機能を有する地上のシステムへの導入や、衛星オンボード処理への搭載などを推進する予定である。

1.まえがき

図 1 衛星による現状の海洋監視

図 1 衛星による現状の海洋監視

日本の海洋権益を守るためには衛星を用いて重要海域を高頻度に監視することが有効である。そのためには、衛星の数を増やすだけではなく、図 1に示す①画像化から⑥コマンド送信までの処理時間を可能な限り短縮する必要がある。

現在、これらの処理は全て地上設備で行われている。図 1に記載されている処理のうち、船舶検出は10分間以上の時間を要している(ALOS-2(だいち2号)の高分解能モードにより観測された画像の場合)。船舶検出などの処理を高速化したとしても、衛星が地上局の付近にいないと観測データや観測コマンドの伝送ができない。そのため、地上局が数多く存在しないと観測機会を逃してしまう。図 1の場合、衛星1の観測結果に基づいて衛星2に対して観測コマンドを伝送しているが、衛星2が船舶を観測するのは早くとも次の周回(約100分間後)になってしまう。

図 2 海洋監視の未来像

図 2 海洋監視の未来像
(オンボード処理と衛星間通信による
自律式の船舶追尾システム)

地上設備で実施されている処理を衛星内部で可能な限り行い(オンボード処理)、情報伝送を衛星間で行うようにできれば、地上設備を介さずに船舶検出・追尾が可能となる(図 2)。

そのようなシステムの実現を未来像とし、課題解決の一歩として、高速、かつ、オンボード搭載に適した軽量な(演算量の少ない)船舶検出の自主開発を行った。

2.SAR衛星による船舶監視

レーダーを搭載した衛星による観測には、定期的に任意の地点を観測できる周期性、及び、昼夜天候問わずに広い範囲を観測できる広域性という利点がある。また、合成開口(Synthetic Aperture)と呼ばれる技術を使用することで、高分解能な観測が可能である。本章では、衛星に搭載された合成開口レーダー(Synthetic Aperture Radar。以降SAR)による観測、及び、SARにより撮像された画像から船舶を検出するアルゴリズムを紹介する。

2.1 SARについて

図 3 SAR観測のイメージ

図 3 SAR観測のイメージ

SARは高速飛行するプラットフォーム(衛星等)からパルス状の電磁波を発出し、観測対象を連続的に観測する(図 3)。連続観測したデータはプラットフォームと観測対象の距離の変化に応じた周波数の変調(ドップラー効果による変調)を受ける。このデータに対して相関処理を施すことで高分解能な観測を達成することができる。これを合成開口処理という。

SARによる観測データは様々な分野で活用されている。以下に代表例を挙げる。

(1) 陸域における利用分野
森林監視(伐採や火災による森林の減少)、地震や火山活動等による地盤変動の監視、土地利用状況の把握、土砂や浸水等の災害状況の把握、等。

(2) 海域における利用分野
油流出(オイルスリック)の検出、海氷監視、船舶監視、等。

図 4 200kmと700kmのサイズ感

図 4 200kmと700kmのサイズ感

近年、衛星SARの観測幅は拡大しており、2023年度内打ち上げ予定のだいち4号(ALOS-4)では通常モードで約200km、最大で700kmの観測幅となり(図 4)、データ容量も多くなる。そのため、あらゆる処理に対して高速化が求められる。

2.2 船舶検出の原理と方法

SARによる船舶の観測、及び、観測された画像から船舶を検出するための代表的なアルゴリズムについて説明する。

2.2.1 船舶と海の散乱メカニズム

海上におけるSAR観測では、海面からの表面散乱、海面と船舶等の間で発生する二回散乱、船上構造物からの直接散乱の3つの散乱メカニズムが支配的である(図 5)。これらのうち、二回散乱と直接散乱は船舶からの反射であり、多くの場合は海面からの表面散乱よりも散乱強度は大きく、画像上では明るく映る。(図 6)。

図 5 船舶と海の散乱メカニズム

図 5 船舶と海の散乱メカニズム

図 6 ALOS-2/PALSAR2の画像例

図 6 ALOS-2/PALSAR2の画像例(1)

2.2.2 主な船舶検出アルゴリズム

図 7 CFAR処理のイメージ

図 7 CFAR処理のイメージ(2)

一般的に用いられている船舶検出の従来手法としてCFAR(シー・ファー:Constant False Alarm Rate)がある(2)。そのほかにも、最近では深層学習を利用しているシステムも登場している。

ここでは図 7を用いてCFARについて説明する。CFARでは船舶の周辺(リファレンス)の平均値を算出し、明るさを平均値で規格化する。これにより、海の明るさが波高やうねりに依存せず、ほぼ一定となる。尚、図 7右上において、ガードはターゲット(船舶)とリファレンス(海)の境界に設置し、平均値の計算には含めない。ガードを設置することで船舶と海の境界(混合領域)の影響を避けることができる。

図 8 CFAR処理(2次元)

図 8 CFAR処理(2次元)

実際には画像が2次元なので、ターゲット・リファレンス・ガードも2次元で設定する(図 8)。これらの処理は、画像上の探索領域(図 8の各セル)を1画素ずつずらして計算する。SAR画像は数万×数万個の画素があり、処理には時間がかかる。

3.船舶検出の高速化手法

図 9 効率的かつ高速な船舶検出の処理フロー

図 9 効率的かつ高速な船舶検出の処理フロー

前述のとおり、画像全体の船舶検出を行うのは時間がかかる。そこで、画像フレームを幾つかの領域に分け、それぞれの領域での「船舶の有無」を先に判定し、「船舶有り」の領域に対してのみ従来手法を用いることにすれば効率的・高速に船舶検出ができるのではないかと考えた(図 9)。

高速判定の方法として我々が採用したのは歪度や尖度と呼ばれる統計量を使う方法である。これらの統計量は単純な四則演算で求められ、高速に計算することができる。

3.1 歪度と尖度

図 10 SAR画像(上)と歪度(下)

図 10 SAR画像(上)と歪度(下)

歪度(skewness。sと記す)、尖度(kurtosis。kと記す)の定義を以下に示す。

ここで、xは画素の輝度、μは輝度の平均値、σは輝度の標準偏差、E[x]はxの期待値である。

上記の定義によると正規分布の尖度が3になるため、上記のkの定義式から3を減じたものを尖度の定義式とすることが多いが、本稿では上記の定義とする。

歪度・尖度は共に平均値からのずれを表す量である。図 10に示すように、船舶(海よりも明るい物体)が混在すると、歪度は大きな値になる。尖度も同様である。

3.2 理論値と閾値

図 11 ガンマ分布の例

図 11 ガンマ分布の例

SAR画像における海の輝度は、指数分布と呼ばれる確率密度関数によく一致する(3)

ノイズ抑制のため、画像に対して隣接するk個の画素による平均化が施されていることがある。

SAR用語では「ルックをとる」と呼び、kのことをルック数と呼ぶ。ルックがとられている場合、海の輝度はガンマ分布に従う。以下の式でk=1とおくと指数分布になる。幾つかのkに対する例を図 11に示す。

図 12 船舶有り/無しの歪度・尖度(1ルックの場合)

図 12 船舶有り/無しの歪度・尖度(1ルックの場合)

ガンマ分布の歪度は 2 √k 、尖度は 3 + 6 k になる。歪度・尖度はルック数kには依存するが、画像の明るさ(平均値)や粗さ(標準偏差)には依存しない。つまり、撮像角度等の観測条件に依存しない。

図 10で示したように、船舶が存在すると歪度や尖度は大きな値となる。そのため、「歪度や尖度が理論値よりも大きければ船舶が存在する」と判定することができる。図 12にk=1(指数分布)の場合のイメージを示す。k=1の場合、歪度の理論値は2、尖度の理論値は9となる。

4.実施例

ALOS-2画像、及び、Sentinel-1画像による実施例を説明する。

4.1 ALOS-2画像に対する実施例

ALOS-2画像(図 13)に対する実施例を図 14に示す。「船舶有り」に対応して歪度・尖度共に値が大きく(赤く)なっている。適切な閾値を設定することで「船舶有り・無し」を判定することができる。

図 13 船舶と海の散乱メカニズム

図 13 ALOS-2画像

図 14 ALOS-2画像の歪度(左)と尖度(右)

図 14 ALOS-2画像の歪度(左)と尖度(右)

図 15 ALOS-2画像における歪度vs尖度

図 15 ALOS-2画像における歪度vs尖度

画像上の50個のブロックに対して目視により「船舶有り・無し」を確認し、歪度・尖度を計測した。その結果を図 15に示す。「船舶無し」の歪度・尖度はほぼ理論値どおり(歪度=2、尖度=9)であり、「船舶有り」の歪度・尖度はいずれも「船舶無し」より大きな値となっている。船舶有り・無しが分離可能であることが分かる。

4.2 Sentinel-1画像に対する実施例

Sentinel-1画像(図 16)に対する実施例を図 17に示す。Sentinel-1はCバンドと呼ばれる電磁波を使用しており、観測波長は約5.5cmである。一方、ALOS-2はLバンド(観測波長は約24cm)を使用している。一般に、Lバンドよりも波長の短いCバンドの方が海は明るく観測され、船舶と海の区別がつきにくい。そのため、SARによる船舶検出ではCバンドの方がLバンドよりも難易度が高い。

SAR画像の左上に歪度・尖度が大きな部分がある(図 17の赤丸)。SAR画像を拡大すると確かに船舶と思われる輝点が存在する(図 16の赤丸)。このような輝点を目視で検出するのは困難である。

また、中央右下付近で歪度・尖度が大きな領域があり(図 17の青丸)、SAR画像を拡大すると多数の船舶が確認できる(図 16の青丸)。

図 16 Sentinel-1画像

図 16 Sentinel-1画像

図 17 Sentinel-1の歪度(上)と尖度(下)

図 17 Sentinel-1の歪度(上)と尖度(下)

図 18 Sentinel-1画像における歪度vs尖度

図 18 Sentinel-1画像における歪度vs尖度

画像上の110か所に対して目視により「船舶無し・船舶無し」を確認し、歪度・尖度を計測した。「船舶有り」の歪度・尖度はいずれも「船舶無し」より大きな値であり、両者を分離可能であることが分かる。

5.高速手法の適用効果

船舶が存在する領域を先に抽出し、その領域のみに対してCFAR等を適用することで、効率的に処理を実施することができる(図 19、図20)。「舶存在領域の抽出」は簡単な四則演算のみであり短時間で完了する。

図 19 従来の手法

図 19 従来の手法

図 20 高速手法の適用

図 20 高速手法の適用

今回使用したALOS-2高分解能モード画像の場合、 全体に対する「船舶有り(赤)」の割合は全体の1.94%であった(図 21左。陸はカウントから除外した)。CFAR等の船舶検出処理は画像中の1.94%に対してのみ適用すればよいので、処理時間は従来の約1/50に短縮される見込みである(図 22)。また、Sentinel-1画像の場合は「船舶有り」の領域は全体の1.60%であった(図 21右)。この場合、処理時間は従来の約1/60に短縮される見込みである(図 22)。

図 21 歪度(左:ALOS-2、右:Sentinel-1)

図 21 歪度(左:ALOS-2、右:Sentinel-1)

図 22 高速化の効果(画素数28000×14200の画像に対する試算)

図 22 高速化の効果
(画素数28000×14200の画像に対する試算)

6.今後の予定

船舶検出では陸は除外する必要がある。地上の施設ではDEM(数値標高データ)や陸海フラグ等の大容量データを用意してこれを参照することができるが、オンボードでは少ないメモリーで処理を実現しなければならない。そのため、DEMや陸海フラグに頼らず、画像のみから陸をマスクする方法を開発予定である。

また、画像以外のソースとの複合利用にも取り組む予定である。船舶監視では画像とAIS(Automatic Identification System:船舶自動識別装置)を融合して分析することが既に広く行われている。当社も画像上の船舶とAIS情報のマッチング技術を有している(図 23)。今後は、AIS信号を発していない船舶の行動予測等を目的として、海面水温(漁場と関連有り)等も活用した技術開発を行う(図 24)。

図 23 画像とAISのマッチング例

図 23 画像とAISのマッチング例

図 24 画像と多種多様なデータとの複合利用による分析・予測の高度化

図 24 画像と多種多様なデータとの複合利用
による分析・予測の高度化

7.むすび

本稿では、歪度や尖度の利用により、「船舶の有無」を高速に判定できることを示した。本手法をCFAR等の他の手法と組み合わせることで、効率的かつ高速に船舶検出や諸元計測を行うことができる。

今後、本技術は船舶監視機能を有する地上のシステムへの導入や、衛星オンボード処理への搭載を推進する予定である。また、新技術の開発を継続し、衛星データの有効活用に貢献する。

参考文献

(1) 国立研究開発法人宇宙航空研究開発機構地球観測研究センター:陸域観測技術衛星2号「だいち2号」(ALOS-2)による観測画像
https://www.eorc.jaxa.jp/ALOS-2/img_up/jpal2_check005_20141107.htm

(2) Ouchi,K.:Introduction of Ship Detection Technology Using SAR and Trend of Ship Classification,Int. Symp. Ensuring Stable Use Outer Space,Tokyo,Japan(2017)

(3) 大内 和夫:リモートセンシングのための合成開口レーダの基礎 第2版,東京電機大学出版局(2009)

筆者紹介

  • ■ 進藤 嘉邦(シンドウ ヨシクニ)

    1999年入社。鎌倉事業所 宇宙第二技術部。衛星データ処理システム・ソフトウェアの開発に従事。

  • ■ 西村 健志(ニシムラ タケシ)

    2007年入社。鎌倉事業所 宇宙第二技術部。SARを始めとする画像処理開発、及び、アルゴリズム研究開発に従事。