滑走路雪氷状態同定アルゴリズムの開発

1 MSS 技報・Vol.31
滑走路雪氷状態同定アルゴリズムの開発
Development of algorithm for identifying snow and ice conditions on a runway surface
佐藤 裕司＊　内方 一平＊　山本 友誉＊Yuji Sato, Ippei Uchikata, Tomotaka Yamamoto
滑走路雪氷に関する航空機の事故を防止しながら運航効率を向上させるために、国立研究開発法人宇宙航空研究開発機構（JAXA）は滑走路全体状況をリアルタイムで正確に把握する雪氷モニタリングシステムの開発を進めている。三菱スペース・ソフトウエア株式会社（MSS）は2015 年度から、雪氷モニタリングシステムの構成技術のひとつである、雪氷状態同定アルゴリズムの開発を支援してきた。本稿では、これまでに開発してきた雪氷状態同定アルゴリズムの内容について紹介する。
Japan Aerospace Exploration Agency（ JAXA） has been developing snow and ice monitoring technologyto accurately assess the overall runway conditions in real time in order to prevent aircraftaccidents and improve operational efficiency. Since FY2015, Mitsubishi Space Software（ MSS） hasbeen supporting the development of algorithm for identifying snow and ice conditions on a runwaysurface. The algorithm is one of the component technologies of the snow and ice monitoring system.This paper describes the algorithm that we have developed so far.
＊中部事業所 第一技術部
1．まえがき
滑走路上の雪氷は航空機の冬季運航の最大の問題となっている。滑走路上の雪氷の影響で摩擦係数が小さくなって着陸距離が長くなることによる滑走路オーバーランの発生や、オーバーランなどを回避するためのダイバート（目的地外着陸。天候等により目的空港ではなく代替空港へ着陸すること）や欠航が、国内の新千歳空港に限ってもダイバートが年間数十便、欠航が年間数百便発生している。また日本国内において、オーバーランやスタックなどの事故やインシデントが年に１〜２便発生している。現状の空港運航では、積雪時の滑走路の滑りやすさを、SFT（Surface Friction Tester）という測定輪にかかる荷重から摩擦係数を計測する車両装置、あるいはTapley Meter という減速度計を車両に取り付けて走行させて計測しているが、滑走路を専用車両で走行させるために、計測時には滑走路の閉鎖が必要となり、摩擦係数の計測及び除雪や離着陸などの運航判断に時間がかかっているという課題がある。また、発着回数が多い空港では、ダイバートや欠航により年間数十億規模の経済損失が発生している。このような欠航やダイバートといったトラブルを低減し、冬季の航空機運航を効率化したいというエアラインのニーズに基づいて、JAXA は滑走路上の雪氷状態をリアルタイムに把握するための雪氷モニタリングシステムの開発を進めている。JAXA は2019 年度までに雪氷モニタリングシステムの基本設計と技術検証を完了し、2020 年度からは、国内の複数の空港に雪氷モニタリングシステムのエンジニアリング・モデルを設置したフィールド実証試験を実施する準備を進めている。MSS は2015 年から雪氷モニタリングシステムの開発に参画し、実験データの分析及び雪氷状態同定アルゴリズムの開発を支援してきた⑴。本稿では、雪氷モニタリングシステムの概要と雪氷状態同定アルゴリズムの技術について紹介する。2．雪氷モニタリングシステム2.1　システム概要雪氷モニタリングシステムの概念図を図１に示す。雪氷モニタリングシステムの主たる構成要素は、滑走路に複数台埋設されたセンサと、センサデータに基づいて雪氷の状態を同定するシステムである。センサにはレーザー光源とカメラが内蔵されており、センサ上面に堆積した雪氷の状態を計測する。システムはセンサが取得したデータから、滑走路上の雪質及び雪厚の分布をリアルタイムに同定する。その同定結果を航空機及び2 MSS 技報・Vol.31空港管理者に提供し、離着陸や除雪の判断を支援する。雪氷モニタリングシステムの開発には、これまでJAXA、北見工業大学、株式会社センテンシア、MSS が関わってきた。JAXA は主に観測原理検討、全体システム検討、及び全体管理を、北見工業大学は主に雪氷及び光学機器の知見提供、実験設備提供、及び雪氷光散乱シミュレーションを、センテンシアはセンサの設計及び開発を、MSS は雪氷状態同定アルゴリズムの検討及び開発を担当してきた。なお、雪氷モニタリングシステムの中長期的目標として、ある時刻の雪氷状態の同定のみでなく、降雪予測に基づいた積雪予測、及び雪氷状態から摩擦係数を高精度に推測する技術の開発も研究テーマとなっている⑵。2.2　雪氷モニタリングセンサ（GLASS）雪氷モニタリングセンサGLASS（Ground LAserSensor for Snow monitoring）の概念図を図２に示す。GLASS の観測原理を簡単に説明する。GLASS には複数種類のレーザー光源が内蔵されており、GLASS 上面のガラス面に堆積した雪氷に向けてレーザー光を照射し、雪氷を伝播してGLASS 内部へ散乱して再入射した光を受光部で受光する。その受光データに基づいて、GLASS上面の雪氷の状態を検出する。複数種類あるレーザー光源の波長は、雪質及び雪厚の同定に有効であると予想される波長が採用されている。受光装置としても各波長に対応したカメラが複数台搭載されており、各波長に対応したカメラで撮影する仕組みとなっている。GLASS は2017 年に１世代（GLASS １）が開発され、その後継続的に改善が続けられている。2019 年度までに第４世代（GLASS ４）まで開発されており、2020 年現在はフィールド実証試験用に第５世代（GLASS ５）を開発中である。2.3　滑走路の雪氷状態空港運用における雪氷情報として特に重要なのが、滑走路のブレーキングアクションである。航空局では、航空保安業務処理規定において、ブレーキングアクションと摩擦係数の対応関係を定義している⑷。一方ICAO（International Civil Aviation Organization／国際民間航空機関）では、表１に示す滑走路面状況を評価するマトリクスRunway Condition Assessment Matrix（RCAM）と、滑走路面の滑りやすさの指標となるRWYCC（RunwayCondition Code）を定義している。将来的には日本の空港運用にもICAO の基準が導入されると予想される。RCAM では、滑走路の状態とそれに対応するRWYCCが直接対応付けられている⑸。そのため、雪氷モニタリングシステムがRCAMに定義された滑走路の状態を識別雪厚 : 20 mm 雪質︓新雪2709除雪判断離着陸判断雪氷状態同定モニタリングデータ図１　雪氷モニタリングシステムの概念図図2　GLASS の概念図⑶表１　Runway Condition Assessment Matrix（RCAM）RWYCC 滑走路の状態（代表例）ブレーキングアクション６ DRY －５ WET，SLUSH，DRY SNOW，WET SNOW（≦３mm） GOOD４ COMPACTED SNOW（–15℃以上） GOOD TOMEDIUM３ DRY SNOW，WET SNOW，COMPACTED SNOW（–15℃未満） MEDIUM２ WATER，SLUSH（≧３mm） MEDIUM TOPOOR１ ICE POOR０ WET ICE LESS THANPOOR3 MSS 技報・Vol.31できれば、それに対応するRWYCC が求まり、航空機の離着陸判断などに必要な情報を提供できる。したがって、雪氷モニタリングシステムは、RCAM に定義された滑走路の状態をリアルタイムに出力することがひとつの目標となる。RCAMで定義された滑走路の状態としては、水及び氷なども含まれている。水、氷、あるいは雪のうちどれかを識別する研究は、JAXA によって別途研究されており、MSS が開発している雪氷状態同定アルゴリズムは、雪であることが識別されたという前提で、その雪の状態を更に細かく分類する。RCAM における雪の種類は、DRY SNOW（乾き雪）、COMPACTED SNOW（圧雪）、WET SNOW（濡れ雪）の３種類なので、これらを分類できれば運用上は必要十分とも考えられるが、研究でもあるため、現在開発を進めている雪氷状態同定アルゴリズムは、この雪の分類を更にもう一段細かくした雪の種類を同定する構成となっている。雪氷状態同定アルゴリズムが識別する雪の種類（雪質）は、「新雪」、「こしまり雪」、「しまり雪」、「ざらめ雪」、「こしもざらめ雪」、「しもざらめ雪」、「圧雪」の７種類である。濡れ雪については、まだ体系的な実験データが得られていないため含まれていないが、今後対応予定である。なお、この雪質の分類は、日本雪氷学会の分類に基づいている⑹。また、雪質に加えて雪厚も同定する必要がある。空港運用においては、滑走路の雪厚が50 mm を越えると、滑走路を閉鎖して除雪するよう運用されているため、雪氷状態同定アルゴリズムが同定対象とする雪厚の範囲は50 mm 以下としている。3．GLASS データの特徴3.1　撮影シーケンス本章では、GLASS で取得されるデータの特徴について述べる。GLASS は、波長と露光時間の組み合わせを変化させた複数枚の撮影データを１回の撮影で取得する。波長を変化させる理由は、前章で述べたように雪質と雪厚の情報を得るのに適した波長がそれぞれ異なるためである。露光時間を変化させる理由は、次項に説明する散乱光分布の推定のためである。3.2　散乱光分布の推定雪氷状態を同定するためには、散乱光分布をカメラ受光部でより大きく受光したい。そのためにカメラのゲインや露光時間を調整して散乱光分布を大きく受光するよう設定すると、散乱光とは言えレーザー光源から照射した光を観測しているために、中心部分がカメラのダイナミックレンジの範囲を超えて飽和してしまう。しかし、散乱光分布の中心部分の情報も、雪氷状態に関する有用な情報を含んでいると考えられるため、いわゆるHDR 合成に準ずる方法を用いて、露光時間のみを変化させた複数枚の画像を取得して合成し、カメラのダイナミックレンジなどの特性に制限されない、真の散乱光分布を推定することとした。複数枚の画像を合成して散乱光分布を推定する概念図を図３に示す。なお、一般的にHDR 合成と言う場合、カメラの持つダイナミックレンジの範囲で元データを表現できるようにコントラストを調整する技法を指すが、ここで実施している処理はそれとは異なり、カメラのダイナミックレンジに収まっていない情報を複数枚の画像から推定しているという違いがあることに注意されたい。飽和している中心部分の真の輝度を推定するにあたり、物理的には露光時間の変化に対してイメージセンサへ入射する光量が線型に変化するので、各画素の輝度値も図3　HDR 合成による散乱光分布の推定4 MSS 技報・Vol.31線型に変化することが期待されるが、実際にはイメージセンサの特性があらわれるために線型には変化しない。そのため複数枚の画像を合成するにあたり、イメージセンサの特性が影響しないよう工夫をしている。また、上記の合成処理を実施する前に、散乱光以外にセンサに入り込む太陽光などの環境光成分やノイズ成分を除去する処理も実施している。3.3　散乱光分布と雪氷状態の関係前項の方法で推定した散乱光分布と、雪氷状態の定性的な関係を幾つか述べる。同じ雪質（新雪）で雪厚が５mm から50 mm まで５mm 間隔で増加した場合の、可視光レーザーの散乱光分布の変化を図４に示す。雪厚が深くなるほど、散乱光の面積が大きくなる傾向にあることが見てとれる。一方、雪厚は等しいが雪質が異なる場合の散乱光分布の変化を、図５及び図６に示す。それぞれ可視光レーザー及び近赤外レーザーによる散乱光である。雪質の違いが、散乱光の分布形状や、中心及び周辺領域の散乱光量にあらわれていることがわかる。このように、GLASS で観測した散乱光分布が、雪質及び雪厚の特徴を捉えていることは分かったが、散乱光の面積や分布形状を表す特定の特徴量だけで雪質や雪厚を精度よく同定することは難しい。そのため、上記以外にも、雪質や雪厚に関する特徴量を多数計算して同定に用いている。特徴量の選定においては、北見工業大学において研究されている雪氷内の光散乱シミュレーション結果からの知見も反映して決定している⑺。4．雪氷状態同定アルゴリズム図７に雪氷状態同定アルゴリズムの概要を示す。雪氷状態同定アルゴリズムは機械学習モデルを活用したアルゴリズムとなっている。前章で示した散乱光分布の推定結果に基づいて計算した特徴量を、機械学習モデルを活用して構築した推論モデルに入力し、雪氷状態を出力する。図４　雪厚による散乱光分布の変化図５　雪質による散乱光分布の変化（可視光）ノイズ除去ノイズ除去ノイズ除去􀀫􀀧􀀵合成􀀫􀀧􀀵合成􀀫􀀧􀀵合成特徴量抽出特徴量抽出特徴量抽出…推論モデル雪質雪厚新雪􀀔􀀓􀁐􀁐􀀠各グループの特徴量を連結同定結果􀀫􀀧􀀵合成データシャッタースピードのみ変化波長ごとにグループ分け画像取得複数の波長、複数のシャッタースピード特徴量選択図６　雪質による散乱光分布の変化（近赤外） 図７　雪氷状態同定アルゴリズム概要30 mm 35 mm 40 mm 45 mm 50 mm５mm 10 mm 15 mm 20 mm 25 mm新雪しもざらめ雪新雪しもざらめ雪5 MSS 技報・Vol.31推論モデルに入力する特徴量は、各波長に対して計算した特徴量から、特徴量選択の手法を適用してフィルタリングしたものを用いている。特徴量候補は現時点で560 種類ほどあるが、その中から学習時に絞り込んだ特徴量のみを推論時に適用している。推論モデルは、開発初期は単独の学習器を用いていたが、単独の学習器で目標とする精度を達成することが難しいため、検討を重ねた結果、現在は複数の学習器を組み合わせたアンサンブル学習による推論モデルとなっている。雪質の種類や雪厚の値に応じて、それらを同定するために有効な特徴量は異なる。そのため、事前のデータ解析に基づく知見から、雪質及び雪厚からなる二次元の解空間を幾つかの領域に分けて、各領域における推論モデルを作成し、それらを複合して最終的な推論モデルを構築している。複合方法は、事前解析における試行錯誤から決定している。学習器の種類は、Boosting 法のアルゴリズムの中から実際に学習させて性能が良かったものを採用している。データ量がそれほど多くはないこと、散乱光の大きさが重要なファクターであること、シミュレーションなどによる物理的知見を特徴量やモデルの構造として組み込みたいという理由により、画像分類タスクで広く使われているCNN は採用していない。GLASS の進化に合わせて、雪氷状態同定アルゴリズムを繰り返し改善し続けてきた。GLASS の進化に伴うアルゴリズム概要の推移を表２に、それによる同定精度の推移を表３に示す。本研究における同定精度の参考目標値は、雪質正解率80 % 以上、雪厚平均絶対誤差10 mm 以下としている。GLASS ３までにその参考目標値は達成している。雪質正解率が低い結果が、2018 年と2020 年にあるが、2018年については雪質種類が６種類に増えて分類問題として難しくなったこと、2020 年については推論モデルの構築方法を前年度から微調整したが、その時の想定と実データの傾向が異なっていたためである。それぞれ、その後の検討で改善策を検討してアルゴリズムに反映し、同定精度の改善を確認した。5．今後の展開5.1　雪氷状態同定アルゴリズムの課題雪氷状態同定アルゴリズムを空港における運用に耐え得る程度に成熟させるためにはまだ多くの課題があり、今後も検討を深めていく必要がある。ここでは、代表的な課題を三点述べる。一点目は、センサ特性への依存である。散乱光分布推定などのデータ前処理や特徴量計算にあらわれるパラメータは、GLASS に内蔵されているカメラの特性に依存表2　アルゴリズム概要FY2017アルゴリズムFY2018アルゴリズムFY2019アルゴリズム①FY2019アルゴリズム②データ前処理ノイズ除去 + HDR 合成特徴量の数336 560特徴量選択相互情報量によるフィルタリング学習器の種類AdaBoost AdaBoost + XGBoost AdaBoost + XGBoost XGBoost学習器の数１ ６ ５ 10ハイパーパラメータ最適化グリッドサーチグリッドサーチ + 個別最適ベイズ最適化+ 全体最適表3　同定精度の推移実施年度FY2017 FY2018 FY2019実験条件装置GLASS1 GLASS2 GLASS3 GLASS3（カメラ設定最適化）波長３ ４実験場所北見工大学習条件データセット2017 年２月2018 年２月2019 年２月2020 年２月同定アルゴリズムFY2017アルゴリズムFY2018アルゴリズムFY2019アルゴリズム①FY2019アルゴリズム②学習データ数60 310 827 827 1040 1040評価データ数11 27 200 200 200 200雪厚範囲10–100 5–50 5–50 5–50 5–50 5–50雪質種類３ ６ ５ ５ ５ ５同定精度雪厚平均絶対誤差［mm］ 15.6 7.3 4.5 4.5 7.8 7.8雪質正解率［%］ 82 37 84 89 57 906 MSS 技報・Vol.31している。そのため、GLASS 自体のアップデートはもとより、GLASS の撮影条件を調整すると雪氷状態同定アルゴリズムの調整及び再学習が必要となってしまう。さらには、世代や撮影条件が異なるGLASS データを混ぜて学習できないという制限がある。転移学習などの手法を用いて異なるデータセットの学習結果を再利用する手法も検討しているが、本格的な検討は未着手である。転移学習の適用検討を更に進めていくか、あるいはセンサ特性への依存を下げる工夫が必要と考えている。二点目は同定対象の拡大である。現在の雪氷状態同定アルゴリズムが識別できるのは、RCAM の定義におけるDRY SNOWとCOMPACTED SNOWのみであるが、空港運用のためには、WET SNOW、WATER、ICE なども識別する必要がある。今年度実証試験を実施する福井空港では、WET SNOW の体系的な観測データが得られる見込みであるため、そのデータの分析結果を反映してWET SNOW に対しても性能が出るようアルゴリズムを改善するとともに、別途JAXA で実施されている水や氷を雪と識別する研究成果も踏まえ、水、氷、及び濡れ雪も含めて同定可能なよう今後拡張していく必要がある。三点目はデータ数である。機械学習を活用しているアルゴリズムでもあるためデータ数が多いことが望ましいが、ラベル付きのGLASS 観測データを収集するのは、人間により雪厚と雪質をコントロールした実験が必要でありコストが大きい。そのため、半教師あり学習やアクティブラーニングの適用により、少数のラベル付きデータで高い精度を達成するアルゴリズムも検討していきたい。5.2　空港実証及び事業化JAXA は、2020 年10 月から2023 年６月にかけて、雪氷モニタリングシステムを空港に実際に設置及び埋設させたフィールド実証試験を実施する。2020 年度は、福井空港に５世代目となるGLASS ５を設置して自然積雪のリアルタイム計測技術の基礎実証を実施し、2021 年度以降はGLASS ５を実際に誘導路などに埋設させるとともに、実証試験の対象空港を北海道の空港にも拡大する計画である。その空港実証のためのシステム開発を今年度から開始しており、MSS も開発に関わっている。JAXA は、空港における実証試験完了後に、雪氷モニタリング技術の民間企業への技術移転と事業化を目指している。事業化が実現されれば、国内あるいは国外の空港の冬季運航において雪氷モニタリング技術が活用されて、空港利用者としてメリットを享受する日が来るかもしれない。また、雪氷モニタリング技術は、空港の滑走路や誘導路に限ったものではなく、鉄道や自動車道路の管理にも応用可能と考えられるため、空港運用以外の他分野へのスピンオフも期待できる技術となっている。6．むすび本稿では、MSS が開発を支援している雪氷状態同定アルゴリズムの内容を紹介した。なお、本アルゴリズムの内容はJAXA とMSS の共同特許として国内特許出願済みであり、PCT ルートによる国際出願も検討中である⑻。雪氷モニタリングシステムは今後も研究開発が継続される。MSS も継続してその研究開発及び社会実装を支援し、世界の航空技術の発展に貢献していきたいと考えている。最後に、この雪氷状態同定アルゴリズムには、これまで多数の方々と議論させていただいた内容やアドバイスが、データ処理方法、特徴量、学習器の選択などに具体的な形で反映されています。JAXA、北見工業大学、株式会社センテンシア、東京大学、京都大学の関係者の方々に、改めて深く感謝いたします。参考文献(1) Hoshino，S.，Hashimoto，K.，Tateyama，K.，Harada，Y.，Sato，Y.，Ikeda，Y.，Uchikata，I.，Ohmae，H.，Miyake，T.，Kanda，A.：“Snow and icemonitoring technique for the contaminatedrunway，AIAA Scitech2020（2020）(2) WEATHER–Eye コンソーシアム：WEATHER–Eye ビジョン［第３版］（2019）(3) 次世代航空イノベーションハブ 気象影響防御技術チーム： 特殊気象から航空機運航を守る技術“WEATHER–Eye”https://www.aero.jaxa.jp/news/event/pdf/sympo181003/poster08.pdf(4) 井川 寛隆，神田 淳：航空機の雪氷滑走路摩擦係数研究の方向性について，宇宙航空研究開発機構研究開発資料，JAXA–RM–06–001（2006）(5) ICAO：Assessment，Measurement and Reportingof Runway Surface Conditions（Circular 355）（2019）(6) 公益社団法人日本雪氷学会北海道支部：積雪分類の用語集https://www.seppyo.org/~hokkaido/nomen/nomen-a.html(7) 宇宙航空研究開発機構，北見工業大学，三菱スペース・ソフトウエア株式会社：安全で効率的な航空機の冬季運航を目指した滑走路雪氷モニタリングシステム技術の開発，2019 年度交通運輸技術開発推進制度研究成果報告書（2020）7 MSS 技報・Vol.31(8) 宇宙航空研究開発機構，三菱スペース・ソフトウエア株式会社：情報処理システム、情報処理装置、情報処理方法、及びプログラム，特願2019–215755（2019）執筆者紹介佐藤 裕司2005 年入社。中部事業所所属。つくば事業部において宇宙輸送機及び飛行安全関連業務を経て、2013 年から中部事業所において主に航空分野の解析・シミュレーション・ソフトウェア開発業務に従事。内方 一平2017 年入社。中部事業所所属。関西事業部に駐在して防衛分野のソフトウェア開発業務を経て、現在は中部事業所において航空及び海洋分野における運動制御解析・ソフトウェア開発業務に従事。山本 友誉2015 年入社。中部事業所所属。つくば事業部に駐在して宇宙輸送機の航法誘導搭載ソフトウェア開発業務を経て、現在は中部事業所において航空及び業務系分野のソフトウェア開発業務に従事。