深層学習を用いた時系列補間技術の非画像データへの適用性評価

深層学習を用いた時系列補間技術の非画像データへの適用性評価Evaluation of the deep–learning–based time series interpolation method to non–visual data川嶋 一誠＊　小堀 壮彦＊Issei Kawashima, Takehiko Kobori近年、コンピュータビジョンの分野において深層学習（ディープラーニング：Deep Learning）に関連した技術が大きく進歩している。その一つとして動画のフレーム補間への適用がある。深層学習を用いたフレーム補間は、従来手法であるOptical Flowを用いた手法と比較して精度が大きく改善している。MSSは本技術に着目しており、様々な非画像データを対象として、時系列データの時間補間（以降、時系列補間という）への技術の応用を検討している。本報ではその一例として、気象レーダにおいて観測された雨量データに対する時系列補間の適用結果について紹介する。Deep learning has greatly advanced in the field of computer vision, and one of the applications is the video frame interpolation. Deep–learning–based video frame interpolation method is more accurate than the traditional method which uses Optical Flow. MSS is exploring whether this method can be applied to non–visual data. This paper introduces the experimental results which are applied the method to rainfall rate observed by weather radar as non–visual data. 1．まえがき著者らが所属するMSSつくば事業部第一技術部は、ロケットの航法誘導ソフトウェアの開発等の宇宙関連の業務のほか、宇宙分野で培った技術を他分野に応用した業務も行っている。例としてシミュレーション技術やデータ処理技術を降水及び降灰を対象にした気象防災に応用する業務があり、国立研究開発法人防災科学技術研究所殿、国立大学法人鹿児島大学殿、国立大学法人京都大学殿からの契約実績がある。先端技術の獲得にも力を入れており、部門として深層学習に関する業務実施及び技術蓄積を進めている。これまでに、深層学習を用いた超解像技術を衛星画像へ応用して空間解像度を高解像度化する手法について研究した⑴。また、本報のテーマである深層学習の時系列補間技術を気象レーダで観測した雨量データに応用し、適用性を評価している。雨量データを対象として時系列補間を行った背景として、気象レーダごとにデータの時間間隔が異なることが挙げられる。現在の現業レーダのCバンドレーダは５分間隔、Xバンドレーダは１分間隔、実証実験中のマルチパラメータ・フェーズドアレイ気象レーダ（MP–PAWR）は30 秒間隔でデータが配信される。また、配信時期によっ＊つくば事業部 第一技術部て時間間隔が変化する場合もある。気象庁の解析雨量は2003 年５月までは１時間間隔、それ以降は30分間隔になっている。時間間隔が異なるデータ同士を合成する場合や、時間間隔が変化するデータを等間隔で解析したい場合には、高頻度データを間引くか、低頻度データから模擬的に高頻度データを作成して時間間隔を揃える必要がある。前者は各時刻のデータを加工せずに利用できるが、データを間引くことによって時間の分解能が下がるため高頻度データの利点を生かせず、ゲリラ豪雨等の短期・局所的な事象を扱うことが難しくなる。一方、後者は模擬的に作成したデータの信頼性が問題となる。低頻度データから模擬的に高頻度データを作成する際、従来の時系列補間手法では十分な精度が得られない場合があった。そこで、近年技術が発達している深層学習を用いたフレーム補間技術を、雨量データの時系列補間に応用することが可能か評価した。本報ではその研究の一例を紹介する。2．関連技術ここでは関連技術として、はじめに深層学習について述べ、次いで深層学習の適用先の一つである「フレームMSS技報・Vol.29 1補間」について示す。また、時系列補間の適用先である「降水データに対する時系列処理」について示す。2.1　ニューラルネットワークと深層学習ニューラルネットワークは、生体の脳内における神経細胞の回路をモデル化した、機械学習の１手法である。図１に示すように、ニューラルネットワークは複数の階層で構成され、入力層に与えた情報が中間層を経由して出力層の結果を導く。層を増やすことによって、より複雑な問題に対応できるようになると言われており、中間層を２層以上に深くしたものは深層学習と呼ばれる。個々のニューロンは下位層から受け取った値と重み𝑤𝑤、活性化関数を用いて上位層へ渡す値を計算する（図２）。ニューラルネットワークにおける学習とは、事前に用意した入力と出力の正しい組（教師データ）によって重み𝑤𝑤を最適化することである。通常、𝑤𝑤の数は非常に多いので、学習には大量の教師データと計算資源が必要になる。教師データだけではなく未知の入力に対しても正しい出力が得られるよう、テストデータを用いた学習結果の評価も欠かせない。モデルの性能はネットワークの構造や学習過程を制御するパラメータの設定に大きく依存する。効率的な学習とモデルの性能向上のため、様々な技術が研究されている。2.2　CNN図１で示したニューラルネットワークでは、隣接する層のニューロン同士が全て連結された全結合層のみで構成されていた。近年、画像認識等の分野で利用されている畳み込みニューラルネットワーク（Convolutional 下位層入力層上位層Neural Network：CNN）では、全結合層に加えて畳み込み層及びプーリング層が導入されている。それぞれの層の動作を図３に示す。入力層に行列が与えられた時、全結合層の場合は個々の要素が独立に扱われるのに対し、畳み込み層やプーリング層では当該要素の周辺情報も加味される。これによってモデルの性能は大きく向上する。畳み込み層のカーネル𝑘𝑘は学習によって調整されていく。一方、カーネルサイズ等のハイパーパラメータは設計者がグリッドサーチ等で最適な値を設定する必要がある。2.3　フレーム補間中間層出力層ニューロン𝑥 𝑥1 𝑥 𝑥2 … 𝑥 𝑥𝑛𝑛 𝑎 𝑎1 𝑎 𝑎2 … 𝑎 𝑎𝑙𝑙図1　ニューラルネットワークフレーム補間の技術はこれまで、補間対象の画像のOptical Flow を算出し、そのOptical Flowを用いて補間画像を生成するアプローチが研究されてきた。本手法は画像の領域単位で移動方向及び移動量を計算して移動させる手法であり、直感的でもあり多く適用されてきた。CNNの適用としては、DeepFlow⑵等のOptical Flowを求めるためにCNNを用いる手法の研究が進んできた。しかしながら、Optical Flowを基に補間画像を生成する点について、オクルージョンや急激な値の変化等への対応が難しいことが課題であった。2017 年以降、CNNを用いて直接的に補間画像を生成する手法が研究されている。単純なCNNを用いて補間画像を作成する手法であっても従来手法と比較して精度が大きく向上したことが報告されている⑶。その後はネットワーク構造等を工夫することで精度を更に向上させる研究が進められている。また、入力２画像の補間間隔を細かくする場合に、反復的に中間時間の補間画像を得ると1/2、1/4、1/8、…と固定化されたタイミングの画像しか得られないが、任意のタイミングの補間画像を取得する手法も提案されている⑷ ⑸。𝑦 𝑦1 𝑦 𝑦2 … 𝑦 𝑦𝑚𝑚【畳み込み層の例】入力カーネル𝑥 𝑥11 𝑥𝑥12 𝑥𝑥13 𝑥𝑥14 𝑥 𝑥21 𝑥𝑥22 𝑥𝑥23 𝑥𝑥24 𝑥 𝑥31 𝑥𝑥32 𝑥𝑥33 𝑥𝑥34 𝑥 𝑥41 𝑥𝑥42 𝑥𝑥43 𝑥𝑥44 𝑘 𝑘11 𝑘𝑘12 𝑘𝑘13 𝑘 𝑘21 𝑘𝑘22 𝑘𝑘23 3 ��𝑥𝑥𝑖𝑖𝑖𝑖𝑘𝑘𝑖𝑖𝑖𝑖 𝑖 𝑖=1出力3 3 3 ��𝑥𝑥𝑖𝑖(𝑖𝑖+1)𝑘𝑘𝑖𝑖𝑖𝑖 𝑖 𝑖=1 𝑖 𝑖=1 𝑖 𝑖=1 𝑘 𝑘31 𝑘𝑘32 𝑘𝑘33 𝑏 𝑏 ：バイアス3 3 ��𝑥𝑥(𝑖𝑖+1)𝑖𝑖𝑘𝑘𝑖𝑖𝑖𝑖 𝑖 𝑖=1 𝑖 𝑖=1【プーリング層の例】𝑥 𝑥1 𝑤 𝑤1 𝑎 𝑎1 ℎ 𝑏 𝑏 +𝑥𝑥1𝑤𝑤1 +⋯+𝑥𝑥𝑛𝑛𝑤𝑤𝑛𝑛入力3 3 ��𝑥𝑥 𝑖 𝑖=1出力𝑥 𝑥2 … 𝑥 𝑥𝑛𝑛 𝑤 𝑤2 𝑤 𝑤𝑛𝑛 ℎ 𝑠 𝑠 ：活性化関数𝑠 𝑠 ℎ 𝑥 𝑥11 𝑥𝑥12 𝑥𝑥13 𝑥𝑥14 max max 𝑥 𝑥𝑖𝑖𝑖𝑖 𝑖 𝑖=1 max 𝑖 𝑖+1 𝑥 𝑥𝑖𝑖𝑖𝑖 𝑠 𝑠 ℎ 𝑠 𝑠 𝑥 𝑥21 𝑥𝑥22 𝑥𝑥23 𝑥𝑥24 𝑖 𝑖 =1~3, 𝑗𝑗=1~3 𝑖 𝑖+1 𝑘𝑘𝑖𝑖𝑖𝑖 𝑖 𝑖 =1~3, 𝑗𝑗=2~4 𝑥 𝑥31 𝑥𝑥32 𝑥𝑥33 𝑥𝑥34 𝑠 𝑠シグモイド関数 ReLU関数max 𝑥 𝑥𝑖𝑖𝑖𝑖 max 𝑥 𝑥𝑖𝑖𝑖𝑖 𝑖 𝑖 =2~4, 𝑗𝑗=1~3 𝑖 𝑖 =2~4, 𝑗𝑗=2~4 𝑥 𝑥41 𝑥𝑥42 𝑥𝑥43 𝑥𝑥44図2　ニューロンの動作図3　畳み込み層とプーリング層2 MSS技報・Vol.292.4　降水データに対する時系列処理観測データを用いた降水データに対する時系列処理として、現在から60分程度先までの予測を行う降水ナウキャストに関する研究が進められている⑹ ⑺。例えばVIL Nowcast の手法⑺では、降水セル（積乱雲等の雨雲の塊）の移流に関し相互相関法を使用して移動ベクトルを算出して移流させ、セルの盛衰は過去及び現在の鉛直積算雨水量を使用して算出する、といったナウキャストが行われている。また、深層学習を用いたナウキャスト手法についても研究が進められており⑻、LSTM（Long Short–Term Memory） 及 び RNN（Recurrent Neural Network）の技術を使用して予測問題に取り組んでいる。3．実験条件3.1　実験データ実験には表１に示すXRAIN（eXtended RAdar Information Network：高性能レーダ雨量計ネットワーク）の雨量強度のうち、比較的関東地域で降水が多かった12 事例を抽出して使用した。観測時期に応じてレーダデータの観測領域が異なることから、実験において評価を行う領域について、図４の黒色にて塗りつぶされた観測領域から白枠の領域に評価対象を限定した。なお、各手法の時系列補間計算は白枠の外部も使用している。画像全体のサイズは920× 640 pixel、評価領域のサイズは530×322pixelとした。表1　実験データ概要データ源泉XRAINメッシュ間隔 約250mデータ間隔1分データ種別RR（雨量強度） [mm/hour]地域関東観測時期データ数2010/7 ～ 2015/2 9332（12 事例）3.2　深層学習を用いた手法の応用深層学習を用いたフレーム補間手法として、SepConv⑼を使用した（図５）。本手法は前後２フレームの画像を基に補間画像を生成する手法である。ネットワーク構造としては、画像のセグメンテーション（領域分割）の代表的な手法であるU–Net♳⓿のようなネットワーク構造を描くが、出力は４つのカーネルに分割される。その４つのカーネルを補間前後２フレームのそれぞれに２カーネルずつ畳み込み、その和をもって補間画像を取得する手法である。ネットワークの入力データは、補間前後の両フレームのRGBデータの、計６チャンネルである。４章にて示す実験では一般的な動画で学習したSepConvの学習済みモデルを用いて、その特性を確認するための実験を行った。しかしながら、入力データは雨量強度[mm/hour]であり、学習に使用されている一般的な動画のRGBデータとは異なる。雨量強度を青～緑～赤で可視化した画像を使用する方法も考えられるが、RGBの配色は視覚的に雨量の強弱を判断するために用いられているため、工学的な意味を有していない。そのため図６に示すとおり、連続値の雨量強度のデータをグレースケール化した画像に変換してSepConvで推論を行い、その結果を基に連続値の雨量強度に変換する。ただし、得られた値はグレースケールに変換した際に256 階調に離散化されてしまうため、得られる雨量強度も256階調となってしまう点に注意が必要である。3.3　比較対象の補間手法3.2 節の手法の効果を確認するために、「移動ベクトルを用いた手法」と「線形補間」を用いた時系列補間も実施した。以下に使用した両手法の内容を説明する。図５　SepConvのネットワーク構造⑼雨量強度時刻:t時刻:t+dt雨量画像時刻:t+0.5dt雨量画像SepConv雨量強度図６　深層学習を用いた時系列補間のシーケンス図4　解析領域及び評価領域3 MSS技報・Vol.294 MSS技報・Vol.29 3.3.1　移動ベクトルを用いた手法典型的なナウキャストの移流を模擬する手法として、相互相関法で算出した移動ベクトルを用いて次の時刻の降水位置を計算する手法がある。この考えを応用して、時系列補間データを作成する。移動ベクトルはメッシュ状に分割した領域ごとではなく、画像全体の移動ベクトルをパターンマッチングにより算出した。補間データはデータの時間間隔𝑑𝑑𝑑𝑑間の移動ベクトル𝒗𝒗を基に、次式⑴で算出する。𝑅𝑅𝑡𝑡+0.5𝑑𝑑𝑡𝑡=1 2(𝑔𝑔(𝑅𝑅𝑡𝑡,0.5𝑑𝑑𝑑𝑑×𝒗𝒗)+𝑔𝑔(𝑅𝑅𝑡𝑡+𝑑𝑑𝑡𝑡,−0.5𝑑𝑑𝑑𝑑×𝒗𝒗)) ⑴ここで、　　　 ：雨量強度[mm/hour]。緯度経度の２次元値　　　 ：𝑅𝑅を移流する関数。移流量は𝒅𝒅本手法の降水セルの盛衰については、時刻𝑡𝑡と時刻𝑡𝑡+𝑑𝑑𝑡𝑡の平均となる。つまり、線形的に増加・減少することを仮定している。3.3.2　線形補間本手法は単純な２データの線形補間を行うもので、移流を伴わないと仮定し、降水セルの盛衰を基に補間データを取得する。具体的には次式⑵を用いて算出する。𝑅𝑅𝑡𝑡+0.5𝑑𝑑𝑡𝑡=1 2(𝑅𝑅𝑡𝑡+𝑅𝑅𝑡𝑡+𝑑𝑑𝑡𝑡) 本手法の降水セルの盛衰についても移動ベクトル同様、時刻𝑡𝑡と時刻𝑡𝑡+𝑑𝑑𝑡𝑡の平均となる。4．実験及び評価本報では深層学習の手法、及び他の２手法に対し、以下の評価項目で特徴を評価した。(1)　深層学習の手法の離散化手法に応じた特徴評価(2)　補間の時間間隔に応じた特徴評価4.1　離散化手法の評価3.2節に示したとおり一般的な動画で学習された学習済みモデルを使用するため、連続値の雨量強度のデータを256階調の離散化したデータに置き換える必要がある。ここでは、離散化の手法が結果に与える影響を評価する。算出する雨量強度の最大を150mm/hourとし、その離散方式として以下に示す３種類を設定した。⒜　単純な線形⒝　雨量強度に応じて変化。比較的弱い雨を重視⒞　２種類の手法（弱い雨重視、強い雨重視）の合成上記３種類の離散化の手法に関し、０～255の値と雨量強度の関係を図７に示す。⒞については、２種類の𝑅𝑅 𝑔𝑔(𝑅𝑅,𝒅𝒅) ⑵手法でそれぞれ時間補間をしたデータを取得した後に、メッシュごとに以下に示す式⑶で雨量強度を得る。⑶ここで、　 ：強い雨重視で補間した雨量強度[mm/hour]　 ：弱い雨重視で補間した雨量強度[mm/hour]　 ：強い雨と弱い雨の閾値[mm/hour]実験では　＝２min（データ間隔２分間として中間の１分後のデータを取得）と設定し、⒜～⒞の３種類の離散化手法の特性を評価した。評価指標は、当該時刻の観測値を正解値とし、正解値との相関係数、及び強雨域の評価指標（𝐶𝐶𝐶𝐶𝐶𝐶 、𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃 、𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 ）とした。強雨域の評価指標については、警報等の基準となる強雨域の閾値（ここでは30mm/hour）以上の領域の識別度を示すものとし、それぞれは以下の式⑷で算出する。𝐶𝐶𝐶𝐶𝐶𝐶= 𝑇𝑇𝑇𝑇 𝑇𝑇𝑇𝑇+𝐹𝐹𝑇𝑇+𝐹𝐹𝐹𝐹 𝑃𝑃𝑃𝑃𝑃𝑃𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐= 𝑇𝑇𝑃𝑃 𝑇𝑇𝑃𝑃+𝐹𝐹𝑃𝑃 𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅= 𝑇𝑇𝑇𝑇 𝑇𝑇𝑇𝑇+𝐹𝐹𝐹𝐹 ここで、　 ：閾値以上と予測し実際も閾値以上のメッシュ数　 ：閾値以上と予測し実際は閾値未満のメッシュ数　 ：閾値未満と予測し実際は閾値以上のメッシュ数式⑷において、𝐶𝐶𝐶𝐶𝐶𝐶 は高いほど的中事例の予測精度が良いことを示し、𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃 は高いほど誤報が少なく、𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 は高いほど見逃しが少ないことを示す。また、各精度指標は１に近いほど結果が良いことを示す。𝑅𝑅L≤𝛼𝛼 𝑅𝑅𝑡𝑡+0.5𝑑𝑑𝑡𝑡=𝑅𝑅H+𝑅𝑅L 2 𝑅𝑅H>𝛼𝛼 𝑅𝑅𝑡𝑡+0.5𝑑𝑑𝑡𝑡=𝑅𝑅L 𝑅𝑅H≤𝛼𝛼 𝑅𝑅L>𝛼𝛼 𝑅𝑅𝑡𝑡+0.5𝑑𝑑𝑡𝑡=𝑅𝑅H 𝑅𝑅𝑡𝑡+0.5𝑑𝑑𝑡𝑡=𝑅𝑅H+𝑅𝑅L 2 𝑅𝑅H 𝑅𝑅L 𝛼𝛼 𝑑𝑑𝑑𝑑 ⑷ 𝑇𝑇𝑇𝑇 𝐹𝐹𝑃𝑃 𝐹𝐹𝐹𝐹 図７　離散化手法 0 63 127 191 255 256階調の値0 50 100 150雨量強度[mm/hour]単純な線形雨量強度に応じて変化2種類の変化手法の合成（１）2種類の変化手法の合成（２）雨量強度区切り表2　補間の評価結果（平均）相関係数 𝐶𝐶𝐶𝐶𝐶𝐶 𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃 𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 ⒜ 0.838 0.663 0.831 0.741 ⒝ 0.887 0.643 0.870 0.692 ⒞ 0.886 0.652 0.851 0.713各評価指標の結果を表２に示す。表中の値は補間を行った各時刻の値を算出した後に、それらを全時刻にわたって平均した値である。⒜は値を評価している相関係数は最も悪い結果であるが、𝐶𝐶𝐶𝐶𝐶𝐶 等強雨域の評価指標では最も良い結果である。本結果は図７に示すとおり離散化時に強雨域のデータ点数が多いことが理由として考えられる。⒝は相関係数が最良である。𝐶𝐶𝐶𝐶𝐶𝐶 及び𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 は最も悪いが𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃 は最も良く、誤報が少ない特徴がある。⒞は複雑な処理を行うものの、平均的な精度しか得られなかった。更なる改善が必要と言える。4.2 節の評価では、相関係数が最良の⒝の手法を使用して評価した。4.2　補間の時間間隔に応じた評価4.1 節の評価は深層学習の手法のみで２分間のデータの補間を行ったが、本節では時間間隔を変えた場合の精度について評価した。深層学習を用いた手法は4.1節の⒝の手法を使用し、3.3節に示す補間手法と比較した。評価は以下に示す３ケースとした。２分補間 ：中間時刻（１分後）のデータで精度評価10 分補間 ：中間時刻（５分後）のデータで精度評価20 分補間 ：中間時刻（10分後）のデータで精度評価4.1 節と同様の評価指標で評価した結果を表３に、各補間タイミングにおける相関係数が、手法間で比較した際に最良となった回数について表４に示す。表中の手法欄においてDLは深層学習を用いた手法を、MVは移動ベクトルを用いた手法を、LIは線形補間を示し、次いで付した数字は補間間隔を示す。相関係数は、補間間隔が短いほど全体的に精度が良くなる傾向にある。個別に評価すると、補間間隔が短い場合には、降水セルの移流よりも盛衰の影響が強いと考えられ、移流を考慮しない線形補間で十分な精度が得られている。一方、補間間隔が長くなるに連れて移流の影響を考慮できる深層学習や移動ベクトルの手法の精度が良くなる。表４の10分補間では移動ベクトルの手法が最良であるが、表３の相関係数は深層学習に比べて悪い結果となっている。本結果は、移動ベクトルの手法は雨域が少ない状態や補間間隔が長くなると、移動ベクトルの算出が安定しなくなることを示唆している。20分補間では表3　補間の評価結果（平均）手法 相関係数 𝐶𝐶𝐶𝐶𝐶𝐶 𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃 𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 DL2 0.887 MV2 LI2 0.845 0.643 0.663 0.940 DL10 0.723 0.690 0.870 0.826 0.891 0.692 0.748 0.748 0.378 MV10 LI10 0.641 0.674 0.425 0.745 0.672 0.429 0.518 0.335 DL20 0.566 0.596 0.415 0.219 MV20 LI20 0.482 0.533 0.262 0.206 0.605 0.483 0.257 0.345 0.423 0.279表4　各補間タイミングにおける相関係数が最良となった回数手法 2分補間 10分補間 20分補間DL 701 MV LI 1016 2970 4267 3470 3149 7556 2048 2668表４の評価でも深層学習の手法が最も良くなり、深層学習の手法は移動ベクトルの手法よりも移流を精度良く表現でき、また安定した補間結果を得られる。強雨域の評価指標（𝐶𝐶𝐶𝐶𝐶𝐶 、𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃 、𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 ）では、補間間隔が長い場合であっても深層学習の結果は最良の結果とならず、相関係数の結果とは違う傾向であった。特に深層学習の手法は𝐶𝐶𝐶𝐶𝐶𝐶 と𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 が悪い結果となっており、各計算因子を確認したところ𝐹𝐹𝐹𝐹 の数が多くなっていた。表２からも、本節の評価で適用した⒝の𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 が最も悪い結果となっている。⒝は少雨域に着目していることから、強雨域の見逃しが多くなっていることが原因と推定される。図８～10に補間結果の一例を示す。２分補間はどの手法も大差がないが、10分補間や20分補間は黄～赤色の強雨域の位置や形状や値に手法間で差が出ている。深層学習の手法は比較的安定した結果となっているが、移動ベクトルの手法では20分補間では移動ベクトルの算出がうまくできないため、拡大した降水セルが拡大域から外れている。また、線形補間の手法は移流を考慮していないため、降水セルのコアが分割したような結果となっている。本章で示した深層学習の手法は、雨量強度で学習したものではなく、一般動画で学習された公開されているモデルである。したがって、降水に関するデータを用いることや、データの離散化を行わない教師データで学習することにより、精度が更に改善することが見込まれる。5 MSS技報・Vol.29前（2010/7/5 13:09）正解（2010/7/5 13: 10）拡大図深層学習後（2010/7/5 13:11）移動ベクトル図８　補間結果（2分補間）前（2010/7/5 13:05）深層学習正解（2010/7/5 13: 10）線形補間後（2010/7/5 13:15）移動ベクトル図９　補間結果（10分補間）線形補間MSS技報・Vol.29 6前（2010/7/5 13:00）正解（2010/7/5 13: 10）後（2010/7/5 13:20）深層学習移動ベクトル線形補間5．むすび図10　補間結果（20分補間）本報では深層学習を用いた時系列補間の技術について、その研究が進んでいるRGB形式で表現された自然画像を対象としたものではなく、非画像データとして気象の分野に応用した研究結果を紹介した。本結果は評価対象のデータを基に学習をしていない簡易実験にもかかわらず比較的良好な結果が得られており、深層学習を用いた時系列補間技術の非画像データへの適用可能性があることを確認した。今後は学習、ネットワークの改良、説明変数の入力データへの追加、最新の研究成果の反映等を行い、時系列補間の精度を改善していく予定である。また、本技術をMSSやMSSの顧客が有する様々なデータに適用していき、科学技術の発展に寄与していきたい。最後に、これまで各種業務を通し気象データの処理に係る技術的アドバイスを頂いた、国立研究開発法人防災科学技術研究所 水・土砂防災研究部門の関係者の方に深く感謝申し上げます。本研究に利用したデータセットは、文部科学省の委託事業により開発・運用されているデータ統合・解析システム（DIAS）の下で、収集・提供されたものです。また、XRAINデータは、国土交通省 川の防災情報ホームページ（http://www.river.go.jp/x/）から提供されたものです。(1) (2) (3) (4) (5) (6) 参考文献川嶋 一誠，中村 良介：深層学習を用いた衛星画像の超解像手法，日本リモートセンシング学会誌，38，No.2，131 ～136（2018）Weinzaepfel，P.，Revaud，J.，Harchaoui，Z.，Schmid，C.：DeepFlow：Large Displacement Optical Flow with Deep Matching，IEEE ICCV 2013，1385 ～ 1392（2013）Niklaus，S.，Mai，L.，Liu，F.：Video Frame Interpolation via Adaptive Convolution，IEEE CVPR 2017，2270 ～ 2279（2017）Niklaus，S.，Liu，F.：Context–aware Synthesis for Video Frame Interpolation, IEEE CVPR 2018，1701～1710（2018）Jiang，H.，Sun，D.，Jampani，V.，Yang，M.，Learned–Miller，E.，Kautz，J.：Super SloMo：High Quality Estimation of Multiple Intermediate Frames for Video Interpolation，CVPR2018，9000～9008（2018）加藤 敦，真木 雅之，岩波 越，三隅 良平，前坂 剛：Xバンドマルチパラメータレーダ情報と気象庁レーダ情報を用いた降水ナウキャスト，水文・水資源7 MSS技報・Vol.29学会誌，22，No.5，372～385（2009）(7) Hirano，K.，Maki，M.：Imminent Nowcasting for Severe Rainfall Using Vertically Integrated Liquid Water Content Derived from X–Band Polarimetric Radar，Journal of the Meteorological Society of Japan，96A，201 ～220（2018）(8) Shi，X.，Gao，Z.，Lausen，L.，Wang，H.，Yeung，D.，Wong，W.，Woo，W.：Deep Learning for Precipitation Nowcasting：A Benchmark and A New Model, NIPS 2017（2017）(9) Niklaus，S.，Mai，L.，Liu，F.：Video Frame Interpolation via Adaptive Separable Convolution，IEEE ICCV 2017，261 ～ 270（2017）(10) Ronneberger，O.，Fischer，P.，Brox，T.：U–Net：Convolutional Networks for Biomedical Image Segmentation，MICCAI 2015，234 ～ 241（2015）執筆者紹介川嶋 一誠2007 年入社。つくば事業部へ配属。2010～2013年に国立研究開発法人宇宙航空研究開発機構／HTVプロジェクトチーム、2016年から国立研究開発法人産業技術総合研究所／人工知能研究センターに出向。現在は産業技術総合研究所における研究の傍ら、HTV・小型回収カプセルの航法誘導ソフトウェア開発、宇宙・防災・AI関連のソフトウェア開発及び研究支援に従事。小堀 壮彦1995 年入社。つくば事業部へ配属。入社後は主に宇宙機を対象とした搭載ソフトウェアやシミュレータの開発及び飛行解析業務に携わる。現在は、気象レーダを用いた豪雨予測や火山噴煙の解析等防災関連のソフトウェア開発及び研究支援に従事。8 MSS技報・Vol.29