はじめに

リモートセンシング分野では、多数の小型衛星を一体的に運用する衛星コンステレーションなどの活用で撮影頻度が増えたことにより、解析の効率化が課題となっています。欧州宇宙機関(European Space Agency)が無償提供するSentinel-2衛星画像の場合、再訪日数が5日と高頻度で撮影される画像であるものの、地上解像度が粗いことから、細かい地物の変化を把握するには向きません。

衛星画像の高解像度化の手法の一つに深層学習を用いた超解像がありますが、従来の超解像手法では道路の形状が復元されていない課題がありました。

そこでアジア航測では、既存の基盤地図情報(道路縁データ)を併用して、道路の形状を元しながら高解像 度化する手法を開発しましたので、本稿で紹介します。

道路データを併用した深層学習による超解像手法

超解像手法とは、低解像度の画像をもとに高解像度の画像を生成する深層学習の手法です。通常は低解像度画像を入力データ、高解像度画像を教師データとして、AIモデルを構築し、学習したAIモデルを用いて、新規の低解像度画像から高解像度の画像を生成します。

本取り組みでは、低解像度の衛星画像における道路情報を補足するため、低解像度画像だけでなく既存の道路データも用いてAIモデルを学習していきます(図1)。通常は、推論時も道路データが必要になりますが非効率なため、学習終盤にかけて道路データがAIモデルに与える影響を徐々に抑制していくことで、低解像度画像のみでも超解像画像を生成できるように工夫しました。これにより、推論時には道路データを使用せずに、対象となる道路の形状を尤もらしく復元することが可能になります。

学習・評価用データには、低解像度画像として地上解像度10mのSentinel-2衛星画像を、高解像度画像として地上解像度1.5mのSPOT-6/7衛星画像を2.5m解像度に調整した画像を使用しました。それぞれ、同じ地域の撮影時期が近い画像を収集しています。また、入力データの道路データとして基盤地図情報の道路縁データ(道路形状のエッジを持つベクタ形式)をマスク画像に変換したものを使用しました(図2)。マスク画像は、道路領域の値を255、背景の値を0とします。

道路データの併用の有無による超解像手法の比較

本手法を評価するため、道路データを併用しないAIモデルも作成して、本手法の超解像画像と比較しました。

道路データを併用しないAIモデルによる超解像化の場合、道路の形状が崩れて建物との境界が曖昧になっています(図3(b))。一方、道路データを併用した超解像化では、道路の形状を維持した画像生成が可能になりました(図3(c)。また、道路情報の補足なしに復元できる領域については、道路データの併用の有無に関わらず正常に復元できています(図3(f)、図3(g))。このことから、道路データが超解像画像の劣化を招くことなく、道路領域の復元に対して有効に働いたことが分かります。

元の画像の解像度が低く建物そのものが確認できない箇所においても、道路データを活用した超解像化により、建物が密集する画像を生成できることを確認しました(図3(k))。これは、都市域において道路の周辺に建物が存在することをAIモデルは間接的に学習しており、道路形状を復元するのに合わせて、周辺にある建物も復元できるようになったためと推察されます。しかし、建物の配置が実際とは異なっていることに留意する必要があります(図3(k)、図3(l))。

おわりに

既存の基盤地図情報を活用して、道路の形状を復元しながら高解像度化する手法を開発しました。道路データを活用することにより、道路の形状を復元できるだけでなく、情報が欠落している道路周辺の建物についても尤もらしい画像を生成できることを確認しました。今後、建築物の外周線データなどの他の基盤地図情報と組み合わせることで、低解像度画像だけでは復元できない家屋の形状といったより詳細な復元が期待できます。

本手法は、学習に基づいて細部を復元する方法のため、復元された情報が必ずしも正しいとは限りません。そのため、客観的な評価が重要ですが、超解像手法で一般的に使用される評価指標は、人が見た主観評価と異なることがあり、定量的な評価が課題となっています。そこで、道路や建物の検出と言った客観的な評価が可能なタスクに利用して、超解像画像と高解像度画像に適応した時の検出精度を比較することで、超解像画像の品質を間接的に評価することができると考えています。

今後は、超解像画像を解析に用いて品質を評価するとともに、更なる視認性向上を目指していきます。