はじめに

わが国の防災政策では、南海トラフなどの巨大地震の発災直後、超広域にわたる被害の全体像を速やかに把握し、的確な応急活動を展開するため、航空写真や衛星画像から概略の被災状況を把握することが定められています。これらの俯瞰的な画像は、応急活動において、道路寸断などの道路被害を含む被災地域の状況の把握に用いられることが想定されます。衛星画像は、幅十数～数十キロメートル四方の範囲を一度に観測できるため、広域の被害の全体像を把握する目的に適していますが、災害などの緊急時は被災地上空より離れた周回軌道上から深いポインティング角度（対象地を狙って撮影する際の角度）で撮影される場合が多いため、得られた画像の地上解像度が直下視撮影時よりも低下するという課題があります。そのような画像では、建物や道路、橋梁などの被災状況を把握することが困難であり、衛星による広域観測のメリットが十分に活かせない場合があります。そこで、直下視撮影の航空写真と同一箇所の衛星画像を用いて、深層学習による超解像により、衛星画像から航空写真のような高精細な画像を得る手法を検討しましたのでご紹介します。

超解像とは

超解像とは、解像度の低い画像では正しく表現できない細部の情報を復元する技術のことで、テレビや映像の世界で発展しています。ところで、解像度という言葉は、印刷業界ではdpi（ドット・パー・インチ）の単位で表される画像の密度のことを言いますが、写真測量の分野では、空中から撮影した画像の解像度を地上解像度、または、地上分解能と呼び、画像を構成する最小単位である画素の一辺が、地上でどのくらいの距離に相当するかを表します。高度数千メートルから撮影する航空写真と比較して、高度数百キロメートル以上の上空から撮影する人工衛星の画像の解像度は相対的に低く、現在30センチメートルが最高水準です。図1は同じ場所を撮影した航空写真と衛星画像ですが、航空写真で読み取れる道路標示の矢印記号が、衛星画像では方向を読み取ることが難しい様子がわかります。
超解像は、1枚の画像のみを用いるアプローチと、複数枚の画像を用いるアプローチの2種類に大別されますが、前者は、低解像度の画像の細部情報を学習やデータベースに基づいて復元する方法で、本稿でご紹介する深層学習を利用する方法もこの中に含まれます。後者は、ビデオ映像のフレームのように、被写体の位置が少しずつずれて写った複数枚の画像を統合することで細部を復元する方法で、信頼性の高い画像を得ることができます。

深層学習を利用した超解像

単一の画像を用いる超解像は、従来から取り組まれてきましたが、深層学習を利用することでより発展し、特に最近ではGAN（Generative Adversarial Network：敵対的生成ネットワーク）と呼ばれる深層学習の画像生成アルゴリズムを用いることで、現実に近い自然な画像
を生成できるようになりました。このアプローチは、前述の複数枚の画像を用いるアプローチと異なり、生成された細部の情報が元の画像に含まれていたものではないため、信頼性の点で課題がありますが、同じ場所を短期間に何度も撮影した画像がない場合は有効な方法と言えます。本稿でご紹介する事例では、元の画像の4倍の超解像化を行うことができるGANのアルゴリズムを用いています。都市域を撮影した地上解像度が30センチメートルの衛星画像と、同じ場所を撮影した地上解像度が8センチメートルの航空写真を用いて、衛星画像から航空写真のような4倍の超解像画像を生成する深層学習モデルを作成しました。深層学習を利用する超解像では、解像度を低下させた画像と元の画像の組合せを用いて学習することが一般的です。災害時に撮影された低解像度画像から直下視撮影相当の画像を復元する学習モデルを検討することも考えられますが、本稿では、直下視撮影以上の高精細な画像を得ることを目標として、撮影時のカメラや太陽の角度、光の観測波長域などが異なるものの、
細部の情報が含まれている航空写真を学習して復元することとしました。
図2～4に、原画像の衛星画像、4倍の超解像画像、真の高解像度画像である同一地域の航空写真を示します。図3は、GAN特有の方法によって航空写真の色調まで真似た画像が生成されており、一見して図4と同じ画像に見えますが、樹木の影や電柱付近、横断歩道の細部が復元されていないため、今後さらなる改善が必要です。また、衛星画像の利点である地表面の反射スペクトル情報を活用できるようにするためには、原画像の輝度情報を維持したまま超解像化する手法の検討が必要です。

おわりに

本稿では、災害などの緊急時に撮影された衛星画像の視認性の向上を目的とした検討として、深層学習を利用した超解像をご紹介しました。本手法は、学習に基づいて細部を復元する方法のため、復元された情報が必ずしも正しいとは限らないことに留意する必要がありますが、概して自然な画像を生成できることがわかりました。今後は、今回明らかになった、復元が困難な地物や、影の影響について改善を検討するとともに、超解像の適用範囲と限界を明らかにしていく予定です。