※特許取得取内容

近年、現実の風景や物体を高精度な3Dモデルとして再現する技術が、建設、測量、文化財の保存、エンターテインメントなど、さまざまな分野で活用されるようになってきました。その中核となる技術が、SfM（Structure from Motion）とMVS（Multi-View Stereo）です。

SfMは、複数視点から撮影された画像を解析し、対象物上の特徴点（タイポイント）の対応関係をもとに、カメラの位置や姿勢を推定する技術です。一方、MVSは、SfMによって得られたカメラ情報を基に、画像間で画素単位の対応関係（視差）を推定し、各画素の奥行き（深度）を求めることで、高密度な3次元点群やメッシュモデルを生成する技術です。これらを組み合わせたSfM-MVSは、広範囲のシーンに対して詳細な三次元形状の復元を可能にする有力な3D再構成手法となっています。
しかし、SfM-MVSを用いた3D再構成には課題もあります。特に、対象表面に模様や質感が少ない「低テクスチャ」領域では、視差の推定が不安定となり、深度マップの品質が低下しやすくなります。その結果、再構成される点群の密度や精度が大きく損なわれてしまいます。

本研究では、この課題に対応するため、SfM-MVSにおける深度マップおよび法線マップの推定過程に着目しました。具体的には、元画像とはコントラスト特性の異なる複数の強調画像群を生成し、それぞれから取得された深度マップおよび法線マップの中から、画素ごとに最も信頼性の高い情報を適応的に選択する手法を新たに提案しました。この方法により、深度・法線情報の局所的な不安定性を抑え、低テクスチャ領域でも高品質なマップの生成が可能となります。

また、提案手法の有効性を検証した結果、従来のコントラスト強調法であるWallisフィルタが適用困難であった高テクスチャ領域においても、安定して十分な再構成点数を確保できることを確認しました。さらに、異なるコントラスト処理の有無や手法間で再構成可能範囲に差が生じた場合でも、それぞれの深度・法線情報を相互に補完することで、再構成領域を拡大できることを実証しました。

[参考]
画像処理による低テクスチャ物体のSfM-MVS再構成品質向上
阿久津啓・金井理・伊達宏昭・新名恭仁・本間亮平 (2019)  2019年写真測量学会秋季学術講演会