はじめに

近年、建設現場での設計・施工・維持管理や災害時の状況把握といった場面で、三次元モデルの利用が増えはじめています。一方で、現実世界に仮想の情報を重ねて表示し、視覚的に現実世界を拡張する、AR（Augmented Reality：拡張現実）技術が注目されています。このAR技術を用いて三次元モデルをデバイス上で可視化することで、遠隔地での現場状況の詳細な把握や複数人での情報共有といった場面において、三次元モデルのさらなる活用が期待できます。しかし、三次元のデータは通常は大容量であるため、ARデバイスのみでは表示困難だという課題があります。
そこで本取り組みでは、ARデバイスの性能に依存せずに三次元モデルをAR表示可能なリモートレンダリング技術の活用方法について検討しました。

リモートレンダリングとは

レンダリングとは、三次元モデルなどを映像化する技術であり、データ量の多い三次元モデルのレンダリングには膨大な計算コストを必要とします。リモートレンダリングは、ARデバイス内ではなく、クラウドサーバを用いてレンダリングし、その結果を通信によりデバイスへ転送する仕組みのため、三次元モデルのデータ量に依存せずにAR表示できます。アジア航測では、Microsoft社のリモートレンダリング技術であるAzure Remote Renderingを利用してデータ量の大きい三次元モデルのAR表示システムを構築しました。図1に示すように、高精細な三次元モデルをクラウドサーバ上でレンダリング処理し、ARデバイスにストリーミングすることによってAR表示を実現します。本検討では、ARデバイスはMicrosoft社のHololens2を利用しました。

リモートレンダリングによる三次元モデルのAR表示

本検討では、ARデバイスで三次元モデルを確認可能なアプリを試作し検証しました。本アプリを利用することで、図2のように、会議室にいるARデバイス装着者の目の前に現地の状況を再現した精細な三次元モデルを表示でき、デバイス装着者はその場所に行くことなく詳細な状況を把握することができました。ARデバイスを用いることで、モニターの枠やマウス操作がなくなり、また、視界に表示された三次元モデルが目線や体の移動と連動して変化するため、高い臨場感が得られました。さらに、ARデバイスを装着した複数人で同じ空間を共有することもできます。
本技術は無線通信の利用が前提であり、電波干渉等により通信速度が低下または不安定となる状況下では三次元モデルの表示に時間を要する、あるいは表示が途中で切れるといった課題がありました。今後の検討の中で、通信環境が利用状況にどう影響するか検証していきます。

AR活用場面の検討

リモートレンダリングにより三次元モデルをAR表示することで、今まで現場でしか把握できなかった状況を現地に行くことなく把握し共有できることが確認できました。この技術の活用想定としては、災害発生時の現場と対策本部との状況の共有や、様々な分野における技術者の作業支援での利用などが挙げられます。
災害時は、現場において迅速に状況把握を行い、復旧対策を立案する必要があります。災害現場でUAVにより計測し作成した三次元モデルをクラウドサーバ上に搭載すれば、リモートレンダリングにより現地から離れた対策本部でも現場の状況を再現できます。これにより、復旧計画の立案や現場への正確な指示が可能となり、迅速な復旧作業に繋がることが期待できます。
また、本検討技術と、現場、遠隔地での双方向の情報共有の仕組みを実現することで、現地と同様の三次元モデルを遠隔地で再現しながら遠隔支援にて作業指示が可能となります。これにより、熟練技術の共有や労働力不足の解消に貢献できると考えています。

おわりに

リモートレンダリングを用いることでデータ容量の大きい高精細な三次元モデルをARデバイス上で表現でき、高い臨場感を得られることが確認できました。今後は、静的な三次元モデルだけでなく、動的で更新頻度が高いデータも重畳してデバイス上に表現することも検討していきます。三次元モデルに様々な情報を重畳することで、道路や下水道などのインフラ施設の管理や都市計画の見直しなどでの利用が期待できます。

※　「Microsoft」、「Azure」、「Hololens」は、米国Microsoft Corporationの登録商標です。