映像を活用した人物トラッキング技術の開発

共同研究では、映像からAIにより高精度に多数の人物を検出し個々の人物のトラッキングを可能とする「成長型アノテーション・トラッキングシステム」を開発しています。本システムでは、映像上のトラッキング結果を射影変換することにより、平面上での人物の軌跡データとして出力することができます（図1）。また、同じフィールドを異なる視点から撮影した複数の映像の時刻同期を行い、それぞれの映像から人物をトラッキングすることも可能です。

本技術は、オクルージョン（遮蔽）に頑健であることが特長となっています。たとえばサッカーのようなフィールドスポーツを対象とした場合、カメラの映像では人物が映像上で重なってしまうことがしばしばありますが、開発した技術により、オクルージョンが生じても同じ人物を高精度に追跡可能となっています（図2）。（特願2021-161728「対象物追跡装置」ほか）

また「成長型」という名の通り、人物検出精度を半自動的に向上させていく仕組みも備えており、新たな場面で一から人物検出のAIモデルを構築する際に、大幅に手間を削減することが可能です（図3）。（特願2021-161727「対象物検出装置」）これまでは人物のトラッキングに主眼を置いていましたが、現在、スポーツにおけるボール追跡など、物体のトラッキングについても技術開発を進めています。

共同研究では、アジア航測で開発した9軸ウェアラブルデバイス「xG-1（ジーワン）」で取得される人物の動きの波形データから、数理統計モデルと深層学習を用いた人物の状態推定システムを開発しています。例えば、ウェアラブルデバイスを装着した人物が「転倒」「ジャンプ」した瞬間の時刻を検出することが可能です。

本技術は、まずスポーツでの利活用をターゲットとして開発しました。人物トラッキングと状態推定の情報は、サッカーやラグビーといったフィールドスポーツの練習や試合の分析・戦略構築・トレーニング立案等に役立ちます（図5）。本技術は高価で大規模な専用システムが不要で、汎用カメラやリーズナブルなウェアラブルデバイスにより必要な情報取得が可能であることが強みです。

本技術の建設現場への適用も検討中です。図7は、のり枠工現場にて、のり面への吹付作業者をカメラ映像にてトラッキングし、同時に作業者が装着したxG-1取得の波形情報と比較したイメージです。動画と波形情報の組合せにより、人物の動きと対になる波形情報の取得が実現し、ヒヤリハットの特定、健康管理、熟練作業者の技術伝承への活用等が期待されます。

また本技術は、スポーツ以外の分野でも様々な利活用が考えられます。図6は、アジア航測のオフィス内にて人物トラッキングした例です。複数の人を同定可能なため、動線に応じたレイアウト検討やセキュリティ対策への活用が期待できます。このように、GNSSが不可視な箇所で高精度に人物の位置や軌跡を特定することを強みとしたソリューションを提供することが可能です。