このページの本文へ

ここから本文

2022年度 三菱電機ソフトウエア技術レポート

モバイルエージェントによる人物追跡システムの開発

【執筆者】

社会インフラ事業統括部 神戸事業所 開発第2部 技術開拓課
谷川 浩三

鳥取大学大学院工学研究科
高橋 健一

【概要】

防犯を目的に企業や自治体等、様々な分野で監視システムが広く利用されている。監視地点や監視対象数が増加すると、監視員が全ての対象人物を監視することは困難となる。そこで鳥取大学と共同で、エージェントによる人物追跡システムを開発した。しかしカメラを利用した監視システムでは追跡対象を正確に判別できず、追跡ミスが発生する。そこで、人物が移動可能な経路を考慮して監視地点における追跡対象の存在確率を計算し利用する手法を導入し、より正確な追跡の実現を試みた。本稿ではこの手法に関する研究内容を紹介する。

1. まえがき

防犯を目的に企業や自治体等、様々な分野で監視システムが広く利用されている。しかし、監視が必要である地点や追跡対象の数が増加すると、監視員が全ての追跡対象を監視することは困難となる。そこで当社は鳥取大学と共同で、モバイルエージェント(以下、エージェント)による人物追跡システムを開発した。
本システムは、カメラやID読み取りなどの装置をセンサ装置と定義し、センサ装置と接続されるノードにて追跡対象を識別するための情報を取得する。カメラの場合は、画像処理にて抽出された人物らしさ(以下、尤度)を、RFIDやICタグの場合は、IDを特徴として扱う。しかし、カメラを利用したシステムでは画像処理から抽出される尤度にばらつきが発生するため、追跡対象を正確に判別できず、検知ミスや追跡ミスが発生する。そこで、人物が移動可能な経路を考慮した監視地点における追跡対象の存在確率を計算して利用する手法を導入し、より正確な追跡の実現を試みた。本稿では、この手法に関する研究内容を紹介する。

2. エージェントによる人物追跡

監視システムとしては、センサ装置から取得したデータを集約して集中管理する中央サーバを持つシステムが一般的である。しかし、追跡対象やセンサ装置の数が増加した場合、それらを処理可能とするためには、より高性能なサーバが必要となる。そこで、集中管理・分析する中央サーバを必要としないエージェントによる分散型の人物追跡システムを開発した。

2.1 システムの構成

本システムは、センサ装置、ノード、エージェント、及び監視端末から構成される。ノードは、センサ装置と接続され、センサ装置から取得したデータを分析して特徴を抽出する機能、及びエージェントの実行環境を提供する。エージェントは、ノードで抽出した特徴を利用して人を識別し、対象人物の追跡を行うプログラムであり、追跡対象ごとに生成される。エージェントは、追跡対象が移動する可能性のある複数のノードに自身のコピーを配置する。同じ対象人物を追跡しているエージェントの集合をグループと定義する(1)。エージェントは、センサ装置から取得したデータの分析結果をノードから受け取り、これを特徴として追跡対象か否かを判断する。これにより対象人物を追跡するシステムを実現している。

2.2 追跡の流れ

図1. 追跡の流れ

人物がセンサ装置の検知範囲に移動すると、そのセンサ装置に接続されたノードは、人物の特徴を抽出する。ノードで抽出された特徴と、そのノード上のエージェントが保持する特徴を比較し、その人物が追跡対象であるかどうかを判断する。エージェントが、その人物を追跡対象であると判断すると、追跡対象が次に移動する可能性があるノード(隣接関係ノード)へ新たなエージェントを派遣し、グループへ加える。また、隣接関係でなくなったノードはグループから削除する(図1)。隣接関係ノードの計算は次節で述べる。これらの手順を繰り返すことでエージェントは人物を追跡する。

2.3 隣接関係

図2 隣接関係

追跡対象が次に移動する可能性のあるセンサ装置に接続されているノードを隣接関係ノード(2)と呼ぶ。
図2に隣接関係の例を示す。赤い矢印はセンサ装置の隣接関係を示し、緑色の楕円がセンサ装置の検知範囲を示している。図2の左側の例では、センサS1で検出された追跡対象が、次に検出される可能性があるセンサは、S2又はS3であるため、センサS1とセンサS2、センサS1とセンサS3が隣接関係となる。図2の右側では、センサS1で検出された追跡対象が、次に検出される可能性があるセンサはセンサS2のみであるため、センサS1とセンサS2が隣接関係となる。また、センサS2で検出された追跡対象が、次に検出される可能性があるセンサは、S1又はS3であるため、センサS1とセンサS2、センサS2とセンサS3が隣接関係となる。

ノードの隣接関係を計算するために、分岐点、センサ点、及び検出点を定義する。分岐点は移動経路で分岐が発生する場所であり、監視エリアの地図などにより予め設定することができる。センサ点はセンサの設置場所であり、センサの設置及び撤去に伴い変化する。検出点は、検出範囲を表現可能とするために、分岐点間、センサ点間、分岐点とセンサ点間にそれぞれ一つずつ設ける。
これらの点により、センサの検出範囲を|S|×|P|の行列Xとして式(1)のように表現する。ここでSはセンサ点、Pは分岐点、及びセンサ点、又は検出点とする。

また、分岐点、センサ点、検出点間の接続関係を|P|×|P|の行列Yとして式(2)のように表現する。

このとき、式(3)を計算しEij≧1となる要素を確認することでセンサSiの撮影範囲から(n-1)個以内の点を隔てた点にセンサSjの撮影範囲が存在することが確認できる。

更に行列X、 Yからどのセンサの検出範囲にも含まれていない点を削除した行列X'、Y'を作成する。行列X' は、式(4)を満たす、全ての列jを行列Xから削除することで作成できる。

また、式(4)を満たす、全てのjについて、行列Yから行jと列jを削除し、Yij=1、Yjk=1を満たすYjkを1とすることで、行列Y'を作成する。これらの行列X'、Y'から、式(5)を計算することで隣接ノードを求めることができる。

隣接関係を計算することで、次に追跡対象が検出される可能性のあるセンサ装置を求めることができる。

3. 存在確率の計算

本システムは、センサ装置がカメラの場合、カメラで撮影した画像から画像処理にて尤度を抽出する。この尤度を追跡対象の特徴として利用する。しかし、画像処理にて抽出される尤度は常に正確であるとは限らない。このため、検知ミスや追跡ミスが発生する。これらの発生を軽減するため、人が移動可能な経路を考慮した追跡対象の存在確率を計算し利用する手法を検討する。
グループ内の各ノードに追跡対象が存在する確率を存在確率と定義する。存在確率は、画像から抽出した尤度から求めた確率と人物の移動可能な経路を考慮したノードからノードへ移動する移動確率から計算する。これにより、各ノードで画像処理によって抽出された尤度のばらつきに起因する検知ミスや追跡ミスを減少させる。

3.1追跡対象である確率

画像処理にて抽出された尤度が追跡対象の人物である確率を計算するため、ノードで抽出される尤度を確率に変換する。変換関数をf、尤度をLとすると、確率Pは、式(6)によって計算できる。ここで、Pは人物ごとに計算する。

図3 人物の移動ケース

本システムでは、同一人物を追跡するエージェントの集合であるグループによって対象人物を追跡するため、グループ内のエージェントは複数の人物を検出することがある。例えば、図3の場合にノードA、B及びCで合計3人の人物が検出されたとしても、追跡対象は1人であるため、他の2人は追跡対象ではない。例えば、ノードBの人物が追跡対象の場合、ノードAとCの人物は追跡対象でない。そこで、各ノードで求められた確率を調整する。ここでPaをノード A、Pbをノード B、Pcをノード Cで検出された人物が追跡対象である確率とする。
このとき、ノードAで検出した人物が追跡対象でない確率は、(1-Pa)と表現できる。このため、ノードBの人物が追跡対象である確率PPbは、式(7)で表現できる。

式(7)を一般化する。グループに属するエージェントが存在するノードの集合をRとするとノードnが追跡対象である確率PPnは、式(8)で表現できる。

3.2 移動確率

人物は隣接関係ノードへのみ移動可能であり、隣接関係ノードを飛び越えて移動することはない。このことから、人物が移動するケースは、①隣接関係ノードへ移動するケースと②ノードに止まるケースに限定される。
図3の例で考えると、ノードBに存在している人物は隣接関係ノードであるノードA又は、Cへ移動するか、ノードBにとどまるかであり、ノードCを飛び越えてノードDに移動することはない。
各ケースが発生する確率を P{s→d}と定義する。ここで、sは移動元ノード、dは移動先ノードである。ここで、dは、s又はsと隣接するノードのいずれかとなる。dがsの場合、同じノードに人物がとどまるケースとなる。このため、移動元ノードsをノードBとすると、移動先ノードdはノードA、C、又はノードBとなる。また、ノードBからの移動先ノードへの移動はノードA、C、又はノードBに限られるため、P{B→A}+P{B→B}+P{B→C}=1.0となる。
次に、時間tにおけるノードnに追跡対象が存在する確率(存在確率)をEPntと定義する。存在確率の計算については次節で述べる。時間t-1におけるノードsに追跡対象が存在する確率をEPst-1とすると、追跡対象がノードsからノードdへ移動する確率がP{s→d}であることから、ノードsからノードdへ移動する確率PM{s→d}は、式(9)で表現できる。

人物の移動傾向などの事前情報がない場合、隣接関係ノードの数Nとすると、ノードsからノードdへ人物が移動する確率PM{s→d}は、式(10)で表現できる。

ノードnへの移動確率は、隣接関係ノードから人物が移動してくる確率の合算となる。図3の例ではノードBに追跡対象が移動してくるケースは、隣接関係であるノードA、及びCから移動してくるケースとノードBにとどまるケースである。このため、ノードBに移動してくる確率は、PM{A→B}+PM{B→B}+PM{B→C}となる。このことから、ノードnの隣接関係ノードの集合をSとし一般化すると、ノードnに移動してくる移動確率MPnは式(11)で表現できる。

3.3 存在確率

ノードnが追跡対象である確率PPnと追跡対象がノードnに移動してくる移動確率MPnから、各ノードに追跡対象が出現し存在する確率PAnは、式(12)で表現できる。

グループ内の存在確率の合計は1となるため、正規化する。グループ内ノードの集合をRとすると、ノードnに追跡対象が存在する存在確率EPnは、式(13)で表現できる。

4. 実験

検討したグループ内における追跡対象の存在確率の計算手法の有用性を確認するためにシミュレーションによる実験を行った。

4.1 実験条件

図4. フロアマップ

  • (1)フロアマップ
    実験では、格子状に配置された通路を想定したマップを準備した(図4)。白マスは人物が通行可能な通路を表す。カメラは全ての通路に配置され、合計で65台が配置されていることとした。各カメラにはノードが接続され、エージェントはノード上を移動する。
  • (2)人物の移動
    人物の移動経路をシミュレーションするため、人物が移動を開始する開始点、移動時に経由する経由点、及び移動を終了する終了点を定めた。開始点は外周の通路(図4の黄色マス)からランダムに選択し、終了点は開始点の対辺の通路からランダムに選択した。また、経由点は外周以外の通路(図4の白マス)から2地点(A点、B点)をランダムに選択した。
    人物は開始点から経由点(A、B)を経由し、終了点まで移動する。開始点からA点、A点からB点、及びB点から終了点まではA*探索アルゴリズム(注1)にて算出した最短経路で移動することとした。人物の移動例を図4に赤線で示す。この例では、人物が移動の開始から終了までに20台のカメラで検出される。シミュレーションでは単位時間あたり通路を1マス進む16人の人物が同時に移動することとした。
    • (注1)「グラフ上でスタートからゴールまでの道を見つける」というグラフ探索問題において、ヒューリスティック関数という探索の道しるべとなる関数を用いて最短経路を探索するアルゴリズム(3)
  • (3)識別誤りの再現方法
    画像データとしてSARC3D(4)を利用した。SARC3Dは50人の前方、後方、左側、右側の4方向から撮影した合計200枚の画像から構成される。これらの画像に対してNishiyamaら(5)が提案している人物を認識するアルゴリズムを使用し画像間の距離を求めた。同一人物の画像間の距離と異なる人物の画像間の距離の分布を図5に示す。
    エージェントは以下の状況1、2に応じて人物の距離を取得する。

図5. 同一人物と異なる人物間の距離の分布

  • (a)状況1
    追跡対象の人物がカメラの設置されたノードに現れた場合、図5に示した同一人物の分布の中からランダムに選択した距離を取得する。
  • (b)状況2
    追跡対象ではない人物がカメラの設置されたノードに現れた場合、図5に示した異なる人物の分布の中からランダムに選択した距離を取得する。

状況1、2に応じて距離を取得することで、取得した距離が追跡対象と非追跡対象で逆転するケースが起き、識別誤りが発生する状況を再現できる。取得した距離は、式(14)の変換関数にて確率Pへ変換する。

変換関数f(x)の出力を図5における同一人物のグラフに近似させるため、Aを-19.18955097、Bを23.32982139とした。

4.2 実験結果

図6. 追跡成功率

検討手法における人物の追跡精度の評価するため、16人の人物が同時に移動するシミュレーションを100セット行った。グループ内の存在確率が上位3位までの人物を追跡対象とし、画像処理が抽出した尤度のみを利用して追跡した場合と、検討手法で追跡した場合を比較評価した。

4.2.1 追跡成功率

人物が終了点に到達した際に、同じ位置にエージェントが存在する場合を追跡成功とし評価した。図6に示すとおり、検討手法は、尤度のみを利用した場合より高い確率で、追跡が成功していることがわかる。尤度のみを利用した場合は、74.81%の追跡成功率であったが、存在確率を用いることで98.06%に改善された。これは、尤度だけを使用した場合、1回の画像処理の抽出結果が追跡結果に直接影響しているためである。検討手法では、移動確率を考慮した存在確率を計算することで、1回の画像処理結果のばらつきを抑えることができ、追跡精度が向上したと考えられる。

4.2.2 追跡一致率

図7. 追跡一致率

人物の移動経路と存在確率が最も高いエージェントの経路の一致率を追跡一致率とし評価した。追跡一致率は、人物の移動経路とエージェントの経路が全て一致した場合が100%、半分が一致した場合が50%となる。

図7は、人物が1600回移動 (16人が同時に100セット移動) した追跡一致率のヒストグラムである。図7に示すとおり、存在確率を利用することで、1500回以上の人の移動で追跡一致率が90%を超え、その平均は、99.38%となった。一方尤度のみを利用した場合、追跡一致率が30%から100%に分散しており、その平均は93.02%となった。これらのことから、存在確率を用いることで、画像処理結果による尤度のみを利用するより、より正確に人物を追跡できるようになったと考えられる。

5. むすび

本稿では、人物追跡システムで発生する画像処理における人物の識別誤りに対応し、より正確に人物を追跡すべく人物の移動を考慮した存在確率を計算する手法を検討した。検討手法では、隣接関係に基づいて人物の移動に関する確率を計算し、画像処理の人物認識結果と合わせることで、移動を考慮した各ノード上に追跡対象が存在する確率(存在確率)を計算した。存在確率を利用した実験の結果、より正確に人物の追跡が行えるようになることを確認した。
提案手法では追跡対象が常にいずれかのカメラで捉えられている必要がある。これを実現するためには多数のカメラが必要となり導入コストが高騰する。カメラ台数の削減による導入コスト低減を目的に、カメラが離散的に配置された場合のアルゴリズムを検討する。また、人物検知率向上を目指し、画像処理結果のみでなく、物理センサ等、複数のセンサによる検知結果を融合して検知率を向上する方式を研究する。これらの改善を継続的に実施することで得た研究成果のエッセンスを生かし、2025年度に神戸事業所がターゲットとしている分野のセキュリティ領域への事業展開を目指している。

【参考文献】
  • (1)塩塚大、四元辰平、高橋健一、川村尚生、菅原一孔:Agent-based Tracking Method Addressing Target Recognition Errors、電気学会論文誌、140、No. 4、484~491(2020)
  • (2)四元辰平、谷川浩三、辻美希、高橋健一、川村尚生、菅原一孔:人物追跡システムにおける局所化された隣接関係の計算、電子情報通信学会論文誌、J99-D、No. 5、468~477(2016)
  • (3)フリー百科事典「ウィキペディア(Wikipedia)」、https://ja.wikipedia.org/wiki/A*、(参照2022-10-28)
  • (4)Datasets/SARC3D、https://computervisiononline.com/dataset/1105138655、(参照2022-08-06)
  • (5)M. Nishiyama、S.Nakano、T.Yotsumoto、H.Yoshimura、Y.Iwai、K.Sugahara:Person Re-identification using Co-occurrence Attributes of Physical and Adhered Human Characteristics、23rd International Conference of Pattern Recognition (ICPR)、2086~2091(2016)

筆者紹介

  • ■ 谷川 浩三(タニガワ コウゾウ)

    1991年入社。主に映像蓄積配信・人物追跡に関する研究開発に従事。現在、社会インフラ事業統括部神戸事業所開発第2部技術開拓課。鳥取大学大学院工学研究科情報エレクトロニクス専攻博士後期課程に在学中。

  • ■ 高橋 健一 (タカハシ ケンイチ)

    2004年財団法人 九州システム情報技術研究所(現、九州先端科学技術研究所)入所。現、鳥取大学大学院工学研究科情報エレクトロニクス専攻准教授。情報セキュリティ、エージェントシステム、ユビキタス技術等の研究に従事。