骨格ベース行動認識のロバスト性解析
骨格ベース行動認識への敵対的攻撃
スケルトンに基づく行動認識モデルは，最近，敵対的な攻撃に対して脆弱であることが示されている．画像に対する敵対的攻撃と比較して，スケルトンに対する摂動は通常，フレームあたり約100という低次元に制限される．この低次元の設定により，知覚できない摂動を生成することがより困難になる．既存の攻撃は，スケルトン運動の時間構造を利用し，摂動の次元を数千まで増加させることでこれを解決しています．本論文では，スケルトンに基づく行動認識モデルに対して，時間的な操作を一切行わずに，著しく低次元な設定でも敵対的な攻撃が可能であることを示す．具体的には，摂動を骨の長さに限定することで，敵対者は有効次元を約30だけ操作することが可能となる．NTU RGB+DデータセットとHDM05データセットを用いた実験では，提案する攻撃は小さな摂動で90%以上の成功率でモデルを欺くことに成功することを実証した．さらに，我々は次のような興味深い現象を発見した．低次元環境において，骨の長さへの攻撃を用いた敵対的学習は，データ拡張と同様の特性を持ち，敵対的頑健性を向上させるだけでなく，元のデータに対する分類精度を向上させることができることを発見した．この結果は，高次元領域の敵対的学習に関する研究で広く観察されている敵対的頑健性とクリーンな精度のトレードオフの興味深い反例となっている．
Nariki Tanaka, Hiroshi Kera, and Kazuhiko Kawamoto, Adversarial Bone Length Attack on Action Recognition, AAAI 2022 [paper].
周波数解析を用いたロバスト性解析
フーリエ解析を用いて、骨格ベースのアクション認識におけるグラフ畳み込みニューラルネットワーク（GCN）のロバスト性と脆弱性を探求します。我々は、グラフフーリエ変換（GFT）と離散フーリエ変換（DFT）の組み合わせである共同フーリエ変換（JFT）を採用し、敵対的に訓練されたGCNが敵対的攻撃と一般的な破損に対してどのようにロバストであるかを検証します。NTU RGB+Dデータセットを用いた実験結果は、敵対的トレーニングが、畳み込みニューラルネットワークに基づく画像分類中に通常発生する、敵対的攻撃と低周波摂動の間のロバスト性のトレードオフを導入しないことを明らかにしました。この発見は、敵対的トレーニングが骨格ベースのアクション認識において敵対的攻撃と一般的な破損に対するロバスト性を向上させる実用的なアプローチであることを示しています。さらに、我々はフーリエアプローチが骨格の部分遮蔽破損に対する脆弱性を説明できないことを発見し、その限界を浮き彫りにしました。これらの発見は、GCNのロバスト性に関する我々の理解を拡大し、骨格ベースのアクション認識のためのよりロバストな学習方法の開発を指導する可能性があります。
Nariki Tanaka, Hiroshi Kera, Kazuhiko Kawamoto, Fourier analysis on robustness of graph convolutional neural networks for skeleton-based action recognition, Computer Vision and Image Understanding, Vol. 240, 2024 [paper][arXiv][GitHub].