Convergence Lab.株式会社 代表取締役 CEO の木村 優志です。

この記事では、CutPaste Augmentation による製品画像の異常検知について説明します。 ディープラーニングによる、画像異常検知にはオートエンコーダーを使うものや、GAN を使うものなどが有名です。これらは、正常な製品画像をディープラーニングにたくさん覚えさせることで異常検知を実現します。一方、CutPaste では、データ拡張と自己教示学習によって異常検知を行い、異常箇所を可視化します。自己教示学習による製品画像異常検知は、必要となる画像の数を大幅に減らせるため、これから増えていくのではないかと予想します。CutPaste は、製品異常画像ベンチマークデータセット MVTec で SoTA である、96.6 ACU を達成しています。

以下に論文の情報を示します。

Chun-Liang Li, Kihyuk Sohn, Jinsung Yoon, Tomas Pfister, CutPaste: Self-Supervised Learning for Anomaly Detection and Localization, arXiv:2104.04015. https://arxiv.org/pdf/2104.04015.pdf

次の図が CutPaste の学習と推論の流れです。左が学習フェーズ、右が推論フェーズを表しています。

学習フェーズでは、正常画像の任意の部分の画像を別の部分に貼り付けて異常画像を自動的に作成します。正常画像はそのまま、通常の２値分類のように学習します。図中の CNN の部分には実際には任意のネットワークを利用できます。論文中では、ResNet や EfficientNet が使われています。

推論フェーズでは、異常度（Anomaly Score)を GDE (Gaussian Density Estimator)を用いて計算します。異常箇所は GradCAM を用いて求めます。

GDE は、以下の式で求めます。ここで、はある画像の予測値、, はの平均、分散共分散行列です。, は、学習したネットワークに正常データをとおして求めます。

GradCAMは、ディープラーニングの説明製に使われる技術です。GradCAM にって、上の図の右端の画像のように異常箇所が赤く可視化されます。

次の画像が、CutPaste による異常検知の結果です。一番上の画像が入力画像、二段目が人手による異常箇所のラベリング、３段目が GradCAM による異常箇所の可視化です。４段目は画像はパッチに分解して同じ工程を行ったっものです。このブログでは説明していないため割愛します。異常箇所の可視化度合いがわかります。

今回は、異常画像検知手法である、CutPaste を紹介しました。弊社では、CutPaste を一部改良したシステムを実際の PoC に適用し高い検知能力を持つことを確かめています。ご興味がありましたら、お気軽にお問い合わせください。