暗い場所でも物体を見つけるために：イラクの研究者たちとの共同研究

最近、イラク人研究者たちと新しい研究プロジェクトを始めました。テーマは、暗い環境で撮影された画像から物体を見つける「低照度物体検出」です。

昼間に撮影した画像では見つけられる物体を、夜間や照明の少ない場所でも見つけたい。一見すると分かりやすい課題ですが、実際に取り組んでみると、思っていた以上に難しいと感じています。

特に難しいのが、照度が変わっても物体を見分けるために使える特徴を見つけることです。

夜間警備で役立てるために

低照度物体検出が役立つ場面の一つに、夜間警備があると思います。たとえば、夜間の建物の周囲や駐車場をカメラで見守り、人や車両を検出して、警備員が映像を確認するきっかけにすることが考えられます。

こうした場所は、昼と夜で明るさが大きく変わります。夜間も街灯や建物の照明が当たる場所と、影になる場所があり、一つの映像の中でも明るさは一様ではありません。

昼間には検出できていた人や車両を、暗い場所でも見つけられるようにする。そのためには、照度が変わったときに、モデルが物体のどのような特徴を捉えられるのかを考える必要があります。実際に警備へ使うには、見逃しや誤検知を含め、設置場所の映像で性能を確かめることも大切です。

画像認識のモデルは、画像の中から物体を見分けるための特徴を取り出します。形や輪郭、色、表面の模様などが、その手がかりになります。

ところが、同じ物体を撮影していても、明るさが変わると画像上の見え方は大きく変わります。暗い場所では物体と背景の境界が分かりにくくなり、模様や色も見えにくくなります。明るい画像で手がかりになっていた部分が、暗い画像では手がかりとして使えなくなることがあります。

人間なら、少し見えにくくても周囲の状況から「あそこに車がある」と気づけるかもしれません。モデルにも、明るさに左右されにくい形や周囲との関係を手がかりにしてほしい。でも、そのために何を特徴として取り出せばよいのかが難しいのです。

暗い画像なら、まず画像を明るくすればよいのではないか。自然に思いつく方法です。

ただ、画像を明るくしても、撮影時に十分な情報が得られていない部分まで、必ず元どおりになるわけではありません。暗い画像にはノイズが含まれることもあり、明るさを持ち上げる際に、それも目立つことがあります。

また、人が見て分かりやすい画像と、物体検出モデルにとって判断しやすい画像が、いつも同じとは限りません。画像をきれいに見せることと、物体を正しく検出することは、それぞれ確かめる必要があります。

低照度物体検出の研究では、画像を見やすくする方法だけでなく、検出に使う特徴そのものを扱う方法も研究されています。照度に依存しにくい特徴を学習する手法としては、You Only Look Aroundという研究もあります。

理想は、明るい場所でも暗い場所でも、同じ物体を同じように捉えられることです。

しかし、照度が変わっても見え方が変わりにくい特徴を探すだけでなく、その特徴に物体を区別するための情報が残っていなければなりません。明るさの影響を減らした結果、検出に必要な手がかりまで失ってしまっては困ります。

さらに、暗い環境では、そもそも画像から得られる情報が限られます。照度に左右されにくい特徴を考えると同時に、どんな条件では判断が難しくなるのかも見ていく必要があります。

「暗い画像を明るくする」という話から始まっても、突き詰めると、モデルは画像の何を見て物体だと判断しているのか、という問題につながります。実際に取り組んでみて、その難しさと面白さを改めて感じています。

今回の研究は、イラク人研究者たちとの共同プロジェクトです。現在、結果を論文にまとめています。

論文として発表できる段階になったら、研究の内容や、取り組みを通して分かったことも改めて紹介したいと思います。普段のAI開発と同じように、まずは難しい課題に向き合い、試しながら考える。その過程を、こうして少しずつブログにも残していければと思います。